本发明提供一种多模态密集预测的深度信息传输模型的构建方法，该方法首先，构建多个子网络是用于RGB图或热图表征学习，再构建一个子网络用于为模式共享；然后，构建一个信息聚集‑分布模块IADM，用于完成平移不变的信息提取以及信息聚合传输、信息分布传输。本发明通过学习多模态对齐表示，建立一个包含信息聚合分布模块的多模态密集预测框架，能够充分捕捉不同模态之间的互补信息，很好的完成信息整合。在各种多模态密度预测任务中，该方案显示出了有效性和通用性。