本发明涉及一种基于深度学习的多模态影像处理方法和系统，所述方法包括：步骤S1：作多模态影像数据获取和分析以获取影像特征；步骤S2：基于不同模态影像数据的影像特征之间的关系确定显著区域；步骤S3：基于显著子区域得到一个或者多个扩大显著子区域；步骤S4：将目标区域和每个显著子区域均作为深度神经网络模型的输入并分别得到分类结果；基于分别得到的分类结果得到最终的分类结果。本发明通过跨模态影像分析方式，能够快速的定位目标区域并进行分类，大大的提高了深度神经网络模型的训练效率和基于深度学习的多模态影像处理效率。