本发明涉及智慧交通中数据增强技术领域，特别涉及一种基于多模态的实时图像增强方法及系统，通过获取交通监控中多模态图像数据，所述多模态图像数据包括原始红外图像数据和原始RGB图像数据；对多模态图像数据进行特征提取及预处理，利用跨模态注意力机制对提取的数据特征进行特征融合，利用多层感知机制获取三维查找表权重；利用原始RGB图像并通过三维查找表对特征融合结果进行三线性插值计算，得到颜色增强后的目标图像；对原始RGB图像和原始红外图像进行结构一致性特征对齐，通过一层卷积对对齐特征进行融合，并与目标图像进行跳跃连接细化，获取最终增强图像。本发明能够对多模态实时交通图像进行增强处理，提高交通监控系统性能和效果。