公开(公告)号：CN117893423A

公开(公告)日：2024-04-16

申请号：CN202410082539.X

申请日：2024-01-19

申请人： 郑州大学

发明人： 李凯江 ,  李浩 ,  刘向前 ,  张晓芳 ,  郭纯一 ,  吴漫 ,  王博

IPC分类号： G06T5/50 ,  G06T3/4007 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06V20/52 ,  G06N3/045 ,  G06N3/08

摘要： 本发明涉及智慧交通中数据增强技术领域，特别涉及一种基于多模态的实时图像增强方法及系统，通过获取交通监控中多模态图像数据，所述多模态图像数据包括原始红外图像数据和原始RGB图像数据；对多模态图像数据进行特征提取及预处理，利用跨模态注意力机制对提取的数据特征进行特征融合，利用多层感知机制获取三维查找表权重；利用原始RGB图像并通过三维查找表对特征融合结果进行三线性插值计算，得到颜色增强后的目标图像；对原始RGB图像和原始红外图像进行结构一致性特征对齐，通过一层卷积对对齐特征进行融合，并与目标图像进行跳跃连接细化，获取最终增强图像。本发明能够对多模态实时交通图像进行增强处理，提高交通监控系统性能和效果。