基于多模态的实时图像增强方法及系统

    公开(公告)号:CN117893423A

    公开(公告)日:2024-04-16

    申请号:CN202410082539.X

    申请日:2024-01-19

    申请人: 郑州大学

    摘要: 本发明涉及智慧交通中数据增强技术领域,特别涉及一种基于多模态的实时图像增强方法及系统,通过获取交通监控中多模态图像数据,所述多模态图像数据包括原始红外图像数据和原始RGB图像数据;对多模态图像数据进行特征提取及预处理,利用跨模态注意力机制对提取的数据特征进行特征融合,利用多层感知机制获取三维查找表权重;利用原始RGB图像并通过三维查找表对特征融合结果进行三线性插值计算,得到颜色增强后的目标图像;对原始RGB图像和原始红外图像进行结构一致性特征对齐,通过一层卷积对对齐特征进行融合,并与目标图像进行跳跃连接细化,获取最终增强图像。本发明能够对多模态实时交通图像进行增强处理,提高交通监控系统性能和效果。