发明公开
- 专利标题: 一种多光谱相机与雷达特征级数据融合方法及系统
-
申请号: CN202310912672.9申请日: 2023-07-25
-
公开(公告)号: CN116883802A公开(公告)日: 2023-10-13
- 发明人: 闫军 , 李孟迪 , 王伟 , 边丽蘅 , 秦同 , 朱春丽
- 申请人: 爱泊车科技有限公司 , 智慧互通科技股份有限公司 , 北京理工大学
- 申请人地址: 北京市海淀区中关村大街27号12层1202-03; ;
- 专利权人: 爱泊车科技有限公司,智慧互通科技股份有限公司,北京理工大学
- 当前专利权人: 爱泊车科技有限公司,智慧互通科技股份有限公司,北京理工大学
- 当前专利权人地址: 北京市海淀区中关村大街27号12层1202-03; ;
- 主分类号: G06V10/80
- IPC分类号: G06V10/80 ; G06T7/80 ; G06N3/0464
摘要:
本发明公开一种多光谱相机与雷达特征级数据融合方法及系统,涉及智能交通管理领域,包括:对多光谱相机图像和雷达点云数据进行特征提取,采用雷达和相机特征级融合网络和多模态特征聚合将多光谱相机数据和雷达点云数据进行特征级别融合,并且采用基于改进的交叉注意力机制进行相机信息和雷达多模态特征信息的融合,而不是特征多通道串联求和,进一步提升数据融合准确度;同时,由于本发明提供了多光谱相机与雷达特征级数据的融合,因此可以采用多光谱相机代替传统单目彩色相机,可以在夜间、雨雪雾等可视条件差的场景下给予雷达更好的辅助效果,避免传统相机在可视条件较差时的一些检测失灵现象,从而提升了全息路口的管理效率和准确度。