发明公开
- 专利标题: 基于跨模态特征校准和动态融合的多光谱行人检测方法
-
申请号: CN202311587340.4申请日: 2023-11-24
-
公开(公告)号: CN117671442A公开(公告)日: 2024-03-08
- 发明人: 黄美玉 , 鲍威 , 向雪霜
- 申请人: 中国空间技术研究院
- 申请人地址: 北京市海淀区友谊路104号院
- 专利权人: 中国空间技术研究院
- 当前专利权人: 中国空间技术研究院
- 当前专利权人地址: 北京市海淀区友谊路104号院
- 代理机构: 北京谨诚君睿知识产权代理事务所
- 代理商 延慧; 李红
- 主分类号: G06V10/80
- IPC分类号: G06V10/80 ; G06V10/774 ; G06V10/82 ; G06V20/52 ; G06N3/0464
摘要:
本发明涉及一种基于跨模态特征校准和动态融合的多光谱行人检测方法,包括:步骤S1、构建双流特征提取网络提取可见光图像和红外图像的特征;步骤S2、构建跨模态特征校准子网络;步骤S3、构建多模态动态融合子网络;步骤S4、构建基于跨模态特征校准和动态融合的多光谱行人检测网络;步骤S5、训练基于跨模态特征校准和动态融合的多光谱行人检测网络;步骤S6、利用所述步骤S5中训练完成的基于跨模态特征校准和动态融合的多光谱行人检测网络进行行人检测。本发明,能够消除模态相关冗余性,突出模态之间的互补性,有助于更好的多模态特征融合,进而提升多光谱行人检测能力。