发明公开
- 专利标题: 一种基于对比学习的多模态融合目标识别方法
-
申请号: CN202310938402.5申请日: 2023-07-27
-
公开(公告)号: CN116912590A公开(公告)日: 2023-10-20
- 发明人: 任珍文 , 郭倩文 , 尤晓健 , 戴健 , 孙元 , 李杏峰
- 申请人: 嵩山实验室 , 西南科技大学
- 申请人地址: 河南省郑州市郑东新区龙子湖自然资源大厦C栋;
- 专利权人: 嵩山实验室,西南科技大学
- 当前专利权人: 嵩山实验室,西南科技大学
- 当前专利权人地址: 河南省郑州市郑东新区龙子湖自然资源大厦C栋;
- 代理机构: 北京正华智诚专利代理事务所
- 代理商 陈航
- 主分类号: G06V10/764
- IPC分类号: G06V10/764 ; G06V10/82 ; G06V10/80 ; G06N3/047 ; G06N3/0455 ; G06N3/0895
摘要:
本发明公开了一种基于对比学习的多模态融合目标识别方法,包括以下步骤:得到多模态数据;将多模态数据通过深度自编‑解码网络,提取多模态数据的共识性低维嵌入表示与差异性低维嵌入表示,并将共识性低维嵌入表示与差异性低维嵌入表示,通过哈希表征模块生成模态共识性关系图与模态差异性关系图;得到多模态数据的紧致哈希共识性模态数据与紧致哈希差异性模态数据;构建多模态数据的目标分类识别网络;将多模态数据的紧致哈希共识性模态数据与紧致哈希差异性模态数据输入至多模态数据的目标分类识别网络,得到目标识别结果。本发明解决了目标识别大部分仅能处理单模态数据,不能利用多模态信息以及计算复杂,时效性差和识别精度不高的问题。