一种基于对比学习的多模态融合目标识别方法
摘要:
本发明公开了一种基于对比学习的多模态融合目标识别方法,包括以下步骤:得到多模态数据;将多模态数据通过深度自编‑解码网络,提取多模态数据的共识性低维嵌入表示与差异性低维嵌入表示,并将共识性低维嵌入表示与差异性低维嵌入表示,通过哈希表征模块生成模态共识性关系图与模态差异性关系图;得到多模态数据的紧致哈希共识性模态数据与紧致哈希差异性模态数据;构建多模态数据的目标分类识别网络;将多模态数据的紧致哈希共识性模态数据与紧致哈希差异性模态数据输入至多模态数据的目标分类识别网络,得到目标识别结果。本发明解决了目标识别大部分仅能处理单模态数据,不能利用多模态信息以及计算复杂,时效性差和识别精度不高的问题。
0/0