公开(公告)号：CN118212398B

公开(公告)日：2024-08-23

申请号：CN202410310009.6

申请日：2024-03-19

Applicant: 中国矿业大学

Inventor： 王浩宇 ,  刘晓敏 ,  陈正升 ,  乔振壮 ,  余梦君 ,  杜小蔓

IPC: G06V10/25 ,  G06V10/143 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/042 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于知识补全平衡网络的多模态目标检测方法。首先，设计一种知识补全机制，通过类知识补全和空间知识补全缓解局部模态信息失衡，以实现对模态间信息干扰的抑制，提升模型对低光照、烟雾等复杂情景的适应能力；然后，设计一种动态平衡机制，在模型学习中动态监控和平衡模型对不同模态的关注程度缓解全局模态信息失衡现象，通过确保多模态特征学习的同步性，提升模型对多模态互补信息的利用能力。

公开(公告)号：CN118212398A

公开(公告)日：2024-06-18

申请号：CN202410310009.6

申请日：2024-03-19

Applicant: 中国矿业大学

Inventor： 王浩宇 ,  刘晓敏 ,  陈正升 ,  乔振壮 ,  余梦君 ,  杜小蔓

IPC: G06V10/25 ,  G06V10/143 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/042 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于知识补全平衡网络的多模态目标检测方法。首先，设计一种知识补全机制，通过类知识补全和空间知识补全缓解局部模态信息失衡，以实现对模态间信息干扰的抑制，提升模型对低光照、烟雾等复杂情景的适应能力；然后，设计一种动态平衡机制，在模型学习中动态监控和平衡模型对不同模态的关注程度缓解全局模态信息失衡现象，通过确保多模态特征学习的同步性，提升模型对多模态互补信息的利用能力。