公开(公告)号：CN119963813A

公开(公告)日：2025-05-09

申请号：CN202510037131.5

申请日：2025-01-09

Applicant: 哈尔滨工业大学

Inventor： 程绍武 ,  张涵之

IPC: G06V10/25 ,  G06V10/82 ,  G06N3/0464

Abstract: 本发明公开了一种基于联合概率和熵归一化的多模态目标检测集成方法，所述方法包括如下步骤：一、初始化检测器输出集合和集成检测集合；二、模态间投影；三、熵归一化；四、置信度集成；五、检测框集成；六、循环。本发明通过集成已训练完成的检测器输出，在不需要额外训练成本的同时，给出了相较传统单模态检测器更加精确的检测结果，并妥善处理了在模态缺失时传统集成方法可能失效的情况，此外，在多模态检测器外参标定不理想时提供了比传统集成方法更高的检测精度，对于提高目标检测任务的可靠性和安全性起到积极作用，减少了因误检、漏检而导致事故的风险，对于在成本受限的工程任务中提高目标检测的可靠性和准确性具有重要意义。

公开(公告)号：CN120071079A

公开(公告)日：2025-05-30

申请号：CN202510124639.9

申请日：2025-01-26

Applicant: 哈尔滨工业大学

Inventor： 程绍武 ,  张涵之

IPC: G06V10/82 ,  G06V10/80 ,  G06V10/77 ,  G06V20/64 ,  G06N3/045 ,  G06N3/0499 ,  G06N3/0985 ,  G01S17/88 ,  G06V10/26 ,  G06V20/70 ,  G06V10/25 ,  G06V10/62

Abstract: 本发明公开了一种考虑模态缺失情境的多模态ViT视觉模型结构的构建方法，所述方法针对传统ViT多模态视觉模型在模型训练过程中数据增强对模态缺失情况的模拟能力有限，并且在模型结构设计方面未考虑到模态缺失的情境，提出了考虑模态缺失情境的多模态ViT视觉模型结构，构建步骤如下：步骤一、单模态分支结构设计；步骤二、缺失模态的检测；步骤三、缺失模态的投影；步骤四、多模态融合ViT。本发明妥善处理了模态缺失的情境，在模态缺失的情境下依然能维持较高性能和稳定输出，提升了模型的准确性和鲁棒性，减少了因模态缺失而可能导致的安全隐患。