一种基于跨模态不确定区域校正的多模态显著性目标检测方法

    公开(公告)号:CN117078959A

    公开(公告)日:2023-11-17

    申请号:CN202311053812.8

    申请日:2023-08-21

    IPC分类号: G06V10/46 G06V10/86 G06V10/82

    摘要: 本发明公开了一种基于跨模态不确定区域校正的多模态显著性目标检测方法,跨模态特征增强模块利用注意力机制增强浅层特征中的有效信息,同时抑制干扰信息;根据不确定区域感知的跨模态特征校正模块,在深层单模态特征提取过程中,通过双向交互的方式对两种模态深层特征中存在的不确定区域进行跨模态校正,获得更具辨别力的单模态特征;根据多尺度跨模态特征融合模块对可见光图像特征和深度图像特征进行跨模态融合充分挖掘两种模态的中的多尺度上下文信息和互补信息;根据具有辨别力的跨模态特征预测最终显著性图,获得显著性预测图;对显著性预测图采用监督学习模型得到网络模型参数。获得了完整且精细的显著性预测图。