公开(公告)号：CN117975000A

公开(公告)日：2024-05-03

申请号：CN202410073013.5

申请日：2024-01-18

Applicant: 哈尔滨工程大学

Inventor： 王兴梅 ,  张陈卓 ,  徐悦竹 ,  李博权 ,  吴沛然 ,  文培煜

IPC: G06V10/26 ,  G06V20/05 ,  G06V10/80 ,  G06V10/44 ,  G06N3/0464 ,  G06V10/82 ,  G06N3/084

Abstract: 本发明公开了一种基于掩码互补跨层融合的水下多模态目标分割方法，包括：获取原始水下多模态图像对；基于掩码互补匹配策略对所述原始水下多模态图像对进行处理得到重塑图像对；构建跨层局部语义修正融合的水下多模态目标分割模型，将所述重塑图像对输入所述水下多模态目标分割模型进行特征提取和特征多级融合生成水下多模态目标分割结果。本发明提出的一种基于掩码互补跨层融合的水下多模态目标分割方法，能够有效地完成水下多模态目标分割任务，并提升分割精度及鲁棒性。

公开(公告)号：CN118395182A

公开(公告)日：2024-07-26

申请号：CN202410502843.5

申请日：2024-04-25

Applicant: 哈尔滨工程大学

Inventor： 王兴梅 ,  田兆楠 ,  徐悦竹 ,  文培煜 ,  吴沛然 ,  李博权

IPC: G06F18/214 ,  G06F18/15 ,  G06F18/2431 ,  G06F18/25 ,  G06N3/048 ,  G06N3/0499 ,  G06N3/084

Abstract: 本发明提供一种基于异质特征跨域关联的多模态识别方法及系统，方法包括以下步骤：获取原始数据，构建多模态数据集，并进行预处理；基于预处理后的多模态数据集，构建异质特征跨域关联模型，并基于异质特征跨域关联模型对预处理后的多模态数据集进行多模态情感识别，获得跨模态特征；基于三层堆叠的注意力机制、全连接层以及归一化指数函数，构建标签模态解码模块，并基于交叉熵损失、最终跨模态特征以及模态标签，训练标签模态解码模块；基于训练好的标签模态解码模块，对跨模态特征进行分类，获得多标签情感预测标签，完成基于异质特征跨域关联的多模态识别。本发明在识别精度、任务适应性和抗噪鲁棒性上有较好的表现，具有一定的有效性。