公开(公告)号：CN119848500A

公开(公告)日：2025-04-18

申请号：CN202411769840.4

申请日：2024-12-04

Applicant: 哈尔滨理工大学

Inventor： 王玉静 ,  蒋雅冰 ,  谢金宝 ,  王玉龙 ,  张博浩

IPC: G06F18/213 ,  G06F18/241 ,  G06F40/205 ,  G06N3/088

Abstract: 本发明公开了基于对比分解特征多任务网络的多模态情感分析方法，属于多模态情感分析技术领域。解决了现有技术中传统的多模态情感分析方法难以实现不同样本模态间信息交互、多模态情感数据集中单模态标签普遍缺失或人工标注不准确的问题；本发明构建多模态情感分析模型，将待处理数据集输入多模态情感分析模型进行特征提取并分解，整合得到的六个分解特征；根据多模态情感预测损失、对比学习损失和单模态情感预测损失，完成多模态情感分析任务、对比学习优化任务和单模态情感分析任务；对多模态情感分析模型进行双层损失优化，构建多任务损失函数，输出多模态情感分析结果。本发明提升了多模态情感分析模型的准确性，可以应用于多模态情感分类。

公开(公告)号：CN116775873A

公开(公告)日：2023-09-19

申请号：CN202310738400.1

申请日：2023-06-20

Applicant: 哈尔滨理工大学

Inventor： 王玉静 ,  唐勇强 ,  谢金宝 ,  蒋雅冰 ,  王玉龙

IPC: G06F16/35 ,  G06F18/24 ,  G06F18/25 ,  G06F40/35 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提出一种多模态对话情感识别方法，属于对话情感识别技术领域。包括：S1.使用不同的编码器对每轮对话的单模态数据进行编码，得到对话中每个模态的特征表示；S2.对一轮对话的上下文对话信息进行聚合；S3.将对话中的每句话交互的多模态特征进行线性变换后进行模态间的特征融合；S4.基于辅助任务对每个模态的特征使用独立的分类器进行分类，使用主任务分类器对融合后的特征进行主任务情感分类，分别计算分类损失，最终模型损失由辅助任务和主任务损失进行加权计算；S5.将多模态数据输入至主任务分类器中，输出情感类别。解决没有结合所有对话上下文对情感信息进行充分的挖掘，各模态数据表达情感的关联性没有被充分利用的问题。