-
公开(公告)号：CN116992261A
公开(公告)日：2023-11-03
申请号：CN202310757183.0
申请日：2023-06-26
IPC分类号： G06F18/213 , G06F18/24 , G06N3/09 , G06N3/094
摘要： 本发明公开了一种基于模态特定表征学习的媒体立场识别方法，包括：采用对抗学习从多模态数据中提取模态一致特征以及模态特定特征；将模态内特定特征输入到基于自监督学习策略的标签生成中，获得独立的单模态监督；对模态内特定特征采用跨模态注意力机制以获得以文本模态为主模态的模态间互补信息，更新模态内特定特征；拼接更新后的模态内特定特征和模态一致性特征作为媒体数据多模态表征；利用基于自监督学习策略的标签生成部分生成的各个模态标签和真实媒体数据情感立场标签，联合训练多模态和单模态任务，对媒体数据多模态表征进行约束优化，对优化后的媒体数据多模态表征进行识别得到每个媒体数据所属的立场类别。本发明基于自监督多任务学习架构实现媒体情感立场识别精度的提升，有效推动网络安全事业的发展。
-
公开(公告)号：CN112949684A
公开(公告)日：2021-06-11
申请号：CN202110121506.8
申请日：2021-01-28
申请人： 天津大学
摘要： 本发明公开了一种基于强化学习框架的多模态检测对话情感信息的方法，包括：将话语特征描述符输入到所建立的智能体中得到当前话语情感信息；对话语情感信息采取滑窗和最大池化操作融合滑窗窗口内的话语情感信息，并与当前话语的特征描述符拼接作为当前输入智能体的状态；智能体识别当前话语的情感并进行分类，获取分类标签；根据分类标签通过最大化智能体所得的回报来优化策略，优化后的策略指导智能体在后续过程根据状态采取优化的动作，输出分类结果。本发明捕捉了情绪状态和累积的情绪变化的影响，以提升多模态场景下对话中的情感检测的精度。
-
公开(公告)号：CN112949684B
公开(公告)日：2022-07-29
申请号：CN202110121506.8
申请日：2021-01-28
申请人： 天津大学
摘要： 本发明公开了一种基于强化学习框架的多模态检测对话情感信息的方法，包括：将话语特征描述符输入到所建立的智能体中得到当前话语情感信息；对话语情感信息采取滑窗和最大池化操作融合滑窗窗口内的话语情感信息，并与当前话语的特征描述符拼接作为当前输入智能体的状态；智能体识别当前话语的情感并进行分类，获取分类标签；根据分类标签通过最大化智能体所得的回报来优化策略，优化后的策略指导智能体在后续过程根据状态采取优化的动作，输出分类结果。本发明捕捉了情绪状态和累积的情绪变化的影响，以提升多模态场景下对话中的情感检测的精度。
-
公开(公告)号：CN112733764A
公开(公告)日：2021-04-30
申请号：CN202110056309.2
申请日：2021-01-15
申请人： 天津大学
摘要： 本发明公开了一种基于多模态识别视频情感信息的方法，包括：根据所得每个视频的语音信号和关键帧分别提取特征；对所得的语音特征和关键帧特征进行融合得到每个视频特征描述符；根据视频特征描述符建立关系图；根据关系图，通过多头注意力构造多个全连接图，生成多分支图卷积网络；对构造的每个全连接图，即为多分支图卷积网络中的每个分支，分别作图卷积更新节点特征；将多个全连接图的更新后的节点特征进行融合，生成唯一的节点特征即最终所得的包含视频间关联性的视频特征描述符；对最终的视频特征描述符进行分类得到每个视频所属的情感类别。本发明利用视频描述符之间的相关性提升音频视频情感识别任务的分类精度。
-
-
-
搜索结果
4 条记录 (耗时 0.038 秒)
