公开(公告)号：CN111680541A

公开(公告)日：2020-09-18

申请号：CN202010292014.0

申请日：2020-04-14

申请人： 华中科技大学

发明人： 冯镔 ,  付彦喆 ,  王耀平 ,  江子文 ,  杭浩然 ,  李瑞达 ,  刘文予

IPC分类号： G06K9/00 ,  G06K9/62 ,  G06F40/30 ,  G10L25/63 ,  G06N3/04

摘要： 本发明公开了一种基于多维度注意力融合网络的多模态情绪分析方法，包括：针对包含语音、视频、文本等多个模态的样本数据提取语音预处理特征、视频预处理特征、文本预处理特征；然后对每个模态构建所述的多维度注意力融合网络，利用网络内部的自相关特征提取模块提取一级自相关特征和二级自相关特征，然后将三种模态的自相关信息进行组合，利用网络内部的跨模态融合模块得到三种模态的跨模态融合特征；再利用所述的二级自相关特征和跨模态融合特征合并得到模态多维度特征；最后将所述的模态多维度特征进行拼接，确定情绪分数，进行情绪分析；该方法能够有效的在非对齐多模态数据场景下进行特征融合，充分利用多模态的关联信息，进行情绪分析。

公开(公告)号：CN111680541B

公开(公告)日：2022-06-21

申请号：CN202010292014.0

申请日：2020-04-14

申请人： 华中科技大学

发明人： 冯镔 ,  付彦喆 ,  王耀平 ,  江子文 ,  杭浩然 ,  李瑞达 ,  刘文予

IPC分类号： G06V40/16 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06F40/30 ,  G10L25/63 ,  G06N3/04

摘要： 本发明公开了一种基于多维度注意力融合网络的多模态情绪分析方法，包括：针对包含语音、视频、文本等多个模态的样本数据提取语音预处理特征、视频预处理特征、文本预处理特征；然后对每个模态构建所述的多维度注意力融合网络，利用网络内部的自相关特征提取模块提取一级自相关特征和二级自相关特征，然后将三种模态的自相关信息进行组合，利用网络内部的跨模态融合模块得到三种模态的跨模态融合特征；再利用所述的二级自相关特征和跨模态融合特征合并得到模态多维度特征；最后将所述的模态多维度特征进行拼接，确定情绪分数，进行情绪分析；该方法能够有效的在非对齐多模态数据场景下进行特征融合，充分利用多模态的关联信息，进行情绪分析。