公开(公告)号：CN116089906B

公开(公告)日：2023-06-16

申请号：CN202310232058.8

申请日：2023-03-13

申请人： 山东大学 ,  哈尔滨工业大学(深圳) ,  浙江猫精人工智能科技有限公司

发明人： 吴建龙 ,  杨浩哲 ,  高先强 ,  聂礼强 ,  甘甜 ,  丁宁 ,  姜飞俊

IPC分类号： G06F18/25 ,  G06F18/24 ,  G06F16/332 ,  G06F16/35

摘要： 本发明涉及自然语言处理中的对话情感识别技术领域，提供了一种基于动态上下文表示和模态融合的多模态分类方法及系统，其解决了每个模态的特征未得到充分的分析，也没有根据其特性进行针对性地处理的问题。其中，基于动态上下文表示和模态融合的多模态分类方法将每个模态的特征分别进行全局上下文表征、局部上下文表征和直接映射表征，再根据动态路径选择方法融合上述表征，得到每个模态的初始融合特征；将所有模态的初始融合特征分别执行全融合、部分融合和带偏融合处理，得到全融合结果、部分融合结果和带偏融合结果，再通过动态路径选择方法融合，得到最终用于分类的多模态融合特征。其提高了最终识别任务类别的准确性。

公开(公告)号：CN116089906A

公开(公告)日：2023-05-09

申请号：CN202310232058.8

申请日：2023-03-13

申请人： 山东大学 ,  哈尔滨工业大学(深圳) ,  浙江猫精人工智能科技有限公司

发明人： 吴建龙 ,  杨浩哲 ,  高先强 ,  聂礼强 ,  甘甜 ,  丁宁 ,  姜飞俊

IPC分类号： G06F18/25 ,  G06F18/24 ,  G06F16/332 ,  G06F16/35

摘要： 本发明涉及自然语言处理中的对话情感识别技术领域，提供了一种基于动态上下文表示和模态融合的多模态分类方法及系统，其解决了每个模态的特征未得到充分的分析，也没有根据其特性进行针对性地处理的问题。其中，基于动态上下文表示和模态融合的多模态分类方法将每个模态的特征分别进行全局上下文表征、局部上下文表征和直接映射表征，再根据动态路径选择方法融合上述表征，得到每个模态的初始融合特征；将所有模态的初始融合特征分别执行全融合、部分融合和带偏融合处理，得到全融合结果、部分融合结果和带偏融合结果，再通过动态路径选择方法融合，得到最终用于分类的多模态融合特征。其提高了最终识别任务类别的准确性。