-
公开(公告)号:CN106992000B
公开(公告)日:2021-02-09
申请号:CN201710223015.8
申请日:2017-04-07
申请人: 安徽建筑大学
摘要: 本发明公开一种基于预测的多特征融合的老人语音情感识别方法,包括以下步骤:获取空巢老人语音情感数据库;分别对数据库中的每条语音和表情提取不同的三种特征参数;采用基于预测的方法对多特征进行融合;用SVM进行特征识别;输出同一段语音下预测的最高准确率的情感类别,得到识别结果。基于预测的融合框架包括两部分:跨特征预测组件,其通过建模多特征之间的关系来组合三种特征,三种特征的连接由第一组预测器替代,分别学习语音情感类别的三种特征参数之间的映射;特征内预测组件,分别对三种特征的时间演进进行建模,特征内预测组件对应于决策级融合,每种特征由两个第二组预测器建模,分别学习每种类别的过去和当前特征之间的映射。
-
公开(公告)号:CN106992000A
公开(公告)日:2017-07-28
申请号:CN201710223015.8
申请日:2017-04-07
申请人: 安徽建筑大学
摘要: 本发明公开一种基于预测的多特征融合的老人语音情感识别方法,包括以下步骤:获取空巢老人语音情感数据库;分别对数据库中的每条语音和表情提取不同的三种特征参数;采用基于预测的方法对多特征进行融合;用SVM进行特征识别;输出同一段语音下预测的最高准确率的情感类别,得到识别结果。基于预测的融合框架包括两部分:跨特征预测组件,其通过建模多特征之间的关系来组合三种特征,三种特征的连接由第一组预测器替代,分别学习语音情感类别的三种特征参数之间的映射;特征内预测组件,分别对三种特征的时间演进进行建模,特征内预测组件对应于决策级融合,每种特征由两个第二组预测器建模,分别学习每种类别的过去和当前特征之间的映射。
-
公开(公告)号:CN106991172A
公开(公告)日:2017-07-28
申请号:CN201710216975.1
申请日:2017-04-05
申请人: 安徽建筑大学
IPC分类号: G06F17/30 , G10L21/0208 , G10L25/63
摘要: 本发明公开了一种多模态情感交互数据库的建立方法。一、建立多模态情感交互数据库模型:I.情感类型的选择;II.情感交互概率分布的约束;III.情感概率模型的构造。二、构建多模态情感交互数据库:I.建立视频情感数据库,步骤1、选择视频素材,步骤2、截取情感视频,步骤3、标注情感类型,步骤4、制定命名规则;II、建立音频情感数据库。根据视频情感交互数据库的建立方法建立音频情感交互数据库:先是把视频数据转换成音频数据、然后进行情感标注、制定命名规则、保存数据文件和进行情感交互的分析,除去原始语音文件中的噪声,最后建成音频情感交互数据库。三、分析视频情感数据库和音频情感数据库,建立多模态情感交互数据库。
-
公开(公告)号:CN106991172B
公开(公告)日:2020-04-28
申请号:CN201710216975.1
申请日:2017-04-05
申请人: 安徽建筑大学
IPC分类号: G06F16/21 , G06F16/242 , G06F16/332 , G06F16/78 , G06F16/73 , G06F16/683 , G10L21/0208 , G10L25/63
摘要: 本发明公开了一种多模态情感交互数据库的建立方法。一、建立多模态情感交互数据库模型:I.情感类型的选择;II.情感交互概率分布的约束;III.情感概率模型的构造。二、构建多模态情感交互数据库:I.建立视频情感数据库,步骤1、选择视频素材,步骤2、截取情感视频,步骤3、标注情感类型,步骤4、制定命名规则;II、建立音频情感数据库。根据视频情感交互数据库的建立方法建立音频情感交互数据库:先是把视频数据转换成音频数据、然后进行情感标注、制定命名规则、保存数据文件和进行情感交互的分析,除去原始语音文件中的噪声,最后建成音频情感交互数据库。三、分析视频情感数据库和音频情感数据库,建立多模态情感交互数据库。
-
公开(公告)号:CN110717423B
公开(公告)日:2023-03-17
申请号:CN201910917644.X
申请日:2019-09-26
申请人: 安徽建筑大学
IPC分类号: G06V40/16 , G06V10/82 , G06N3/0464 , G06N3/08
摘要: 本发明公开了一种老人面部表情的情感识别模型的训练方法及装置,方法包括:1)、获取老人脸图像;2)、针对每一张老人脸图像,进行一阶差分和二阶差分处理。再利用预设的小波包尺度函数获取小波包基函数,并根据小波包尺度函数以及小波包基函数,利用卷积算法,获取老人脸图像、一阶差分图像和二阶差分图像的小波包子带;3)、对小波包子带的小波包系数进行统计处理,获取对应于各张老人脸图像的小波包子带的目标特征向量;4)、将目标特征项向量以及对应的表情标签值输入到预先构建的卷积神经网络模型中,训练卷积神经网络模型至收敛,得到训练后的老人面部表情的情感识别模型。应用本发明实施例,可以提高老人面部表情的情感识别的准确率。
-
公开(公告)号:CN110717423A
公开(公告)日:2020-01-21
申请号:CN201910917644.X
申请日:2019-09-26
申请人: 安徽建筑大学
IPC分类号: G06K9/00
摘要: 本发明公开了一种老人面部表情的情感识别模型的训练方法及装置,方法包括:1)、获取老人脸图像;2)、针对每一张老人脸图像,进行一阶差分和二阶差分处理。再利用预设的小波包尺度函数获取小波包基函数,并根据小波包尺度函数以及小波包基函数,利用卷积算法,获取老人脸图像、一阶差分图像和二阶差分图像的小波包子带;3)、对小波包子带的小波包系数进行统计处理,获取对应于各张老人脸图像的小波包子带的目标特征向量;4)、将目标特征项向量以及对应的表情标签值输入到预先构建的卷积神经网络模型中,训练卷积神经网络模型至收敛,得到训练后的老人面部表情的情感识别模型。应用本发明实施例,可以提高老人面部表情的情感识别的准确率。
-
公开(公告)号:CN105244042B
公开(公告)日:2018-11-13
申请号:CN201510535485.9
申请日:2015-08-26
申请人: 安徽建筑大学
摘要: 本发明公开了一种基于有限状态自动机的语音情感交互装置与方法。所述装置包括:语音采集模块,用于设置录音源、采样率、音频通道、音频数据格式,完成后向原始文件写入裸数据生成文件A;对文件A进行语音情感识别的语音情感识别模块;通过情感的载体进行情感交互的语音情感交互模块。语音情感交互模块包括:有限状态自动机模型的构建模块,用于采用有限状态机描述语音情感状态及其转换过程;情感交互状态转换表的建立模块,用于有限状态自动机转换函数的定义和有限状态自动机转换函数的确定;转换矩阵模块,用于在有限状态自动机模型中,用状态转换矩阵描述状态转换函数。本发明还公开所述装置的基于有限状态自动机的语音情感交互方法。
-
公开(公告)号:CN116012903A
公开(公告)日:2023-04-25
申请号:CN202210564154.8
申请日:2022-05-23
申请人: 安徽建筑大学
IPC分类号: G06V40/16 , G06V10/764
摘要: 本发明提供一种人脸表情自动标注的方法及系统,方法包括:获取人脸图像,选取峰表情的人脸图像作为表情图像数据集;选出数据集中五分之一人脸图像,对其表情的情感标签进行人工标注;构建基于自监督学习的模型框架。在辅助任务中,利用Efficient‑CapsNet模型作为人脸表情特征提取的编码器,将表情图像数据集中未标注的表情图像送入编码器中进行特征提取,对比学习特征表示,获得预训练模型;在自监督学习的下游任务当中,将预训练模型获得的有标注数据集上进行训练和微调,获得最终自动标注模型;将自动标注模型对同一场景获取到的人脸表情图像进行自动标注,获得标注结果。本发明解决了现有技术中依赖人工标注以及人工标注主观差异导致结果参差不齐的技术问题。
-
公开(公告)号:CN105244042A
公开(公告)日:2016-01-13
申请号:CN201510535485.9
申请日:2015-08-26
申请人: 安徽建筑大学
摘要: 本发明公开了一种基于有限状态自动机的语音情感交互装置与方法。所述装置包括:语音采集模块,用于设置录音源、采样率、音频通道、音频数据格式,完成后向原始文件写入裸数据生成文件A;对文件A进行语音情感识别的语音情感识别模块;通过情感的载体进行情感交互的语音情感交互模块。语音情感交互模块包括:有限状态自动机模型的构建模块,用于采用有限状态机描述语音情感状态及其转换过程;情感交互状态转换表的建立模块,用于有限状态自动机转换函数的定义和有限状态自动机转换函数的确定;转换矩阵模块,用于在有限状态自动机模型中,用状态转换矩阵描述状态转换函数。本发明还公开所述装置的基于有限状态自动机的语音情感交互方法。
-
-
-
-
-
-
-
-