-
公开(公告)号:CN114511912B
公开(公告)日:2024-08-02
申请号:CN202210246865.0
申请日:2022-03-14
Applicant: 东南大学
IPC: G06V40/16 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于双流卷积神经网络的跨库微表情识别方法及装置,方法包括:(1)获取源数据库和目标数据库(2)从源数据库和目标数据库的微表情视频中提取关键帧(3)对峰值帧进行人脸区域检测和灰度处理,得到人脸灰度图像,作为空间线索;(4)分别计算起始帧与峰值帧之间以及峰值帧与终止帧之间的水平光流场和垂直光流场,并采用四个光流场堆叠得到一幅四通道灰度图像,作为时间线索;(5)建立双流卷积神经网络(6)将源数据库数据特征输入双流卷积神经网络进行预训练,训练好后再将目标数据库数据特征进行微调整训练;(7)将待识别微表情视频作为目标数据库中数据,输入训练好的双流卷积神经网络,得到微表情类型。本发明识别准确率更高。
-
公开(公告)号:CN114140843B
公开(公告)日:2024-04-16
申请号:CN202111320516.0
申请日:2021-11-09
Applicant: 东南大学
IPC: G06V40/16 , G06V10/774
Abstract: 本发明公开了一种基于样本自修复的跨数据库表情识别方法,包括如下步骤:(1)获取两个表情数据库,分别作为训练数据库和测试数据库;(2)从训练数据库和测试数据库中的表情图片中提取出灰度人脸图像,再经过特征提取网络提取人脸表情特征;(3)建立离群感知模型;(4)建立离群修复模型;(5)建立特征转移模型;(6)将得到的特征向量经过一个全连接层,在全连接层后添加softmax层,计算加权交叉熵以压制离群数据;(7)对于训练数据库表情,按照步骤(2)~(6)训练得到样本自修复网络;(8)对于待识别的测试数据库表情,按照步骤(2)、(5)、(6),输出即为识别出的表情类别。本发明识别准确率更高,更方便。
-
公开(公告)号:CN117523640A
公开(公告)日:2024-02-06
申请号:CN202311618387.2
申请日:2023-11-30
Applicant: 东南大学
Abstract: 本发明公开了一种基于疼痛关联性矫正模型的大鼠面部疼痛识别方法及系统,方法包括:(1)获取若干大鼠面部图像和对应标识大鼠疼痛与否的标签;(2)构建疼痛关联性权重深度学习模型,所述模型包括面部局部特征提取模块、面部特征加权融合模块和疼痛识别模块;(3)将每一大鼠面部图像和对应标签作为一个样本,输入所述疼痛关联性权重深度学习模型进行训练;(4)将待识别的大鼠面部图像输入训练好的疼痛关联性权重深度学习模型,识别大鼠面部疼痛与否。本发明以非侵入的方式识别大鼠疼痛与否,自动化程度高、准确率高。
-
公开(公告)号:CN115049957A
公开(公告)日:2022-09-13
申请号:CN202210605395.2
申请日:2022-05-31
Applicant: 东南大学
IPC: G06V20/40 , G06V40/16 , G06V10/82 , G06V10/774 , G06V10/764 , G06T7/30 , G06T7/11 , G06N3/04 , G06F16/75 , G06F16/71
Abstract: 本发明公开了一种基于对比放大网络的微表情识别方法及装置,方法包括:(1)获取微表情数据库(2)将微表情视频转换为微表情帧序列,预处理后采样作为源样本;(3)对于每个源样本,计算剩余帧与该源样本在嵌入空间的距离,并映射成概率,得到距离概率分布;(4)根据概率分布从剩余视频帧中采样多个帧作为负样本;(5)构建对比放大网络;(6)每个源样本进行数据增强形成锚样本和正样本,将锚样本、正样本和对应的负样本作为训练样本输入对比放大网络进行训练,损失函数为视频内对比损失、类间对比损失、交叉熵损失之和;(7)将待识别的微表情视频预处理后输入训练好的对比放大网络,识别出微表情类别。本发明准确率更高,更方便。
-
公开(公告)号:CN114898777A
公开(公告)日:2022-08-12
申请号:CN202210513096.6
申请日:2022-05-12
Applicant: 东南大学
Abstract: 本发明公开了一种基于深度直推式迁移网络的跨库语音情感识别方法及装置,方法包括:(1)获取源语音情感数据库和目标语音情感数据库(2)将源数据库和目标数据库的情感音频处理成语谱图(3)建立深度回归神经网络(4)将源数据库和目标数据库的语谱图输入深度回归神经网络进行训练,将从网络得到的特征来计算源数据和目标数据的、不同尺度的最大均值差异,对神经网络进行微调(5)将待识别语音作为目标数据库中的语音数据,输入训练好的深度卷积神经网络,得到语音情感类型。本发明识别准确率更高。
-
公开(公告)号:CN114550272A
公开(公告)日:2022-05-27
申请号:CN202210247495.2
申请日:2022-03-14
Applicant: 东南大学
IPC: G06V40/16 , G06V10/774 , G06K9/62
Abstract: 本发明公开了一种基于视频时域动态注意力模型的微表情识别方法及装置,方法包括:(1)获取微表情数据库,所述微表情数据中包括若干微表情视频和对应的微表情类别标签;(2)构建微表情识别模型,所述微表情识别模型包括:光流特征提取模块、深度特征提取模块、加权深度特征提取模块、全连接层以及softmax层,用于根据加权视频级别深度特征识别出对应微表情视频所属类别;(3)将微表情数据库的每一微表情视频和对应标签作为一个样本,输入所述微表情识别模型,进行训练;(4)将待识别的微表情视频输入训练好的微表情识别模型,输出即为识别的微表情类别。本发明识别准确率更高。
-
公开(公告)号:CN114511912A
公开(公告)日:2022-05-17
申请号:CN202210246865.0
申请日:2022-03-14
Applicant: 东南大学
IPC: G06V40/16 , G06V10/774 , G06K9/62 , G06N3/04
Abstract: 本发明公开了一种基于双流卷积神经网络的跨库微表情识别方法及装置,方法包括:(1)获取源数据库和目标数据库(2)从源数据库和目标数据库的微表情视频中提取关键帧(3)对峰值帧进行人脸区域检测和灰度处理,得到人脸灰度图像,作为空间线索;(4)分别计算起始帧与峰值帧之间以及峰值帧与终止帧之间的水平光流场和垂直光流场,并采用四个光流场堆叠得到一幅四通道灰度图像,作为时间线索;(5)建立双流卷积神经网络(6)将源数据库数据特征输入双流卷积神经网络进行预训练,训练好后再将目标数据库数据特征进行微调整训练;(7)将待识别微表情视频作为目标数据库中数据,输入训练好的双流卷积神经网络,得到微表情类型。本发明识别准确率更高。
-
公开(公告)号:CN114469137A
公开(公告)日:2022-05-13
申请号:CN202111560169.9
申请日:2021-12-20
Applicant: 东南大学
Abstract: 本发明公开了一种基于空时特征融合模型的跨领域脑电情感识别方法和系统,方法包括:(1)获取两个脑电情感数据库,一个作为训练集另一个作为测试集;(2)建立脑电情感识别网络,包括从前到后依次连接的预处理器、数据对齐器、空时特征提取器和情感分类器,其中,所述空时特征提取器首先提取脑电情感数据的时频谱特征,然后将提取的时频谱特征转换为三维张量后进行空时特征提取,所述情感分类器根据空时特征进行情感分类;(3)对所述脑电情感识别网络进行训练;(4)获取待识别的脑电情感数据,将其作为一个测试集样本输入训练好的脑电情感识别网络,得到识别的情感类别。本发明识别准确率更高。
-
公开(公告)号:CN111695427A
公开(公告)日:2020-09-22
申请号:CN202010383157.2
申请日:2020-05-08
Applicant: 东南大学
IPC: G06K9/00
Abstract: 本发明公开了一种基于稀疏共享迁移回归模型的跨库微表情识别架构,架构主要包括基于源域和目标域微表情数据库的特征提取、学习优化一种更加共享的迁移回归模型和针对目标域微表情数据库样本的识别。本发明从均值和协方差矩阵角度来减小源域和目标域的分布差异,将标签的源域和未标签的目标域映射到公共的特征空间,再通过优化稀疏回归系数矩阵对三个时空描述符进行大量的实验。在与其他7种领域自适应的方法进行比较的过程中,证明了所提出发明确实优于另外7种方法。
-
公开(公告)号:CN111583966A
公开(公告)日:2020-08-25
申请号:CN202010372728.2
申请日:2020-05-06
Applicant: 东南大学
Abstract: 本发明公开了一种基于联合分布最小二乘回归的跨数据库语音情感识别方法及装置,方法包括:(1)获取训练数据库和测试数据库,其中,训练语音数据库中包含有若干语音片段和对应的语音情感类别标签,测试数据库中仅包含有若干待识别语音片段;(2)利用若干声学低维描述子对语音片段进行处理并进行统计,将统计得到的每个信息作为一个情感特征,并将多个情感特征组成向量作为对应语音片段的特征向量;(3)建立基于联合分布的最小二乘回归模型,利用训练数据库与测试数据库联合训练,得到稀疏投影矩阵;(4)对于待识别语音片段,按照步骤(2)得到特征向量,并采用学习到的稀疏投影矩阵,得到对应的语音情感类别标签。本发明可以适应不同环境,准确率更高。
-
-
-
-
-
-
-
-
-