一种基于非接触式设备的视线落点检测方法

    公开(公告)号:CN110321820B

    公开(公告)日:2022-03-04

    申请号:CN201910549413.8

    申请日:2019-06-24

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于非接触式设备的视线落点检测方法,用于孤独症谱系障碍早期筛查场景下的视线落点检测系统,包括以下步骤:基于非接触式设备的数据采集场景:用于采集无约束场景下婴幼儿交互行为的多角度视频数据;视线落点检测网络:提取研究对象位置特征、头部姿态特征、眼部特征得到视线特征,与场景组件显著性特征融合,设计混合损失函数迭代更新网络模型参数,从而得到研究对象视线范围内最可能关注的显著性位置,作为视线落点。本发明避免了穿戴式设备的不利影响,且低干扰、低成本、易推广,方便采集包含研究对象、场景元素及交互对象在内多角度画面的完整信息。

    一种基于深度域适应性卷积神经网络的跨库语音情感识别方法

    公开(公告)号:CN110390955B

    公开(公告)日:2021-07-27

    申请号:CN201910583878.5

    申请日:2019-07-01

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于深度域适应性卷积神经网络的跨库语音情感识别方法,包括:(1)获取语言不同的训练数据库和测试数据库(2)将训练数据库和测试数据库中的语音信号分别处理得到每段语音信号的频谱图;(3)建立卷积神经网络;(4)将训练数据库和测试数据库的语音信号频谱图分别输入卷积神经网络进行训练,训练时,先计算训练数据库和测试数据库语音信号频谱图分别对应的全连接层输出之间的最大均值差异,之后计算训练数据库softmax层输出以及其情感类别标签之间的交叉熵,最后将最大均值差异和交叉熵相加作为网络损失采用反向传播算法更新网络参数,完成网络训练;(5)获取待识别的语音信号频谱图,输入训练好的深度卷积神经网络,输出情感类别。本发明准确率更高。

    一种基于领域对抗的语音情感识别方法及装置

    公开(公告)号:CN110992988A

    公开(公告)日:2020-04-10

    申请号:CN201911343276.9

    申请日:2019-12-24

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于领域对抗的语音情感识别方法及装置,方法包括:(1)获取语音情感数据库,划分为源域数据库和目标域数据库;(2)对于每一语音信号,提取IS10特征作为全局特征;(3)将语音信号按照时间分成前后重叠50%的若干短片段,提取每个短片段的IS10特征;(4)将所有短片段的IS10特征输入双向长短时间记忆模型,再输入进注意力机制模型,输出作为局部特征;(5)将全局特征和局部特征串联作为联合特征;(6)建立神经网络,包括领域判别器和情感分类器;(7)对神经网络进行训练,网络总损失为情感分类器损失减去领域判别器损失;(8)获取待识别语音信号的联合特征,输入训练好的神经网络,得到预测的情感类别。本发明识别结果更准确。

    基于注意力机制的脑电信号情感判别方法及装置

    公开(公告)号:CN110515456A

    公开(公告)日:2019-11-29

    申请号:CN201910747644.X

    申请日:2019-08-14

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于注意力机制的脑电信号情感判别方法及装置,该方法包括:(1)获取通过脑电采集设备的多个信号电极采集的脑电信号;(2)提取每个频段信号上的过零计数特征作为脑电特征;(3)构建全局特征提取模型,所述模型包括特征提取分支和注意力向量生成分支和全局特征生成单元;(4)构建带有全连接层的长短时记忆网络LSTM,采用全局特征作为网络输入进行训练,(5)按照步骤(1)-(3)提取待识别脑电信号的全局特征,并输入训练好的带有全连接层的长短时记忆网络,输出即为识别的情感类别。本发明识别结果更精确。

    基于CDAR模型的跨库语音情感识别方法及装置

    公开(公告)号:CN115497508B

    公开(公告)日:2025-02-25

    申请号:CN202211010154.X

    申请日:2022-08-23

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于CDAR模型的跨库语音情感识别方法及装置,方法包括:(1)获取两个语音情感数据库,分别作为训练数据库和测试数据库,(2)从训练数据库和测试数据库中提取具有相同情感类别标签的语音样本,分别作为源域样本和目标域样本,并提取源域样本和目标域样本的IS09特征作为样本特征;(3)建立协同分布适配回归CDAR模型,(4)利用交替方向法和非精确增广拉格朗日乘子求解CDAR模型,得到投影矩阵U的最优值#imgabs0#(5)对于待识别语音,提取IS09特征,并采用学习到的#imgabs1#投影得到对应的情感类别。本发明识别准确率更高。

    基于微弱强度感知增强的微表情识别方法及装置

    公开(公告)号:CN118552994A

    公开(公告)日:2024-08-27

    申请号:CN202410606630.7

    申请日:2024-05-16

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于微弱强度感知增强的微表情识别方法及装置,方法包括:获取微表情数据库;对每个微表情视频样本进行分段处理,并从每段中随机抽取一帧组合为帧序列,并对帧序列进行预处理;构建强度感知神经网络,所述强度感知神经网络包括特征提取模块和微表情识别模块;构建链式排序损失函数、交叉熵损失函数、全局排序损失函数,将链式排序损失函数、交叉熵损失函数和全局排序损失函数的加权和作为总损失函数,并通过梯度下降优化此损失函数来训练所述强度感知神经网络;将待识别的微表情视频处理后,输入训练好的强度感知神经网络,识别出微表情类别。本发明准确性更高。

    基于TSTRN的跨库语音情感识别方法及装置

    公开(公告)号:CN117219126A

    公开(公告)日:2023-12-12

    申请号:CN202311373019.6

    申请日:2023-10-23

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于TSTRN(双阶段迁移回归神经网络)的跨库语音情感识别方法及装置,包括:(1)选择两个不同的语音情感数据库作为源数据库和目标数据库;(2)对于源数据库和目标数据库的各语音样本进行预处理,提取语谱图特征;(3)建立TSTRN;(4)对TSTRN进行双阶段训练,其中第一阶段将源数据库和目标数据库的语谱图特征同时输入,基于领域对齐任务,减少训练数据和测试数据的特征分布差异,第二阶段对于第一阶段训练的TSTRN基于语音情感识别任务进行微调,使得具有情感区分性;(5)对于待识别的语音样本,提取语谱图特征后输入到经过训练的TSTRN,得到情感分类结果。本发明效果更好。

    基于放大知识保持的微表情识别方法及装置

    公开(公告)号:CN115909451A

    公开(公告)日:2023-04-04

    申请号:CN202211439173.4

    申请日:2022-11-17

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于放大知识保持的微表情识别方法及装置,方法包括:获取宏、微表情图像序列样本并进行预处理;从宏表情图像序列样本中提取最后一帧、索引靠前帧,组成强弱表情对;构建强表情双流卷积神经网络,并提取强表情样本的静态空间特征和动态空间特征作为训练样本进行训练;以训练好的强表情网络为预训练网络,构建强‑弱表情双流卷积神经网络,并采用强弱表情对进行训练;以训练好的强‑弱表情网络为预训练网络,构建弱‑微表情双流卷积神经网络,并采用弱表情与微表情图像序列中间帧配对进行训练;将待识别微表情视频输入训练好的弱‑微表情双流卷积神经网络,识别出微表情类别。本发明准确率更高。

    一种基于双半球差异性模型的脑电情感识别方法及装置

    公开(公告)号:CN111126263B

    公开(公告)日:2022-11-25

    申请号:CN201911343069.3

    申请日:2019-12-24

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于双半球差异性模型的脑电情感识别方法及装置,方法包括:(1)获取一个脑电情感数据库,包括训练集和测试集;(2)建立脑电情感识别网络,所述脑电情感识别网络包括特征提取器、域判别器和情感分类器;(3)对所述脑电情感识别网络进行训练,训练时,将训练集和测试集中每一脑电情感数据作为一个样本,输入特征提取器,提取双半球特征,并将从训练集和测试集提取的每个双半球特征作为一个样本,输入域判别器,将从训练集提取的每个双半球特征作为一个样本,输入情感分类器;(4)提取待识别的脑电情感数据,将其作为一个测试集样本输入训练好的脑电情感识别网络,并按照步骤(3)对脑电情感识别网络调整,得到识别的情感类别。本发明准确率更高。

    基于隐式对齐子空间学习的跨库语音情感识别方法及装置

    公开(公告)号:CN115035915A

    公开(公告)日:2022-09-09

    申请号:CN202210605389.7

    申请日:2022-05-31

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于隐式对齐子空间学习的跨库语音情感识别方法及装置,方法包括:(1)获取两个语音情感数据库,分别作为训练数据库和测试数据库;(2)对训练数据库和测试数据库中的每个语音样本提取语音特征;(3)建立联合分布隐式对齐子空间学习模型(4)根据语音样本的语音特征对所述学习模型进行学习,得到语料不变投影矩阵U的最优值(5)对于待识别语音,按照步骤(2)得到语音特征,并采用学习到的得到对应的情感类别。本发明识别准确率更高。

Patent Agency Ranking