-
公开(公告)号：CN114511912B
公开(公告)日：2024-08-02
申请号：CN202210246865.0
申请日：2022-03-14
Applicant: 东南大学
IPC: G06V40/16 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于双流卷积神经网络的跨库微表情识别方法及装置，方法包括：(1)获取源数据库和目标数据库(2)从源数据库和目标数据库的微表情视频中提取关键帧(3)对峰值帧进行人脸区域检测和灰度处理，得到人脸灰度图像，作为空间线索；(4)分别计算起始帧与峰值帧之间以及峰值帧与终止帧之间的水平光流场和垂直光流场，并采用四个光流场堆叠得到一幅四通道灰度图像，作为时间线索；(5)建立双流卷积神经网络(6)将源数据库数据特征输入双流卷积神经网络进行预训练，训练好后再将目标数据库数据特征进行微调整训练；(7)将待识别微表情视频作为目标数据库中数据，输入训练好的双流卷积神经网络，得到微表情类型。本发明识别准确率更高。
-
公开(公告)号：CN114511912A
公开(公告)日：2022-05-17
申请号：CN202210246865.0
申请日：2022-03-14
Applicant: 东南大学
IPC: G06V40/16 , G06V10/774 , G06K9/62 , G06N3/04
Abstract: 本发明公开了一种基于双流卷积神经网络的跨库微表情识别方法及装置，方法包括：(1)获取源数据库和目标数据库(2)从源数据库和目标数据库的微表情视频中提取关键帧(3)对峰值帧进行人脸区域检测和灰度处理，得到人脸灰度图像，作为空间线索；(4)分别计算起始帧与峰值帧之间以及峰值帧与终止帧之间的水平光流场和垂直光流场，并采用四个光流场堆叠得到一幅四通道灰度图像，作为时间线索；(5)建立双流卷积神经网络(6)将源数据库数据特征输入双流卷积神经网络进行预训练，训练好后再将目标数据库数据特征进行微调整训练；(7)将待识别微表情视频作为目标数据库中数据，输入训练好的双流卷积神经网络，得到微表情类型。本发明识别准确率更高。
-
公开(公告)号：CN109064710A
公开(公告)日：2018-12-21
申请号：CN201810919907.6
申请日：2018-08-14
Applicant: 东南大学
IPC: G08B21/04
CPC classification number: G08B21/043 , G08B21/0446
Abstract: 本发明公开了一种具有摔倒识别功能的安全防护终端及系统，终端包括：加速度传感模块，用于实时获取用户的加速度；GPS定位模块，用于获取用户的位置信息；通信模块，用于在单片机控制下发送信息；告警器，用于在单片机控制下发出告警；单片机，用于根据加速度传感模块获取的加速度计算得到加速度幅值和夹角，并将加速度幅值和夹角作为人体的状态特征值，通过不同人体状态下的状态特征值阈值条件来平判断当前用户状态，进行摔倒类型识别，并将摔倒识别类型和位置信息通过通信模块发送出去，并控制告警器发出告警。本发明可以为老年人、残疾人等提供良好的安全保障，且识别精确率更高，减少误报警。
-
公开(公告)号：CN112784730A
公开(公告)日：2021-05-11
申请号：CN202110072249.3
申请日：2021-01-20
Applicant: 东南大学
Abstract: 本发明公开了一种基于时域卷积网络的多模态情感识别方法，对音视频样本中的视频模态数据间隔采样并进行人脸检测与关键点定位，得到灰度人脸图像序列；进行短时傅里叶变换并通过梅尔滤波器组，得到梅尔声谱图；将灰度人脸图像序列和梅尔声谱图分别通过人脸图像卷积网络和声谱图像卷积网络，并进行特征融合；将融合特征序列输入时域卷积网络得到高级特征向量；将高级特征向量通过全连接层以及Softmax回归，得到每一情感类别的预测概率，与实际概率分布之间计算交叉熵损失，并通过反向传播训练整个网络，得到训练好的神经网络模型。本发明能够通过音视频预测情感，同时训练时长短，识别准确率高。
-
Patent Agency Ranking
公开(公告)号：CN112784730B
公开(公告)日：2022-03-29
申请号：CN202110072249.3
申请日：2021-01-20
Applicant: 东南大学
Abstract: 本发明公开了一种基于时域卷积网络的多模态情感识别方法，对音视频样本中的视频模态数据间隔采样并进行人脸检测与关键点定位，得到灰度人脸图像序列；进行短时傅里叶变换并通过梅尔滤波器组，得到梅尔声谱图；将灰度人脸图像序列和梅尔声谱图分别通过人脸图像卷积网络和声谱图像卷积网络，并进行特征融合；将融合特征序列输入时域卷积网络得到高级特征向量；将高级特征向量通过全连接层以及Softmax回归，得到每一情感类别的预测概率，与实际概率分布之间计算交叉熵损失，并通过反向传播训练整个网络，得到训练好的神经网络模型。本发明能够通过音视频预测情感，同时训练时长短，识别准确率高。
-
公开(公告)号：CN110287805B
公开(公告)日：2021-02-09
申请号：CN201910468036.5
申请日：2019-05-31
Applicant: 东南大学
Abstract: 本发明公开了一种基于三流卷积神经网络的微表情识别方法及系统，所述方法包括：(1)获取若干微表情视频，转化为若干微表情图像序列样本；(2)从所述图像序列样本中提取出单通道人脸灰度图像，作为静态空间特征；(3)对所述单通道人脸灰度图像进行分块和堆叠，得到多通道灰度图像，作为局部空间特征；(4)对于所述图像序列样本，计算由水平/垂直光流场堆叠而成的四通道灰度图像，作为动态时间特征；(5)建立由静态空间流、堆叠空间流、动态时间流三路卷积网络合并而成的三流卷积神经网络，将每路对应特征作为输入，对三流卷积神经网络进行训练；(6)将待识别的微表情视频输入训练好的三流卷积神经网络，得到识别出的微表情。本发明识别率更高。
-
公开(公告)号：CN110287805A
公开(公告)日：2019-09-27
申请号：CN201910468036.5
申请日：2019-05-31
Applicant: 东南大学
Abstract: 本发明公开了一种基于三流卷积神经网络的微表情识别方法及系统，所述方法包括：(1)获取若干微表情视频，转化为若干微表情图像序列样本；(2)从所述图像序列样本中提取出单通道人脸灰度图像，作为静态空间特征；(3)对所述单通道人脸灰度图像进行分块和堆叠，得到多通道灰度图像，作为局部空间特征；(4)对于所述图像序列样本，计算由水平/垂直光流场堆叠而成的四通道灰度图像，作为动态时间特征；(5)建立由静态空间流、堆叠空间流、动态时间流三路卷积网络合并而成的三流卷积神经网络，将每路对应特征作为输入，对三流卷积神经网络进行训练；(6)将待识别的微表情视频输入训练好的三流卷积神经网络，得到识别出的微表情。本发明识别率更高。
-
公开(公告)号：CN112784798B
公开(公告)日：2022-11-08
申请号：CN202110135196.5
申请日：2021-02-01
Applicant: 东南大学
Abstract: 本发明公开了一种基于特征‑时间注意力机制的多模态情感识别方法，包括以下步骤，构建神经网络模型，获取含有情感信息的音视频样本和视频初级特征矩阵；获取音频初级特征矩阵；根据视频初级特征矩阵和音频初级特征矩阵得到融合特征矩阵，将融合特征矩阵输入特征自注意力机制模块；将经过处理的融合特征矩阵输入双向门控循环单元网络，得到所有时刻的输出向量以及最后一个隐藏层的状态向量；获取注意力权重，根据注意力权重得到高级特征向量；得到训练后可以对音视频样本进行情感分类的神经网络模型；采集待检测的音视频并将其输入训练后的神经网络模型，得到情感分类结果。通过本发明可以实现提升对于对音视频中人脸情感识别的准确率。
-
公开(公告)号：CN112784798A
公开(公告)日：2021-05-11
申请号：CN202110135196.5
申请日：2021-02-01
Applicant: 东南大学
Abstract: 本发明公开了一种基于特征‑时间注意力机制的多模态情感识别方法，包括以下步骤，构建神经网络模型，获取含有情感信息的音视频样本和视频初级特征矩阵；获取音频初级特征矩阵；根据视频初级特征矩阵和音频初级特征矩阵得到融合特征矩阵，将融合特征矩阵输入特征自注意力机制模块；将经过处理的融合特征矩阵输入双向门控循环单元网络，得到所有时刻的输出向量以及最后一个隐藏层的状态向量；获取注意力权重，根据注意力权重得到高级特征向量；得到训练后可以对音视频样本进行情感分类的神经网络模型；采集待检测的音视频并将其输入训练后的神经网络模型，得到情感分类结果。通过本发明可以实现提升对于对音视频中人脸情感识别的准确率。
-
-
-
-
-
-
-
-
Search Results
9
records
(took 0.021 seconds)
