-
公开(公告)号：CN113780091A
公开(公告)日：2021-12-10
申请号：CN202110926712.6
申请日：2021-08-12
Applicant: 西安交通大学
Abstract: 本发明公开了一种基于身体姿势变化表示的视频情感识别方法。本发明提出的情感识别方法只关注视频中人们的关键关节点信息，通过对关节点变化进行编码，利用逐通道卷积网络识别情状态，解决某些情况下无法利用面部表情识别情感的问题。首先，对身体的25个关节点位置进行确定；其次，提出身体姿势变化的表示方法，将表示后的关节点信息按时间汇聚；最后，构建一个包含注意力机制的逐通道卷积神经网络来识别情感状态。本发明简单且易于实现，姿势变化表示方法无需复杂计算，浅层识别模型具有极低的开销，同时不需要进行预训练，保证情感识别有效性同时极大提高识别速度。
-
公开(公告)号：CN113611295A
公开(公告)日：2021-11-05
申请号：CN202110874297.4
申请日：2021-07-30
Applicant: 西安交通大学
Abstract: 本发明公开了一种基于声纹和情感线索的抑郁症识别方法，该方法利用预训练模型来提取有效的深度声纹识别和语音情感识别特征并进行融合，实现对说话人的声纹和情感差异信息的互补。考虑到目前抑郁症识别的数据量较小且识别结果具有代价敏感性，提出层次抑郁症识别模型。该模型在回归器之前设置多个分类器，对每个样本进行多分类器结果导向的抑郁等级预测，避免模型训练的过拟合问题。实验结果表明深度声纹识别和语音情感识别特征的融合能够显著提高模型的预测性能。与目前普遍的抑郁症识别网络结构和最优方法相比，层次抑郁症识别模型可以避免利用小样本训练模型的过拟合问题，提高预测准确率，同时抑郁症识别性能优于目前语音模态的最优方法。
-
公开(公告)号：CN115908659A
公开(公告)日：2023-04-04
申请号：CN202211493192.5
申请日：2022-11-25
Applicant: 西安交通大学
Abstract: 本发明公开了一种基于生成对抗网络的说话人脸合成方法和装置。该方法与装置关注除嘴型外的头部动作、表情、眨眼等隐式信息，输入一段语音与目标人脸参考视频即可合成优质、自然的目标人物说话视频，能解决主播无法到场的媒体录制及合成视频存在失真僵硬等问题。首先，获取语音与参考视频，并对音频预处理及特征提取，得到音频特征；同时将视频输入到三维人脸重建模型得到人脸三维数据；再将音频特征输入到人脸深度生成模型预测面部参数；利用人脸三维渲染模型得到相应的三维面部图像；再针对眨眼参数提取眼部遮罩，对眼部编码；将编码与面部图像输入到深度人脸渲染模型合成逐帧人脸图像；最终将所有图像拼接，结合音频合成说话人脸视频。
-
Patent Agency Ranking
公开(公告)号：CN113705384A
公开(公告)日：2021-11-26
申请号：CN202110925608.5
申请日：2021-08-12
Applicant: 西安交通大学
Abstract: 本发明公开了一种考虑局部时空特性和全局时序线索的面部表情识别方法，包括：首先，基于人脸识别技术处理原始视频得到只包含面部区域的视频，并将视频平均分为一定数量的片段；其次，提出一个基于超级图像的时空卷积模型，以采样每个片段的视频帧为输入，利用2D卷积实现视频片段的局部时空特征提取，同时获取不同时刻片段的情感状态向量，有效降低模型训练参数，提升训练速度；最后，提出一个双流长短时记忆模型，考虑了情感表达的时序变化关系和片段级局部时空特征的时序关系，二者相融合提高面部表情识别性能。本发明简单且易于实现，与目前普遍存在的识别模型结构相比，模型参数量降低，同时保证了面部表情识别的有效性。
-
公开(公告)号：CN113780091B
公开(公告)日：2023-08-22
申请号：CN202110926712.6
申请日：2021-08-12
Applicant: 西安交通大学
IPC: G06V40/10 , G06V20/40 , G06F18/2415 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于身体姿势变化表示的视频情感识别方法。本发明提出的情感识别方法只关注视频中人们的关键关节点信息，通过对关节点变化进行编码，利用逐通道卷积网络识别情状态，解决某些情况下无法利用面部表情识别情感的问题。首先，对身体的25个关节点位置进行确定；其次，提出身体姿势变化的表示方法，将表示后的关节点信息按时间汇聚；最后，构建一个包含注意力机制的逐通道卷积神经网络来识别情感状态。本发明简单且易于实现，姿势变化表示方法无需复杂计算，浅层识别模型具有极低的开销，同时不需要进行预训练，保证情感识别有效性同时极大提高识别速度。
-
公开(公告)号：CN113611295B
公开(公告)日：2024-07-16
申请号：CN202110874297.4
申请日：2021-07-30
Applicant: 西安交通大学
Abstract: 本发明公开了一种基于声纹和情感线索的抑郁症识别方法，该方法利用预训练模型来提取有效的深度声纹识别和语音情感识别特征并进行融合，实现对说话人的声纹和情感差异信息的互补。考虑到目前抑郁症识别的数据量较小且识别结果具有代价敏感性，提出层次抑郁症识别模型。该模型在回归器之前设置多个分类器，对每个样本进行多分类器结果导向的抑郁等级预测，避免模型训练的过拟合问题。实验结果表明深度声纹识别和语音情感识别特征的融合能够显著提高模型的预测性能。与目前普遍的抑郁症识别网络结构和最优方法相比，层次抑郁症识别模型可以避免利用小样本训练模型的过拟合问题，提高预测准确率，同时抑郁症识别性能优于目前语音模态的最优方法。
-
公开(公告)号：CN115862097A
公开(公告)日：2023-03-28
申请号：CN202211493911.3
申请日：2022-11-25
Applicant: 西安交通大学
Abstract: 本发明公开了一种基于多注意力多尺度特征学习的遮挡人脸识别方法和装置。该方法基于通道注意力和空间注意力机制，削减遮挡物对人脸识别的影响，解决有遮挡情况下人脸识别准确率降低的问题。首先在传统卷积神经网络的基础上添加多层次注意力网络，提取人脸图像的通道注意力图和空间注意力图；其次，构建多尺度特征融合器，整合人脸图像的局部与全局信息；接下来，通过遮挡掩码生成器定位遮挡区域并生成遮挡掩码，削减遮挡区域的影响；最后，通过一个多任务学习网络进行遮挡类别的分类和人脸身份的分类，得到最终的人脸识别结果。本发明简单且易于实现，模型深度较浅开销较低，实现遮挡人脸准确识别的同时保证了识别效率。
-
公开(公告)号：CN113705384B
公开(公告)日：2024-04-05
申请号：CN202110925608.5
申请日：2021-08-12
Applicant: 西安交通大学
IPC: G06V40/16 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/09
Abstract: 本发明公开了一种考虑局部时空特性和全局时序线索的面部表情识别方法，包括：首先，基于人脸识别技术处理原始视频得到只包含面部区域的视频，并将视频平均分为一定数量的片段；其次，提出一个基于超级图像的时空卷积模型，以采样每个片段的视频帧为输入，利用2D卷积实现视频片段的局部时空特征提取，同时获取不同时刻片段的情感状态向量，有效降低模型训练参数，提升训练速度；最后，提出一个双流长短时记忆模型，考虑了情感表达的时序变化关系和片段级局部时空特征的时序关系，二者相融合提高面部表情识别性能。本发明简单且易于实现，与目前普遍存在的识别模型结构相比，模型参数量降低，同时保证了面部表情识别的有效性。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.025 seconds)
