-
公开(公告)号：CN119441973A
公开(公告)日：2025-02-14
申请号：CN202411463222.7
申请日：2024-10-18
Applicant: 南京大学
IPC: G06F18/241 , A61B5/00 , G06V40/10 , G06V40/70 , G06N3/04 , G06N3/084 , G06F18/214
Abstract: 本发明提出了一种基于rPPG原理的多模态数据情绪识别深度学习网络。通过多模态数据与辅助任务的引入，从生理意义实现端到端的情绪识别。网络尝试基于视频和心率信号，通过观察人脸血流局部动作，而非挤眉弄眼等宏观的肌肉表情动作，从生理角度得到情绪和生理标签。通过深度学习网络捕捉视频中包含生理信息的血流动作特征，基于心率信号编码为其提供时间注意力，引导网络学习人脸视频中包含生理意义的关键特征表示。同时引入了心率自相似性特征提取作为辅助任务以提升网络性能。
Search Results
1
records
(took 0.014 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
