一种基于transformer与不确定性的动态人脸表情识别方法

    公开(公告)号:CN116524563B

    公开(公告)日:2024-01-19

    申请号:CN202310474728.7

    申请日:2023-04-28

    摘要: 一种基于transformer与不确定性的动态人脸表情识别方法,使用Vision Transformer有效地表示多尺度特征,以实现密集预测任务。引入全局到局部特征交互(GLI),以利用CNN的局部连通性和transformer的全局上下文。最后,使用根据DS证据理论计算证据和不确定性,并通过DS证据理论对证据和不确定性进行组合,从而在保持良好性能的同时确保效率。该方法通过多特征融合的方式提高了表情视频的特征提取效果,并通过DS证据理论、多分支卷积、注意力机制深度学习了不平衡的动态表情特征。相较其他方法,本方法科学有效的降低了样本不平衡对表情识别带来的影响,充分利用时空特征挖掘视频表情的(56)对比文件Wei Cao等.TransFS: Face SwappingUsing Transformer.2023 IEEE 17thInternational Conference on AutomaticFace and Gesture Recognition (FG).2023,全文.