一种基于transformer与不确定性的动态人脸表情识别方法

    公开(公告)号:CN116524563A

    公开(公告)日:2023-08-01

    申请号:CN202310474728.7

    申请日:2023-04-28

    摘要: 一种基于transformer与不确定性的动态人脸表情识别方法,使用Vision Transformer有效地表示多尺度特征,以实现密集预测任务。引入全局到局部特征交互(GLI),以利用CNN的局部连通性和transformer的全局上下文。最后,使用根据DS证据理论计算证据和不确定性,并通过DS证据理论对证据和不确定性进行组合,从而在保持良好性能的同时确保效率。该方法通过多特征融合的方式提高了表情视频的特征提取效果,并通过DS证据理论、多分支卷积、注意力机制深度学习了不平衡的动态表情特征。相较其他方法,本方法科学有效的降低了样本不平衡对表情识别带来的影响,充分利用时空特征挖掘视频表情的潜在语义信息,以此进行表情分类提高可靠性和准确率,解决表情识别的需求。