公开(公告)号：CN111783543B

公开(公告)日：2023-10-27

申请号：CN202010489364.6

申请日：2020-06-02

申请人： 北京科技大学

发明人： 支瑞聪 ,  周才霞

IPC分类号： G06V40/16 ,  G06V10/82 ,  G06V10/764 ,  G06V10/766 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明提供一种基于多任务学习的面部活动单元检测方法，包括：辅助任务学习：将全局平均池化层之前的AlexNet网络作为共享结构提取共享的面部全局特征，并将提取的共享的面部全局特征分别送入与任务相关的独立网络结构中得到辅助任务的输出；所述辅助任务的输出包括标志点检测、性别识别、头部姿势估计和表情识别的输出；主任务学习：将面部裁剪为上半脸和下半脸，分别输入修改后的Resnet50网络中学习与活动单元相关的特征，将辅助任务学习步骤提取的共享的面部全局特征融入并加入注意力机制；特征组合：将辅助任务的输出组合起来作为关系信息来修正活动单元相关特征的输出。本发明涉及人机交互及模式识别技术领域。

公开(公告)号：CN111783543A

公开(公告)日：2020-10-16

申请号：CN202010489364.6

申请日：2020-06-02

申请人： 北京科技大学

发明人： 支瑞聪 ,  周才霞

IPC分类号： G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

摘要： 本发明提供一种基于多任务学习的面部活动单元检测方法，包括：辅助任务学习：将全局平均池化层之前的AlexNet网络作为共享结构提取共享的面部全局特征，并将提取的共享的面部全局特征分别送入与任务相关的独立网络结构中得到辅助任务的输出；所述辅助任务的输出包括标志点检测、性别识别、头部姿势估计和表情识别的输出；主任务学习：将面部裁剪为上半脸和下半脸，分别输入修改后的Resnet50网络中学习与活动单元相关的特征，将辅助任务学习步骤提取的共享的面部全局特征融入并加入注意力机制；特征组合：将辅助任务的输出组合起来作为关系信息来修正活动单元相关特征的输出。本发明涉及人机交互及模式识别技术领域。

公开(公告)号：CN109840512A

公开(公告)日：2019-06-04

申请号：CN201910149751.2

申请日：2019-02-28

申请人： 北京科技大学

发明人： 支瑞聪 ,  李婷婷 ,  周才霞

IPC分类号： G06K9/00 ,  G06N3/04 ,  G06N3/08

摘要： 本发明提供一种面部动作单元识别方法及识别装置，能够利用进化算法实现网络参数的调优。所述方法包括：获取AU图像样本，其中，AU表示面部动作单元；根据获取的图像样本，构建三维深度卷积神经网络；根据获取的图像样本，利用进化算法对构建的三维深度卷积神经网络进行优化训练，得到进化卷积网络模型，其中，所述进化卷积网络模型用于检测AU是否存在。本发明涉及图像处理与模式识别领域。