公开(公告)号：CN114842542A

公开(公告)日：2022-08-02

申请号：CN202210606040.5

申请日：2022-05-31

申请人： 中国矿业大学

发明人： 邵志文 ,  周勇 ,  陈浩 ,  于清

IPC分类号： G06V40/16 ,  G06V10/82 ,  G06V10/774 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于自适应注意力与时空关联的面部动作单元识别方法及装置，先从视频数据中抽取模型训练所需要的原始连续图像帧组成训练数据集，再对原始图像帧进行预处理得到扩增图像帧序列，再构建卷积神经网络模块I提取扩增图像帧的分层多尺度区域特征，再构建卷积神经网络模块II进行面部动作单元自适应注意力回归学习，再构建自适应时空图卷积神经网络模块III学习面部动作单元时空关联，最后构建全连接层模块IV进行面部动作单元识别。本发明采用端到端的深度学习框架学习动作单元识别，利用面部动作单元之间的相互依赖关系以及时空相关性，能够有效识别面部肌肉在二维图像中的运动情况，实现面部动作单元识别系统构建。

公开(公告)号：CN114842542B

公开(公告)日：2023-06-13

申请号：CN202210606040.5

申请日：2022-05-31

申请人： 中国矿业大学

发明人： 邵志文 ,  周勇 ,  陈浩 ,  于清

IPC分类号： G06V40/16 ,  G06V10/82 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/048 ,  G06N3/08

摘要： 本发明公开了一种基于自适应注意力与时空关联的面部动作单元识别方法及装置，先从视频数据中抽取模型训练所需要的原始连续图像帧组成训练数据集，再对原始图像帧进行预处理得到扩增图像帧序列，再构建卷积神经网络模块I提取扩增图像帧的分层多尺度区域特征，再构建卷积神经网络模块II进行面部动作单元自适应注意力回归学习，再构建自适应时空图卷积神经网络模块III学习面部动作单元时空关联，最后构建全连接层模块IV进行面部动作单元识别。本发明采用端到端的深度学习框架学习动作单元识别，利用面部动作单元之间的相互依赖关系以及时空相关性，能够有效识别面部肌肉在二维图像中的运动情况，实现面部动作单元识别系统构建。

公开(公告)号：CN115147602A

公开(公告)日：2022-10-04

申请号：CN202210798294.1

申请日：2022-07-08

申请人： 中国矿业大学

发明人： 邵志文 ,  于清 ,  周勇 ,  宛宏宇 ,  陈浩

IPC分类号： G06V10/26 ,  G06V10/52 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于镜子分类与联合学习的镜子分割方法及装置，根据摄像头获取日常生活中带有镜子的场景图片作为训练样本，经数据处理成为带标签的数据集，训练镜子分类子网络进行镜子二分类；然后构建基于注意力机制的镜子分割子网络进行镜子边缘特征提取；两个子网络共同构成镜子分割网络，联合训练两个子网络使得双任务相互促进，以获得更高的镜子分割准确率。本发明将视觉手性这一新兴的研究方向引入镜子分割问题，二者相辅相成，获得更优秀的镜子分割效果；本发明同时利用任务间的相关性促进镜子分割，能够识别绝大多数场景图片中的镜子，用以区分镜子所反射的内容和真实存在的内容。