混合时空平面局部二值模式的自发微表情定位方法

    公开(公告)号:CN109800771B

    公开(公告)日:2021-03-05

    申请号:CN201910089341.3

    申请日:2019-01-30

    IPC分类号: G06K9/46 G06K9/00

    摘要: 本发明公开一种混合时空平面局部二值模式的自发微表情定位方法。本发明根据自发微表情视频中连续帧的相关性,通过精细匹配实现了像素级人脸区域对齐,从而对头部偏移等干扰具有较强的抗干扰能力。同时在空间轴平面提取扇形区域特征,并在时间轴提取去冗余的线性特征,既减少了特征点冗余计算,又通过非线性特征融合的方式结合时空特征,形成更完备的特征表示,因此能更加鲁棒地表示自发微表情,提高了自发微表情视频中自发微表情定位精确率。

    基于同构网络的自发微表情种类判别方法

    公开(公告)号:CN109635712B

    公开(公告)日:2021-02-05

    申请号:CN201811492660.0

    申请日:2018-12-07

    IPC分类号: G06K9/00 G06K9/62 G06T7/269

    摘要: 本发明公开一种基于同构网络的自发微表情种类判别方法。本发明首先进行样本制作,包括RGB样本与光流差值样本的制作。然后将将不同样本分别置入网络中进行训练,训练方式为微调。最后将经过不同训练样本训练后的网络,同构合成所述的同构网络,利用同构网络产生判别结果。本发明中的光流差值样本既包含自发微表情变化的形变信息,又通过求差值去除了非自发微表情变化的环境干扰。结合样本的空间信息与时序变化的时间信息,组成具有时空特征的光流差值样本。对于本发明中的RGB样本以及光流差值样本,利用经过微调的网络对其提取特征,不仅充分结合颜色信息与时空信息,得到的特征更能表示当前样本类别,而且解决自发微表情数据样本少的难题。

    一种颜色先验知识导向的草莓机器手目标定位方法

    公开(公告)号:CN108846862A

    公开(公告)日:2018-11-20

    申请号:CN201810386400.9

    申请日:2018-04-26

    摘要: 本发明公开一种颜色先验知识导向的草莓机器手目标定位方法。传统的基于机器视觉的草莓机器手通过图像分割算法对草莓目标进行定位和识别,但由于草莓种植大棚中有大量易混淆的其它目标,因此容易造成误摘,本发明先将机器手采集的图片转换至HSV空间,并基于草莓的颜色先验知识对草莓候选目标进行阈值分割,而后将草莓候选区域输入训练好的深度卷积网络进行识别,并对每个草莓候选目标进行打分,将分数最高的目标区域做为最终的定位结果。由于在训练深度卷积网络时采用了符合采摘标准的草莓图片作为正样本,因此本发明可以自动定位最符合主观采摘标准的草莓。经过实验证实,本发明所公开的草莓目标定位方法可以达到99%以上的准确率。

    基于曲波变换和稀疏学习的人脸表情识别方法

    公开(公告)号:CN106980848A

    公开(公告)日:2017-07-25

    申请号:CN201710330026.6

    申请日:2017-05-11

    发明人: 付晓峰 付克博

    IPC分类号: G06K9/00

    CPC分类号: G06K9/00288 G06K9/00302

    摘要: 本发明公开了一种基于曲波变换和稀疏学习的人脸表情识别方法。本发明步骤如下:1.输入人脸表情图像并进行预处理,对预处理后的人脸表情图像进行眼部区域、嘴巴区域的剪裁与获取;2.通过Curvelet变换对人脸表情特征进行提取:对预处理后的人脸表情图像、眼部区域、嘴巴区域进行Curvelet变换和特征提取,并将提取的三种特征进行串联融合,获得融合特征;3.基于稀疏学习的分类识别:对人脸曲波特征以及融合特征分别采用SRC进行分类识别;或者对人脸曲波特征以及融合特征分别采用FDDL进行分类识别。本发明采用的Curvelet变换是多尺度几何分析工具,能够提取到多尺度多方向的特征,同时采用局部区域融合的方法,使连接融合后的特征更具有图像表征能力和特征鉴别力。

    基于神经网络敏感性分析的微表情识别方法

    公开(公告)号:CN112784804B

    公开(公告)日:2024-03-19

    申请号:CN202110149925.2

    申请日:2021-02-03

    摘要: 本发明公开了一种基于神经网络敏感性分析的微表情识别方法。本发明首先构造一个基础的深度神经网络并在ImageNet数据集上进行预训练,再在宏表情数据集CK+上进行微调。接着,使用神经网络敏感性分析工具TCAV量化地分析该模型在表情判别过程时,人脸感兴趣区域在各层的敏感性。本发明提取TCAV分数最高层的输出,采用特征融合技术设计新的网络结构,并在微表情数据集上进行迁移学习,得到针对微表情识别的网络模型。本发明能有效提高微表情种类识别的性能。

    基于迁移学习和自编码器数据增强的微表情种类判别方法

    公开(公告)号:CN111767842B

    公开(公告)日:2024-02-06

    申请号:CN202010604155.1

    申请日:2020-06-29

    摘要: 本发明公开了一种基于迁移学习和自编码器数据增强的微表情种类判别方法。本发明首先构造MecNet微表情种类判别网络:选取在ImageNet上预训练好的CNN模型,保留卷积层及预训练参数,在其后添加全连接层和softmax分类器。其次构造MegNet微表情生成网络:MegNet使用亚洲人微表情样本生成欧美人微表情样本。MegNet的下采样模块、上采样模块和损失函数分别基于卷积、子像素卷积和图像结构相似性设计。将生成的微表情样本加入MecNet训练集进行数据增强,训练MecNet。最后使用MecNet判别微表情种类。本发明使用MegNet进行数据增强能够有效提高MecNet微表情种类判别性能。

    一种去噪扩散的微表情数据生成方法及分类网络训练方法

    公开(公告)号:CN116912898A

    公开(公告)日:2023-10-20

    申请号:CN202310480598.8

    申请日:2023-04-28

    摘要: 本发明公开了一种基于去噪扩散隐式模型的微表情数据生成方法。本发明包括以下步骤:获取微表情序列;在微表情序列中提取顶点帧,提取顶点帧及左右的若干帧作为选定帧;使用选定帧训练微表情扩散模型;将纯高斯噪声和选定帧作为输入进行融合采样,融合采样过程包括根据纯高斯噪声通过训练好的微表情扩散模型生成生成图片,根据生成图片和选定帧计算生成图片的FID指标,以FID指标对生成图片进行筛选。本发明有效地增加了微表情数据的数据量,同时提高了生成图片的质量,使其可以达到提升分类模型分类准确率的要求。

    一种基于生成对抗网络的微表情判别模型训练方法

    公开(公告)号:CN115019124A

    公开(公告)日:2022-09-06

    申请号:CN202210562150.6

    申请日:2022-05-23

    摘要: 本发明公开了一种基于生成对抗网络的微表情判别模型训练方法。包括:S1使用生成图像和目标图像的L1范数作为像素重建的第一损失函数,对生成器进行第一预训练;S2使用分类结果的交叉熵损失、增强标签的交叉熵损失的总和作为第二损失函数,对判别器进行第二预训练;S3将经过第一预训练的生成器、第二预训练的判别器进行连接,以生成对抗网络模型;S4基于第一损失函数、第二损失函数,并引入对抗损失函数,对对抗网络模型进行联合训练,以得到训练后的微表情判别模型,在对抗损失函数中,生成器以对抗损失函数最小化为目标,判别器以对抗损失函数最大化为目标。本发明采用预训练和联合训练的方式生成微表情判别模型,该微表情判别模型性能更好。

    基于神经网络敏感性分析的微表情识别方法

    公开(公告)号:CN112784804A

    公开(公告)日:2021-05-11

    申请号:CN202110149925.2

    申请日:2021-02-03

    摘要: 本发明公开了一种基于神经网络敏感性分析的微表情识别方法。本发明首先构造一个基础的深度神经网络并在ImageNet数据集上进行预训练,再在宏表情数据集CK+上进行微调。接着,使用神经网络敏感性分析工具TCAV量化地分析该模型在表情判别过程时,人脸感兴趣区域在各层的敏感性。本发明提取TCAV分数最高层的输出,采用特征融合技术设计新的网络结构,并在微表情数据集上进行迁移学习,得到针对微表情识别的网络模型。本发明能有效提高微表情种类识别的性能。

    基于低秩分解和稀疏表示残差对比的多姿态人脸识别方法

    公开(公告)号:CN109063555B

    公开(公告)日:2021-07-02

    申请号:CN201810667478.8

    申请日:2018-06-26

    IPC分类号: G06K9/00 G06K9/46 G06K9/62

    摘要: 本发明公开一种基于低秩特征和稀疏表示比较分类的多姿态人脸识别方法。本发明首先通过对偶低秩分解方法对输入人脸图片进行降维分解优化,得到去除了姿态结构的第一型低秩特征;其次结构化不相关的低秩分解,通过增广拉格朗日乘子法ALM进行交替迭代求解获得第二型低秩特征;最后基于稀疏表示的残差对比分类:如果两种特征分类结果相同,则分类标签保持不变,若分类标签不相同时,则构建残差率对比模型,比较两种特征经过稀疏表示后的次最小残差与最小残差的差与最小残差的比值。选择两种特征中残差率较高的分类结果作为最终的分类类别。本发明使用的低秩分解方法和稀疏表示残差对比模型能够有效去除姿态结构对识别效果造成的干扰。