基于多层次特征和多头自注意力融合的面部表情识别方法

    公开(公告)号:CN117975523A

    公开(公告)日:2024-05-03

    申请号:CN202311653026.1

    申请日:2023-12-04

    IPC分类号: G06V40/16 G06V10/80

    摘要: 本发明提供一种基于多层次特征和多头自注意力融合的面部表情识别方法,包括:RestNet50提取图像整体特征,得到表情图像的整体特征向量;Haar级联分类器定位人脸并进行面部关键点检测,将面部图像切割成五个局部区域并对每个区域提取特征;GCN处理图结构化数据,在图形数据中进行卷积操作提取特征;对三种特征使用LMMD来计算源域与目标域的多层次特征概率分布差异;将三种特征利用多头自注意力机制进行特征融合,得到的融合特征利用LMMD计算分布差异。本发明结合整体特征、局部特征及图卷积特征,利用多头自注意力机制进行特征融合,获得更加丰富全面的信息,提高了泛化性,采用LMMD减小源域和目标域之间的特征分布差异,通过子域自适应捕获到更多的细粒度信息。

    基于时频特征分离式transformer交叉融合架构的语音情感识别方法

    公开(公告)号:CN117746908A

    公开(公告)日:2024-03-22

    申请号:CN202311672258.1

    申请日:2023-12-07

    摘要: 本发明提供一种基于时频特征分离式transformer交叉融合架构的语音情感识别方法,包括以下步骤S1、对原始语音信号进行预处理,将所述原始语音信号转换为相应的特征表示,包括语谱图和音频梅尔频率倒谱系数;S2、从所述特征表示中进行特征提取,使用两条支路提取特征,其中一条支路通过时频分离式transformer交叉融合架构提取特征,另一条支路通过扩张因果卷积网络提取特征;S3、进行特征融合,使用transformer的多头自注意力机制来动态地融合时频分离式transformer交叉融合架构和扩张因果卷积输出特征;S4、输出结果,使用输出层来对时频分离式transformer交叉融合架构的输出进行分类或回归,以使时频分离式transformer交叉融合架构适应训练数据,并对任务进行预测或分类。

    基于时空双向扩张因果卷积和Transfomer的多模态情感识别方法

    公开(公告)号:CN117744022A

    公开(公告)日:2024-03-22

    申请号:CN202311644928.9

    申请日:2023-12-04

    摘要: 本发明提供了一种基于时空双向扩张因果卷积和Transfomer的多模态情感识别方法,包括:处理表情、语音模态的视频,得到表情序列和语谱图序列,提取姿态特征得到姿态特征序列;ResNet18网络处理表情和语音模态,得到特征图,重排列特征图构成对应的空间特征序列;对得到的空间特征序列通过空间注意力双向扩张因果卷积网络捕获空间上的依赖关系;再将表情和语音特征序列以及姿态特征序列送入时间注意力双向扩张因果卷积网络捕获时间上的依赖关系;将表情、语音、姿态特征堆叠得到特征矩阵,通过Transformer实现特征融合。本发明通过时空双向扩张因果卷积网络捕获模态内部的时空依赖,获得聚合了时空信息的高级模态特征,采用Transformer捕获模态间的特征交互,实现多模态特征融合。

    一种有机场效应晶体管存储器最小存储深度的计算方法

    公开(公告)号:CN105823972B

    公开(公告)日:2018-07-27

    申请号:CN201610145044.2

    申请日:2016-03-15

    IPC分类号: G01R31/26

    摘要: 本发明涉及种驻极体型有机场效应晶体管存储器最小存储深度的计算方法,属于半导体行业存储器技术领域。所述方法包括:制备具有定厚度的驻极体型有机场效应晶体管存储器;测试并提取所述存储器在不同的编程电压下的存储窗口数据;将所述存储窗口数据进行线性拟合,计算聚合物驻极体型有机场效应晶体管存储器所需最小编程电压;根据所述最小编程电压计算聚合物驻极体中的电场强度;根据有机半导体层材料与聚合物驻极体材料的能级差,计算最小隧穿势垒;根据所述最小隧穿势垒和电场强度,计算得出聚合物驻极体型有机场效应晶体管存储器的最小存储深度。本发明可广泛应用于各类聚合物、可溶小分子驻极体型的有机场效应晶体管存储器。

    一种有机场效应晶体管存储器最小存储深度的计算方法

    公开(公告)号:CN105823972A

    公开(公告)日:2016-08-03

    申请号:CN201610145044.2

    申请日:2016-03-15

    IPC分类号: G01R31/26

    CPC分类号: G01R31/2601

    摘要: 本发明涉及一种驻极体型有机场效应晶体管存储器最小存储深度的计算方法,属于半导体行业存储器技术领域。所述方法包括:制备具有一定厚度的驻极体型有机场效应晶体管存储器;测试并提取所述存储器在不同的编程电压下的存储窗口数据;将所述存储窗口数据进行线性拟合,计算聚合物驻极体型有机场效应晶体管存储器所需最小编程电压;根据所述最小编程电压计算聚合物驻极体中的电场强度;根据有机半导体层材料与聚合物驻极体材料的能级差,计算最小隧穿势垒;根据所述最小隧穿势垒和电场强度,计算得出聚合物驻极体型有机场效应晶体管存储器的最小存储深度。本发明可广泛应用于各类聚合物、可溶小分子驻极体型的有机场效应晶体管存储器。

    一种多孔结构有机场效应晶体管光敏存储器及其制备方法

    公开(公告)号:CN105810820A

    公开(公告)日:2016-07-27

    申请号:CN201610145236.3

    申请日:2016-03-15

    IPC分类号: H01L51/10 H01L27/28 H01L27/30

    摘要: 本发明涉及一种多孔结构有机场效应晶体管光敏存储器及其制备方法,属于半导体行业存储器技术和生物薄膜技术领域。该存储器从上至下依次包括源漏电极、有机光敏半导体、多孔聚合物薄膜层、栅绝缘层,所述有机光敏半导体与栅绝缘层之间设有多孔结构的聚合物薄膜层,所述源漏电极和有机光敏半导体全部或部分为周期性生长的多孔结构。本发明采用旋涂法在栅绝缘层基片上制备多孔结构的聚合物薄膜层,并将其作为多孔模板层,诱导有机光敏半导体层、金属源漏电极形成周期性多孔形貌生长。本发明通过简单的工艺手段改进器件的存储性能及光敏性能,使其存储容量、开关速度和光响应能力得到很大提升;并且降低了器件制备成本,便于推广、应用。

    一种基于Transformer和显著图的时空区三流微表情识别方法

    公开(公告)号:CN117953561A

    公开(公告)日:2024-04-30

    申请号:CN202311645112.8

    申请日:2023-12-04

    摘要: 本发明公开了一种基于Transformer和显著图的时空区三流微表情识别方法,包括:使用ResNet18从光流图中提取光流特征,将其传递给自注意力模块生成显著图;将显著图与微表情序列的峰值帧点乘,留下峰值帧中关键的微表情部分,利用ResNet18提取空间流特征后传递给自注意力模块;使用Vision Transformer从微表情起始帧中提取区域位置特征,包括人脸、五官区域位置信息;将光流特征、空间流特征和区域位置特征输入到Transformer,利用多头注意力机制进行特征融合,最后输入到softmax层进行分类。本发明最大程度上利用了微表情序列的起始帧和峰值帧,加强了各特征间的关联并且使得网络更加关注于人脸表情的细微运动变化。