- 专利标题: 基于优化BERT模型的多模态深度特征抽取方法及系统
-
申请号: CN202210493651.3申请日: 2022-05-07
-
公开(公告)号: CN114821088A公开(公告)日: 2022-07-29
- 发明人: 吴珺 , 朱天亮 , 郑欣丽 , 王春枝 , 董佳明 , 袁子健 , 周显敬 , 刘虎 , 李天意 , 朱嘉辉
- 申请人: 湖北工业大学 , 武汉卓尔信息科技有限公司
- 申请人地址: 湖北省武汉市洪山区南李路28号;
- 专利权人: 湖北工业大学,武汉卓尔信息科技有限公司
- 当前专利权人: 湖北工业大学,武汉卓尔信息科技有限公司
- 当前专利权人地址: 湖北省武汉市洪山区南李路28号;
- 代理机构: 北京金智普华知识产权代理有限公司
- 代理商 张晓博
- 主分类号: G06V10/40
- IPC分类号: G06V10/40 ; G06V10/80 ; G06V10/82 ; G06K9/62 ; G06N3/04 ; G06N3/08
摘要:
本发明属于多模态数据特征抽取技术领域,公开了一种基于优化BERT模型的多模态深度特征抽取方法及系统,数据处理阶段,多模态数据特征选取,以及数据的预处理工作;BERT模型优化阶段,对原始BERT模型中的多头自注意力机制和前向传播层进行优化;特征融合阶段;结果输出阶段。本发明能够进行深层次的特征抽取,使用层次化多头注意力机制实现对特征的层次抽取,使用自定义的门机制结构替换BERT模型中的中间层,实现对信息的过滤,最后通过基于自注意力机制的张量融合模型进行多模态特征的融合,最后实现一种对多态情感信息准确分类的模型,本发明提高了BERT的特征抽取能力,具有的多模态特征抽取能力更强。
公开/授权文献
- CN114821088B 基于优化BERT模型的多模态深度特征抽取方法及系统 公开/授权日:2024-10-18