- 专利标题: 一种基于Transformer的图文多模态系统运维知识匹配方法及系统
-
申请号: CN202311652757.4申请日: 2023-12-05
-
公开(公告)号: CN117788987A公开(公告)日: 2024-03-29
- 发明人: 高德荃 , 李济伟 , 丁雪伟 , 冯宝 , 郭永和 , 卞宇翔 , 杨猛 , 刘超 , 邵月
- 申请人: 国家电网有限公司信息通信分公司 , 南京南瑞信息通信科技有限公司
- 申请人地址: 北京市西城区白广路二条一号综合楼2307房间;
- 专利权人: 国家电网有限公司信息通信分公司,南京南瑞信息通信科技有限公司
- 当前专利权人: 国家电网有限公司信息通信分公司,南京南瑞信息通信科技有限公司
- 当前专利权人地址: 北京市西城区白广路二条一号综合楼2307房间;
- 代理机构: 南京苏高专利商标事务所
- 代理商 王美丽
- 主分类号: G06V10/80
- IPC分类号: G06V10/80 ; G06V10/82 ; G06N3/0464 ; G06V30/19 ; G06V10/764 ; G06V10/74
摘要:
本发明公开了一种基于Transformer的图文多模态系统运维知识匹配方法及系统,包括:对文本和图像进行预处理;构建Transformer模型;图文融合:引入多模态注意力层,根据图像和文本的内容自动学习并融合这两种类型的特征,并据此生成综合的融合向量,该向量随后被输入到全连接网络,进行最后的匹配评分或分类;模型训练;将匹配好的图文信息通过用户界面展示出来。本发明利用了多模态注意力层对图像和文本进行高效的特征提取,并有效地将图像和文本的不同模态特征进行对齐和融合,这种独特的融合策略解决了传统方法中系统运维不同模态特征难以融合的问题,从而显著提高了系统运维知识匹配的准确度和效率。