一种基于Transformer的图文多模态系统运维知识匹配方法及系统
摘要:
本发明公开了一种基于Transformer的图文多模态系统运维知识匹配方法及系统,包括:对文本和图像进行预处理;构建Transformer模型;图文融合:引入多模态注意力层,根据图像和文本的内容自动学习并融合这两种类型的特征,并据此生成综合的融合向量,该向量随后被输入到全连接网络,进行最后的匹配评分或分类;模型训练;将匹配好的图文信息通过用户界面展示出来。本发明利用了多模态注意力层对图像和文本进行高效的特征提取,并有效地将图像和文本的不同模态特征进行对齐和融合,这种独特的融合策略解决了传统方法中系统运维不同模态特征难以融合的问题,从而显著提高了系统运维知识匹配的准确度和效率。
0/0