公开(公告)号：CN118823528A

公开(公告)日：2024-10-22

申请号：CN202410791163.X

申请日：2024-06-19

申请人： 江南大学 ,  苏州觉卿谛语智能科技有限公司

发明人： 姚健 ,  朱鑫磊 ,  钱鹏江 ,  王闯 ,  蔡尉尉 ,  高明 ,  符成龙 ,  蒋亦樟

IPC分类号： G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/045 ,  G06N3/08

摘要： 本发明属于计算机技术领域，涉及一种基于大模型和注意力机制的多模态数据融合分类方法；将第一图像特征向量和第二图像特征向量输入至分类模型中的滑动窗口交叉注意力融合模块，输出第一目标图像特征向量和第二目标图像特征向量；将第一目标图像特征向量、第二目标图像特征向量和文本特征向量输入至分类模型中的异构数据交叉注意力融合模块，输出目标对象的目标特征向量；将目标对象的目标特征向量输入至分类模型中的全连接层，输出目标对象的分类结果。本申请直接对不同图像特征进行融合，既融合了不同图像之间的特征信息，又避免了过度融合导致的过拟合风险，减少了信息冗余和噪声，可以更好地平衡文本模态和图像模态，提高了分类结果的准确性。