基于特征交互融合的多模态图像分类方法及系统
摘要:
本发明涉及图像分类技术领域,特别是涉及基于特征交互融合的多模态图像分类方法及系统,其中所述方法包括:获取待分类的第一模态图像和第二模态图像;将第一模态图像和第二模态图像,输入到训练后的多模态图像分类模型中,输出多模态图像的分类结果;其中,训练后的多模态图像分类模型用于对不同模态的图像采用不同的网络结构进行特征提取,分别得到特有特征和共享特征;采用注意力机制对特有特征和共享特征进行融合,采用分类器对融合特征进行分类,本发明利用共享特征与特有特征之间的相互作用,捕获和强化特征之间的关联性,有助于提升分类性能。
0/0