本发明公开了一种用于舆情解析的多模态数据特征提取与关联方法，该方法包括：构建第一神经网络及第二神经网络；由第一神经网络提取文本舆情信息的文本特征，由第二神经网络提取图像舆情信息的图像特征；构造包含节点及边缘的图结构A、B；图结构A用于编码文本特征，其上的节点与文本特征相对应；图结构B用于编码图像特征，其上的节点与图像特征相对应；将图像舆情信息与文本舆情信息一一匹配，构成若干个图文对，通过语义损失函数和三元组损失函数共同约束训练；对包含相同图像舆情信息或相同文本舆情信息的多个图文对的匹配关联度进行评估排序。本发明采用图结构对图像‑文本对中的对象和词的关系进行建模，并通过重新排序机制提高匹配性能。