本发明提供一种基于场景图的多模态医疗命名实体识别方法，首先分别为文本和图像生成场景图，然后计算两个场景图之间的相似程度，并将计算得到的相似度用于筛选图像中检测出来的实体，过滤掉图像中那些没用的信息；其次，通过文本和图像的融合来更新每个单词的特征表示，并用CRF预测实体类型，通过被筛选过的视觉信息来作为文本的提示可以有效降低模型对图像中不相关对象的理解偏差。本发明方法可以从更细粒度的层次衡量文本和图像之间的相似程度并且可以有效的筛选图片中有用的图像信息，应用在多模态医疗系统上可以更好的利用图像信息，从而更准确地识别文本中的实体。