本发明涉及一种融合语义和视觉信息的仪表识别方法及系统，属于图像识别技术领域，解决了现有在仪表屏幕上距离靠近的多个读数被误判属于同一读数的问题。包括：采集并预处理仪表显示屏的屏幕图像，得到待识别图像；将待识别图像输入字符识别网络，输出各字符框坐标及字符标签；以各字符框对应的字符图像作为节点，构建视觉图和语义图，将各节点的特征向量间的相似度作为视觉图的边权重，将各节点的字符属性间的相似度作为语义图的边权重；融合视觉图和语义图的边权重，构建邻接矩阵；根据特征矩阵、邻接矩阵和字符标签，训练图神经网络，根据训练后的特征矩阵，对字符图像进行分组，按组输出字符标签，得到识别结果。实现了仪表数据的准确识别。