本发明涉及一种信息检索方法及装置，方法包括：获取各模态数据，得到多模态数据集；对多模态数据集中的数据根据数据类型进行特征提取，将得到的特征向量融合，构建循环神经网络模型，通过特征向量对循环神经网络模型进行训练；通过循环神经网络模型对多模态数据进行多模态语义解析；将不同模态数据的语义表示映射到知识图谱的实体和关系上，实现跨模态的语义关联，对跨模态数据进行语义推理和关联；对实体和关系使用图数据库或知识图谱存储引擎进行图谱构建和查询。本发明方法能够将不同模态的数据进行综合，形成一体化的知识表示，使得知识图谱能够提供更全面、准确的知识服务，支持更精确的查询和应用服务。