本发明提供了一种基于多模态语义角色识别的人机交互指令解析方法及装置，涉及自然语言处理中的语义分析技术领域。包括：根据人机交互指令的特性，构建一套完善的指令语义角色标注范式；根据所述指令语义角色标注范式，结合图像采集，将语义角色标注模型的单模态形式扩展为视觉文本多模态形式；对语义角色标注模型的视觉文本多模态形式进行训练学习，完成多模态语义角色识别对人机交互指令进行语义解析。本发明创新性的尝试用多模态语义角色标注的范式来对人机交互指令进行语义解析，从而将原本机器无法理解的指令转换成机器可理解的语义结构化输出，做到更加方便、安全、快捷的执行用户的意图。