本发明公开了一种语义识别方法，包括：采集用户的语音信息；解析语音信息，获取初始语义信息；获取用户的手势动作信息；根据手势动作信息，获取目标区域的文字信息；根据初始语义信息及目标区域的文字信息，获取用户的目标语义。此外，本发明还公开了一种语义识别装置，包括：语音采集模块，用于采集用户的语音信息；语音识别模块，用于解析语音信息，获取初始语义信息；信息获取模块，用于获取用户的手势动作信息，并根据手势动作信息，获取目标区域的文字信息；控制处理模块，用于根据初始语义信息及目标区域的文字信息，获取用户的目标语义。通过本发明可以在用户无法准确用语音表达或不知如何表达的情况下，智能识别用户的真实意图。