本申请公开了一种多模态交互系统和方法，包括：信息采集模块，采集脑电信号、肌电信号、唇部图像、眼部图像以及生理参数信息；处理模块对接收到的脑电信号、肌电信号、唇部图像、眼部图像以及生理参数信息分别进行预处理得到多种数据，使用机器学习对多种数据进行命令、语言信息以及情绪的识别；对情绪识别结果进行可靠性评估，发送识别出的命令和/或语言信息至交互模块；交互模块发送命令至被操控设备，将语言信息发送至接收设备。通过根据多种信号对命令和/或语言信息以及情绪进行识别，能够得到精确度高的命令和/或语言信息，并且使用多种信号识别得到的命令和/或语言信息，通过交互模块发送至被操控设备或接收设备，具有更多样的功能。