本发明提供一种跨被试和跨模态的多模态紧张情绪识别方法及系统，其中方法包括：获取眼动信号训练数据、与眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；对眼动信号训练数据及脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，预处理包括：滤波处理、频域变换处理及特征维度统一；将眼动特征信号及脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；将眼动信号测试数据输入至训练完成的多模态紧张情绪识别模型，得到眼动信号测试数据对应的紧张情绪分类结果。本发明提高了紧张情绪识别的准确性。