本发明涉及一种基于轻量级多模态神经网络的行车危险场景辨识方法，包括以下：获取当前时间段内驾驶视频和车载数据；将驾驶视频的画面划分为上下分布的三个驾驶区域，将视频每一帧画面的每个驾驶区域内的图像在竖直方向上做均值化处理，转化为一行像素，然后将每帧对应的一行像素按时间顺序拼接在一起，形成每个驾驶区域的运动轮廓图；将每个驾驶区域的运动轮廓图和车载数据输入至行车风险评估模型得到辨识结果；所述行车风险评估模型为包括视觉数据处理层、运动学数据处理层、数据融合层和预测层的多模态神经网络。与现有技术相比，本发明具有减小运行数据量、简化模型计算过程，耗时低、准确率高等优点。