本发明公开了一种门式斗轮机轮斗横梁姿态实时监测方法及其系统。其首先获取由摄像头采集的轮斗横梁的轮斗横梁图像，接着，获取由位移传感器采集的所述轮斗横梁在预定时间段内多个预定时间点的弯曲变形量，然后，将所述多个预定时间点的弯曲变形量按照时间维度排列为弯曲变形量时序输入向量，接着，对所述轮斗横梁图像进行图像特征分析以得到轮斗横梁特征图，然后，将所述轮斗横梁特征图和所述弯曲变形量时序输入向量进行跨模态元融合特征分析以得到融合弯曲变形时序特征的轮斗横梁特征，最后，基于所述融合弯曲变形时序特征的轮斗横梁特征，确定是否产生轮斗横梁安全预警。本发明的监测方法和系统可以提高监测效率和准确性。