本申请涉及图像处理及行为识别技术领域，公开了一种基于视频图像的人员异常行为识别方法，包括云端处理器，所述云端处理器连接有人体图像识别模块，所述人体图像识别模块用于识别场景中人员运动状态的视频图像数据，所述云端处理器连接有人体检测和跟踪模块，所述人体检测和跟踪模块用于对视频图像中的人体进行检测和跟踪，以提取人员的位置和动态信息。通过人体图像识别模块和行为特征提取模块的配合，使得在检测人员异常行为时，能够穿透遮挡物对人员行为进行检测，提高视频图像的识别精度，从而提高人员异常行为的识别准确度，同时通过数据增强和合成技术扩充数据集，平衡正常、异常行为样本的比例，提高模型的泛化能力。