本发明公开一种基于运动历史图与R变换的人体行为识别方法。该方法使用深度视频作为识别依据，首先通过前景分割技术计算出人体运动的最小包围矩，之后在最小包围矩所限定的深度视频区域提取运动历史图，随后在提取的运动历史图上施加运动强度约束，得到运动能量图，最后在得到的运动能量图上计算R变换，从而得到可以用于行为识别的特征向量。训练和识别过程采用了支持向量机的方法。本发明采用人体行为运动的最小包围矩预处理，加速行为特征提取；采用运动历史图序列的方法，减小了深度图中噪声的影响；在能量图上进行R变换提取特征，使得计算速度快。