本发明涉及一种手部运动识别方法和装置。所述方法包括：获取待识别视频；对所述待识别视频进行手部区域定位和跟踪，提取手部的RGB视频和深度信息视频对；对所述手部的RGB视频和深度信息视频对进行检测得到特征点；将所述特征点采用三维网格运动尺度不变特征变换特征描述子表示；将所述特征点的三维网格运动尺度不变特征变换特征描述子与预先训练得到的正样本中的三维网格运动尺度不变特征变换特征描述子进行比较得出所述待识别视频中手部运动类别。上述手部运动识别方法和装置，因采用特征点的提取包括了深度信息，极大的提高了手部识别的准确性，采用三维网格运动尺度不变特征变换特征描述子能精确描述特征点，进一步提高手部运动识别准确性。