本发明公开了一种基于深度图像和彩色图像的手部运动识别方法，利用ASL手语库的36种手势作为模板，通过Kinect传感器获取手势数据，建立深度及彩色背景下的手势数据库；用基于回归的目标检测算法SSD作为研究基础，在Tensorflow深度学习框架下，分别利用基于彩色及深度背景自建的手势数据库对所选的目标检测模型进行迁移学习，得到可在深度及彩色背景下对手部运动进行识别检测的两类网络模型。利用在深度与彩色背景下检测结果融合的手部运动识别检测网络框架，并对非极大值抑制算法进行了改进，最终得到了所提出网络框架对手部运动识别检测的有效性。本发明使目标的漏检与误检问题得到避免，提高了手势识别率，且能够实现单手识和双手识别。