本发明公开了一种基于广角相机和深度相机的增强现实手势识别方法，其步骤包括：通过AR眼镜正中央的深度相机获取视线正前方锥体范围内的深度图像，通过眼镜两侧的广角相机获取广角范围内的彩色图像；识别锥体范围内深度图像手部关节点3D坐标；预测广角范围内彩色图像手部关节点3D坐标；将椎体范围内的手势识别和广角范围手势识别结果进行融合，输出最后识别结果。本发明克服了深度相机手势识别范围小的问题，利用深度信息识别网络模型参数优化彩色信息识别网络，克服了广角相机手势识别精度不高的问题。