本发明涉及一种基于自适应手势帧序列提取算法的实时手势识别方法,属于人机交互领域。包括构建一个自适应网络来选择视频中具有判别性的帧序列,使算法能够根据视频中手势的种类自动调节截取的视频帧数，并将挑选的帧序列的特征输入到实时手势识别网络中进行判别任务,并将返回值反馈到原有算法网络中，与原算法网络联合训练并相互促进。优点在于：缩短了识别时间，在应用中，可以有效避免在静态手势识别过程中，需要测试者保持手势静止一段时间，才能得到手势识别结果的问题，提高系统识别速度，降低系统延迟。