一种面向增强现实辅助装配的零件拾取感知方法，包括图像离线训练模块、感兴趣区域获取模块、拾取状态识别模块、装配信息推送模块。图像离线训练模块对手势区域与装配零件的图像进行目标检测训练，并将手势对装配零件的交互状态图像进行分类训练；感兴趣区域获取模块检测现场采集图像，获取装配零件的位置、类别信息，以及手势与零件交互的感兴趣区域；拾取状态识别模块对装配现场环境采集到的视频流进行逐帧识别并进行连续帧分析；装配信息推送模块将当前的拾取状态，推送当前工序的装配辅助信息。本发明实现了装配零件以及装配工人手势区域的获取，对工人与装配零件的交互状态进行了跟踪，从而对装配信息进行智能推送，提高装配效率。