本发明提供一种基于仿射群的改进高斯重采样粒子滤波目标跟踪方法，并建立机器人目标跟踪抓取系统，机器人目标跟踪抓取系统的RGBD相机图像获取模块得到目标的二维图像及深度图，在二维图像跟踪模块，使用基于仿射群的改进高斯重采样粒子滤波目标跟踪方法进行目标跟踪，然后在三维重构模块结合深度图进行重构估计目标三维位姿，最后在机器人位姿调整模块不断对机器人末态三维位姿与目标三维位姿进行实时计算并计算差值，并进行调整直至抓取。本发明的目标跟踪算法有效改善了粒子滤波粒子多样性匮乏的问题，有效提高了跟踪的实时性和鲁棒性，解决了抓取过程中的迟滞现象。