本发明属于机器学习、视觉目标跟踪领域，提供了一种运动信息辅助的视觉单目标跟踪方法。本发明分别对跟踪过程中的相机运动和目标运动进行建模。对于相机运动建模方法，本发明使用特征点匹配算法计算出相邻帧间变换矩阵，并给出由相机运动导致的目标偏移量。对于目标运动建模方法，本发明使用卷积‑长短时记忆网络通过目标历史运动信息，估计目标未来的速度和位置。本发明在引入运动信息进行辅助跟踪后，可以显著提高跟踪算法应对光照变化，遮挡等挑战的能力，提升跟踪算法鲁棒性，并且具有较低的计算量，能够达到实时跟踪需求。