本发明公开了一种复杂背景下的运动小目标跟踪方法及系统，跟踪方法包括获取待跟踪小目标的视频段，将视频段转化为一帧一帧的图像序列；采用尺度自适应残差神经网络对每一帧图像进行特征粗提取，之后采用Transformer对粗提取特征进行多尺度和细粒度特征提取，得到细粒度特征；采用Transformer和多层感知机对细粒度特征中的小目标进行检测，得到细粒度特征中所有小目标的类别和检测框；计算相邻两帧图像中同一类别小目标的检测框之间的相似度，基于相似度确定每帧图像中的跟踪目标。