本发明提出基于多尺度聚合注意力特征提取网络的目标跟踪方法与系统，该方法包括：在Transformer的网络结构下，构建多尺度特征提取网络；使用多种数据集对构建的多尺度特征提取网络进行训练；基于训练后的多尺度特征提取网络模型对模板图像和搜索图像进行特征提取，再经过交叉注意力计算并输出，获取最终特征图；将最终特征图输入到由三个卷积分支组成的预测头内，根据三个分支的预测结果，以确定最终的边界框。本发明通过将多尺度聚合注意力放在特征提取网络浅层中，可提高模型对局部特征的关注度，实现局部信息和全局信息之间一个更好的平衡，从而在面对背景干扰与快速移动等影响时实现鲁棒性更强的跟踪。