本发明提供基于渐进式融合Transformer与动态指导学习的RGBT跟踪方法及系统，方法包括：训练过程和测试过程，训练过程包括：数据采样和预处理；特征提取；跨分支特征融合；模板帧和搜索帧特征信息交互；搜索帧特征送入分类器并计算分类损失；适用协同学习算法进行训练优化，测试过程包括：数据采样和预处理；特征提取；跨分支特征融合；模板帧和当前帧特征信息交互；当前帧特征送入分类器和回归器；预测当前帧目标的包围框。本发明解决了不同模态丢失异构信息、融合特征与特定模态特征之间的关系在学习判别多模态表示时却被忽略、缺乏全局表示能力的技术问题。