本发明属于图像处理领域，公开了一种基于孪生网络结构和锚框自适应思想的RGBT目标跟踪方法，用于解决传统的RGBT目标跟踪方法在可见度低或者照明条件较差等情况下难以实现鲁棒性跟踪的难题。模型包括基于孪生网络结构的特征提取网络、跨模态信息互补的融合网络和基于锚框自适应思想的跟踪预测网络；本发明利用可见光和热红外图像信息的互补性和一致性设计基于孪生网络结构的特征提取网络，增强网络对目标的表征能力；同时设计跨模态信息互补的融合方案，增强跟踪模型在复杂场景下跟踪器的鲁棒性；基于锚框自适应思想的跟踪预测网络使跟踪器具有更强的灵活性。本发明的方法可以实现对复杂背景的目标进行跟踪，跟踪精度更高，且效率更好。