本发明公开了一种基于双模板响应融合的目标跟踪方法，目的是解决模板固定方式降低模板的准确性，模板动态更新方式降低模板鲁棒性的问题。技术方案是首先构建由特征提取模块、互相关响应模块、响应融合模块和目标框输出模块构成的目标跟踪系统；然后选择训练集，并对目标跟踪系统进行训练；最后使用训练好的目标跟踪系统对视频序列的每一帧进行目标跟踪，包括特征提取、互相关响应计算、互相关响应融合和目标的位置和大小预测，得到目标跟踪结果。目标跟踪过程中同时将视频第一帧初始化的模板和随后每一帧中的跟踪结果动态更新的模板用于孪生跟踪网络中，使两个模板各自的优劣得到互补，提升目标跟踪的精度，并保证鲁棒性、实时性。