本发明提供了一种基于孪生网络的自适应多层响应融合的目标跟踪方法，构建一个具有残差通道注意力裁剪模块的深度孪生神经网络，将目标图像和搜索图像输入到深度孪生神经网络对应的目标模板分支和搜索区域分支，目标图像和搜索图像经过深度孪生神经网络分别生成对应的特征图，在搜索区域分支对应的特征上做卷积操作，得到得分图，对得分图做融合相加操作，最终得到融合得分图，通过调节深度孪生神经网络的超参数，得到优化后的深度孪生神经网络，通过深度孪生神经网络给出检测结果，以实现目标自动跟踪。本发明能够很好地自适应不同的目标对象，能够跟踪视频序列中用户任意指定的目标，进一步提高了目标跟踪的可靠性。