本发明提供了一种基于孪生网络的视觉目标跟踪方法及设备。所述方法包括：分别输入作为跟踪目标的模板图像及作为搜索范围的检测图像；采用残差网络分别提取所述模板图像的特征和所述检测图像的特征，将提取的特征输入到建立的模型预测器，得到目标样本的背景信息；将得到的目标样本的背景信息与当前帧的池化结果进行对比，最后生成目标框。本发明在特征提取优化方案设计引入ResNet网络，极大地提高有效训练的深度神经网络层数，相较传统孪生网络算法中CNN模型取得很大的精度提升，通过模型预测器充分采用背景信息，算法在迭代优化的过程中会模拟出更加靠的目标模板，为模型预测器提供强大的数据支持。