本发明公开了一种基于深度局部特征的视频拷贝检测方法，包括：(1)对于视频数据抽取帧图像，然后利用不同的尺度构造图像金字塔；(2)构造深度卷积神经网络模型，用于从输入的图像金字塔中提取特征图，并对特征图进行特征融合得到融合特征图；(3)利用度量学习的方式训练所述深度卷积神经网络模型；(4)利用训练好的所述深度卷积神经网络模型从图像金字塔中提取融合特征图；(5)利用极大值抑制从融合特征图中提取出关键点，并根据关键点提取对应的局部特征；(6)根据局部特征进行视频拷贝检测。本发明不仅提取速度更快而且局部特征表征更强，由此，针对各种复杂变换的拷贝视频，局部特征能进行准确的检测，具有鲁棒性高的特。