本发明涉及一种基于深度学习的金属部件表面缺陷检测方法，其包括如下步骤：获取视频文件，对其进行截帧处理，将截取的图像进行剪切和/或旋转变换，使金属部件处于图片中心位置；特征提取；区域建议网络RPN，利用RPN网络获得图像中的位置信息与分类信息；通过 RPN 获得候选区域后，利用Fast‑RCNN进行检测。本发明利用 Resnet 网络进行特征提取，采用 RPN 方法提取缺陷的候选目标矩形区域，在候选区域基础上进行缺陷检测。该检测系统能有效克服金属表面的反射以及环境因素的影响；同时利用基于 Faster‑RCNN 框架的方法进行缺陷检测，较好地解决了金属表面缺陷检测能力弱的问题。