本发明公开一种基于深度学习的复合绝缘子缺陷检测系统及方法，涉及缺陷检测技术领域。图像采集模块实时采集红外图像；YOLOv5模块用于对红外图像进行目标检测，确定出包含复合绝缘子的目标区域；分割模块用于分割目标区域中的复合绝缘子区域；映射模块用于建立复合绝缘子区域的像素分布直方图；检测结果输出模块用于判断复合绝缘子区域的像素分布直方图所对应的温度值是否超过温度阈值；若是，输出存在缺陷的检测结果；若否，返回执行实时采集红外图像的操作。本发明实现了在提高复合绝缘子缺陷检测的效率的同时，提高了复合绝缘子缺陷检测的准确性。