本发明公开了一种基于布匹的视觉检测方法及检测系统，其中，基于布匹的视觉检测方法包括：获取布匹图像，其中，布匹图像基于移动过程中的布匹拍摄得到；对布匹图像进行图像处理，并以条纹状区域显示布匹图像的多个缺陷区域；对多个缺陷区域的分布进行定位，基于多个缺陷区域的分布确定缺陷区域的拉扯方向；将缺陷区域的拉扯方向作为第一参考因素，缺陷区域的花纹作为第二参考因素，基于第一参考因素和第二参考因素确定缺陷区域的缺陷类型；将缺陷区域进行分割，并对分割图形进行特征获取，以基于神经网络进行特征分类；基于以往数据构建缺陷学习模型，并以递进式算法构造缺陷学习模型的框架，结合神经网络和缺陷学习模型形成自适应增强算法。