本发明公开了一种基于计算机视觉的毛巾织机自动控制方法及系统，涉及毛巾织机控制技术领域，该方法包括以下步骤：在毛巾织机内部安装计数器与纱线传感器分别获取电机实际转速与送纱量作为分析数据集，并利用分析数据集判断电机转速与送纱量的关系；利用判断结果分析不同电机转速与送纱量产生的传动噪声值，并设定最小噪声值对应的电机转速值为初始控制值；利用红外成像仪获取初始控制值条件下毛巾的图像；利用计算机视觉技术对待检测图像实施特征检测操作，并与预设毛巾标准进行相似度比对判断毛巾是否存在瑕疵；若存在瑕疵则进行初始控制值调整。本发明通过优化电机转速来最小化传动噪声在保证生产效率的同时可能减少对机器的磨损。