本发明涉及图像处理技术领域，且公开了基于智能图像算法的雨天图像处理系统，包括：先遣数据获取模块、先遣数据处理模块、结果存储模块、雨天图像获取模块、湿度信息采集模块、核心处理模块、实时反馈模块；先遣数据获取模块：用于获取最近一段时间内的正常图像数据，并从其中挑选出符合条件的图像数据，同时获取符合条件图像数据对应的湿度数据。本发明通过对先遣数据的分析处理从而得到亮度阈值和湿度阈值，然后再对雨天图像处理的时候，通过利用建立三维坐标系的方式配合RGB数值的方式能够准确的识别出图像中的雨滴，然后利用像素点填充的方式将图像中的雨滴去除，同时利用湿度阈值可以将图像中的水汽去除，使整个图像变得更加的清晰。