一种基于时空信息重建的彩色图像去湍流系统及方法，方法包括：对任意一个像素，利用相邻区域像素点拥有相似的时间分布的特点，建立得到每个像素点的时域背景模型；对每个像素点的时域背景模型进行直方图统计，获取对应时域背景模型中各像素点的灰度值，并获取对应时域背景模型中灰度的最小值、平均值、最大值，以及频次出现最多的灰度值；通过直方图统计信息获取像素点的亮暗标记，在对应时域背景模型中选取最大或最小值，作为当前值的输出响应；采用随机邻域扩散的更新策略，将当前值的输出响应随机更新到对应时域背景模型的各邻域中。本发明能实现在湍流环境下图像质量的稳定显示，消除湍流带来的图像扭曲变形，同时提升图像对比度。