本发明提供了一种基于图像深度估计的三维目标识别系统及方法，所属图像处理技术领域，方法包括：图像深度估计、超像素分割、边缘检测、深度估计权重修正、二次深度估计、三维物迹线选取和剖面图像分割；通过获取单目摄像头采集的真彩图像中图像超像素块分割情况、目标连通域情况、图像颜色信息以及图像亮度分布信息，形成超像素分割情况矩阵、连通情况矩阵、颜色信息矩阵以及亮度信息矩阵作为深度估计影响因素，将初始深度图与准确深度图进行比对，修正特定场景下的多项影响因素的拟合系数，对初始深度图像进行更新，得到二次深度图像，将二次深度图像与采集的真彩图像进行融合，多源图像进行估计，提高了目标识别的准确性。