本发明请求保护一种基于深度信息的障碍物检测系统及方法，主要涉及计算机视觉领域。所述方法包括以下步骤：首先通过深度摄像头采集环境的图像信息，并通过该设备获取环境及其中物体的点云信息；然后对采集到的深度点云信息进行滤波，去除图像中的噪声点和无用点，对采集到的深度图进行平面拟合；依据深度图和平面拟合结果，确定障碍物的初步点云集合；提取点云信息的特征点，并计算特征点的描述符；对场景和目标物体的描述符进行特征匹配，得到场景中障碍物检测结果。该方法不受环境变化的影响，并依据传感器特性加入色彩元素进行检测，提高了障碍物检测的准确率。