本申请公开了基于图像分割的视差优化方法及其装置，该方法包括：获取双目图像并对所述双目图像进行颜色压缩；提取所述双目图像的边缘信息；对所述压缩后的图像进行分块，根据每个块与相邻块之间的面积、颜色和边缘信息之间的关系计算该块与相邻块之间的相关系数；根据所述相关系数对各个块进行合并；使用refine迭代算法以块级的粒度优化所述合并后的图像的视差，根据各个块与其相邻块之间的视差信息来确定是否需要进行优化，迭代优化过程中始终保持图像的代价函数在降低直至视差稳定。