本发明涉及图像数据处理技术领域，具体涉及一种建筑废弃物分拣与处理系统。该系统包括：图像数据预处理模块，用于获取建筑废弃物图像中每个废弃物块内的多个侧面区域；图像数据侧面分析模块，用于根据颜色特征和纹理特征获取两个相邻侧面区域的相邻侧面特征值；图像数据方向分析模块，用于确定侧面区域的侧面边缘，获取侧面边缘的方向，结合侧面边缘重合程度、方向差异程度和相邻侧面特征值获取方向一致特征值；建筑废弃物分拣模块，用于基于方向一致特征值合并相邻侧面区域获取分割废弃物图像。本发明根据分割废弃物图像对废弃物块进行分拣，提高了建筑废弃物分拣的准确率。