本发明提供了一种RGBD图像语义分割方法，包括以下步骤：S1、采集训练样本的数据；S2、构建可配置的深度模型，并将训练样本的数据输入深度模型，以对深度模型进行训练；S3、获取需要进行语义分割的彩色图及其对应的深度图，利用训练后的深度模型对彩色图和深度图进行分析，预测RGBD图像中每个像素所属的物体类别；S4、根据S3的结果，形成并输出预测的图像语义分割图。本发明利用深层次的卷积神经网络和长短时记忆网络以及大数据，能有效地融合彩色图像和深度图像的特征，并且能有效地挖掘图像中的上下文信息，拥有很高的准确率。