本发明提出了一种基于私有信息的跨领域场景识别方法，包括如下步骤：获取彩色场景图像和对应的深度场景图像；构建跨领域多通道场景识别模型；将彩色场景图像和深度场景图像同时输入到跨领域多通道场景识别模型中，通过相应的卷积层，池化层，全连接层后生成相应的共享信息特征和私有信息特征；提高共享信息特征和私有信息特征的相关性，融合两类特征，通过归一化层输出场景图像的结果；使用时，将待识别的同类彩色场景图像输入到已训练完成的跨领域多通道场景识别模型中，得到识别结果。本方法利用深度场景图像中的深度信息作为训练场景识别模型时的私有信息，补充彩色场景图像所缺失的特征信息，最终提高了单领域场景识别方法的识别率和鲁棒性。