本发明公开了一种基于自适应样本集构造与深度学习的遥感影像解译方法，包括步骤：对样本总集进行特征提取，并对提取的特征进行聚类，构建视觉词袋模型的特征词典，得到样本子集；构建基于深度学习网络的解译模型，并先后输入样本总集和聚类的样本子集对解译模型进行训练，分别得到总解译模型和与各样本子集相对应的子解译模型；采用总解译模型以及根据待解译遥感影像的影像特征选取的合适的若干子解译模型，对待解译遥感影像进行自适应解译。其显著效果是：通过聚类的自动化、分布式手段快速建立海量遥感影像的样本库，并利用机器深度学习技术对样本库数据进行训练，获得适应于不同场景的智能解译模型，解译精度高，鲁棒性好。