本申请涉及图像分析技术领域，提供一种基于物理特征与深度学习模型的云和云阴影联合检测方法。该方法先通过深度学习模型对待检测的遥感影像进行多层分类检测，对应得到二分类检测结果和三分类检测结果，然后通过分析遥感影像的物理特征，利用光谱阈值法和引导滤波算法获得云和云阴影的掩膜结果；最后，根据深度学习模型得到的二分类检测结果、三分类检测结果以及基于物理特征得到的云和云阴影的掩膜结果逐个像元进行联合检测，得到各个像元的分类结果。由此，结合遥感影像的物理特征和深度学习模型对云和云阴影进行多层分类，避免了深度学习模型因缺乏训练样本导致模型性能较差、泛化能力不足的问题，提高了云和云阴影的检测精度。