本发明提出了一种基于深度学习的轻量级高光谱图像语义分割方法，步骤1:处理无人机高光谱遥感影像，得到无人机采集的高光谱影像训练数据集；步骤2:构建光谱尺度注意力网络；步骤3:根据无人机高光谱影像训练数据集对光谱尺度注意力网络进行训练，得到完成训练的光谱尺度注意力网络；步骤4:处理与多无人机高光谱影像训练数据集类型相同的待分割遥感影像，并输入至光谱尺度注意力网络，形成与待分割的遥感影像幅宽相同的无人机高光谱影像分割结果。本发明可对无人机高光谱的遥感影像进行全图语义分割，方便研究者对遥感影像中的地类进行进一步了解；提高对地信息解译的效率。