一种多模态遥感数据分类的基础模型自适应方法，属于图像处理技术领域。本发明解决了现有技术中难于直接使用预训练好的基础模型实现多模态遥感数据的分类问题。要点：获取多模态遥感数据；预处理多模态遥感数据；建立映射层，选取基础模型；构建跨空间交互模块实现通用特征和多模态数据中的空间特征的交互，沿多模态遥感数据的空间维度生成可学习的空间编码向量集合，并将其加到特征编码向量集合中，输出空间特征；构建跨通道交互模块，在基础模型的编码器模块的多头注意力机制MSA中，增加通用特征与多模态数据中通道维度的特征交互，输出光谱特征；将空间特征和光谱特征输入到全连接层中得到分类结果。本发明提升了多模态遥感数据的分类精度。