本发明公开了一种多源遥感图像协同分类方法和系统，包括：以每个像素点为中心提取局部邻域窗口，构建训练集和测试集，并对全局信息引导向量进行初始化。联合卷积层和Transformer结构，逐层提取和更新多源遥感图像的局部和全局特征。充分利用四元数和长短时记忆网络的优势，提取有效描述多源遥感图像互补性的多模态融合特征。构建跨模态对比学习结构，对全局信息学习过程施加一致性约束，引导多模态特征的融合。集成上述结构，提出跨模态记忆Transformer网络框架，通过端到端训练实现多源遥感图像的协同分类。本发明具有保持多源图像互补关系、通用框架适用性强、提升遥感智能处理能力、考虑多源图像特点、提高分类准确度等优点。