本发明公开了一种基于神经网络的多模态遥感影像旋转差异校正方法。包括以下步骤：S1：获取一组具有相同目标场景的多模态遥感影像对，进行影像预处理；S2：针对每幅预处理后的影像，计算相位一致性特征值与方向角，并根据相位一致性特征值与方向角计算影像的旋转特征向量；S3：分别将两幅影像的旋转特征向量作为神经网络的输入，计算输出两幅影像的预测差异角；S4：基于预测差异角，完成多模态遥感影像旋转差异角的校正。本发明有效解决了在仅有简单影像数据信息的情况下，快速准确地预测多模态遥感影像间旋转差异角的技术问题，摆脱了辅助地理空间信息的限制。