本发明公开了一种基于跨模态检索的遥感图像与AIS信息的关联匹配方法。它包括步骤：收集人工标记船舶的海洋遥感图像、以及与遥感图像相匹配的预测船舶AIS信息，构建遥感图像和AIS信息的检索数据集；构建基于跨模态检索的遥感图像与AIS信息的整体网络模型；训练模型，得到最终的遥感图像与AIS信息的整体网络模型；输入待检测的海洋遥感图像，输出与待检测的海洋遥感图像关联匹配的预测船舶AIS数据；或者输入待检测的预测船舶AIS信息，输出与待检测的船舶AIS信息关联匹配的海洋遥感图像数据。本发明通过获取与遥感图像相匹配的预测船舶AIS信息，在海洋遥感图像模态与AIS信息模态之间直接建立匹配关系，提高检索效率和准确性。