本发明涉及一种基于卷积神经网络的多时相遥感影像匹配方法及系统，包括对输入的参考影像和待匹配影像采用固定大小进行分块；采用特征点检测算子在所得的影像块内提取特征点；以提取的特征点为中心，提取固定大小的图像块，并将这些图像块输入预训练的卷积神经网络中，使用神经网络中的多个卷积层来提取图像特征，获得多尺度卷积特征；基于多尺度卷积特征，利用最邻近加权距离度量特征之间的相似性，利用最邻近距离与次邻近距离比值获得初始匹配点对；采用RANSAC算法和特征点之间的几何约束性对剔除错误匹配对，获得最终匹配结果。本发明在遥感数据训练样本缺失的情况下，能够提高多时相遥感影像匹配配准的精度，具有较强的适应性。