本发明公开了一种基于标记点的图像配准方法，其主要包括下列步骤：输入两个任意模态的医学图像；采用一个预训练的神经网络提取两个输入图像的金字塔特征，该网络的训练过程包含多种不同的任务并涉及上述多种不同的输入模态；利用上述神经网络提取金字塔特征，通过搜索、筛选、匹配等过程得到两个图像间的代表某种语义的多个匹配点对；通过最小化所有匹配点对间点距离的总和，拟合出刚性配准的变换矩阵和位移向量，从而得到刚性配准后的医学图像warped image。以及在刚性配准的基础上，通过基于径向基的插值法得到非刚性配准的位移场三维矩阵，从而得到非刚性配准后的医学图像warped image。借此，能有效解决标记点金标准缺乏的问题。