本发明公开了一种多模态图像特征点检测与匹配方法及系统，应用于图像识别技术领域。方法包括以下步骤：采集多模态图像；提取多模态图像的特征向量；计算多模态图像的特征向量之间的内积矩阵，得到不同模态图像之间的像素对相似度；对不同模态图像的特征向量进行Softmax归一化，得到相似度最高的像素对；通过预设相似度阈值筛选得到相似像素对，实现特征点的检测与匹配。本发明通过计算多模态图像各像素之间的相似性，实现多模态图像间特征点的检测与匹配。