公开(公告)号：CN117173226A

公开(公告)日：2023-12-05

申请号：CN202311245570.2

申请日：2023-09-25

申请人： 浙江大学

发明人： 马骏 ,  曹思源 ,  张润民 ,  童奕澄 ,  左偲彤 ,  俞贝楠 ,  应佳成 ,  张程浩 ,  罗伦 ,  沈会良 ,  李军伟

IPC分类号： G06T7/33 ,  G06V10/44 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明公开了一种基于预测校正和汇聚注意力transformer的多模态图像配准方法，该方法首先利用卷积神经网络对目标图像和源图像进行特征提取，再基于自注意力机制对所述目标图像/源图像特征图进行自注意力特征修饰，并进一步基于交叉注意力机制预测残差配准参数；循环上述过程至设定次数，对残差配准参数累加得到最终配准参数，即可对源图像进行形变校正。本发明方法引入基于模型预测引导形变校正的迭代推理框架，提高模型的鲁棒能力，增强配准的精度。实验结果和分析证明了本发明所提出的基于预测校正和汇聚注意力transformer的多模态图像配准方法对于解决多模态图像配准问题的有效性和优越性。

公开(公告)号：CN117274333A

公开(公告)日：2023-12-22

申请号：CN202311245490.7

申请日：2023-09-25

申请人： 浙江大学

发明人： 曹思源 ,  马骏 ,  张润民 ,  童奕澄 ,  左偲彤 ,  俞贝楠 ,  应佳成 ,  张程浩 ,  罗伦 ,  沈会良 ,  李军伟

IPC分类号： G06T7/33 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明公开了一种基于多尺度深度特征图融合的多光谱图像配准方法，该方法可用于配准不同波段间的光谱图像，该方法首先利用多尺度一致特征图映射器获取目标图像和源图像的一致特征图，将多尺度一致特征图利用transformer结构进行自相关特征修饰，获得多尺度匹配信息特征图，再基于自注意力机制处理多尺度匹配信息特征图，输出配准参数残差。在图像配准真值和一致特征图内容一致性损失函数的监督下，网络迭代运行，直至预设迭代次数，得到最终配准参数。在多光谱数据集上的实验结果和分析表明，本发明所提出的基于多尺度深度特征图融合的多光谱图像配准方法，有效提高了多光谱图像的配准精度。