公开(公告)号：CN120070202A

公开(公告)日：2025-05-30

申请号：CN202510124896.2

申请日：2025-01-27

Applicant: 哈尔滨工业大学

Inventor： 江俊君 ,  梁鹏伟 ,  王晨扬 ,  马清 ,  刘贤明 ,  马佳义

IPC: G06T5/50 ,  G06T5/60 ,  G06T5/70 ,  G06F18/25 ,  G06N3/0455 ,  G06N3/0985

Abstract: 本发明涉及一种逆扩散模型的多模态图像融合方法，包括以下步骤：步骤一、利用逆扩散技术，将可见光图像逆转至噪声潜在空间，然后利用逆转后的可见光图像特征，引导红外图像进行逆转；步骤二、通过扩散模型中的逆过程进行引导，将可见光的外观属性的注入红外特征，其特征可生成具有可见光风格的红外图像；步骤三、设计特定的融合规则，用于去噪过程中的注意层融合逆转的可见光和红外特征，保留模型的文本交互能力，支持语言驱动的融合控制。本发明无需额外训练或微调，即可直接生成高质量的融合图像。得到的融合图像与基础模型高度兼容，有效解决了数据域间的差异问题，并显著提升了下游机器感知任务的表现。本发明显著降低了训练成本，为跨域任务提供了高效且创新的解决方案。

公开(公告)号：CN119151825A

公开(公告)日：2024-12-17

申请号：CN202411062064.4

申请日：2024-08-05

Applicant: 哈尔滨工业大学

Inventor： 梁鹏伟 ,  江俊君 ,  刘贤明 ,  马佳义

IPC: G06T5/73 ,  G06T7/10 ,  G06V10/764 ,  G06V10/82 ,  G06T5/60 ,  G06T5/50 ,  G06N3/0455 ,  G06N3/084

Abstract: 一种基于分层模型的散焦去模糊方法，它涉及一种散焦去模糊方法。本发明为了解决高层视觉需求与图像恢复任务之间不兼容性的问题。本发明包括步骤1、利用基础特征编码器将模糊图像x∈RC×H×W分割成h∈RN×D；步骤2、上下文编码器使用#imgabs0#学习更清晰且抽象的表征hs；步骤3、解码器将#imgabs1#和hs作为输入，重构除去模糊后的图像#imgabs2#本发明属于图像处理技术领域。