公开(公告)号：CN120070202A

公开(公告)日：2025-05-30

申请号：CN202510124896.2

申请日：2025-01-27

Applicant: 哈尔滨工业大学

Inventor： 江俊君 ,  梁鹏伟 ,  王晨扬 ,  马清 ,  刘贤明 ,  马佳义

IPC: G06T5/50 ,  G06T5/60 ,  G06T5/70 ,  G06F18/25 ,  G06N3/0455 ,  G06N3/0985

Abstract: 本发明涉及一种逆扩散模型的多模态图像融合方法，包括以下步骤：步骤一、利用逆扩散技术，将可见光图像逆转至噪声潜在空间，然后利用逆转后的可见光图像特征，引导红外图像进行逆转；步骤二、通过扩散模型中的逆过程进行引导，将可见光的外观属性的注入红外特征，其特征可生成具有可见光风格的红外图像；步骤三、设计特定的融合规则，用于去噪过程中的注意层融合逆转的可见光和红外特征，保留模型的文本交互能力，支持语言驱动的融合控制。本发明无需额外训练或微调，即可直接生成高质量的融合图像。得到的融合图像与基础模型高度兼容，有效解决了数据域间的差异问题，并显著提升了下游机器感知任务的表现。本发明显著降低了训练成本，为跨域任务提供了高效且创新的解决方案。

公开(公告)号：CN119272841A

公开(公告)日：2025-01-07

申请号：CN202411291268.5

申请日：2024-09-14

Applicant: 哈尔滨工业大学

Inventor： 江俊君 ,  王晨扬 ,  胡星宇 ,  刘贤明

IPC: G06N3/098 ,  G06N3/094 ,  G06N3/0464 ,  G06F21/62

Abstract: 本发明的一种利用数据增强实现联邦域泛化方法，用于联邦模型的训练阶段，进行多轮服务端‑客户端通信，每轮通信包括如下步骤：S1、服务器端将全局模型下发到各客户端；S2、客户端基于本地数据上进行对抗增强训练，即迭代进行S2.1及S2.2；S3、客户端将本地模型上传到服务器端进行聚合。本发明的方法，用于在联邦领域泛化设置中寻找全局平坦的极小值。通过将其视为最小化全局模型在全局数据分布上的鲁棒风险的上界，可以解释整个算法。