-
公开(公告)号:CN118038181B
公开(公告)日:2024-08-13
申请号:CN202410331617.5
申请日:2024-03-22
Applicant: 中国矿业大学
IPC: G06V10/764 , G06V10/75 , G06V10/762 , G06V20/10 , G06N3/0455 , G06N3/096 , G06N3/094 , G06V10/82
Abstract: 本发明公开了一种基于元迁移梯度更新策略的高光谱图像分类方法。通过任务分布对齐策略构建了平衡的元任务簇,以解决不同领域之间由于类别关系差异而引起的任务分布错位问题。接着,利用领域投影头捕获与域相关的特定知识,确保共享特征嵌入模块能够专注于捕获两个域之间共享的域不变知识。最后,采用元迁移梯度更新策略来更新模型,聚焦于让模型从元迁移任务集合中归纳出适用于各类型元迁移任务的无偏知识,从而提升模型的泛化性能并优化元迁移学习效果。
-
公开(公告)号:CN118587613B
公开(公告)日:2024-11-29
申请号:CN202410364371.1
申请日:2024-03-28
Applicant: 中国矿业大学
IPC: G06V20/17 , G06V10/25 , G06V10/40 , G06V10/764 , G06V10/82 , G06V10/52 , G06V10/80 , G06N3/0499
Abstract: 本发明公开了一种基于跨模态瓶颈适配网络的机载多模态目标检测方法,首先,为了解决模态异质性挑战,引入了全局互信息适配机制和结构互信息适配机制。这些机制有助于增加模态之间的共享信息量,推动跨模态知识的更好共享;然后,构建了变分信息瓶颈,通过多模态分布融合、先验分布约束和任务约束,模型能够更加高效地处理多模态数据,从而更关注于多模态数据中任务相关的关键信息来应对模态冗余挑战。
-
公开(公告)号:CN118196752A
公开(公告)日:2024-06-14
申请号:CN202410289768.9
申请日:2024-03-14
Applicant: 中国矿业大学
IPC: G06V20/58 , G06V10/25 , G06V10/44 , G06V10/52 , G06V10/143 , G06V10/74 , G06V10/82 , G06N3/0455 , G06N3/0464
Abstract: 本发明公开了一种基于解耦变分自编码器网络的无人驾驶环卫车目标检测方法,针对无人驾驶环卫车的多模态目标检测,首先,向特征金字塔网络添加横向连接,以平衡不同大小对象的检测要求;接着,多尺度特征输入到框建议模块,生成提议框和提议特征,将通过RoiAlign得到的ROI特征和提议特征建立一对一的交互关系,从而优化ROI特征;然后,设计了解耦变分自编码器,采用变分推断,通过最大化真实数据分布对数似然的证据下界建模全局数据分布,对红外和可见光图像的数据分布进行解耦,以从数据中捕获任务相关的分布信息;最后,将解耦变分自编码器的特征进行全局信息整合,然后输入到目标检测网络中,以进行多模态目标检测。
-
公开(公告)号:CN119206188B
公开(公告)日:2025-03-21
申请号:CN202411362174.2
申请日:2024-09-27
Applicant: 中国矿业大学
IPC: G06V10/25 , G06V10/40 , G06V10/764 , G06V10/80 , G06V10/82 , G06V20/58 , G06N3/045 , G06N3/042 , G06N3/096 , G06N3/0455
Abstract: 本发明属于计算机视觉技术领域,本发明公开了一种基于互蒸馏属性融合网络的多模态车辆目标检测框架。首先,提出了基于最优传输理论的跨模态互蒸馏模块,利用红外图像和可见光图像的互补特性,通过跨模态空间知识互蒸馏,抑制多模态噪声干扰;其次,提出了属性分解模块,利用属性路由机制将混杂的多模态全局特征分解为独立的属性特征,并通过最大化属性熵确保了属性特征的多样性;最后,提出了属性图融合模块,独立融合不同模态的对应属性特征,并利用在特征融合过程中为每个类别定制了个性化的属性图,以建模各类目标属性特征之间的关联,从而提升模型对不同类别目标的适应性。
-
公开(公告)号:CN119206188A
公开(公告)日:2024-12-27
申请号:CN202411362174.2
申请日:2024-09-27
Applicant: 中国矿业大学
IPC: G06V10/25 , G06V10/40 , G06V10/764 , G06V10/80 , G06V10/82 , G06V20/58 , G06N3/045 , G06N3/042 , G06N3/096 , G06N3/0455
Abstract: 本发明属于计算机视觉技术领域,本发明公开了一种基于互蒸馏属性融合网络的多模态车辆目标检测框架。首先,提出了基于最优传输理论的跨模态互蒸馏模块,利用红外图像和可见光图像的互补特性,通过跨模态空间知识互蒸馏,抑制多模态噪声干扰;其次,提出了属性分解模块,利用属性路由机制将混杂的多模态全局特征分解为独立的属性特征,并通过最大化属性熵确保了属性特征的多样性;最后,提出了属性图融合模块,独立融合不同模态的对应属性特征,并利用在特征融合过程中为每个类别定制了个性化的属性图,以建模各类目标属性特征之间的关联,从而提升模型对不同类别目标的适应性。
-
公开(公告)号:CN118587613A
公开(公告)日:2024-09-03
申请号:CN202410364371.1
申请日:2024-03-28
Applicant: 中国矿业大学
IPC: G06V20/17 , G06V10/25 , G06V10/40 , G06V10/764 , G06V10/82 , G06V10/52 , G06V10/80 , G06N3/0499
Abstract: 本发明公开了一种基于跨模态瓶颈适配网络的机载多模态目标检测方法,首先,为了解决模态异质性挑战,引入了全局互信息适配机制和结构互信息适配机制。这些机制有助于增加模态之间的共享信息量,推动跨模态知识的更好共享;然后,构建了变分信息瓶颈,通过多模态分布融合、先验分布约束和任务约束,模型能够更加高效地处理多模态数据,从而更关注于多模态数据中任务相关的关键信息来应对模态冗余挑战。
-
公开(公告)号:CN118196752B
公开(公告)日:2024-12-31
申请号:CN202410289768.9
申请日:2024-03-14
Applicant: 中国矿业大学
IPC: G06V20/58 , G06V10/25 , G06V10/44 , G06V10/52 , G06V10/143 , G06V10/74 , G06V10/82 , G06N3/0455 , G06N3/0464
Abstract: 本发明公开了一种基于解耦变分自编码器网络的无人驾驶环卫车目标检测方法,针对无人驾驶环卫车的多模态目标检测,首先,向特征金字塔网络添加横向连接,以平衡不同大小对象的检测要求;接着,多尺度特征输入到框建议模块,生成提议框和提议特征,将通过RoiAlign得到的ROI特征和提议特征建立一对一的交互关系,从而优化ROI特征;然后,设计了解耦变分自编码器,采用变分推断,通过最大化真实数据分布对数似然的证据下界建模全局数据分布,对红外和可见光图像的数据分布进行解耦,以从数据中捕获任务相关的分布信息;最后,将解耦变分自编码器的特征进行全局信息整合,然后输入到目标检测网络中,以进行多模态目标检测。
-
公开(公告)号:CN118038181A
公开(公告)日:2024-05-14
申请号:CN202410331617.5
申请日:2024-03-22
Applicant: 中国矿业大学
IPC: G06V10/764 , G06V10/75 , G06V10/762 , G06V20/10 , G06N3/0455 , G06N3/096 , G06N3/094 , G06V10/82
Abstract: 本发明公开了一种基于元迁移梯度更新策略的高光谱图像分类方法。通过任务分布对齐策略构建了平衡的元任务簇,以解决不同领域之间由于类别关系差异而引起的任务分布错位问题。接着,利用领域投影头捕获与域相关的特定知识,确保共享特征嵌入模块能够专注于捕获两个域之间共享的域不变知识。最后,采用元迁移梯度更新策略来更新模型,聚焦于让模型从元迁移任务集合中归纳出适用于各类型元迁移任务的无偏知识,从而提升模型的泛化性能并优化元迁移学习效果。
-
-
-
-
-
-
-