公开(公告)号：CN118522078B

公开(公告)日：2025-03-25

申请号：CN202410716515.5

申请日：2024-06-04

Applicant: 中国矿业大学

Inventor： 陈世海 ,  姜双天 ,  潘在宇 ,  胡劼 ,  李兵 ,  王军

IPC: G06V40/70 ,  G06V40/14 ,  G06V40/12 ,  G06V10/774 ,  G06V10/82 ,  G06V10/80 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/09 ,  G06N3/084

Abstract: 本发明公开了一种基于跨模态生成的缺失模态下掌纹掌静脉融合识别方法，针对像素空间缺失模态生成困难和多模态融合信息冗余的问题，本发明提出了两个创新点：(1)提出半监督的跨模态生成方法，逐步实现跨模态图像之间的纹理风格迁移和纹路结构生成，完成任意缺失模态图像生成。(2)提出自适应稀疏模态融合模型，减少多模态融合特征的冗余信息，增强模型对模态特征质量动态变化的鲁棒性。在测试集中任意模态图像缺失的情况下，通过由掌静脉图像生成掌纹图像的生成器Gvp和由掌静脉图像生成掌纹图像的生成器Gpv与自适应稀疏模态融合模型的联合作用，形成掌静脉和掌纹双模态手部生物特征在任意模态缺失下的鲁棒识别方法。

公开(公告)号：CN118522078A

公开(公告)日：2024-08-20

申请号：CN202410716515.5

申请日：2024-06-04

Applicant: 中国矿业大学

Inventor： 陈世海 ,  姜双天 ,  潘在宇 ,  胡劼 ,  李兵 ,  王军

IPC: G06V40/70 ,  G06V40/14 ,  G06V40/12 ,  G06V10/774 ,  G06V10/82 ,  G06V10/80 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/09 ,  G06N3/084

Abstract: 本发明公开了一种基于跨模态生成的缺失模态下掌纹掌静脉融合识别方法，针对像素空间缺失模态生成困难和多模态融合信息冗余的问题，本发明提出了两个创新点：(1)提出半监督的跨模态生成方法，逐步实现跨模态图像之间的纹理风格迁移和纹路结构生成，完成任意缺失模态图像生成。(2)提出自适应稀疏模态融合模型，减少多模态融合特征的冗余信息，增强模型对模态特征质量动态变化的鲁棒性。在测试集中任意模态图像缺失的情况下，通过由掌静脉图像生成掌纹图像的生成器Gvp和由掌静脉图像生成掌纹图像的生成器Gpv与自适应稀疏模态融合模型的联合作用，形成掌静脉和掌纹双模态手部生物特征在任意模态缺失下的鲁棒识别方法。

公开(公告)号：CN117523685A

公开(公告)日：2024-02-06

申请号：CN202311521995.1

申请日：2023-11-15

Applicant: 中国矿业大学

Inventor： 潘在宇 ,  徐家梦 ,  姜双天 ,  王军

IPC: G06V40/70 ,  G06V40/12 ,  G06V10/80 ,  G06N3/045 ,  G06N3/0464 ,  G06V10/774 ,  G06N3/09 ,  G06N3/088

Abstract: 本发明公开了一种基于非对称对比融合的双模态生物特征识别方法，涉及生物识别技术领域。本发明创新性地提出了基于非对称对比融合的双模态生物特征识别模型，在掌纹掌静脉融合网络的基础上，设计了一种新的非对称对比学习策略，在单模态的输入级和多模态融合的输出级进行互信息最大化和语义一致性信息的对比学习，该模型结合有监督和无监督的表征学习方法，可以更为灵活和充分地利用数据，减少模型训练对数据标注的依赖，减少任务相关信息的丢失，使模型学习鲁棒性的多模态特征表示，提高身份信息的识别精度。

公开(公告)号：CN118537932B

公开(公告)日：2025-03-07

申请号：CN202410716512.1

申请日：2024-06-04

Applicant: 中国矿业大学

Inventor： 潘在宇 ,  姜双天 ,  胡劼 ,  顾言 ,  王军

IPC: G06V40/70 ,  G06V40/14 ,  G06V40/12 ,  G06V10/774 ,  G06V10/82 ,  G06V10/80 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0895

Abstract: 本发明公开了一种基于特征解耦的缺失模态下掌纹掌静脉融合识别方法，针对目前模态缺失下多模态融合方法存在的问题：(1)利用生成式的方法，对于每一种缺失模态都需要设计一个生成模型，导致整体模型庞大，不太适用于实际应用；(2)大多数模态缺失方法是指定缺失模态的，限制了灵活性。针对上述问题，本发明使用简单的网络模型，设计对比学习损失和模态间身份一致性损失解耦共享特征和特定特征并构建在特征层的掌纹跨模态生成器或掌静脉跨模态生成器，利用已知模态特征补全对缺失模态特征。不同于现有方法，本发明提出的多模态融合方法具有卓越的鲁棒性，对于在测试集任意模态缺失的情况，仍能取得准确的识别结果，满足多样化应用场景的需求。

公开(公告)号：CN118537932A

公开(公告)日：2024-08-23

申请号：CN202410716512.1

申请日：2024-06-04

Applicant: 中国矿业大学

Inventor： 潘在宇 ,  姜双天 ,  胡劼 ,  顾言 ,  王军

IPC: G06V40/70 ,  G06V40/14 ,  G06V40/12 ,  G06V10/774 ,  G06V10/82 ,  G06V10/80 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0895

Abstract: 本发明公开了一种基于特征解耦的缺失模态下掌纹掌静脉融合识别方法，针对目前模态缺失下多模态融合方法存在的问题：(1)利用生成式的方法，对于每一种缺失模态都需要设计一个生成模型，导致整体模型庞大，不太适用于实际应用；(2)大多数模态缺失方法是指定缺失模态的，限制了灵活性。针对上述问题，本发明使用简单的网络模型，设计对比学习损失和模态间身份一致性损失解耦共享特征和特定特征并构建在特征层的掌纹跨模态生成器或掌静脉跨模态生成器，利用已知模态特征补全对缺失模态特征。不同于现有方法，本发明提出的多模态融合方法具有卓越的鲁棒性，对于在测试集任意模态缺失的情况，仍能取得准确的识别结果，满足多样化应用场景的需求。

公开(公告)号：CN117523685B

公开(公告)日：2024-07-09

申请号：CN202311521995.1

申请日：2023-11-15

Applicant: 中国矿业大学

Inventor： 潘在宇 ,  徐家梦 ,  姜双天 ,  王军

IPC: G06V40/70 ,  G06V40/12 ,  G06V10/80 ,  G06N3/045 ,  G06N3/0464 ,  G06V10/774 ,  G06N3/09 ,  G06N3/088

Abstract: 本发明公开了一种基于非对称对比融合的双模态生物特征识别方法，涉及生物识别技术领域。本发明创新性地提出了基于非对称对比融合的双模态生物特征识别模型，在掌纹掌静脉融合网络的基础上，设计了一种新的非对称对比学习策略，在单模态的输入级和多模态融合的输出级进行互信息最大化和语义一致性信息的对比学习，该模型结合有监督和无监督的表征学习方法，可以更为灵活和充分地利用数据，减少模型训练对数据标注的依赖，减少任务相关信息的丢失，使模型学习鲁棒性的多模态特征表示，提高身份信息的识别精度。