-
公开(公告)号:CN119625812A
公开(公告)日:2025-03-14
申请号:CN202510168895.8
申请日:2025-02-17
Applicant: 吉林大学
IPC: G06V40/16 , G06V10/82 , G06V10/80 , G06N3/0455 , G06N3/0464 , G06N3/0442 , G06N3/08 , G06N3/045
Abstract: 本发明提供一种基于重构学习和混合专家模式的人脸伪造检测方法及系统,包括步骤:从人脸视频中提取人脸帧图像;对人脸帧图像进行数据处理,获得二维人脸图像;利用Swin Transformer作为编码器,同时引入混合专家模型,对二维人脸图像进行空间特征和长距离依赖特征提取;利用混合专家模型对二维人脸图像中不同类型的特征进行增强,得到高级语义特征图;利用注意力引导的解码模块生成人脸重建图像;利用基于重建引导的特征聚合模块,将人脸重建图像与相应的二维人脸图像聚合,探索可能存在的伪造区域,得到最终用于人脸伪造检测的特征图。本发明对于未知伪造类型的检测能力更优,能够提高人脸伪造检测的准确性、鲁棒性和泛化性。
-
公开(公告)号:CN119600459A
公开(公告)日:2025-03-11
申请号:CN202510147622.5
申请日:2025-02-11
Applicant: 吉林大学
IPC: G06V20/10 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/045
Abstract: 本发明提供一种从RGB图像重构高光谱方法及系统,所述方法包括:获取三通道RGB图像;利用卷积神经网络对RGB图像进行嵌入和通道扩充,获得初始特征图;将初始特征图输入编码器,利用其中的VisionTransformer和VisionMamba分别提取通道维度特征和空间维度特征并融合,分别输入跳跃连接与可分离卷积,获得不同层级的特征图;将其输入至解码器获得最终特征图;利用卷积神经网络对最终特征图进行映射,并与输入编码器之前的初始特征图相加,得到压缩形式的高光谱图像;对压缩形式的高光谱图像按通道数进行拆分,然后进行色彩映射,最终得到重构高光谱图像。本发明能够提高从RGB图像重构高光谱的精度和泛化性能。
-