- 专利标题: 一种生成模型增强的大规模视觉预训练方法及系统
-
申请号: CN202410077241.X申请日: 2024-01-19
-
公开(公告)号: CN117593215B公开(公告)日: 2024-03-29
- 发明人: 吴建龙 , 李潇婕 , 聂礼强 , 张淼 , 张民
- 申请人: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
- 申请人地址: 广东省深圳市南山区桃源街道深圳大学城哈尔滨工业大学校区
- 专利权人: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
- 当前专利权人: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
- 当前专利权人地址: 广东省深圳市南山区桃源街道深圳大学城哈尔滨工业大学校区
- 代理机构: 济南圣达知识产权代理有限公司
- 代理商 张庆骞
- 主分类号: G06T5/70
- IPC分类号: G06T5/70 ; G06T7/11
摘要:
本发明属于图像自监督预训练领域,为解决生成模型生成图像的准确性差的问题,提供一种生成模型增强的大规模视觉预训练方法及系统。其中,生成模型增强的大规模视觉预训练方法包括利用预训练的生成模型,自适应生成原始图像所对应的正视图;对原始图像和正视图进行数据增强,生成增强后的正样本对,使用预训练的图像编码器提取正样本对的特征表示;根据正样本对的特征表示,计算注意力掩码来分隔前景区域和背景区域;评估正样本对的质量来调整每个正样本对在训练生成模型过程中对整体损失的贡献,计算每个正样本对的重新加权因子,得到最终损失函数,以确定是否继续训练生成模型,其能够减轻低质量和错误图像对生成模型生成图像准确性的影响。
公开/授权文献
- CN117593215A 一种生成模型增强的大规模视觉预训练方法及系统 公开/授权日:2024-02-23