Invention Grant
- Patent Title: 一种文本引导的图像修复方法和系统
-
Application No.: CN202010993094.2Application Date: 2020-09-21
-
Publication No.: CN111861945BPublication Date: 2020-12-18
- Inventor: 赵洲 , 童鑫远 , 蔡登 , 何晓飞
- Applicant: 浙江大学
- Applicant Address: 浙江省杭州市西湖区余杭塘路866号
- Assignee: 浙江大学
- Current Assignee: 浙江大学
- Current Assignee Address: 浙江省杭州市西湖区余杭塘路866号
- Agency: 杭州求是专利事务所有限公司
- Agent 郑海峰
- Main IPC: G06T5/00
- IPC: G06T5/00 ; G06N3/08 ; G06N3/02

Abstract:
本发明公开了一种文本引导的图像修复技术方法和系统,属于计算机视觉的图像修复领域。主要包括如下步骤:1)针对于一组图像、引导文本训练集,通过一个由粗到精的图像修复模块,学习图像信息与文本信息的联合表征并生成合理的修复图像。2)对于图像修复模块生成的图像,通过一个文本重构模块,学习修复图像与引导文本间的语义相关性,推测引导文本的蒙版部分。本发明采用引导文本指导模型生成语义一致,视觉连贯且可控的图像,采用一个由粗到细的跨模态生成网络以及一种新型监督信号指导模型逐步修复图像,采用一个文本重构模块指导模型根据生成的修复图像对引导文本的蒙版部分进行预测,提高视觉文本一致性。
Public/Granted literature
- CN111861945A 一种文本引导的图像修复方法和系统 Public/Granted day:2020-10-30
Information query