一种基于分层分类文本指导的真实场景图像编辑方法
摘要:
本发明公开了一种基于分层分类文本指导的真实场景图像编辑方法,首先选取一个层级多标签文本分类模型,将输入的风格描述文本进行层级分类;利用e4e反演模型得到室内场景图像的潜在向量,基于StyleGAN的语义分层特性,将潜在向量进行划分;训练隐空间残差映射器,并分为四组,分别代表场景图像中的布局、对象、属性和颜色细节的生成,并可通过文本分层模型得到的二级词汇对映射模型进行选择性的训练;将文本分类模型得到的三级词汇输入到CLIP网络,并利用CLIP损失控制映射网络的训练;潜在向量通过分层输入映射网络后得到一个偏置向量,与原始向量进行求和后,输入StyleGAN,得到编辑后的图像。本发明实现对于文本指导图像的自动化编辑,减少了人为的手动操控。
0/0