公开(公告)号：CN118505945A

公开(公告)日：2024-08-16

申请号：CN202410175224.X

申请日：2024-02-07

申请人： 脸萌有限公司

发明人： 宋果鲜 ,  徐鸿燚 ,  刘晶 ,  智天成 ,  施亦纯 ,  张健锋 ,  蒋子航 ,  冯佳时 ,  桑燊 ,  罗琳捷

IPC分类号： G06T19/20 ,  G06T17/10 ,  G06V10/44 ,  G06N3/0475 ,  G06N3/096

摘要： 本公开的实施例涉及使用迁移学习的多维图像风格化。一种用于生成多维风格化图像的方法。该方法包括将输入数据提供到针对多维生成式模型的风格调节的多维生成器的潜在空间中，以及由风格调节的多维生成器从输入数据生成多维风格化图像。该方法还包括使用来自潜在空间的潜在代码和对应的相机位姿来合成针对多维风格化图像的内容，以制定中间代码来调制合成卷积层以生成作为多平面表示的特征图像，并且合成特征图像的风格化特征图像以用于生成输入数据的多维风格化图像。使用利用风格先验生成器的引导迁移学习过程来调整风格调节的多维生成器。

公开(公告)号：CN118470272A

公开(公告)日：2024-08-09

申请号：CN202410172834.4

申请日：2024-02-07

申请人： 脸萌有限公司

发明人： 徐鸿燚 ,  宋果鲜 ,  蒋子航 ,  张健锋 ,  施亦纯 ,  刘晶 ,  马万钧 ,  冯佳时 ,  罗琳捷

IPC分类号： G06T19/20 ,  G06T17/10 ,  G06T13/40

摘要： 本公开的实施例涉及几何引导的可控3D头部合成。本文中描述并且记载了用于产生可控合成图像的技术，包括用于高质量3D头部合成的几何引导的3D GAN框架，该框架对相机位姿、面部表情、头部形状、关节式颈部和下颌姿势进行完全控制；以及语义SDF(有符号距离函数)公式，该公式定义了从观察空间到规范空间的体积对应关系，其允许与3D GAN训练中的控制参数完全解纠缠。

公开(公告)号：CN117876557A

公开(公告)日：2024-04-12

申请号：CN202311292304.5

申请日：2023-10-08

申请人： 脸萌有限公司 ,  北京字跳网络技术有限公司

发明人： 桑燊 ,  智天成 ,  宋果鲜 ,  刘晶 ,  罗琳捷 ,  黎振邦 ,  曾伟宏 ,  孙敬娜 ,  王旭

IPC分类号： G06T15/02 ,  G06T13/40 ,  G06N3/045 ,  G06N3/0895

摘要： 本公开涉及用于图像生成的级联域桥接。提供了一种生成风格化3D化身的方法。该方法包括接收用户的输入图像，基于该输入图像使用生成对抗网络(GAN)生成器生成风格化图像以及将该风格化图像提供给第一模型以生成第一多个参数。该第一多个参数包括离散参数和连续参数。该方法还包括向被训练以成生成化身图像的第二模型提供该风格化图像和该第一多个参数，从该第二模型接收该化身图像，基于损失函数将该风格化图像与该化身图像进行比较以确定误差，基于该误差更新该第一模型以生成对应于该第一多个参数的第二多个参数以及提供该第二多个参数作为输出。

公开(公告)号：CN118469827A

公开(公告)日：2024-08-09

申请号：CN202410158696.4

申请日：2024-02-04

申请人： 脸萌有限公司

发明人： 徐鸿燚 ,  安思哲 ,  施亦纯 ,  宋果鲜 ,  罗琳捷

IPC分类号： G06T5/50 ,  G06T3/4007 ,  G06T3/4053 ,  G06T15/20 ,  G06N3/0475 ,  G06N3/045 ,  G06N3/094

摘要： 本公开涉及所有角度下的几何感知的三维合成。三维生成对抗网络包括生成器、判别器和渲染器。生成器被配置成接收从潜在代码和相机姿态被映射的中间潜在代码，为一组图像生成二维背景，并且基于中间潜在代码生成多网格表示特征。渲染器被配置成基于相机姿态、相机姿态偏移和多网格表示特征来合成图像；相机姿态偏移从潜在代码和相机姿态被映射；以及渲染前景遮罩。判别器被配置成监督利用上采样图像和超分辨率图像对前景遮罩的训练。

公开(公告)号：CN117876558A

公开(公告)日：2024-04-12

申请号：CN202311298290.8

申请日：2023-10-09

申请人： 脸萌有限公司

发明人： 宋果鲜 ,  桑燊 ,  智天成 ,  刘晶 ,  罗琳捷

IPC分类号： G06T15/02 ,  G06T13/40 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/0455 ,  G06N3/0895 ,  G06N3/096

摘要： 本文公开了用于图像生成的级联域桥接。描述了一种生成风格图像的方法。该方法包括接收主体的输入图像。该方法还包括使用生成对抗网络(GAN)的第一编码器对输入图像进行编码，以获得第一潜码。该方法还包括使用GAN的第一解码器对第一潜码进行解码以获得主体的规格化风格图像，其中根据输入图像和规格化风格图像的语义区域使用损失函数来训练GAN。

公开(公告)号：CN117710563A

公开(公告)日：2024-03-15

申请号：CN202311116404.2

申请日：2023-08-31

申请人： 脸萌有限公司

发明人： 智天成 ,  桑燊 ,  宋果鲜 ,  黎振邦 ,  刘晶 ,  罗琳捷

IPC分类号： G06T15/06 ,  G06T15/20 ,  G06T15/50 ,  G06T17/20

摘要： 本公开实施例涉及半透明对象的基于光栅化的可微分绘制器的方法。提供了用于绘制半透明对象的系统和方法。在一个方面，该系统包括耦合到存储指令的存储介质的处理器，该指令在由处理器执行时使处理器接收表示至少一个半透明对象的至少一个网格。针对要绘制的每个像素，处理器使用至少一个网格对要绘制的像素执行基于光栅化的可微分绘制，并且基于该基于光栅化的可微分绘制来确定要绘制的像素的多个值。基于光栅化的可微分绘制可以包括执行概率光栅化过程以及聚合技术以计算要绘制的像素的多个值。多个值包括颜色通道值集合和不透明度通道值。一旦确定了所有像素的值，就可以绘制图像。

公开(公告)号：CN118382875A

公开(公告)日：2024-07-23

申请号：CN202280077598.7

申请日：2022-11-04

申请人： 脸萌有限公司

发明人： 宋果鲜 ,  刘晶 ,  黎振邦 ,  罗琳捷

IPC分类号： G06T3/04 ,  G06T11/00 ,  G06N3/0475 ,  G06N3/084 ,  G06N3/0455

摘要： 公开了用于生成纹理化图像的方法和系统。一些示例可以包括：接收输入图像，接收范例纹理图像，使用编码器基于输入图像生成第一潜在代码向量表示，使用生成对抗网络生成器基于范例纹理图像生成第二潜在代码向量表示，将第一潜在代码向量表示和第二潜在代码向量表示进行混合以获得经混合的潜在代码向量表示，由GAN生成器基于经混合的潜在代码向量表示生成纹理化图像，并且提供给纹理化图像作为输出图像。

公开(公告)号：CN118202394A

公开(公告)日：2024-06-14

申请号：CN202280071887.6

申请日：2022-11-04

申请人： 脸萌有限公司

发明人： 刘晶 ,  黎振邦 ,  宋果鲜 ,  罗琳捷

IPC分类号： G06V10/82 ,  G06N3/0455 ,  G06T9/00 ,  G06T11/60 ,  G06N3/08

摘要： 描述了针对控制风格化画像与原始照片之间的相似度的系统和方法。在示例中，输入图像使用变分自动编码器接收并编码，以生成潜在向量。潜在向量可以与最佳表示原始用户画像图像中的面部的潜在向量混合。所得到的经混合的潜在向量可以被提供给生成对抗网络(GAN)生成器，以生成受控风格化图像。在示例中，风格化GAN生成器的一个或多个层可以与原始GAN生成器的一个或多个层交换。因此，用户可以交互地确定多少风格化相对于个性化应被包括在所得到的风格化画像中。

公开(公告)号：CN116724330A

公开(公告)日：2023-09-08

申请号：CN202280008693.1

申请日：2022-04-14

申请人： 脸萌有限公司

发明人： 罗琳捷 ,  宋果鲜 ,  刘晶 ,  马万钧

IPC分类号： G06T3/00 ,  G06N3/096 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/0464 ,  G06N3/0455

摘要： 系统和方法涉及仅使用有限范例生成肖像风格的逆一致性迁移学习框架。在示例中，输入图像被接收并且使用变分自编码器被编码以生成隐向量。隐向量可以被提供到生成性对抗网络(GAN)生成器以生成风格化图像。在示例中，变分自编码器使用多个图像而被训练，同时保持预训练的GAN生成器的权重固定，其中预训练的GAN生成器充当编码器的解码器。在其他示例中，使用多个范例图像来训练多路径属性感知生成器，并使用预训练的GAN生成器进行学习迁移。