公开(公告)号：CN114245215A

公开(公告)日：2022-03-25

申请号：CN202111404955.X

申请日：2021-11-24

申请人： 清华大学 ,  华为技术有限公司

发明人： 刘永进 ,  叶子鹏 ,  温玉辉 ,  孙志尧 ,  常亚

IPC分类号： H04N21/466 ,  H04N21/81 ,  G06N3/04 ,  G06N3/08 ,  G06V40/16 ,  G10L15/02 ,  G10L15/06 ,  G10L15/16 ,  G10L15/24 ,  G10L25/63

摘要： 本发明提供一种说话视频的生成方法、装置、电子设备、介质及产品，本发明提供的说话视频的生成方法、装置、电子设备、介质及产品，通过情绪语音模型可以根据说话音频的音频特征和情绪标签序列获得相应的人脸模型序列，并通过神经渲染模型根据人脸模型序列、情绪标签序列以及人脸背景序列获得视频帧序列，最后将视频帧序列与说话音频合成即可得到目标人物的说话视频，由于说话视频是基于情绪标签序列获得的，可以直观的表达目标人物的情绪变化，得到的说话视频更加真实。

公开(公告)号：CN114245215B

公开(公告)日：2023-04-07

申请号：CN202111404955.X

申请日：2021-11-24

申请人： 清华大学 ,  华为技术有限公司

发明人： 刘永进 ,  叶子鹏 ,  温玉辉 ,  孙志尧 ,  常亚

IPC分类号： H04N21/466 ,  H04N21/81 ,  G06N3/0464 ,  G06N3/08 ,  G06V40/16 ,  G10L15/02 ,  G10L15/06 ,  G10L15/16 ,  G10L15/24 ,  G10L25/63

摘要： 本发明提供一种说话视频的生成方法、装置、电子设备、介质及产品，本发明提供的说话视频的生成方法、装置、电子设备、介质及产品，通过情绪语音模型可以根据说话音频的音频特征和情绪标签序列获得相应的人脸模型序列，并通过神经渲染模型根据人脸模型序列、情绪标签序列以及人脸背景序列获得视频帧序列，最后将视频帧序列与说话音频合成即可得到目标人物的说话视频，由于说话视频是基于情绪标签序列获得的，可以直观的表达目标人物的情绪变化，得到的说话视频更加真实。

公开(公告)号：CN111402394A

公开(公告)日：2020-07-10

申请号：CN202010091132.5

申请日：2020-02-13

申请人： 清华大学

发明人： 刘永进 ,  叶子鹏 ,  易冉

IPC分类号： G06T17/00 ,  G06T15/00 ,  G06T15/04 ,  G06T15/10

摘要： 本发明实施例提供一种三维夸张漫画人脸生成方法及装置，方法包括：将正常人脸照片输入3D-CariGAN模型中，输出三维夸张漫画人脸的PCA系数，基于三维夸张漫画人脸的PCA模型根据PCA系数恢复出三维夸张漫画人脸的几何模型；根据正常人脸照片重建出三维正常人脸，并将三维正常人脸投影到正常人脸照片上，获取三维夸张漫画人脸的纹理映射；将正常人脸照片输入CariStyGAN中，输出三维夸张漫画人脸的纹理贴图；根据几何模型、纹理映射和纹理贴图，获取三维夸张漫画人脸。本发明实施例利用三维夸张漫画人脸的PCA模型自动生成自然的完整三维夸张漫画人脸。

公开(公告)号：CN114429518B

公开(公告)日：2024-07-23

申请号：CN202111627286.2

申请日：2021-12-28

申请人： 清华大学 ,  深兰科技(上海)有限公司

发明人： 刘永进 ,  吕天 ,  叶子鹏 ,  夏萌霏 ,  王雷

IPC分类号： G06T17/00

摘要： 本发明提供一种人脸模型重建方法、装置、设备和存储介质，包括：将当前人脸正面照片输入预设的人脸描述模型，得到人脸的描述信息，所述描述信息包括当前人脸的几何参数，所述人脸描述模型为深度神经网络模型；根据所述几何参数获取所述当前人脸的人脸网格模型；将所述当前人脸正面照片输入预设的生成网络生成所述当前人脸的纹理贴图、法向贴图和视差贴图；将所述人脸网格模型、所述纹理贴图、所述法向贴图和所述视差贴图输入视差可微渲染器，得到重建的正面人脸模型。本发明的技术方案可以实现提高人脸模型重建的精度。

公开(公告)号：CN111402394B

公开(公告)日：2022-09-20

申请号：CN202010091132.5

申请日：2020-02-13

申请人： 清华大学

发明人： 刘永进 ,  叶子鹏 ,  易冉

IPC分类号： G06T17/00 ,  G06T15/00 ,  G06T15/04 ,  G06T15/10

摘要： 本发明实施例提供一种三维夸张漫画人脸生成方法及装置，方法包括：将正常人脸照片输入3D‑CariGAN模型中，输出三维夸张漫画人脸的PCA系数，基于三维夸张漫画人脸的PCA模型根据PCA系数恢复出三维夸张漫画人脸的几何模型；根据正常人脸照片重建出三维正常人脸，并将三维正常人脸投影到正常人脸照片上，获取三维夸张漫画人脸的纹理映射；将正常人脸照片输入CariStyGAN中，输出三维夸张漫画人脸的纹理贴图；根据几何模型、纹理映射和纹理贴图，获取三维夸张漫画人脸。本发明实施例利用三维夸张漫画人脸的PCA模型自动生成自然的完整三维夸张漫画人脸。

公开(公告)号：CN114429518A

公开(公告)日：2022-05-03

申请号：CN202111627286.2

申请日：2021-12-28

申请人： 清华大学 ,  深兰科技(上海)有限公司

发明人： 刘永进 ,  吕天 ,  叶子鹏 ,  夏萌霏 ,  王雷

IPC分类号： G06T17/00

摘要： 本发明提供一种人脸模型重建方法、装置、设备和存储介质，包括：将当前人脸正面照片输入预设的人脸描述模型，得到人脸的描述信息，所述描述信息包括当前人脸的几何参数，所述人脸描述模型为深度神经网络模型；根据所述几何参数获取所述当前人脸的人脸网格模型；将所述当前人脸正面照片输入预设的生成网络生成所述当前人脸的纹理贴图、法向贴图和视差贴图；将所述人脸网格模型、所述纹理贴图、所述法向贴图和所述视差贴图输入视差可微渲染器，得到重建的正面人脸模型。本发明的技术方案可以实现提高人脸模型重建的精度。