公开(公告)号：CN118691725A

公开(公告)日：2024-09-24

申请号：CN202410817860.8

申请日：2024-06-24

Applicant: 北京交通大学 ,  清华大学

Inventor： 温玉辉 ,  景丽萍 ,  刘永进 ,  孙志尧 ,  汪意 ,  周正忠

IPC: G06T13/40 ,  G06T17/00 ,  G06T3/04 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种情感可控脸部动画生成方法、装置、设备及介质，该方法包括：确定目标时间段内的脸部视频和音频，所述脸部视频和所述音频同步采集；根据所述脸部视频和所述音频，确定条件编码，所述条件编码表征脸部视频中情感编码和音频中声音编码的组合关系；根据所述条件编码，确定隐空间编码，所述隐空间编码表征动画场景下的情感编码；根据所述隐空间编码，确定目标时间段内的人脸模型参数；根据所述人脸模型参数和预配置的视角参数，确定动画场景下的脸部视频,能够通过声音和情感生成三维人脸动画，能够更加灵活地控制动画生成结果。

公开(公告)号：CN118429569A

公开(公告)日：2024-08-02

申请号：CN202410360807.X

申请日：2024-03-27

Applicant: 清华大学 ,  北京交通大学

Inventor： 刘永进 ,  叶盛 ,  温玉辉 ,  胡钰彬 ,  何雨泽

IPC: G06T17/20 ,  G06T15/00 ,  G06V10/762 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明提供一种利用稀疏视角下RGB图像输入重建三维物体表面的方法和装置，方法包括：获取预先定义的候选视角集合，确定候选视角集合中的多个目标视角下形成的第一图像集合，并确定候选视角集合中除多个目标视角之外的其他候选视角形成的第二图像集合；将第一图像集合输入至重建模块中，对目标物体的隐式三维网格表面进行优化，并在优化过程中循环执行预设图像补充方法，将第二图像集合中的第一目标图像补充至重建模块中，直至满足预设停止条件；确定重建模块的当前目标参数，基于当前目标参数重建目标物体的三维物体表面。通过本发明提供的方法，基于动态、自适应的图像补充过程，用最少的视角实现高质量的三维物体表面重建。

公开(公告)号：CN119904572A

公开(公告)日：2025-04-29

申请号：CN202411725689.4

申请日：2024-11-28

Applicant: 北京交通大学

Inventor： 温玉辉 ,  汪意 ,  景丽萍 ,  周正忠

IPC: G06T17/00 ,  G06T15/04 ,  G06T15/20 ,  G06T17/20

Abstract: 本发明提供了一种基于神经纹理和三维高斯的可编辑数字人建模方法及装置，该方法包括：通过三维高斯泼溅模型根据目标对象的动作序列视频数据对数字人的表情、姿态和外观进行建模，得到数字人的高斯模型；通过神经纹理模型对数字人的表情、姿态和外观进行建模，得到数字人的神经纹理模型；对高斯模型进行剪枝，并根据剪枝后的高斯模型输出的渲染图像与数字人的神经纹理模型输出的渲染图像进行混合渲染，得到混合渲染图像；基于混合渲染图像和动作序列视频数据对数字人的高斯模型进行优化，得到可编辑数字人模型。本发明所述方法减少了数字人模型存储开销和结构复杂度，并提高了数字人模型皮肤表面高频细节和编辑效率。

公开(公告)号：CN118898665A

公开(公告)日：2024-11-05

申请号：CN202410971418.0

申请日：2024-07-19

Applicant: 北京交通大学 ,  清华大学

Inventor： 温玉辉 ,  刘永进 ,  景丽萍 ,  景宇宸 ,  李晨光 ,  叶盛

IPC: G06T13/40 ,  G06T15/20

Abstract: 本发明提供一种体型参数可控的风格化人体动画生成方法、装置及设备，该方法包括：确定音频片段对应的音频特征；获取动画对象的体型参数，以及所述动画对象在所述音频片段下的风格语义标签；所述风格语义标签表征动画对象的动作类型；获取与所述风格语义标签对应的动作序列的形状相匹配的噪音参数；基于所述音频特征、所述体型参数、所述风格语义标签和所述噪音参数，生成所述动画对象在动画场景下的动作序列；对所述动作序列进行渲染，得到所述动画对象的动画视频，本发明能够简化生成动画视频的操作，提高生成动画视频的效率。