三维解析模型的训练方法、虚拟图像创建方法及装置

    公开(公告)号:CN117496288A

    公开(公告)日:2024-02-02

    申请号:CN202310773092.6

    申请日:2023-06-27

    发明人: 王淳 蒋宁

    摘要: 本申请实施例提供了一种三维解析模型的训练方法、虚拟图像创建方法及装置,其中训练方法包括:将第一训练样本对输入第一三维解析网络中进行第一训练处理,得到多个第一空间点的第一反照率和第一球谐光照系数;将第二训练样本对输入第二三维解析网络进行第二训练处理,得到多个第二空间点的第二反照率和第二球谐光照系数;根据第一反照率和第二球谐光照系数确定第一损失,根据第二反照率和第一球谐光照系数确定第二损失;若根据第一损失和第二损失确定满足训练结束条件,则将满足训练结束条件时的第一三维解析网络确定为三维解析模型。通过本申请实施例,能够使生成的虚拟图像更和谐的融入到目标虚拟环境中。

    语音与图像同步性衡量模型的训练方法及装置

    公开(公告)号:CN114494930B

    公开(公告)日:2023-09-22

    申请号:CN202111058177.3

    申请日:2021-09-09

    摘要: 本申请提供一种语音与图像同步性衡量模型的训练方法及装置,该方法包括:将第一图像片段处理为第一图像数据、第一语音片段处理为第一语音数据、第二语音片段处理为第二语音数据,将随机图像片段处理为第二图像数据、随机语音片段处理为第三语音数据,将第一图像数据和第一语音数据组成正样本,将第一图像数据和第二语音数据组成第一负样本,将第一图像数据和第三语音数据组成第二负样本,将第一语音数据或第二语音数据,和第二图像数据组成第三负样本,采用正样本、第一负样本、第二负样本和第三负样本训练语音与图像同步性衡量模型。这样,使得训练样本的类型更加丰富,能够提高语音与图像同步性衡量模型的精确度。

    视频处理方法、应用程序的测试方法及电子设备

    公开(公告)号:CN114220051B

    公开(公告)日:2023-07-28

    申请号:CN202111507922.8

    申请日:2021-12-10

    摘要: 本申请实施例公开了一种视频处理方法、应用程序的测试方法及电子设备。视频处理方法包括:获取基于活体的多段视频素材,基于目标人脸,对多段视频素材进行处理,获得目标人脸的第一变换视频与第二变换视频,并生成第一变换视频和第二变换视频之间的过渡视频;对第一变换视频、第二变换视频以及过渡视频进行拼接,获得目标视频。以上方案基于多段视频素材进行变换,生成了大量的变换视频,同时,通过过渡视频对任意两段变换视频进行衔接,获得了更加丰富的目标视频,同时还避免了两段变换视频之间衔接时出现的瑕疵问题,从而能够有足够丰富的视频素材用于更充分的测试。

    一种信息处理方法、装置、计算机设备及存储介质

    公开(公告)号:CN114783022B

    公开(公告)日:2023-07-21

    申请号:CN202210370143.6

    申请日:2022-04-08

    摘要: 本申请实施例公开了一种信息处理方法、装置、计算机设备及存储介质,本申请实施例通过获取目标视频;将每一帧的人脸图像输入第一目标预设主干模型,输出第一目标图像特征;将第一目标图像特征分别输入第一目标预设网络模型、第二目标预设网络模型和第三目标预设网络模型,对应输出第一目标表情系数、第一目标姿态系数以及第一目标光照系数;将第一目标图像特征分别输入第四目标预设网络模型和第五目标预设网络模型,对应输出第一目标身份系数和第一目标纹理系数,以此,通过将表情系数和非表情系数进行解耦合处理的方式,快速输出准确的表情系数、姿态系数、光照系数、身份系数和纹理系数。极大提升了信息处理的效率。

    一种信息处理方法、装置、计算机设备及存储介质

    公开(公告)号:CN114782864B

    公开(公告)日:2023-07-21

    申请号:CN202210370145.5

    申请日:2022-04-08

    摘要: 本申请实施例公开了一种信息处理方法、装置、计算机设备及存储介质,本申请实施例通过获取目标视频,目标视频中每一帧包含相同对象对应的人脸图像;将每一帧的人脸图像输入第一目标预设主干模型,输出第一目标图像特征;将第一目标图像特征输入第一目标预设网络模型,对应输出第一目标表情系数;其中,第一目标预设网络模型通过获取共享身份系数和共享纹理系数,对应进行表情系数预测优化训练得到。通过将第一目标表情系数与非表情系数进行解耦合处理,极大的提升了提取的表情系数的准确性。

    图像显示方法、装置、设备及存储介质

    公开(公告)号:CN116301476A

    公开(公告)日:2023-06-23

    申请号:CN202310207322.2

    申请日:2023-03-03

    发明人: 王淳 蒋宁

    摘要: 本申请公开了一种图像显示方法、装置、设备及存储介质。方法包括:响应于用户从虚拟环境切换到真实环境的虚实切换事件,获取当前视频流及其中每个图像帧对应的摄像头姿态数据以及用户在当前时刻的视点姿态数据,当前视频流为通过用户佩戴的头戴式显示设备上的摄像头对用户所处的真实环境进行拍摄得到;基于当前视频流及其中每个图像帧对应的摄像头姿态数据对图像渲染模型进行训练;通过训练后的图像渲染模型基于当前时刻的视点姿态数据进行图像渲染处理,得到与用户的视点相适应的目标渲染图像;通过头戴式显示设备显示目标渲染图像,目标渲染图像用于反映从用户视角所观察的真实环境,以便于用户基于所述目标渲染图像在真实环境进行活动。

    图像合成方法、装置、设备和介质

    公开(公告)号:CN116128777A

    公开(公告)日:2023-05-16

    申请号:CN202211182364.7

    申请日:2022-09-27

    发明人: 王淳 周迅溢 蒋宁

    IPC分类号: G06T5/50 G06T7/194

    摘要: 本说明书实施方式提供了一种图像合成方法、装置、设备和介质。所述图像合成方法可以包括:分解背景图像得到多个背景本征图和背景光照信息,每个所述背景本征图对应一个本征图像类别;对应所述本征图像类别,分解前景图像得到多个前景本征图;分别将对应相同的本征图像类别的背景本征图和前景本征图融合,得到多个融合本征图;根据所述多个融合本征图和所述背景光照信息合成图像。实现合成的图像具有较佳的视觉效果。

    一种信息处理方法、装置、计算机设备及存储介质

    公开(公告)号:CN114783022A

    公开(公告)日:2022-07-22

    申请号:CN202210370143.6

    申请日:2022-04-08

    摘要: 本申请实施例公开了一种信息处理方法、装置、计算机设备及存储介质,本申请实施例通过获取目标视频;将每一帧的人脸图像输入第一目标预设主干模型,输出第一目标图像特征;将第一目标图像特征分别输入第一目标预设网络模型、第二目标预设网络模型和第三目标预设网络模型,对应输出第一目标表情系数、第一目标姿态系数以及第一目标光照系数;将第一目标图像特征分别输入第四目标预设网络模型和第五目标预设网络模型,对应输出第一目标身份系数和第一目标纹理系数,以此,通过将表情系数和非表情系数进行解耦合处理的方式,快速输出准确的表情系数、姿态系数、光照系数、身份系数和纹理系数。极大提升了信息处理的效率。

    一种信息处理方法、装置、计算机设备及存储介质

    公开(公告)号:CN114782864A

    公开(公告)日:2022-07-22

    申请号:CN202210370145.5

    申请日:2022-04-08

    摘要: 本申请实施例公开了一种信息处理方法、装置、计算机设备及存储介质,本申请实施例通过获取目标视频,目标视频中每一帧包含相同对象对应的人脸图像;将每一帧的人脸图像输入第一目标预设主干模型,输出第一目标图像特征;将第一目标图像特征输入第一目标预设网络模型,对应输出第一目标表情系数;其中,第一目标预设网络模型通过获取共享身份系数和共享纹理系数,对应进行表情系数预测优化训练得到。通过将第一目标表情系数与非表情系数进行解耦合处理,极大的提升了提取的表情系数的准确性。