发明公开
- 专利标题: 动作视频的生成方法、扩散模型的训练方法和设备
-
申请号: CN202410434882.6申请日: 2024-04-11
-
公开(公告)号: CN118245820A公开(公告)日: 2024-06-25
- 发明人: 庄晓滨 , 宗旋
- 申请人: 腾讯音乐娱乐科技(深圳)有限公司
- 申请人地址: 广东省深圳市前海深港合作区前湾一路1号A栋201室
- 专利权人: 腾讯音乐娱乐科技(深圳)有限公司
- 当前专利权人: 腾讯音乐娱乐科技(深圳)有限公司
- 当前专利权人地址: 广东省深圳市前海深港合作区前湾一路1号A栋201室
- 代理机构: 北京三高永信知识产权代理有限责任公司
- 代理商 祝亚男
- 主分类号: G06F18/22
- IPC分类号: G06F18/22 ; G06F18/214 ; G06V20/40 ; G06V10/30 ; G06V10/75 ; G06V10/82
摘要:
本公开提供了一种动作视频的生成方法、扩散模型的训练方法和设备,属于计算机技术领域。所述方法包括:获取目标音频对应的图像噪声数据和目标音频相关数据,目标音频相关数据包括目标音频或目标音频的音频特征数据;将目标音频相关数据和图像噪声数据输入训练完成的扩散模型,以使扩散模型基于目标音频相关数据对图像噪声数据进行图像去噪还原处理,得到目标音频对应的预测动作数据;基于目标音频和预测动作数据,生成目标音频对应的动作视频。采用本公开,提高了预测动作数据与目标音频的匹配度,提高了生成的动作视频的完整性。