一种语音驱动人脸关键点序列生成方法及装置
摘要:
本发明公开了一种语音驱动人脸关键点序列生成方法及装置,该方法首先构建一个用于训练的数据集和一个基于标准流模型的语音驱动人脸关键点序列生成模型,该模型将随机采样的高斯噪声作为输入,并将语音序列作为条件输入多个标准流模块中,其中每个模块通过条件时空卷积神经网络将语音序列融合进行融合,最后输出人脸关键点序列;其次,构建损失函数进行模型训练直至收敛,得到最佳模型参数的训练模型;最后利用训练好的模型进行模型推断,对任意输入的语音生成说话人表情关键点序列。本发明通过该方法能够生成高质量且动作自然的人脸关键点序列,解决计算机动画和虚拟人领域,基于语音驱动人脸关键点序列缺少多样性问题。
公开/授权文献
0/0