基于音频驱动的图像处理方法、设备和存储介质
摘要:
本发明涉及图像处理领域,公开了一种基于音频驱动的图像处理方法、设备和存储介质,该方法包括:获取初始图像序列以及初始音频;其中,初始图像序列中的嘴部区域的变化与初始音频不对应;将初始图像序列以及初始音频输入至预先训练完成的嘴部调整模型中,输出与初始音频对应的目标图像序列;其中,嘴部调整模型基于样本视频中的样本图像序列以及样本音频训练得到,嘴部调整模型包括面部特征提取模块、音频特征提取模块、特征融合模块以及图像重建模块,目标图像序列中的嘴部区域的变化与初始音频相对应。通过本发明的技术方案,能够提高嘴型变化的连续性以及自然性,提高图像序列和音频的同步性,提高图像序列的清晰度。
0/0