语音与图像同步性的衡量方法、模型的训练方法及装置
Abstract:
本申请提供一种语音与图像同步性的衡量方法、模型的训练方法及装置,语音与图像同步性的衡量方法包括:获取视频中的语音片段和图像片段,语音片段和图像片段在所述视频中具有对应关系;执行以下操作中的任意一项:将语音片段转换为特定信号并通过预先训练的语音与图像同步性衡量模型获得特定信号的语音特征以及图像片段的视觉特征,特定信号与语音片段中说话人的个人特征无关;或,根据图像片段生成目标人物的轮廓图并通过预先训练的语音与图像同步性衡量模型获得轮廓图的视觉特征以及语音片段的语音特征,轮廓图与所述目标人物的个人特征无关;或,将语音片段转换为特定信号,根据图像片段生成目标人物的轮廓图,并通过预先训练的语音与图像同步性衡量模型获得特定信号的语音特征以及轮廓图的视觉特征;根据语音特征以及所述视觉特征,确定语音片段与所述图像片段是否具有同步性,同步性用于表征语音片段中的声音与图像片段中目标人物的运动相匹配。
Patent Agency Ranking
0/0