Invention Application
- Patent Title: 语音与图像同步性的衡量方法、模型的训练方法及装置
- Patent Title (English): SPEECH AND IMAGE SYNCHRONIZATION MEASUREMENT METHOD AND APPARATUS, AND MODEL TRAINING METHOD AND APPARATUS
-
Application No.: PCT/CN2022/114952Application Date: 2022-08-25
-
Publication No.: WO2023035969A1Publication Date: 2023-03-16
- Inventor: 王淳 , 曾定衡 , 吴海英 , 周迅溢 , 蒋宁
- Applicant: 马上消费金融股份有限公司
- Applicant Address: 中国重庆市渝北区黄山大道中段52号渝兴广场B2栋4至8楼, Chongqing 401121
- Assignee: 马上消费金融股份有限公司
- Current Assignee: 马上消费金融股份有限公司
- Current Assignee Address: 中国重庆市渝北区黄山大道中段52号渝兴广场B2栋4至8楼, Chongqing 401121
- Agency: 北京同立钧成知识产权代理有限公司
- Priority: CN202111056592.5 2021-09-09
- Main IPC: H04N17/00
- IPC: H04N17/00 ; H04N21/439 ; H04N21/44 ; H04N21/43 ; G06N3/04 ; G06N3/08 ; G06V20/40
Abstract:
本申请提供一种语音与图像同步性的衡量方法、模型的训练方法及装置,语音与图像同步性的衡量方法包括:获取视频中的语音片段和图像片段,语音片段和图像片段在所述视频中具有对应关系;执行以下操作中的任意一项:将语音片段转换为特定信号并通过预先训练的语音与图像同步性衡量模型获得特定信号的语音特征以及图像片段的视觉特征,特定信号与语音片段中说话人的个人特征无关;或,根据图像片段生成目标人物的轮廓图并通过预先训练的语音与图像同步性衡量模型获得轮廓图的视觉特征以及语音片段的语音特征,轮廓图与所述目标人物的个人特征无关;或,将语音片段转换为特定信号,根据图像片段生成目标人物的轮廓图,并通过预先训练的语音与图像同步性衡量模型获得特定信号的语音特征以及轮廓图的视觉特征;根据语音特征以及所述视觉特征,确定语音片段与所述图像片段是否具有同步性,同步性用于表征语音片段中的声音与图像片段中目标人物的运动相匹配。
Information query