-
公开(公告)号:CN113792705B
公开(公告)日:2024-04-23
申请号:CN202111163304.6
申请日:2021-09-30
申请人: 北京跳悦智能科技有限公司
摘要: 本发明涉及一种视频表情迁移方法,采用全新设计逻辑,基于源视频流中人脸对象、目标视频流中人脸对象分别对应预设各维度特征分量,通过视频流中expression分量的替换,实现源视频流中的人物表情向目标视频流的迁移,提高了表情迁移的工作执行效率,并且迁移后目标视频流中的人物表情更加符合目标视频流中人物的姿态,同时结合目标视频流中人物表情关键点的修正、以及对目标视频流的抖动处理,更新目标视频流,进一步提高迁移后目标视频流的效果;同时,本发明设计了实现视频表情迁移方法的系统,能够在实际应用中,高效实现视频中人物表情的迁移,提高视频合成的效率。
-
公开(公告)号:CN115065844A
公开(公告)日:2022-09-16
申请号:CN202210568788.0
申请日:2022-05-24
申请人: 北京跳悦智能科技有限公司
发明人: 包英泽
IPC分类号: H04N21/242 , H04N21/43 , H04N21/439 , H04N21/44 , H04N21/845 , H04N21/234 , H04N21/233 , G10L25/78 , G10L25/57
摘要: 本发明涉及一种主播肢体动作节奏的自适应调整方法,采用全新音视频处理策略,首先获得目标音频中的各个音频片段,接着依次针对各音频片段,基于视频帧之间的知觉差异值的考虑,在目标视频中顺序查找音频片段所对应的起始视频帧,并据此完成音频片段与目标视频上对应位置的同步,最终实现目标音频与目标视频之间的同步;设计方法执行中,能够准确查找到各音频片段与目标视频间的对应关系,并完成彼此间的同步,有效提高了音视频合成处理的效率。
-
公开(公告)号:CN113792705A
公开(公告)日:2021-12-14
申请号:CN202111163304.6
申请日:2021-09-30
申请人: 北京跳悦智能科技有限公司
摘要: 本发明涉及一种视频表情迁移方法,采用全新设计逻辑,基于源视频流中人脸对象、目标视频流中人脸对象分别对应预设各维度特征分量,通过视频流中expression分量的替换,实现源视频流中的人物表情向目标视频流的迁移,提高了表情迁移的工作执行效率,并且迁移后目标视频流中的人物表情更加符合目标视频流中人物的姿态,同时结合目标视频流中人物表情关键点的修正、以及对目标视频流的抖动处理,更新目标视频流,进一步提高迁移后目标视频流的效果;同时,本发明设计了实现视频表情迁移方法的系统,能够在实际应用中,高效实现视频中人物表情的迁移,提高视频合成的效率。
-
公开(公告)号:CN113784060A
公开(公告)日:2021-12-10
申请号:CN202111054943.9
申请日:2021-09-09
申请人: 北京跳悦智能科技有限公司
摘要: 本发明涉及一种手势视频拼接方法及系统、计算机设备,针对来自目标视频、且按时序排列的各个手势视频片段,综合考虑了视频拼接位置的像素、局部色差、人物头部、图像光流等因素,在阈值范围内或者阈值可控范围内,经图像调整,完成了视频的拼接,获得各个手势拼接视频片段,并结合插帧处理,有效提高了所获各个手势拼接视频片段的连贯性与视觉效果;整个设计方案逻辑清晰,在保证所获手势拼接视频片段质量的同时,拥有不错的执行速率,保证了视频拼接工作的综合工作效率。
-
公开(公告)号:CN113784060B
公开(公告)日:2023-06-30
申请号:CN202111054943.9
申请日:2021-09-09
申请人: 北京跳悦智能科技有限公司
摘要: 本发明涉及一种手势视频拼接方法及系统、计算机设备,针对来自目标视频、且按时序排列的各个手势视频片段,综合考虑了视频拼接位置的像素、局部色差、人物头部、图像光流等因素,在阈值范围内或者阈值可控范围内,经图像调整,完成了视频的拼接,获得各个手势拼接视频片段,并结合插帧处理,有效提高了所获各个手势拼接视频片段的连贯性与视觉效果;整个设计方案逻辑清晰,在保证所获手势拼接视频片段质量的同时,拥有不错的执行速率,保证了视频拼接工作的综合工作效率。
-
公开(公告)号:CN114093387A
公开(公告)日:2022-02-25
申请号:CN202111399455.1
申请日:2021-11-19
申请人: 北京跳悦智能科技有限公司
摘要: 本发明涉及一种对声调建模的声音转换方法,以AM模型和vocoder模型为基础,结合端到端的联合训练方式,构建并获得声音转换模型,应用声音波形、以及声音波形所对应的频谱能量Energy、基频F0、捕获扬声器id作为输入,通过对声调特征进行建模,获得与之对应的目标声音的转换,保留目标对象情感的同时,增加了变声之后的情感丰富度,有效提高了转换后声音的真实性与音质。
-
公开(公告)号:CN113992979A
公开(公告)日:2022-01-28
申请号:CN202111254212.9
申请日:2021-10-27
申请人: 北京跳悦智能科技有限公司
发明人: 包英泽
IPC分类号: H04N21/44 , H04N21/845
摘要: 本发明涉及一种视频扩展方法,采用全新设计,基于按预设规则对目标视频的切分,通过人肢体关键点的检测与对齐,实现视频帧间的对齐,然后引入视频片段之间光流差分析,获得由两两视频片段组合构成的各个可拼接视频片段组合,并确定各可拼接视频片段组合中两视频片段之间的插帧量,最后通过组合搜索方式,获得满足目标时长的各个目标拼接视频,能够有效提高后期视频编辑的效率;同时还设计了视频扩展方法的系统,通过视频切分模块、视频帧关键点对齐模块、视频拼接分析模块、可拼接视频片段时长获得模块、拼接序列搜索模块、目标拼接模块的构建,实现模块化的方法执行,能够进一步提高实际应用的效率。
-
公开(公告)号:CN113825005B
公开(公告)日:2024-05-24
申请号:CN202111159455.4
申请日:2021-09-30
申请人: 北京跳悦智能科技有限公司
IPC分类号: H04N21/43 , H04N21/8547
摘要: 本发明涉及基于联合训练的人脸视频与音频的同步方法及系统、计算机设备,采用其全新逻辑关系,基于样本视频中各发音口型分别所对应待处理音素序列,结合各个口型视频分别所对应待处理音素序列中预设指定音素的指定类型特征,以及各个口型视频分别所对应的指定类型口型特征,进行网络训练,获得口型特征生成模块;基于此获得目标音频中各句中文语音分别所对应的指定类型口型特征序列,用于针对各句中文语音分别所对应目标人脸视频中相应视频段的人脸嘴型进行修正,以及各句中文语音按其时间戳的加载,实现目标音频与目标人脸视频之间的同步,整个设计应用能够准确、且稳定的实现目标音频与目标视频的合成,提高实际音视频的效果。
-
公开(公告)号:CN113992979B
公开(公告)日:2023-09-15
申请号:CN202111254212.9
申请日:2021-10-27
申请人: 北京跳悦智能科技有限公司
发明人: 包英泽
IPC分类号: H04N21/44 , H04N21/845
摘要: 本发明涉及一种视频扩展方法,采用全新设计,基于按预设规则对目标视频的切分,通过人肢体关键点的检测与对齐,实现视频帧间的对齐,然后引入视频片段之间光流差分析,获得由两两视频片段组合构成的各个可拼接视频片段组合,并确定各可拼接视频片段组合中两视频片段之间的插帧量,最后通过组合搜索方式,获得满足目标时长的各个目标拼接视频,能够有效提高后期视频编辑的效率;同时还设计了视频扩展方法的系统,通过视频切分模块、视频帧关键点对齐模块、视频拼接分析模块、可拼接视频片段时长获得模块、拼接序列搜索模块、目标拼接模块的构建,实现模块化的方法执行,能够进一步提高实际应用的效率。
-
公开(公告)号:CN115065844B
公开(公告)日:2023-09-12
申请号:CN202210568788.0
申请日:2022-05-24
申请人: 北京跳悦智能科技有限公司
发明人: 包英泽
IPC分类号: H04N21/242 , H04N21/43 , H04N21/439 , H04N21/44 , H04N21/845 , H04N21/234 , H04N21/233 , G10L25/78 , G10L25/57
摘要: 本发明涉及一种主播肢体动作节奏的自适应调整方法,采用全新音视频处理策略,首先获得目标音频中的各个音频片段,接着依次针对各音频片段,基于视频帧之间的知觉差异值的考虑,在目标视频中顺序查找音频片段所对应的起始视频帧,并据此完成音频片段与目标视频上对应位置的同步,最终实现目标音频与目标视频之间的同步;设计方法执行中,能够准确查找到各音频片段与目标视频间的对应关系,并完成彼此间的同步,有效提高了音视频合成处理的效率。
-
-
-
-
-
-
-
-
-