-
公开(公告)号:CN114926491B
公开(公告)日:2024-07-09
申请号:CN202210515100.2
申请日:2022-05-11
申请人: 北京字节跳动网络技术有限公司
摘要: 本公开实施例公开了一种抠图方法、装置、电子设备及存储介质。该方法包括:将待抠图图像以及与待抠图图像中的目标背景图像对应的先验背景图像,输入到预先训练完成的目标抠图模型,得到与待抠图图像中的目标前景图像对应的目标透明图;其中,目标抠图模型通过多组第一训练样本和多组第二训练样本训练得到的,第一训练样本包括第一样本图像、与第一样本图像中的样本背景图像对应的第一背景图像及与第一样本图像中的第一前景图像对应的第一透明图,第二训练样本包括第二样本图像、第二样本图像对应的第二背景图像及与第二样本图像中的第二前景图像对应的标注分割图。本公开实施例的技术方案,可以实现精细化抠图。
-
公开(公告)号:CN112752118B
公开(公告)日:2023-06-27
申请号:CN202011587839.1
申请日:2020-12-29
申请人: 北京字节跳动网络技术有限公司
IPC分类号: H04N21/233 , H04N21/234 , H04N21/2343 , H04N21/439 , H04N21/44 , H04N21/4402 , G06T3/00 , G06T13/20 , G06T13/40 , G06T13/80
摘要: 本公开实施例公开了一种视频生成方法、装置、设备及存储介质。包括:提取语音数据中各语音帧的语音特征以及各语音帧对应视频帧的图像特征;根据所述语音特征和所述图像特征对所述视频帧进行仿射变换;根据仿射变换后的视频帧生成目标视频。本公开实施例公开的视频生成方法,根据语音特征和图像特征对视频帧进行仿射变换,从而根据仿射变换后的视频帧生成目标视频,以实现语音与视频中嘴型的对齐,可以降低成本,提高嘴型和语音对齐的准确度。
-
公开(公告)号:CN112967212B
公开(公告)日:2024-11-12
申请号:CN202110139542.7
申请日:2021-02-01
申请人: 北京字节跳动网络技术有限公司
摘要: 本公开实施例公开了一种虚拟人物的合成方法、装置、设备及存储介质。该方法在构建预置形象的三维模型时,先基于包含预置形象的二维图片构建人体模型,在此基础上结合二维图片得到三维网格模型,提高了模型的准确度,而且合成虚拟人物时分为两部分,即利用形象驱动参数和包含关键点检测结果的第一图片合成虚拟人物的表情和头部姿态,得到形象合成结果,同时利用骨骼驱动参数驱动三维网格模型,并对驱动后的三维网格模型进行渲染,得到第三图片,最后将形象合成结果的图片和第三图片进行融合,得到虚拟人物的合成结果,提高了合成结果的准确性。
-
公开(公告)号:CN114764863A
公开(公告)日:2022-07-19
申请号:CN202210394688.0
申请日:2022-04-14
申请人: 北京字节跳动网络技术有限公司
摘要: 本公开实施例公开了一种图像去重方法、装置、电子设备及存储介质。该方法包括:针对已获取的每个待去重图像,确定待去重图像的图像特征;基于各待去重图像的图像特征,对各待去重图像进行匹配,并将相互匹配的各待去重图像划分到同一图像分组内;根据各图像分组进行各待去重图像的去重操作。本公开实施例的技术方案,可以有效实现图像去重。
-
公开(公告)号:CN113989173A
公开(公告)日:2022-01-28
申请号:CN202111243155.4
申请日:2021-10-25
申请人: 北京字节跳动网络技术有限公司
摘要: 本公开公开了一种视频融合方法、装置、电子设备及存储介质,该方法包括:接收待融合前景视频流中的各待融合前景视频帧和待融合背景视频流中的各待融合背景视频帧;确定与待融合背景视频帧相对应的融合参数;根据与待融合前景视频帧相对应的目标前景处理方式和融合参数,确定与待融合前景视频帧相对应的目标待融合对象;根据目标待融合对象以及待融合背景视频帧,确定显示在目标终端的目标融合视频帧。本公开实施例的技术方案,实现了视频融合普适性,从而提高用户使用体验的技术效果。
-
公开(公告)号:CN113034648A
公开(公告)日:2021-06-25
申请号:CN202110487813.8
申请日:2021-04-30
申请人: 北京字节跳动网络技术有限公司
摘要: 本发明公开了一种图像处理方法、装置、设备和存储介质。其中,图像处理方法包括:获取当前视频流,当前视频流包括至少一帧包含目标对象图像的待处理视频帧;将待处理视频帧输入至蒙版处理模型中以得到前景蒙版,前景蒙版对应目标对象图像,蒙版处理模型用于通过背景解码子单元和前景解码子单元分别输出待处理视频帧的前景特征图和背景特征图,根据前景特征图和背景特征图确定前景蒙版;根据前景蒙版对待处理视频帧进行背景替换以更新当前视频流中的待处理视频帧;将更新后的当前视频流发送至服务端,以由服务端下发至目标用户端。本公开实施例提供的图像处理方法解决了现有技术的前景人像确定方法所确定的前景人像质量较低的问题。
-
公开(公告)号:CN113689372B
公开(公告)日:2023-09-26
申请号:CN202110988785.8
申请日:2021-08-26
申请人: 北京字节跳动网络技术有限公司
IPC分类号: G06T5/50 , G06T7/194 , G06V10/774 , G06V10/82 , G06N3/0464
摘要: 本公开实施例提供一种图像处理方法、设备、存储介质及程序产品,通过获取包含目标对象的待处理图像;将待处理图像输入蒙版处理模型,蒙版处理模型包括编码网络、解码网络及输出网络,以通过编码网络对待处理图像提取编码特征,通过解码网络根据编码特征重构前景特征图及背景特征图,通过输出网络根据前景特征图和背景特征图确定待处理图像对应的前景蒙版;根据前景蒙版对待处理图像进行背景替换。本公开实施例中通过蒙版处理模型准确的提取待处理的编码特征,进而有效的重构前景特征和背景特征,可有效的提高前景蒙版的准确度,从而在根据前景蒙版对待处理图像进行背景替换后,可得到较高质量的图像,满足用户的审美需求。
-
公开(公告)号:CN114723772A
公开(公告)日:2022-07-08
申请号:CN202210306661.1
申请日:2022-03-25
申请人: 北京字节跳动网络技术有限公司
摘要: 本公开实施例公开了一种图像处理方法、装置、电子设备及存储介质。该方法包括:获取基准图像,基于所述基准图像的颜色数据和标准背景颜色数据,确定所述基准图像的自适应背景颜色数据;基于所述基准图像的颜色数据和所述自适应背景颜色数据确定所述基准图像的自适应划分阈值;基于所述自适应划分阈值对所述基准图像和/或所述基准图像的相同背景图像进行前景提取。通过本发明的技术方案,能够实现自适应确定背景颜色和划分阈值,提高前景提取的准确性。
-
公开(公告)号:CN112967212A
公开(公告)日:2021-06-15
申请号:CN202110139542.7
申请日:2021-02-01
申请人: 北京字节跳动网络技术有限公司
摘要: 本公开实施例公开了一种虚拟人物的合成方法、装置、设备及存储介质。该方法在构建预置形象的三维模型时,先基于包含预置形象的二维图片构建人体模型,在此基础上结合二维图片得到三维网格模型,提高了模型的准确度,而且合成虚拟人物时分为两部分,即利用形象驱动参数和包含关键点检测结果的第一图片合成虚拟人物的表情和头部姿态,得到形象合成结果,同时利用骨骼驱动参数驱动三维网格模型,并对驱动后的三维网格模型进行渲染,得到第三图片,最后将形象合成结果的图片和第三图片进行融合,得到虚拟人物的合成结果,提高了合成结果的准确性。
-
公开(公告)号:CN112752118A
公开(公告)日:2021-05-04
申请号:CN202011587839.1
申请日:2020-12-29
申请人: 北京字节跳动网络技术有限公司
IPC分类号: H04N21/233 , H04N21/234 , H04N21/2343 , H04N21/439 , H04N21/44 , H04N21/4402 , G06T3/00 , G06T13/20 , G06T13/40 , G06T13/80
摘要: 本公开实施例公开了一种视频生成方法、装置、设备及存储介质。包括:提取语音数据中各语音帧的语音特征以及各语音帧对应视频帧的图像特征;根据所述语音特征和所述图像特征对所述视频帧进行仿射变换;根据仿射变换后的视频帧生成目标视频。本公开实施例公开的视频生成方法,根据语音特征和图像特征对视频帧进行仿射变换,从而根据仿射变换后的视频帧生成目标视频,以实现语音与视频中嘴型的对齐,可以降低成本,提高嘴型和语音对齐的准确度。
-
-
-
-
-
-
-
-
-