虚拟视点生成方法及装置

    公开(公告)号:CN114401391B

    公开(公告)日:2023-01-06

    申请号:CN202111501866.7

    申请日:2021-12-09

    摘要: 本申请提供一种虚拟视点生成方法及装置。所述方法包括:根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵,对由各双目相机采集到的多视点目标图像进行单应变换,获取水平多视点图像;将水平多视点图像输入训练好的视差估计模型中,获取视差图像;根据不同位置对应的控制因子对视差图像进行加权,以根据加权后的视差图像和水平多视点图像进行前向映射,生成虚拟视点图像;其中,视差估计模型由各虚拟图像以及密集的真实视差输入全卷积网络进行训练后确定。本申请实施例提供的虚拟视点生成方法可以提高虚拟视点的生成效率。

    虚拟视点生成方法及装置

    公开(公告)号:CN114401391A

    公开(公告)日:2022-04-26

    申请号:CN202111501866.7

    申请日:2021-12-09

    摘要: 本申请提供一种虚拟视点生成方法及装置。所述方法包括:根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵,对由各双目相机采集到的多视点目标图像进行单应变换,获取水平多视点图像;将水平多视点图像输入训练好的视差估计模型中,获取视差图像;根据不同位置对应的控制因子对视差图像进行加权,以根据加权后的视差图像和水平多视点图像进行前向映射,生成虚拟视点图像;其中,视差估计模型由各虚拟图像以及密集的真实视差输入全卷积网络进行训练后确定。本申请实施例提供的虚拟视点生成方法可以提高虚拟视点的生成效率。

    基于立体视图的深度预测方法、装置、设备及存储介质

    公开(公告)号:CN114463256A

    公开(公告)日:2022-05-10

    申请号:CN202111590567.5

    申请日:2021-12-23

    摘要: 本申请涉及图像处理技术领域,提供一种基于立体视图的深度预测方法、装置、设备及存储介质,该方法包括:通过卷积神经网络对左视点图和右视点图进行预测,得到第一中间视点图及其视差图;通过逆向映射方法结合左视点图、右视点图和第一中间视点图的视差图,得到中间视点图对;若存在中间视点标签,则根据中间视点标签、第一中间视点图和中间视点图对进行计算,得到差异性损失;根据反向传播算法对差异性损失进行最小化,得到目标中间视点图及其视差图,根据目标中间视点图及其视差图进行深度预测。本申请实施例提供的基于立体视图的深度预测方法同时估计目标中间视点图及其视差图,借助目标中间视点图的几何约束,提高了场景深度的准确度。

    基于立体视图的块匹配方法、装置、电子设备及存储介质

    公开(公告)号:CN114463369A

    公开(公告)日:2022-05-10

    申请号:CN202111593232.9

    申请日:2021-12-23

    IPC分类号: G06T7/223 G06T7/00 G06F17/16

    摘要: 本申请涉及图像处理技术领域,提供一种基于立体视图的块匹配方法、装置、电子设备及存储介质,该方法包括:根据基图像中的各个图像像素得到基图像块,并根据极线约束遍历出参考图像中的参考图像块;通过预设随机算法计算立体视图的映射矩阵,根据映射矩阵、基图像块和参考图像块,生成随机图像块;根据预设代价算法计算随机图像块的匹配代价,根据匹配代价确定目标匹配图像块。本申请实施例提供的基于立体视图的块匹配方法在图像块匹配过程中,不是直接计算基图像块和参考图像块的匹配代价,而是通过映射矩阵将基图像块和参考图像块先转化为随机图像块,再通过预设代价算法和随机图像块得到目标匹配图像块,提高了图像块匹配的准确度。

    基于逆向映射的可控位置虚拟视点生成方法及装置

    公开(公告)号:CN113132706A

    公开(公告)日:2021-07-16

    申请号:CN202110245620.1

    申请日:2021-03-05

    摘要: 本发明提供一种基于逆向映射的可控位置虚拟视点生成方法及装置,该方法包括:将待检测图像的左右视点图像输入预训练的第一卷积网络模型,得到预测的中间视点视差图;根据所述中间视点视差图、左右视点图像以及给定的位置因子,基于逆向映射分别合成给定位置的第一虚拟视点图像和第二虚拟视点图像;将所述第一虚拟视点图像和第二虚拟视点图像输入预训练的第二卷积网络模型,得到目标虚拟视点图像;其中,所述第一卷积网络模型,根据中间视点图像已知的左右视点图像作为样本训练得到。该方法运算量较小且能有效避免出现空洞和伪影,显著提高虚拟视点的质量。同时该方法无需精确的深度图,避免在实际场景中获取深度图的困难。

    自由视点图生成方法、装置、设备及存储介质

    公开(公告)号:CN114463408A

    公开(公告)日:2022-05-10

    申请号:CN202111564607.9

    申请日:2021-12-20

    摘要: 本申请提供一种自由视点图生成方法、装置、设备及存储介质,该方法包括:通过特征提取网络结合多视点图的内外参数,提取多视点图的特征,以及结合无监督立体匹配网络得到最终目标视点深度图;通过卷积神经网络对多视点图进行特征提取,得到多视点图的多张待处理深度编码图;通过DIBR方法结合最终目标视点深度图将各张待处理深度编码图进行投影,得到多张目标深度编码图;通过预设聚合模块将各张目标深度编码图进行融合,得到目标视点编码图,以及通过全卷积网络对目标视点编码图进行解码,得到目标自由视点图。本申请实施例提供的自由视点图生成方法通过深度估计将多视点图生成虚拟的目标自由视点图,使得目标自由视点图具有高准确性。

    可学习超像素引导的视差优化方法及装置

    公开(公告)号:CN114429496A

    公开(公告)日:2022-05-03

    申请号:CN202111520396.9

    申请日:2021-12-13

    IPC分类号: G06T7/593 G06N3/04 G06N3/08

    摘要: 本发明提供一种基于可学习超像素引导的视差优化方法及装置,其中方法包括:获取用户输入的第一图和第二图;将第一图和第二图输入至视差优化模型,获得视差优化模型输出的视差图;其中,第一图和第二图是由双目摄像机对同一拍摄对象拍摄获得的;视差优化模型是基于数据集进行训练后得到的,用于在超像素引导下对视差进行优化;数据集包括图片样本以及对应的真实语义图、空间位置图和真实视差图;真实语义图、空间位置图和真实视差图是根据图片样本预先确定的,并与图片样本一一对应。本发明实施例提供的基于可学习超像素引导的视差优化方法及装置,实现了超像素网络和视差网络之间的有效交互。