-
公开(公告)号:CN112166604B
公开(公告)日:2024-03-12
申请号:CN202080001020.4
申请日:2020-04-30
申请人: 谷歌有限责任公司
发明人: 阿纳斯塔西亚·特卡丘 , 里卡多·马丁·布鲁瓦利亚 , 沙赫拉姆·伊扎迪 , 杨烁冉 , 塞姆·克斯金 , 肖恩·瑞安·弗朗切斯科·法内洛 , 菲利普·戴维森 , 乔纳森·泰勒 , 罗希特·潘迪 , 安德里·塔利亚萨基 , 帕夫洛·皮德利潘斯基
IPC分类号: H04N13/282 , H04N13/111 , H04N13/122 , H04N13/257 , H04N13/332 , G06T7/55 , G06T7/62 , G06N3/0464 , G06N3/08
摘要: 一种方法,包括:接收包括颜色数据和深度数据的第一图像;确定与显示第二图像的增强现实(AR)和/或虚拟现实(VR)显示器相关联的视点;接收至少一个校正图像,其包括第一图像中的对象,该对象处于与第一图像中的对象的姿态相比不同的姿态,并基于第一图像、视点和至少一个校正图像来生成第二图像。
-
公开(公告)号:CN113661496A
公开(公告)日:2021-11-16
申请号:CN201980095196.8
申请日:2019-10-16
申请人: 谷歌有限责任公司
发明人: 克里斯多佛·雷曼 , 阿比米特拉·梅卡 , 罗希特·库马尔·潘迪 , 肖恩·瑞安·弗朗切斯科·法内洛 , 马修·惠伦 , 杰西卡·林恩·布希 , 索芬·布阿齐兹 , 杰弗里·道格拉斯·哈维 , 安德里·塔利亚萨基 , 乔纳森·泰勒 , 克里斯蒂安·哈内 , 保罗·德伯韦克 , 彼得·约瑟夫·丹尼 , 格拉哈姆·法伊夫 , 贾森·安杰洛·杜尔加里安 , 于学明 , 阿达尔什·普拉卡什·穆尔蒂·寇德莱 , 朱利安·帕斯卡尔·克里斯多佛·瓦伦汀 , 彼得·克里斯多佛·林肯 , 沙赫拉姆·伊扎迪
摘要: 提供了用于使用预测深反射场重新照明图像的方法、系统以及介质。在一些实施例中,所述方法包括:识别训练样本组,其中,每个训练样本包括(i)一次一灯(OLAT)图像组,所述一次一灯图像组在已经激活了布置在照明结构上的多盏灯中的一盏灯时已经分别被捕获;(ii)球形颜色梯度图像组,所述球形颜色梯度图像组在已经激活了布置在所述照明结构上的所述多盏灯以分别发出特定颜色时已经分别被捕获;以及(iii)照明方向,其中,所述OLAT图像组中的每个图像和每个所述球形颜色梯度图像是对象的图像,并且其中,所述照明方向指示灯相对于所述对象的相对定向;使用所述训练样本组来训练卷积神经网络,其中,训练所述卷积神经网络包括:针对一系列训练迭代中的每个训练迭代并且针对所述训练样本组中的每个训练样本:生成输出预测图像,其中,所述输出预测图像是具有来自与所述训练样本相关联的所述照明方向的照明的与所述训练样本相关联的所述对象的表示;识别所述训练样本的所述OLAT图像组中所包括的与所述训练样本的所述照明方向相对应的基准真相OLAT图像;计算指示所述输出预测图像与识别到的基准真相OLAT图像之间的感知差异的损失;以及基于计算出的损失来更新所述卷积神经网络的参数;识别包括第二球形颜色梯度图像组和第二照明方向的测试样本;以及使用经过训练的卷积神经网络,用来自所述第二照明方向的照明来生成每个所述第二球形颜色梯度图像组中所包括的所述对象的重新点亮图像。
-
公开(公告)号:CN115428458A
公开(公告)日:2022-12-02
申请号:CN202080099896.7
申请日:2020-04-17
申请人: 谷歌有限责任公司
发明人: 唐丹航 , 绍拉伯·辛格 , 塞姆·克斯金 , 菲利普·安德鲁·周 , 克里斯蒂安·海恩 , 窦明松 , 肖恩·瑞安·弗朗切斯科·法内洛 , 乔纳森·泰勒 , 安德里·塔利亚萨基 , 菲利普·林斯利·戴维森 , 张寅达 , 奥努尔·格嫩·居莱尔于兹 , 沙赫拉姆·伊扎迪 , 索芬·布阿齐兹
IPC分类号: H04N19/597 , G06T13/20 , G06T17/00 , G06T17/30
摘要: 系统和方法涉及对三维体积表示的纹理/几何形状的编码和/或解码。编码计算系统能够从对象的三维体积表示获得立体像素块。所述编码计算系统能够用机器学习立体像素编码模型对立体像素块进行编码以获得编码立体像素块。所述编码计算系统能够用机器学习立体像素解码模型对所述编码立体像素块进行解码以获得重构立体像素块。所述编码计算系统能够至少部分地基于所述一个或多个重构立体像素块来生成所述对象的重构网格表示。所述编码计算系统能够根据编码方案并且至少部分地基于所述对象的所述重构网格表示对与所述立体像素块相关联的纹理进行编码以获得编码纹理。
-
公开(公告)号:CN112166604A
公开(公告)日:2021-01-01
申请号:CN202080001020.4
申请日:2020-04-30
申请人: 谷歌有限责任公司
发明人: 阿纳斯塔西亚·特卡丘 , 里卡多·马丁·布鲁瓦利亚 , 沙赫拉姆·伊扎迪 , 杨烁冉 , 塞姆·克斯金 , 肖恩·瑞安·弗朗切斯科·法内洛 , 菲利普·戴维森 , 乔纳森·泰勒 , 罗希特·潘迪 , 安德里·塔利亚萨基 , 帕夫洛·皮德利潘斯基
IPC分类号: H04N13/282 , H04N13/111 , H04N13/122 , H04N13/257 , H04N13/332 , G06T7/55 , G06T7/62 , G06N3/04 , G06N3/08
摘要: 一种方法,包括:接收包括颜色数据和深度数据的第一图像;确定与显示第二图像的增强现实(AR)和/或虚拟现实(VR)显示器相关联的视点;接收至少一个校正图像,其包括第一图像中的对象,该对象处于与第一图像中的对象的姿态相比不同的姿态,并基于第一图像、视点和至少一个校正图像来生成第二图像。
-
-
-