公开(公告)号：CN113661496A

公开(公告)日：2021-11-16

申请号：CN201980095196.8

申请日：2019-10-16

申请人： 谷歌有限责任公司

发明人： 克里斯多佛·雷曼 ,  阿比米特拉·梅卡 ,  罗希特·库马尔·潘迪 ,  肖恩·瑞安·弗朗切斯科·法内洛 ,  马修·惠伦 ,  杰西卡·林恩·布希 ,  索芬·布阿齐兹 ,  杰弗里·道格拉斯·哈维 ,  安德里·塔利亚萨基 ,  乔纳森·泰勒 ,  克里斯蒂安·哈内 ,  保罗·德伯韦克 ,  彼得·约瑟夫·丹尼 ,  格拉哈姆·法伊夫 ,  贾森·安杰洛·杜尔加里安 ,  于学明 ,  阿达尔什·普拉卡什·穆尔蒂·寇德莱 ,  朱利安·帕斯卡尔·克里斯多佛·瓦伦汀 ,  彼得·克里斯多佛·林肯 ,  沙赫拉姆·伊扎迪

IPC分类号： G06K9/46 ,  G06T7/00 ,  G06T15/50

摘要： 提供了用于使用预测深反射场重新照明图像的方法、系统以及介质。在一些实施例中，所述方法包括：识别训练样本组，其中，每个训练样本包括(i)一次一灯(OLAT)图像组，所述一次一灯图像组在已经激活了布置在照明结构上的多盏灯中的一盏灯时已经分别被捕获；(ii)球形颜色梯度图像组，所述球形颜色梯度图像组在已经激活了布置在所述照明结构上的所述多盏灯以分别发出特定颜色时已经分别被捕获；以及(iii)照明方向，其中，所述OLAT图像组中的每个图像和每个所述球形颜色梯度图像是对象的图像，并且其中，所述照明方向指示灯相对于所述对象的相对定向；使用所述训练样本组来训练卷积神经网络，其中，训练所述卷积神经网络包括：针对一系列训练迭代中的每个训练迭代并且针对所述训练样本组中的每个训练样本：生成输出预测图像，其中，所述输出预测图像是具有来自与所述训练样本相关联的所述照明方向的照明的与所述训练样本相关联的所述对象的表示；识别所述训练样本的所述OLAT图像组中所包括的与所述训练样本的所述照明方向相对应的基准真相OLAT图像；计算指示所述输出预测图像与识别到的基准真相OLAT图像之间的感知差异的损失；以及基于计算出的损失来更新所述卷积神经网络的参数；识别包括第二球形颜色梯度图像组和第二照明方向的测试样本；以及使用经过训练的卷积神经网络，用来自所述第二照明方向的照明来生成每个所述第二球形颜色梯度图像组中所包括的所述对象的重新点亮图像。