一种分步联合监督的光照估计方法

    公开(公告)号:CN113379698A

    公开(公告)日:2021-09-10

    申请号:CN202110637778.3

    申请日:2021-06-08

    申请人: 武汉大学

    IPC分类号: G06T7/00 G06T5/00 G06N3/08

    摘要: 本发明设计了一种一种分步联合监督的光照估计方法,仅用单张RGB图片即可估算出图片中任意位置的光照信息。使用分步网络的结构将原始任务分解为处理相机视角内信息、预测相机视角外信息、将低动态范围图像逆映射到高动态图像这三个较为简单的子任务。使用垂线段表示预测位置来得到更加准确的变形算法,并利用曝光程度图对光照的位置和强度进行直接监督促以提高光照信息的准确性。此外还通过一个密集的光照注意力网络将光照信息共享到全景图的纹理分支,来使得生成的纹理信息与光照信息相匹配。本发明使用强度校准的算法来得到与输入图像强度匹配的HDR全景图。仅用单张RGB图片即可估算出图片中任意位置的光照信息。

    一种光照估计方法及系统

    公开(公告)号:CN115294263B

    公开(公告)日:2023-02-03

    申请号:CN202211221595.4

    申请日:2022-10-08

    申请人: 武汉大学

    IPC分类号: G06T15/50 G06N3/0464 G06N3/08

    摘要: 本发明基于解耦的思想设计了一种光照估计模型、网络、方法及系统,使用分步训练的策略将原始任务解耦为主光源分布估计、语义结构补全和逆色调映射三个较为简单的子任务。特别地,主光源分布估计使用了级联网络;在语义结构补全任务中引入一个语义特征提取模块和光照注意力模块来分别保证补全图像的语义一致性和光照准确性;此外还设置了一个额外的曝光强度输出分支作为逆色调映射任务过曝光区域的指示,降低逆色调任务难度。本发明解决了目前光照估计中光照信息不准确和与输入图像语义不一致的问题,提升了对渲染物体材质的适应性以及渲染结果的真实感。

    一种分步联合监督的光照估计方法

    公开(公告)号:CN113379698B

    公开(公告)日:2022-07-05

    申请号:CN202110637778.3

    申请日:2021-06-08

    申请人: 武汉大学

    IPC分类号: G06T7/00 G06T5/00 G06N3/08

    摘要: 本发明设计了一种一种分步联合监督的光照估计方法,仅用单张RGB图片即可估算出图片中任意位置的光照信息。使用分步网络的结构将原始任务分解为处理相机视角内信息、预测相机视角外信息、将低动态范围图像逆映射到高动态图像这三个较为简单的子任务。使用垂线段表示预测位置来得到更加准确的变形算法,并利用曝光程度图对光照的位置和强度进行直接监督促以提高光照信息的准确性。此外还通过一个密集的光照注意力网络将光照信息共享到全景图的纹理分支,来使得生成的纹理信息与光照信息相匹配。本发明使用强度校准的算法来得到与输入图像强度匹配的HDR全景图。仅用单张RGB图片即可估算出图片中任意位置的光照信息。

    一种光照估计模型、网络、方法及系统

    公开(公告)号:CN115294263A

    公开(公告)日:2022-11-04

    申请号:CN202211221595.4

    申请日:2022-10-08

    申请人: 武汉大学

    IPC分类号: G06T15/50 G06N3/04 G06N3/08

    摘要: 本发明基于解耦的思想设计了一种光照估计模型、网络、方法及系统,使用分步训练的策略将原始任务解耦为主光源分布估计、语义结构补全和逆色调映射三个较为简单的子任务。特别地,主光源分布估计使用了级联网络;在语义结构补全任务中引入一个语义特征提取模块和光照注意力模块来分别保证补全图像的语义一致性和光照准确性;此外还设置了一个额外的曝光强度输出分支作为逆色调映射任务过曝光区域的指示,降低逆色调任务难度。本发明解决了目前光照估计中光照信息不准确和与输入图像语义不一致的问题,提升了对渲染物体材质的适应性以及渲染结果的真实感。