公开(公告)号：CN108769644B

公开(公告)日：2020-09-29

申请号：CN201810576526.2

申请日：2018-06-06

申请人： 浙江大学

发明人： 任重 ,  倪朝浩 ,  周昆

IPC分类号： H04N13/122 ,  G06N3/04

摘要： 本发明公开了一种基于深度学习的双目动画风格化渲染方法，解决了双目动画内容风格化的问题。该方法将渲染过程分成两层，第一层渲染原始图像，视差图，运动场，遮挡图等场景信息，第二层基于CNN进行后处理优化。后处理层使用贪心法局部最小化一个全新的损失函数。每帧画面都通过梯度下降法求解时序子问题和视差子问题来得到，保持了渲染出的动画满足时序一致性和视差一致性。相比与独立帧直接风格化法，该方法可以大大减少视觉闪烁和瑕疵，并增强了双目显示时的立体感。

公开(公告)号：CN108924528B

公开(公告)日：2020-07-28

申请号：CN201810576245.7

申请日：2018-06-06

申请人： 浙江大学

发明人： 任重 ,  倪朝浩 ,  周昆

IPC分类号： H04N13/122 ,  G06N3/06

摘要： 本发明公开了一种基于深度学习的双目风格化实时渲染方法，该方法首先对固定风格训练一个图像转换网络；在运行时，将该网络分解为编码器和解码器部分；渲染时，通过三维场景渲染出原始图像，视差图，运动场等信息；并通过基于图像转换网络的后处理进行风格化，从而渲染出完整双目动画。相比与独立帧直接风格化法，该方法可以大大减少视觉闪烁和瑕疵；相比与基于最优化的方法，效率提高了两个数量级。

公开(公告)号：CN108924528A

公开(公告)日：2018-11-30

申请号：CN201810576245.7

申请日：2018-06-06

申请人： 浙江大学

发明人： 任重 ,  倪朝浩 ,  周昆

IPC分类号： H04N13/122 ,  G06N3/06

摘要： 本发明公开了一种基于深度学习的双目风格化实时渲染方法，该方法首先对固定风格训练一个图像转换网络；在运行时，将该网络分解为编码器和解码器部分；渲染时，通过三维场景渲染出原始图像，视差图，运动场等信息；并通过基于图像转换网络的后处理进行风格化，从而渲染出完整双目动画。相比与独立帧直接风格化法，该方法可以大大减少视觉闪烁和瑕疵；相比与基于最优化的方法，效率提高了两个数量级。

公开(公告)号：CN108769644A

公开(公告)日：2018-11-06

申请号：CN201810576526.2

申请日：2018-06-06

申请人： 浙江大学

发明人： 任重 ,  倪朝浩 ,  周昆

IPC分类号： H04N13/122 ,  G06N3/04

摘要： 本发明公开了一种基于深度学习的双目动画风格化渲染方法，解决了双目动画内容风格化的问题。该方法将渲染过程分成两层，第一层渲染原始图像，视差图，运动场，遮挡图等场景信息，第二层基于CNN进行后处理优化。后处理层使用贪心法局部最小化一个全新的损失函数。每帧画面都通过梯度下降法求解时序子问题和视差子问题来得到，保持了渲染出的动画满足时序一致性和视差一致性。相比与独立帧直接风格化法，该方法可以大大减少视觉闪烁和瑕疵，并增强了双目显示时的立体感。