基于反射分解的室内场景虚拟漫游方法

    公开(公告)号:CN113223132A

    公开(公告)日:2021-08-06

    申请号:CN202110429676.2

    申请日:2021-04-21

    申请人: 浙江大学

    摘要: 本发明公开了一种基于反射分解的室内场景虚拟漫游方法,首先利用三维重建获得粗略全局三角网格模型投影作为初始深度图,将深度边缘对齐到彩色边缘,将对齐深度图转换为简化的三角网格;检测全局三角网格模型中的平面,如果某平面为反射平面,则对每张可见该反射平面的图片在反射区域上构建双层表达,用于正确渲染物体表面的反射效果;给定虚拟视角,利用邻域图片及三角网格绘制虚拟视角图片,对于反射区域,利用前景背景图片和前景背景三角网格进行绘制。本发明方法可以在较小的存储需求的情况下,在较大的含有反射效果的室内场景中进行大自由度的虚拟漫游。本发明渲染效果好,漫游自由度较大,可绘制部分反射、高光等效果,结果鲁棒。

    一种基于神经网络的大场景自由视点插值方法

    公开(公告)号:CN114820901A

    公开(公告)日:2022-07-29

    申请号:CN202210369108.2

    申请日:2022-04-08

    申请人: 浙江大学

    摘要: 本发明公开了一种基于神经网络的大场景自由视点插值方法,包括以下四个步骤,1、对于给定场景进行拍摄采集图片,通过采集的图片进行全局网格模型的重构和相机参数的计算;2、把重构的全局网格模型规则划分成一定数量的块,为每个块创建两个神经网络,分别用于训练视点无关颜色和视点相关颜色;3、为每个训练的块准备需要训练的光线,通过引入背景点采样,实现并行训练这些块对应的神经网络;4、把用于训练视点无关颜色的神经网络编码到八叉树,保留训练视点相关颜色的神经网络,实现大场景下的交互式级别的高质量自由视点插值渲染。通过本文提出的方法框架可以实现在可接受的存储下,利用神经网络实现对于大场景的高质量交互式渲染。

    基于反射分解的室内场景虚拟漫游方法

    公开(公告)号:CN113223132B

    公开(公告)日:2022-05-17

    申请号:CN202110429676.2

    申请日:2021-04-21

    申请人: 浙江大学

    摘要: 本发明公开了一种基于反射分解的室内场景虚拟漫游方法,首先利用三维重建获得粗略全局三角网格模型投影作为初始深度图,将深度边缘对齐到彩色边缘,将对齐深度图转换为简化的三角网格;检测全局三角网格模型中的平面,如果某平面为反射平面,则对每张可见该反射平面的图片在反射区域上构建双层表达,用于正确渲染物体表面的反射效果;给定虚拟视角,利用邻域图片及三角网格绘制虚拟视角图片,对于反射区域,利用前景背景图片和前景背景三角网格进行绘制。本发明方法可以在较小的存储需求的情况下,在较大的含有反射效果的室内场景中进行大自由度的虚拟漫游。本发明渲染效果好,漫游自由度较大,可绘制部分反射、高光等效果,结果鲁棒。

    一种将位图转换为矢量图像的方法

    公开(公告)号:CN111369577A

    公开(公告)日:2020-07-03

    申请号:CN202010139806.4

    申请日:2020-03-03

    IPC分类号: G06T7/13 G06T3/00 G06T7/90

    摘要: 本发明公开了一种将位图转换为矢量图像的方法,该方法首先采用边缘检测算法对输入图像进行特征检测,然后找到输入图像中的特征像素点构造初始三角形网格,接着遍历输入图像的像素点,通过合并三角形网格的两个顶点简化初始三角形网格,为简化三角形网格的每个三角形选择一种颜色,进行颜色拟合,得到矢量图像。本发明将位图转换为矢量图像进行数据可视化,可以快速进行图像三角剖分,并提供一些参数来调整三角形的密度或合并程度,适用于大多数通用位图。

    一种基于神经网络的大场景自由视点插值方法

    公开(公告)号:CN114820901B

    公开(公告)日:2024-05-31

    申请号:CN202210369108.2

    申请日:2022-04-08

    申请人: 浙江大学

    摘要: 本发明公开了一种基于神经网络的大场景自由视点插值方法,包括以下四个步骤,1、对于给定场景进行拍摄采集图片,通过采集的图片进行全局网格模型的重构和相机参数的计算;2、把重构的全局网格模型规则划分成一定数量的块,为每个块创建两个神经网络,分别用于训练视点无关颜色和视点相关颜色;3、为每个训练的块准备需要训练的光线,通过引入背景点采样,实现并行训练这些块对应的神经网络;4、把用于训练视点无关颜色的神经网络编码到八叉树,保留训练视点相关颜色的神经网络,实现大场景下的交互式级别的高质量自由视点插值渲染。通过本文提出的方法框架可以实现在可接受的存储下,利用神经网络实现对于大场景的高质量交互式渲染。

    一种基于神经网络的大场景自由视点插值方法及装置

    公开(公告)号:CN117197323A

    公开(公告)日:2023-12-08

    申请号:CN202311114443.9

    申请日:2023-08-31

    申请人: 浙江大学

    摘要: 本发明公开了一种基于神经网络的大场景自由视点插值方法及装置,包括以下四个步骤,1、对场景进行拍摄,并把图片作为输入计算全局网格模型和相机参数;2、把步骤1计算得到的全局网格模型剖分成块,并为每个块创建哈希网格以及两个解码器,解码器分别用于解码漫反射和反射;3、为步骤2建立的块分配训练的光线,然后进行并行训练,训练过程中同时优化哈希网格特征,解码器参数以及相机位姿,训练使用交替方向乘子法来保证块间相机位姿的一致性;4、利用步骤3训练完成的模型,进行基于点混合的多块渲染。通过本发明提出的方法,可同时适用于室内和室外大场景,实现照片级别真实的高质量渲染。可用于虚拟现实场景构建等相关领域。

    一种将位图转换为矢量图像的方法

    公开(公告)号:CN111369577B

    公开(公告)日:2023-02-17

    申请号:CN202010139806.4

    申请日:2020-03-03

    IPC分类号: G06T7/13 G06T3/00 G06T7/90

    摘要: 本发明公开了一种将位图转换为矢量图像的方法,该方法首先采用边缘检测算法对输入图像进行特征检测,然后找到输入图像中的特征像素点构造初始三角形网格,接着遍历输入图像的像素点,通过合并三角形网格的两个顶点简化初始三角形网格,为简化三角形网格的每个三角形选择一种颜色,进行颜色拟合,得到矢量图像。本发明将位图转换为矢量图像进行数据可视化,可以快速进行图像三角剖分,并提供一些参数来调整三角形的密度或合并程度,适用于大多数通用位图。