一种基于空间渐进式神经辐射场的新视角合成方法

    公开(公告)号:CN118298092A

    公开(公告)日:2024-07-05

    申请号:CN202410527106.0

    申请日:2024-04-29

    申请人: 东北大学

    摘要: 本发明提供一种基于空间渐进式神经辐射场的新视角合成方法,涉及计算机图形学技术领域。包括以下几个阶段:数据读入与处理;相机校准;生成相机射线,进行离散点采样;构建分布采样位置编码(DSPE),划分位置编码子集;搭建由DSPE引导的用于颜色预测的网络模型,将训练数据输入到模型中进行训练;测试阶段,独立使用任一层级网络结构进行新视角合成。构建的由DSPE引导的递进式残差网络,通过由不同带宽的位置编码引导特定层级的残差学习场景中不同频率的内容,能够为神经辐射场提供增量细节;利用DSPE,限制每个MLP能够访问的位置编码的范围,实现了能够灵活适应不同频谱的信息的目的,也有效的减少了模型的训练时间。

    一种基于马尔科夫随机场和三维隐式表达的图像编辑方法

    公开(公告)号:CN118229754A

    公开(公告)日:2024-06-21

    申请号:CN202410481724.6

    申请日:2024-04-22

    申请人: 东北大学

    IPC分类号: G06T7/593 G06N3/0464 G06N3/08

    摘要: 本发明公开了一种基于马尔科夫随机场和三维隐式表达的图像编辑方法,属于三维重建和图像处理技术领域。该方法包括:对原始图像数据集S中的图像数据进行预处理后划分出训练集和待编辑图像;将构成S的图像的像素坐标转化成三维的世界坐标;使用基于马尔科夫随机场的图像分割算法处理图像数据,获得图像的初始对象掩码;使用神经辐射场对图像的初始对象掩码进行优化;对图像空缺位置进行补全,生成最终图像编辑结果。本发明方法充分利用了图像序列中空间的连续性,提高了图像分割的准确性并增强了分割结果的三维感知特性;维护了图像局部区域的细节,能够在视觉上生成更加真实、细腻的补全效果,提升了图像编辑的视觉质量。