一种文本驱动的沉浸式开放场景神经渲染与混合增强方法

    公开(公告)号:CN116563459A

    公开(公告)日:2023-08-08

    申请号:CN202310392198.1

    申请日:2023-04-13

    摘要: 本发明涉及一种文本驱动的沉浸式大场景神经渲染与混合增强方法,该方法包含:一、制作数据集;二、基于改进的渐进式神经辐射场重建大场景;三、基于卷积神经网络预测渲染图像的前景与背景哑光值;四、利用稳定扩散模型由文本生成背景;五、通过相邻帧之间相机参数变化计算背景运动;六;将渲染前景与背景融合并进行光照协调。本发明实现了由实时文本驱动的可编辑大场景背景增强,允许对城市尺度的沉浸式大场景任意观测位置进行渲染,生成效果与真实场景一致的观测图像,并在此基础上进行混合现实,可以满足使用者对场景的个性化定制,获得影视特效级别的视觉效果。该技术可以应用于三维可视化、数字地图以及虚拟现实游戏等领域。

    一种基于参考图像和用户导引的灰度图像精准上色方法

    公开(公告)号:CN114913272A

    公开(公告)日:2022-08-16

    申请号:CN202210544774.5

    申请日:2022-05-19

    摘要: 本发明涉及一种基于参考图像和用户导引的灰度图像精准上色方法,技术核心是设计一个包含主分支、参考图像信息变换分支、自注意力模块的卷积神经网络。该方法包含:一、制作数据集;二、构造基于参考图像和用户导引的灰度图像精准上色卷积神经网络;三、训练卷积神经网络;四、灰度图像上色。本发明在神经网络中间层加入自注意力块,与现有技术相比用户只需添加少量用户导引笔触便可控制整幅图的颜色。本发明设计了基于相似度将参考图像颜色信息变换至灰度图像的网络结构并将参考图像信息多次融入网络主分支特征图,与现有技术相比改善了生成图像出现噪点的问题。本发明具有使用方便、效率高、生成图像质量更高的优点,具有广阔应用前景和价值。

    一种基于参考图像和用户导引的灰度图像精准上色方法

    公开(公告)号:CN114913272B

    公开(公告)日:2024-07-02

    申请号:CN202210544774.5

    申请日:2022-05-19

    摘要: 本发明涉及一种基于参考图像和用户导引的灰度图像精准上色方法,技术核心是设计一个包含主分支、参考图像信息变换分支、自注意力模块的卷积神经网络。该方法包含:一、制作数据集;二、构造基于参考图像和用户导引的灰度图像精准上色卷积神经网络;三、训练卷积神经网络;四、灰度图像上色。本发明在神经网络中间层加入自注意力块,与现有技术相比用户只需添加少量用户导引笔触便可控制整幅图的颜色。本发明设计了基于相似度将参考图像颜色信息变换至灰度图像的网络结构并将参考图像信息多次融入网络主分支特征图,与现有技术相比改善了生成图像出现噪点的问题。本发明具有使用方便、效率高、生成图像质量更高的优点,具有广阔应用前景和价值。

    一种文本和形变驱动的人脸编辑方法

    公开(公告)号:CN116128709A

    公开(公告)日:2023-05-16

    申请号:CN202211207590.6

    申请日:2022-09-30

    摘要: 本发明涉及一种文本和形变驱动的人脸编辑方法,技术核心是将人脸几何变形过程视为将形变场施加在人脸图像上,并用多层感知机拟合形变场。该方法包含:一、用多层感知机拟合人脸形变场;二、基于人脸形变场生成几何变形人脸;三、基于卷积神经网络改变人脸图像颜色;四、计算文本描述与人脸编辑结果间的相似度损失和其他损失;五、迭代优化多层感知机和卷积神经网络权重。本发明将人脸编辑过程中的几何形变视为将连续光滑的人脸形变场作用在输入图像上,具有形变过程物理意义明确的优点。本发明无需构造数据集,对每张输入图像单独迭代优化,具有容易使用、普适性强的优点,具有广阔应用前景和价值。