公开(公告)号：CN116563459A

公开(公告)日：2023-08-08

申请号：CN202310392198.1

申请日：2023-04-13

申请人： 北京航空航天大学

发明人： 邹征夏 ,  林柏宏 ,  武永昌 ,  杨晶莹 ,  于治平 ,  孟亚鹏 ,  史振威

IPC分类号： G06T17/00 ,  G06T15/50 ,  G06T19/00 ,  G06T7/70 ,  G06N3/0464

摘要： 本发明涉及一种文本驱动的沉浸式大场景神经渲染与混合增强方法，该方法包含：一、制作数据集；二、基于改进的渐进式神经辐射场重建大场景；三、基于卷积神经网络预测渲染图像的前景与背景哑光值；四、利用稳定扩散模型由文本生成背景；五、通过相邻帧之间相机参数变化计算背景运动；六；将渲染前景与背景融合并进行光照协调。本发明实现了由实时文本驱动的可编辑大场景背景增强，允许对城市尺度的沉浸式大场景任意观测位置进行渲染，生成效果与真实场景一致的观测图像，并在此基础上进行混合现实，可以满足使用者对场景的个性化定制，获得影视特效级别的视觉效果。该技术可以应用于三维可视化、数字地图以及虚拟现实游戏等领域。