公开(公告)号：CN117853686A

公开(公告)日：2024-04-09

申请号：CN202311804940.1

申请日：2023-12-26

Applicant: 浙江大学

Inventor： 张菘淳 ,  郭羿宏 ,  邹常青 ,  王子仪

IPC: G06T19/00 ,  G06T17/10 ,  G06T15/00 ,  G06T15/08 ,  G06T15/50 ,  G06V10/77 ,  G06V10/42 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06F40/30 ,  H04N21/44 ,  H04N21/81 ,  G06N3/048

Abstract: 本发明公开了一种纯文本引导的任意轨迹三维场景构建及漫游视频生成方法及系统。根据输入文本生成初始场景图和深度图。在初始相机位姿附近选择多个位姿，生成对应图像，形成支撑数据集。为实现新视角场景图生成，设计三平面特征提取模型和神经辐射场解码模型。采取逐帧渲染方式，针对每一位姿进行处理：利用三平面特征进行粗糙渲染得到初步结果，再输入几何感知优化模型进行细致修正。重复此过程完成所有采样点，更新支撑数据集。根据预设相机轨迹从支撑数据集中提取图像序列，合成漫游视频。该方法采用三平面特征能有效降低参数量，而几何优化模型能修正粗糙结果，提高生成质量。本发明可以生成任意轨迹漫游的室内外场景，解决了传统方法局限性。

公开(公告)号：CN118334735A

公开(公告)日：2024-07-12

申请号：CN202410374025.1

申请日：2024-03-29

Applicant: 浙江大学

Inventor： 许威威 ,  侯帅英 ,  陶泓羽 ,  方骏恒 ,  邹常青

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/09

Abstract: 本发明公开了一种基于跨模态对齐的单目视频人体运动生成方法，包括：构建骨架拓扑结构，获取以BVH格式存储运动数据且包含对应运动视频的数据集；采用卷积为人体上半身和下半身的数据分别设计一个运动自编码器网络，用于从人体运动数据中分上、下半身学习两组运动先验；采用卷积设计一组同样分上、下半身的视觉编码器，将视觉信息映射到隐空间中，并采用跨模态对齐的方式将上、下半身对应的视觉隐空间与各自的运动先验对齐；训练完成后以视频序列和从中提取的二维关键点作为输入，输出对应的人体运动的完整表达。本发明可以从视觉信息输入中重建出长度准取的骨架信息；运动先验的引入使得本方法能够大大提高从视频中重建运动的精度。

公开(公告)号：CN119068113A

公开(公告)日：2024-12-03

申请号：CN202411121705.9

申请日：2024-08-15

Applicant: 浙江大学

Inventor： 孙浩 ,  邹常青

IPC: G06T17/00 ,  G06T15/08 ,  G06T15/20 ,  G06T7/80 ,  G06T5/60 ,  G06N3/045 ,  G06N3/09

Abstract: 本发明公开了一种基于神经辐射场的水下低光静态场景三维重建及增强方法，包括如下步骤：通过相机获取多曝光的水下低光静态场景的可见光学图像数据；计算拍摄可见光学图像对应的相机内外参；构建水下低光静态场景的神经辐射场模型；将相机采集的可见光学图像以及对应的相机内外参输入神经辐射场模型进行监督训练；基于视觉理论构建亮度增强模型；将训练好的神经辐射场输入亮度增强模型进行监督训练，输出去除水介质干扰、增亮后的水下三维场景模型。本发明方法能够有效降低由于海水对光的吸收和散射、低光拍摄噪声等干扰因素对三维重建精度的影响，显著提高水下低光静态场景三维重建的真实性和准确性。