一种基于压缩层次包围盒的光线簇与三维场景求交方法

    公开(公告)号:CN116580142A

    公开(公告)日:2023-08-11

    申请号:CN202310556067.2

    申请日:2023-05-17

    摘要: 本发明公开了一种基于压缩层次包围盒的光线簇与三维场景求交方法,在基于常规层次包围盒的基础上针对硬件多级缓存和单指令流多数据流的特性优化了数据表示。本发明使用坐标系变换的方式将树状层次包围盒中结点的单个包围盒坐标用8比特无符号整数表示;使用基于三维莫顿码的预排序来指导遍历子结点的先后顺序;使用光线簇来利用单指令流多数据流特性,减少内存访问开销。相比于已有的空间加速结构,该方法压缩了包围盒的存储空间,对硬件的访存模式更加友好;该方法使用了预排序的算法,节省了判断子空间包围盒在光线方向上前后关系的时间;该方法使用了光线簇和单指令流多数据流,充分利用了并行性。

    基于模板的GPU高性能张量缩并方法

    公开(公告)号:CN115203634A

    公开(公告)日:2022-10-18

    申请号:CN202210343327.3

    申请日:2022-03-31

    IPC分类号: G06F17/16 G06F8/41

    摘要: 本发明公开了一种基于模板的GPU高性能张量缩并方法,首先由用户定义张量缩并,对其索引与维度进行分类,得到四个索引序列和四个维度序列;然后对其进行降维,得到访存函数与隐式维度,再定义占位符,并根据BLAS库实现与优化方法编写计算模板,然后进行编译期的模板派发,将访存函数和隐式维度代入选定计算模板的占位符,生成CUDA C/C++代码,并编译为可重复使用的可执行程序,最后输入各张量的数据,以及各维度的具体值,完成计算。本发明可以以有限的一组模板支持任意的张量缩并;在保持易用的前提下,系统性能仍然接近甚至超过手动优化的cuBLAS、cuDNN等计算库。

    一种基于文本输入的3D姿态生成与编辑的方法

    公开(公告)号:CN118172491A

    公开(公告)日:2024-06-11

    申请号:CN202410435218.3

    申请日:2024-04-11

    申请人: 浙江大学

    摘要: 本发明公开了一种基于文本输入的3D姿态生成与编辑的方法,该方法通过构建一个不同范式的端到端模型,利用前端大型语言模型将抽象语言提示转换为具体的中间表征(输入后端;后端优化处理中间表征由量化离散人体姿态先验及一种创新的量化离散隐空间优化器组成,以在人体姿态先验隐空间中以一种鲁棒的方式搜索最符合的姿态;借助于大语言模型广泛的知识,以及后端的鲁棒性,这克服了传统端到端模型面临的文本输入理解能力缺陷和泛化能力缺陷,显著改善了姿态生成这一基础且复杂任务的效率以及操作门槛。同时,还实现了基于语言的手势、表情生成和编辑,填补了人体姿态生成模型在表情和手势上的空缺,大大增强了生成和编辑结果的真实性和生动性。

    一种基于深度学习的欧拉视频颜色放大方法

    公开(公告)号:CN112929622A

    公开(公告)日:2021-06-08

    申请号:CN202110162958.0

    申请日:2021-02-05

    申请人: 浙江大学

    发明人: 任重 周昆 邹锦爽

    IPC分类号: H04N9/64

    摘要: 本发明公开了一种基于深度学习的欧拉视频颜色放大方法,包括获得颜色放大网络和调用颜色放大网络两个步骤。首先合成一个模拟微小颜色变化图片数据集,并在该数据集上训练一个由空间分解、差分滤波、放大处理、图像重建四个模块构建的颜色放大网络;在运行时,对FIR带通滤波器进行优化,并将其替换网络的差分滤波模块。步骤二根据给定输入视频进行颜色放大处理时,先将视频分解为帧序列,通过调用颜色放大网络生成颜色放大帧序列,最后合成颜色放大视频。相比线性放大方法,本发明方法步骤一采用深度学习模型,训练过程自动化,免去了繁琐的人工设计;步骤二的处理,大大减少了噪声,在动态场景下不会产生伪影,增强了放大效果。

    一种基于点的实时三维重建与优化方法

    公开(公告)号:CN112862736A

    公开(公告)日:2021-05-28

    申请号:CN202110162947.2

    申请日:2021-02-05

    申请人: 浙江大学

    IPC分类号: G06T5/50 G06T5/00 G06T17/20

    摘要: 本发明公开了一种基于点的实时三维重建与优化方法,本发明将RGB‑D相机采集到的深度和颜色数据作为输入,使用基于点的表示方法来实时重建三维物体,同时利用颜色信息优化模型中每个点的位置和法向,以此得到高质量的三维模型。本发明扩展并改进了现有基于点的实时重建方法,并且在非结构化的点云数据上构建逆渲染问题,提出了针对点云的能量函数,能够同时优化每个点的位置、法向以及反照率。另外,根据每个点的状态和更新时间等信息选择不同的处理方式,从而有效地减少每次优化的参数数量。相比于现有的实时重建方法,本发明方法能够在实时重建物体的同时,让重建模型保留更多的高质量几何细节,具有更高的应用价值。

    一种高质量的实时等值面网络生成方法

    公开(公告)号:CN112070895A

    公开(公告)日:2020-12-11

    申请号:CN202010900806.1

    申请日:2020-08-31

    申请人: 浙江大学

    发明人: 郝家辉 任重

    IPC分类号: G06T17/20

    摘要: 本发明公开了一种高质量的实时等值面网络生成方法,该方法以Marching Cubes算法为蓝本进行改进来高效生成三维模型的高质量网格,重新审视MC算法中的判例表,提出了等价边缘的概念;结合网格重分技术从三方面优化了MC算法:利用连接性修改和顶点插入技术从判例表中删除表现最差的等价边缘;通过改变活动边的几何形状促使其与等值面更加垂直;以及移动立方体单元格的共享割点。本发明以接近标准MC算法的运行速度生成较高质量的网格,网格质量接近耗时极高的后处理网格重分算法;可以集成到常用的实时三维重建算法中,大大提高重建质量,应用空间巨大,算法具有良好的网格保真性与鲁棒性,可靠性高。

    基于ASM算法和Lazy Snapping算法的耳廓检测方法

    公开(公告)号:CN106650578B

    公开(公告)日:2019-05-24

    申请号:CN201610847141.6

    申请日:2016-09-26

    申请人: 浙江大学

    发明人: 任重 张家玄 吴盼

    IPC分类号: G06K9/00 G06K9/46 G06K9/62

    摘要: 本发明公开了一种基于ASM算法和Lazy Snapping算法相结合的耳廓检测方法,该方法利用Haar特征构建耳朵检测器,检测出耳朵所在的矩形区域,只有仅仅对该区域进行图像处理操作,大大加快了运行速度。本发明使用简单低精度的耳朵模型来训练ASM检测器,进而对耳廓上的少数关键特征点进行检测,训练成本较低,ASM算法的检测效果对训练数据集的敏感性较低,可以很容易地进行操作。本发明使用Lazy Snapping算法实现对耳廓地有效分割,并且使用坐标系变换和曲线拟合技术来提高耳廓检测结果的精确度。本发明所提出的耳廓检测技术运算速度快,可靠性高,容易实施,成本较低,可以有效地实现耳廓的检测。

    一种基于深度学习的双目风格化实时渲染方法

    公开(公告)号:CN108924528A

    公开(公告)日:2018-11-30

    申请号:CN201810576245.7

    申请日:2018-06-06

    申请人: 浙江大学

    发明人: 任重 倪朝浩 周昆

    IPC分类号: H04N13/122 G06N3/06

    摘要: 本发明公开了一种基于深度学习的双目风格化实时渲染方法,该方法首先对固定风格训练一个图像转换网络;在运行时,将该网络分解为编码器和解码器部分;渲染时,通过三维场景渲染出原始图像,视差图,运动场等信息;并通过基于图像转换网络的后处理进行风格化,从而渲染出完整双目动画。相比与独立帧直接风格化法,该方法可以大大减少视觉闪烁和瑕疵;相比与基于最优化的方法,效率提高了两个数量级。

    一种基于深度学习的双目动画风格化渲染方法

    公开(公告)号:CN108769644A

    公开(公告)日:2018-11-06

    申请号:CN201810576526.2

    申请日:2018-06-06

    申请人: 浙江大学

    发明人: 任重 倪朝浩 周昆

    IPC分类号: H04N13/122 G06N3/04

    摘要: 本发明公开了一种基于深度学习的双目动画风格化渲染方法,解决了双目动画内容风格化的问题。该方法将渲染过程分成两层,第一层渲染原始图像,视差图,运动场,遮挡图等场景信息,第二层基于CNN进行后处理优化。后处理层使用贪心法局部最小化一个全新的损失函数。每帧画面都通过梯度下降法求解时序子问题和视差子问题来得到,保持了渲染出的动画满足时序一致性和视差一致性。相比与独立帧直接风格化法,该方法可以大大减少视觉闪烁和瑕疵,并增强了双目显示时的立体感。