公开(公告)号：CN110610650A

公开(公告)日：2019-12-24

申请号：CN201910796731.4

申请日：2019-08-27

申请人： 杭州电子科技大学

发明人： 颜成钢 ,  任浩帆 ,  孙垚棋 ,  张继勇 ,  张勇东 ,  沈韬

IPC分类号： G09B29/00 ,  G06T7/80 ,  G06N3/08

摘要： 本发明公开了一种基于深度学习和深度相机的点云语义地图的构建方法。本发明步骤：1、构建神经网络的必须模块；2、搭建神经网络；3、训练神经网络模型；采用semantic3D为训练集，使用反向传播和随机梯度下降，训练神经网络，最小化损失函数，从而不断优化网络权重连接；4、进行相机标定，得到相机的内参，首先利用深度相机采集点云数据，通过相机的内参矩阵将采集到的深度图转换成点云；5、将点云输入到训练好的神经网络当中，使用含有语义信息的点云进行语义地图的构建，从而可以得到语义标签的点云语义地图。本发明能够更加实用的为机器人室内导航和定位提供语义这样的高级特征，便于精准的确定机器人的位置，以及更为精准的回环检测。

公开(公告)号：CN116863053A

公开(公告)日：2023-10-10

申请号：CN202310858434.4

申请日：2023-07-13

申请人： 杭州电子科技大学

发明人： 朱尊杰 ,  任浩帆 ,  徐枫 ,  薛安克 ,  路荣丰

IPC分类号： G06T15/00 ,  G06N3/045 ,  G06N3/08

摘要： 本发明公开了一种基于知识蒸馏的点云渲染增强方法。本发明包括以下步骤：步骤1、构造并训练神经辐射场；输入图像序列，使用训练好的神经辐射场进行重建，得到场景隐式表达；步骤2、训练可微分的点云渲染器，在训练的过程当中，将得到的场景隐式表达作为先验知识，利用知识蒸馏来修正Z‑buffer，从而得到更好的渲染结果。本发明利用先前学习到神经辐射场所产生的高质量的Z‑Buffer，作为高质量的先验，来修正可微分的点云渲染器的权重，以减少渲染中的噪点和其他失真效果，从而生成更加准确和精细的渲染图像。通过这些改进，本发明能够在保持点云原有信息的基础上提高渲染效果和质量，从而更好地满足VR/AR系统等下游任务的需求。

公开(公告)号：CN116740286A

公开(公告)日：2023-09-12

申请号：CN202310782575.2

申请日：2023-06-29

申请人： 杭州电子科技大学

发明人： 颜成钢 ,  任浩帆 ,  李宗鹏 ,  丁贵广 ,  付莹 ,  郭雨晨 ,  赵思成 ,  孙垚棋 ,  朱尊杰 ,  王帅 ,  高宇涵 ,  王鸿奎 ,  赵治栋 ,  殷海兵 ,  张继勇 ,  薛安克

IPC分类号： G06T17/00 ,  G06T5/00 ,  G06T7/11 ,  G06T7/66 ,  G06V20/10 ,  G06V10/30 ,  G06V10/762 ,  G06V10/764 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/048 ,  G06N3/08

摘要： 本发明公开了一种基于深度学习的快速增量式室内语义建图方法，首先构造识别墙面、地板和天花板的主平面识别深度神经网络；对于增量式的RGBD序列，基于主平面识别深度神经网络获取序列的每一帧彩色图中的墙面、地板和天花板的掩膜；根据获取的掩膜进行快速的物体聚类后，通过相机内外参数，获得点云簇；计算聚类后物体的属性，构建图神经网络所需的图表示，通过图神经网络获取语义信息，从而实现语义建图。本发明无需提前获取完整的三维地图，在机器人运动的过程当中就可以获取语义信息，而且处理速度较快。

公开(公告)号：CN118587341A

公开(公告)日：2024-09-03

申请号：CN202410682122.7

申请日：2024-05-29

申请人： 杭州电子科技大学

发明人： 任浩帆 ,  颜成钢 ,  路荣丰 ,  薛安克 ,  付莹 ,  殷俊 ,  李亮

IPC分类号： G06T15/00 ,  G06T9/00 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明公开了一种基于位置编码增强的点云渲染方法、系统及设备。本发明在神经网络训练阶段需要与点云观察视角对齐的2D图片。在训练过程当中，首先对点云做位置编码。本发明使用超参网络和高斯采样来增强位置编码，之后再输入渲染网络得到最后结果。其中位置编码增强网络中的超参网络具体实现如下：首先将超参网络中的线性层Ⅰ视为低频段sin(wx+b)的ω和b；其次定义ReLU层中的激活函数；最后将超参网络中的线性层Ⅱ视为高频段sin(wx+b)的ω和b。本发明使得位置编码的过程参与神经网络整个可微过程的优化，从而生成更加准确和精细的渲染图像。

公开(公告)号：CN110060331A

公开(公告)日：2019-07-26

申请号：CN201910193450.X

申请日：2019-03-14

申请人： 杭州电子科技大学

发明人： 颜成钢 ,  徐浙峰 ,  任浩帆 ,  孙垚棋 ,  张继勇 ,  张勇东

IPC分类号： G06T17/00 ,  G06T7/50 ,  G06K9/46 ,  G06K9/62 ,  G06N3/04

摘要： 本发明公开了一种基于全卷积神经网络的单目相机室外三维重建方法。本发明包括以下步骤：步骤1、利用监督学习的方式训练全卷积神经网络；步骤2、用全卷积神经网络对每一张图片进行深度估计；用单目相机拍摄一系列室外场景的连续的图片，然后将每一张图片作为输入，用前面已经训练好的全卷积神经网络对图片进行深度估计，得到其的三维点云模型；步骤3、用ICP算法将每一张图片的三维模型融合成一个完整的三维模型。本发明解决了单目相机的三维重建问题，且通过本发明可以在普通PC机或工作站等硬件系统上实现。