-
公开(公告)号:CN113536416A
公开(公告)日:2021-10-22
申请号:CN202110683630.3
申请日:2021-06-21
申请人: 杭州电子科技大学
摘要: 本发明公开了一种基于室内空间布局约束的场景模型补全方法。首先使用超体素分割对室内稠密三维重建模型进行预处理,将mesh模型转换成超体素数据,每个超体素数据将邻局部特征一致的mesh进行初步的聚类,在保持原三维模型的特征的基础上大大的减少了计算量,然后在超体素模型上使用RANSAC平面检测算法,进行平面的预提取,建立带有平面几何约束的能量函数,通过求解能量函数求得该三维室内模型中的建筑主体结构平面,然后得出模型的室内空间布局,在室内空间布局的约束下,进行孔洞检测和孔洞修补,最终完成三维模型的孔洞补全。本发明方法能够大大提升对墙角等墙建筑主体结构上的补全效果,进而提升了整体室内环境的补全效果。
-
公开(公告)号:CN113409442A
公开(公告)日:2021-09-17
申请号:CN202110522224.9
申请日:2021-05-13
申请人: 杭州电子科技大学
摘要: 本发明公开了一种多全景图融合三维重建的方法;首先通过扫描平台获取室内场景的RGB图与深度图;然后进行相机运动定位;通过对获取的室内场景的RGB图像以及对应的深度图进行预处理,以构建单张3D全景图;再进行多张全景图的数据获取及构建;之后进行多全景图融合,最后通过融合后的多全景图实现室内场景的抗噪三维重建完成。本发明方法结合了传统slam优质算法和基于3D全景图的优势,可以得到更为准确的室内场景重建效果,实现更高质量的重建,并且本发明方通过限定其运动一致性来共同跟踪未同步的相机,而无需依赖于明显的视差或快门同步,使得重建结果更加准确。
-
公开(公告)号:CN108648224B
公开(公告)日:2021-07-13
申请号:CN201810481159.8
申请日:2018-05-18
申请人: 杭州电子科技大学
摘要: 本发明公开了一种基于人工神经网络的实时场景布局识别及重建方。本发明用人工神经网络模型对输入序列进行处理,并通过寻找单帧之间的相关性,得到室内场景的布局识别后,在曼哈顿世界假设下,利用空间中一点在像素坐标系下存在唯一投影的原理,迭代优化,得到场景中每个平面的单位法向量和该平面到相机中心的距离,并在OpenGL下渲染平面。本发明利用人工神经网络,并寻找帧与帧间的联系,使得网络输出结果和三维重建结果更为精确;使用单目的RGB信息还原三维信息,减少硬件成本,同时利用每帧得到的布局信息,使用优化算法求解得到场景中每个平面的法向量和到相机中心距离。
-
公开(公告)号:CN107016704A
公开(公告)日:2017-08-04
申请号:CN201710174897.3
申请日:2017-03-22
申请人: 杭州电子科技大学
CPC分类号: G06T19/006 , G06F3/011 , G06T2200/08 , G06T2207/10016 , G06T2207/10024
摘要: 本发明公开了一种基于增强现实的虚拟现实实现方法。本方法为:1)通过相机采集场景的深度图像序列和RGB序列;2)根据采集的深度图像序列、RGB序列生成该场景的RGBD四通道图像序列;3)根据该RGBD计算出两帧间相机的旋转矩阵与平移向量;从该场景的RGBD中识别出场景中的目标物体、平面结构及其在三维空间中的位置信息;将该RGBD转换为双目视图序列;4)将该双目视图呈现于该相机的屏幕上,根据场景中平面结构在三维空间中的位置信息在该场景中绘制该目标物体的虚拟三维模型并根据相机的旋转矩阵和平移向量对该虚拟三维模型进行变换,使之与所附着的平面结构呈现相对静止。本发明能够准确、快速算出需要呈现的图像。
-
公开(公告)号:CN113935910A
公开(公告)日:2022-01-14
申请号:CN202111122180.7
申请日:2021-09-24
申请人: 杭州电子科技大学
摘要: 本发明公开了一种基于深度学习的图像模糊长度测量方法。首先采集高帧率的清晰视频,经过预处理和插帧后,合成训练所需的数据集;然后构造模糊测量网络,使用合成的数据集训练;最后输入任意的模糊图像,经过缩放后输入训练好的模糊测量网络,测量得到其模糊长度。本发明实现了一种基于深度学习的图像模糊长度测量方法,对图像去模糊有较大意义。本发明利用高帧率清晰视频和插帧算法,通过数学建模和数字图像处理的方式,自动批量合成模糊图并计算真实模糊长度,供专门设计的深度学习网络进行端到端的训练。训练完毕后,输入任意模糊图,网络可以预测出其对应的模糊长度。
-
公开(公告)号:CN116863053A
公开(公告)日:2023-10-10
申请号:CN202310858434.4
申请日:2023-07-13
申请人: 杭州电子科技大学
摘要: 本发明公开了一种基于知识蒸馏的点云渲染增强方法。本发明包括以下步骤:步骤1、构造并训练神经辐射场;输入图像序列,使用训练好的神经辐射场进行重建,得到场景隐式表达;步骤2、训练可微分的点云渲染器,在训练的过程当中,将得到的场景隐式表达作为先验知识,利用知识蒸馏来修正Z‑buffer,从而得到更好的渲染结果。本发明利用先前学习到神经辐射场所产生的高质量的Z‑Buffer,作为高质量的先验,来修正可微分的点云渲染器的权重,以减少渲染中的噪点和其他失真效果,从而生成更加准确和精细的渲染图像。通过这些改进,本发明能够在保持点云原有信息的基础上提高渲染效果和质量,从而更好地满足VR/AR系统等下游任务的需求。
-
公开(公告)号:CN116823940A
公开(公告)日:2023-09-29
申请号:CN202310393130.5
申请日:2023-04-13
申请人: 杭州电子科技大学
摘要: 本发明公开了一种三维场景移动物体检测方法,首先对同一场景在两个时间点创建的点云模型进行预处理,再将预处理后的两个点云进行配准;将配准后的两个点云分别进行物体检测,得到两个物体集合;之后将配准后的两个点云进行差分,得到它们的差异区域,根据差异区域从两个物体集合中分别提取得到两个候选移动物体集合;最后将候选移动物体集合进行暴力配准物体匹配,得到最终移动信息。本发明方法更加轻量简洁,便于用于公安,安防,机器人等地方。
-
公开(公告)号:CN108876897B
公开(公告)日:2022-10-18
申请号:CN201810361369.3
申请日:2018-04-20
申请人: 杭州电子科技大学
摘要: 本发明属于计算机视觉与计算机图形学相结合的领域。本发明公开了一种相机快速运动下的场景三维重建方法。本发明步骤如下:步骤1:预处理;步骤2:建立模糊模型;步骤3:相机姿态估计;步骤4:从深度相机采集的模糊深度图中提取出清晰深度图像,将清晰深度图像计算得到的三维点云模型与当前场景模型进行融合,获得新的场景模型。本发明利用相机模糊原理,建立快速运动下的相机运动模型,在进行相机姿态估计时,先利用图像信息估计出一个粗糙的相机姿态作为ICP的初始值,再利用ICP和深度图得到相对准确的相机姿态信息,最后利用能量函数优化该相机姿态信息。传统方法单纯使用ICP方法估计相机姿态,这在快速运动的情况下是无法实现的。
-
公开(公告)号:CN113536417A
公开(公告)日:2021-10-22
申请号:CN202110683663.8
申请日:2021-06-21
申请人: 杭州电子科技大学
摘要: 本发明公开了一种基于平面约束的室内场景模型补全方法。在稠密室内三维重建的基础上使用循环使用RANSAC方法进行三维平面的检测,通过平面检测结果,将室内环境分割为不同的平面区域和物体区域,然后利用物体区域中各mesh顶点的邻接关系将空间上彼此分离的物体分割开,然后分别在不同的平面区域和不同的物体模型上进行孔洞检测,分别完成孔洞补全任务,然后将逐个补全的结果放在同一个三维空间中,最终完成室内全场景的三维模型孔洞补全任务。本发明消除了不同物体上孔洞之间的干扰,极大的提高了物体模型的补全精度,提高了补全效果,在对场景中的平面模型进行补全时,能够在平面方程的约束下,实现更加鲁棒的平面补全效果。
-
公开(公告)号:CN113160411A
公开(公告)日:2021-07-23
申请号:CN202110441618.1
申请日:2021-04-23
申请人: 杭州电子科技大学
IPC分类号: G06T17/10
摘要: 本发明公开了一种基于RGB‑D传感器的室内三维重建方法,本发明方法通过将RGB信息引入物体识别分类,通过使用图注意模块,能够更好地避免噪声对原始扫描数据干扰导致物体识别结果并不理想的情况,并且,有别于以往的重建过程,应用CAD模型替换扫描场景中的物体来得到整洁、紧凑的表示,在最后重建完成的时候通过将CAD模型与场景中的物体进行关键点差异的比较,通过迭代优化减少对齐误差,使得CAD模型在大小及位姿上都与场景中的物体一致。本发明可以解决由于传感器噪声干扰以及传感器运动产生的模糊所带来的分类识别不准确,以及整体场景重建精度不够的问题,且由于引入CAD模型,可自由编辑,增加了场景的灵活性。
-
-
-
-
-
-
-
-
-