一种基于结构信息的RGBD三维场景重建方法

    公开(公告)号:CN107862735B

    公开(公告)日:2021-03-05

    申请号:CN201710865372.4

    申请日:2017-09-22

    发明人: 齐越 王晨 衡亦舒

    IPC分类号: G06T17/00 G06T7/70

    摘要: 本发明属于三维图像处理技术领域,具体涉及一种基于结构信息的RGBD三维场景重建方法,包括S1.检测第i帧中的场景信息,并将场景信息在第i帧所对应的模型数据中标记;S2.估计第i+1帧所对应的相机姿态,计算时加入第i帧所对应的模型数据中标记的场景信息;S3.根据第i+1帧所对应的相机姿态,将第i+1帧融入到第i帧所对应的模型数据中,得到第i+1帧所对应的模型数据;S4.检测第i+1帧所对应的模型数据的投影图中的场景信息,并将场景信息反投影到第i+1帧所对应的模型数据中;S5.对于i的每一个取值,i=1,2,3···,N‑1,其中N为总的帧数,重复步骤S1‑S4,完成三维重建工作。该方法能够实时的检测出场景中所存在的几何结构信息,在相机姿态估计过程中,能够最小化配准误差的相机姿态估计,进而更好的完成实时的三维重建技术。

    基于体素模型与颜色信息耦合的三维语义分割方法

    公开(公告)号:CN110827295A

    公开(公告)日:2020-02-21

    申请号:CN201911051686.6

    申请日:2019-10-31

    摘要: 本发明所述基于体素模型与颜色信息耦合的三维语义分割方法,由三维CNN网络提取三维TSDF体素信息并结合三维重建过程中采集到的RGB图像,通过通道信息融合策略而直接实现端到端的三维语义分割,从而实现为三维重建技术之后的相关AR应用提供有力支持。三维语义分割方法包括有以下实施阶段:1)、二维RGB图像处理阶段;2)、三维TSDF体素模型处理阶段;3)、双通道信息融合及三维信息处理阶段。对于二维及三维信息进行融合;利用三维卷积神经网络进行最终的特征提取,从而得到最终的体素级别语义分割结果。

    基于单张图像的三维头部重建方法

    公开(公告)号:CN110379003A

    公开(公告)日:2019-10-25

    申请号:CN201910641611.7

    申请日:2019-07-16

    IPC分类号: G06T17/00 G06N3/04

    摘要: 本发明公开了一种基于单张图像的三维头部重建方法,属于计算机视觉领域,本发明使用单张正面的人脸照片作为输入,通过使用深度学习的方法,从人脸照片中回归特征信息进行三维人脸重建;对人脸模型进行补齐得到完整的头部模型;使用深度学习的方法进行头发区域的分割;获取头发区域部分的方向图;使用深度学习的方法进行发丝信息的回归;根据回归得到的发丝信息进行发丝数据库的匹配,从而完成头发重建;将头发模型坐标系与头发模型坐标系对齐,得到完整的三维头部模型。相较于以往的三维重建头部的方法,可以达到自动化进行三维人脸、头发重建,并且能够达到较为逼真的重建效果,以此为基础可以使三维模型得到更加丰富的应用。

    一种基于结构信息的RGBD三维场景重建方法

    公开(公告)号:CN107862735A

    公开(公告)日:2018-03-30

    申请号:CN201710865372.4

    申请日:2017-09-22

    发明人: 齐越 王晨 衡亦舒

    IPC分类号: G06T17/00 G06T7/70

    摘要: 本发明属于三维图像处理技术领域,具体涉及一种基于结构信息的RGBD三维场景重建方法,包括S1.检测第i帧中的场景信息,并将场景信息在第i帧所对应的模型数据中标记;S2.估计第i+1帧所对应的相机姿态,计算时加入第i帧所对应的模型数据中标记的场景信息;S3.根据第i+1帧所对应的相机姿态,将第i+1帧融入到第i帧所对应的模型数据中,得到第i+1帧所对应的模型数据;S4.检测第i+1帧所对应的模型数据的投影图中的场景信息,并将场景信息反投影到第i+1帧所对应的模型数据中;S5.对于i的每一个取值,i=1,2,3…,N-1,其中N为总的帧数,重复步骤S1-S4,完成三维重建工作。该方法能够实时的检测出场景中所存在的几何结构信息,在相机姿态估计过程中,能够最小化配准误差的相机姿态估计,进而更好的完成实时的三维重建技术。

    一种基于GPS辅助信息加速的从运动中恢复结构方法

    公开(公告)号:CN107452037B

    公开(公告)日:2021-05-14

    申请号:CN201710650059.9

    申请日:2017-08-02

    发明人: 齐越 杜文祥

    IPC分类号: G06T7/73 G06T17/00

    摘要: 本发明涉及一种基于GPS辅助信息加速的从运动中恢复结构方法,包括:第1步骤,对输入的图像进行编号处理,同时提取输入图像中的GPS位置信息,并计算出待匹配的图像对;第2步骤,对图像进行特征提取,并在第1步骤确定的待匹配的图像对之间进行特征匹配,匹配的结果将被分别用于第4步骤的三维点云计算和第3步骤的相机位姿估计;第3步骤,对第2步骤特征匹配结果进行进一步的滤波处理,然后用以计算相机位姿;第4步骤,利用第2步骤的匹配结果和第3步骤的相机位姿计算出目标场景的三维点云。本发明利用GPS位置信息去确定待匹配的图像对,能够避免图像匹配阶段多余的计算来加速整个重建过程,在图像数量多时,加速效果更明显。

    Android移动端室内场景三维重建及语义分割方法

    公开(公告)号:CN110378349A

    公开(公告)日:2019-10-25

    申请号:CN201910641612.1

    申请日:2019-07-16

    IPC分类号: G06K9/34 G06T17/00

    摘要: 本发明提出一种Android移动端室内场景三维重建及语义分割方法,通过Android的Renderscript框架完成三维重建中ICP部分、体素模型融合部分以及光线追踪算法部分的并行计算,利用移动端的IMU设备采集角速度以及加速度得到两帧之间的初始相机姿态变化估计,实现快速三维重建。通过设计轻量化的二维室内场景语义分割CNN网络,并根据三维重建中所计算得到的相机姿态将语义分割结果映射到三维体素空间从而完成对移动端三维重建模型的体素级别语义分割。由于仅仅使用了二维CNN使得整个网络模型参数大大减少,可以很方便的将语义分割的深度学习框架放置在普通的Android设备上,从而实现一整套的Android移动端三维重建与语义分割的解决方案。

    一种基于深度图像数据流的虚实遮挡处理方法

    公开(公告)号:CN107292965A

    公开(公告)日:2017-10-24

    申请号:CN201710654653.5

    申请日:2017-08-03

    发明人: 齐越 郭小志

    摘要: 本发明涉及一种基于深度图像数据流的虚实遮挡处理方法,包括场景点云模型的构建、三维空间注册和虚实遮挡处理并渲染三个部分。首先将深度相机采集的深度数据进行滤波等预处理操作,并计算每一点的法向量;然后根据带有法向量的点云和利用上一帧相机位姿从三维场景模型投影得到的点云,采用最近点迭代算法计算相机位姿;然后将当前帧的点云融合到三维场景的点云模型中;在重建场景的同时,实时计算深度相机采集的彩色图像特征点,通过与模板图像特征点匹配来进行三维空间注册;然后通过得到的相机姿态去处理虚拟物体和三维场景的空间位置关系和遮挡关系并实时渲染。本发明能够在现有的主流设备上实时运行,并能够在输入数据分辨率较低时也能得到良好的虚实遮挡效果。

    基于单张图像的三维头部重建方法

    公开(公告)号:CN110717978B

    公开(公告)日:2023-07-18

    申请号:CN201911098677.2

    申请日:2019-11-12

    IPC分类号: G06T17/00 G06N3/0464 G06N3/08

    摘要: 本发明公开了一种基于单张图像的三维头部重建方法,属于计算机视觉领域,本发明使用单张正面的人脸照片作为输入,通过使用深度学习的方法,从人脸照片中回归特征信息进行三维人脸重建;对人脸模型进行补齐得到完整的头部模型;使用深度学习的方法进行头发区域的分割;获取头发区域部分的方向图;使用深度学习的方法进行发丝信息的回归;根据回归得到的发丝信息进行发丝数据库的匹配,从而完成头发重建;将头发模型坐标系与头发模型坐标系对齐,得到完整的三维头部模型。相较于以往的三维重建头部的方法,可以达到自动化进行三维人脸、头发重建,并且能够达到较为逼真的重建效果,以此为基础可以使三维模型得到更加丰富的应用。