公开(公告)号：CN111784586A

公开(公告)日：2020-10-16

申请号：CN202010446601.0

申请日：2020-05-25

申请人： 清华大学

发明人： 周杰 ,  吴垚垚 ,  邓磊 ,  陈宝华 ,  李健 ,  邓杰仁 ,  于恒 ,  李永强

IPC分类号： G06T3/60 ,  G06T7/73 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种自监督学习的全景图像水平矫正方法及系统，其中，该方法包括：构建训练图像库；利用训练图像库中的训练图像对卷积神经网络进行自监督式训练，直至卷积神经网络的误差函数收敛；将训练图像库中的待矫正图像输入至训练完成的卷积神经网络中，推导出拍摄当前全景图像时相机的俯仰角和滚筒角；对俯仰角和滚筒角进行欧拉角推算旋转矩阵计算，得到相机位姿的旋转矩阵，根据相机位姿的旋转矩阵矫正待矫正图像，合成水平图像。该方法有效解决相机姿态不竖直而导致的全景图像扭曲畸变问题。

公开(公告)号：CN110827361A

公开(公告)日：2020-02-21

申请号：CN201911060536.1

申请日：2019-11-01

申请人： 清华大学

发明人： 周杰 ,  邓磊 ,  陈宝华 ,  邓杰仁 ,  吴垚垚 ,  李健 ,  于恒

IPC分类号： G06T7/80

摘要： 本发明公开了一种基于全局标定架的相机组标定方法及装置，其中，方法包括以下步骤：对每个相机的视场范围设计标定板的尺寸、ID和几何位置姿态；检测单元格角点，并且获取标定板坐标系下相机的绝对位姿；根据相机的绝对位姿进行非线性优化和坐标系转换，估计得到多个摄像机间的相对位置和姿态。该方法通过构建全局的标定架，将多个摄像机间的相对位置和姿态估计出来，具有重要的理论和实际价值。

公开(公告)号：CN111882611B

公开(公告)日：2023-11-24

申请号：CN202010689886.0

申请日：2020-07-17

申请人： 北京三快在线科技有限公司 ,  清华大学

发明人： 聂琼 ,  申浩 ,  王赛 ,  吴垚垚 ,  陈宝华

IPC分类号： G06T7/73 ,  G06T7/80 ,  G06T17/05 ,  G06V10/774

摘要： 本说明书公开了一种地图构建方法及装置，可先获取各环境图像并确定采集环境图像的相机的相机内参，之后针对每个目标点，确定该目标点分别投影到各环境图像中的各像素点，再通过语义分割模型确定各像素点的类型。然后，根据各像素点的类型，确定该目标点位于静态物体的概率，以从各目标点中确定静态目标点。最后根据各静态目标点的三维坐标以及各静态目标点的特征信息，确定用于无人车定位的三维地图。通过各目标点投影到各环境图像中的像素点的类型，确定各目标点位于静态物体的概率，以从各目标点中确定静态目标点，构建三维地图，减少了该三维地图的数据量，节省了存储该三维地图所需的存储空间，降低了使用三维地图进行定位的成本。

公开(公告)号：CN110827361B

公开(公告)日：2023-06-23

申请号：CN201911060536.1

申请日：2019-11-01

申请人： 清华大学

发明人： 周杰 ,  邓磊 ,  陈宝华 ,  邓杰仁 ,  吴垚垚 ,  李健 ,  于恒

IPC分类号： G06T7/80

摘要： 本发明公开了一种基于全局标定架的相机组标定方法及装置，其中，方法包括以下步骤：对每个相机的视场范围设计标定板的尺寸、ID和几何位置姿态；检测单元格角点，并且获取标定板坐标系下相机的绝对位姿；根据相机的绝对位姿进行非线性优化和坐标系转换，估计得到多个摄像机间的相对位置和姿态。该方法通过构建全局的标定架，将多个摄像机间的相对位置和姿态估计出来，具有重要的理论和实际价值。

公开(公告)号：CN111784586B

公开(公告)日：2022-10-18

申请号：CN202010446601.0

申请日：2020-05-25

申请人： 清华大学

发明人： 周杰 ,  吴垚垚 ,  邓磊 ,  陈宝华 ,  李健 ,  邓杰仁 ,  于恒 ,  李永强

IPC分类号： G06T3/60 ,  G06T7/73 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种自监督学习的全景图像水平矫正方法及系统，其中，该方法包括：构建训练图像库；利用训练图像库中的训练图像对卷积神经网络进行自监督式训练，直至卷积神经网络的误差函数收敛；将训练图像库中的待矫正图像输入至训练完成的卷积神经网络中，推导出拍摄当前全景图像时相机的俯仰角和滚筒角；对俯仰角和滚筒角进行欧拉角推算旋转矩阵计算，得到相机位姿的旋转矩阵，根据相机位姿的旋转矩阵矫正待矫正图像，合成水平图像。该方法有效解决相机姿态不竖直而导致的全景图像扭曲畸变问题。

公开(公告)号：CN109614859B

公开(公告)日：2021-01-12

申请号：CN201811296148.9

申请日：2018-11-01

申请人： 清华大学

发明人： 周杰 ,  邓磊 ,  于恒 ,  陈宝华 ,  吴垚垚 ,  李健

IPC分类号： G06K9/00 ,  G06K9/32 ,  G06K9/46

摘要： 本发明公开了一种视觉定位特征提取和匹配方法及装置，其中，方法包括以下步骤：获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域；分别对外部图像和内部图像提取基于构造虚拟视图的特征；根据外部图像和内部图像区域化的聚类的增强协变特征描述符进行特征匹配，以得到匹配点集合；根据匹配点集合得到最优位姿矩阵。该方法可以有效地解决季节和光照对视觉定位系统的影响，有效提高特征提取和匹配的准确性和可靠性，提高用户体验。

公开(公告)号：CN111882611A

公开(公告)日：2020-11-03

申请号：CN202010689886.0

申请日：2020-07-17

申请人： 北京三快在线科技有限公司 ,  清华大学

发明人： 聂琼 ,  申浩 ,  王赛 ,  吴垚垚 ,  陈宝华

IPC分类号： G06T7/73 ,  G06T7/80 ,  G06T17/05 ,  G06K9/62

摘要： 本说明书公开了一种地图构建方法及装置，可先获取各环境图像并确定采集环境图像的相机的相机内参，之后针对每个目标点，确定该目标点分别投影到各环境图像中的各像素点，再通过语义分割模型确定各像素点的类型。然后，根据各像素点的类型，确定该目标点位于静态物体的概率，以从各目标点中确定静态目标点。最后根据各静态目标点的三维坐标以及各静态目标点的特征信息，确定用于无人车定位的三维地图。通过各目标点投影到各环境图像中的像素点的类型，确定各目标点位于静态物体的概率，以从各目标点中确定静态目标点，构建三维地图，减少了该三维地图的数据量，节省了存储该三维地图所需的存储空间，降低了使用三维地图进行定位的成本。

公开(公告)号：CN109614859A

公开(公告)日：2019-04-12

申请号：CN201811296148.9

申请日：2018-11-01

申请人： 清华大学

发明人： 周杰 ,  邓磊 ,  于恒 ,  陈宝华 ,  吴垚垚 ,  李健

IPC分类号： G06K9/00 ,  G06K9/32 ,  G06K9/46

摘要： 本发明公开了一种视觉定位特征提取和匹配方法及装置，其中，方法包括以下步骤：获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域；分别对外部图像和内部图像提取基于构造虚拟视图的特征；根据外部图像和内部图像区域化的聚类的增强协变特征描述符进行特征匹配，以得到匹配点集合；根据匹配点集合得到最优位姿矩阵。该方法可以有效地解决季节和光照对视觉定位系统的影响，有效提高特征提取和匹配的准确性和可靠性，提高用户体验。