激光雷达与相机在线漂移检测方法、校正方法、装置及存储介质

    公开(公告)号:CN115272456A

    公开(公告)日:2022-11-01

    申请号:CN202210703145.2

    申请日:2022-06-21

    申请人: 东南大学

    摘要: 本发明公开了一种激光雷达与相机在线漂移检测方法、校正方法、装置及存储介质,在线漂移检测方法包括点云与图像配准和传感器漂移检测,点云与图像配准包括:在数据时域上搜索距离激光雷达点云数据帧最近的相机图像数据帧,完成激光雷达和相机的数据同步;基于同步的数据,通过点云配准和图像配准估计前N帧到当前帧的激光雷达运动和相机运动;传感器漂移检测包括:基于估计得到的激光雷达运动和相机运动,求解对应帧的激光雷达和相机间的运动偏差;当对应帧的激光雷达和相机间的运动偏差大于设定阈值时,检测当前帧是否发生传感器漂移。本发明方法特征提取精准、全面且鲁棒,泛化性能好,在各个方向的漂移检测和标定精度和鲁棒性良好。

    基于车辆运动学模型的路口待行队列估计方法

    公开(公告)号:CN111341123A

    公开(公告)日:2020-06-26

    申请号:CN202010138764.2

    申请日:2020-03-03

    申请人: 东南大学

    IPC分类号: G08G1/08 G08G1/09

    摘要: 本发明涉及一种基于车辆运动学模型的路口待行队列估计方法,是一种在城市道路条件下,路口信号灯为红灯时,考虑异质车辆队列特性,采用车辆运动学模型计算待行车辆队列静态长度、动态长度、通行时间、通行速度的估计方法;涉及到的待行队列估计方法主要包含基于地磁线圈的待行队列车辆数量统计方法、基于高斯分布的车辆参数随机计算方法以及基于运动学模型的队列运动轨迹计算方法,该估计方法利用现有成熟的技术条件,在智能网联汽车技术尚未大规模普及的情况下,实现城市道路路口待行队列运动轨迹的准确估计,为车辆经济性驾驶、绿色通行、路口高效通行等技术提供准确可靠的计算依据。

    激光雷达与相机标定状态检测方法、校正方法、装置及存储介质

    公开(公告)号:CN116433762A

    公开(公告)日:2023-07-14

    申请号:CN202310238490.8

    申请日:2023-03-14

    申请人: 东南大学

    IPC分类号: G06T7/73

    摘要: 本发明公开了一种激光雷达与相机标定状态检测方法、校正方法、装置及存储介质,其中激光雷达与相机标定状态检测方法包括:在标定位置获取不同位姿下同步的激光雷达点云和相机无畸变图像,作为参考数据;当需要判断传感器标定状态时,在标定位置采集一帧同步的激光雷达点云和相机无畸变图像,作为观测数据。估计参考数据到观测数据的变换矩阵,根据其旋转分量偏差,判断标定状态。当确认传感器位姿已发生改变时,估计参考图像到观测图像的变换矩阵,完成外参校正。所提出的激光雷达与相机标定状态自动检测与校正方法无需布置标定环境,能够自动检测当前传感器状态是否需要重新标定,适用于车辆运行现场标定,标定结果精确且鲁棒。

    相机与激光雷达重标定方法、装置及计算机可读存储介质

    公开(公告)号:CN112837383B

    公开(公告)日:2022-02-22

    申请号:CN202110225959.5

    申请日:2021-03-01

    申请人: 东南大学

    IPC分类号: G06T7/80 G06T7/33 G06T5/50

    摘要: 本发明公开了一种相机与激光雷达重标定方法、装置及计算机可读存储介质,其中相机与激光雷达重标定方法包括:在标定状态下获取基准位置的基准图像和基准点云;在传感器发生漂移状态下,通过获取的基准图像和基准点云,结合在观测位置获取的观测图像和观测点云,采用基于传感器融合里程计的相机与激光雷达自动重标定方法进行重标定。本发明相机与激光雷达自动重标定方法,无需设置标定板,不受环境和数据特征限制,能够实现相机和激光雷达的精确重标定,对传感器漂移具有较高的鲁棒性。

    端-边-云车路协同融合感知架构及其构建方法

    公开(公告)号:CN113743479A

    公开(公告)日:2021-12-03

    申请号:CN202110954152.5

    申请日:2021-08-19

    申请人: 东南大学

    IPC分类号: G06K9/62 G06F9/50

    摘要: 本发明公开了一种端‑边‑云车路协同融合感知架构及其构建方法,涉及智能交通技术领域,解决了当前车路协同架构下各智能体信息流之间弱关联、强冲突、高分散、低兼容的技术问题,其技术方案要点是将车端、路端和云端各感知单元、计算设备、通信装置看成自动驾驶感知系统的智能体,以各智能体的协同感知为重点,根据多Agent的分布式协调感知理论,构建具备分层次、跨时空、多任务技术特点的端‑边‑云车路协同融合感知架构。为自动驾驶的决策、规划与控制提供一个环境适应性强、环境识别和理解准确度高、应对场景变化具有强鲁棒性的多源感知系统。

    基于图像配准的激光雷达与相机标定参数校正方法及装置

    公开(公告)号:CN112233184B

    公开(公告)日:2021-06-22

    申请号:CN202010936777.4

    申请日:2020-09-08

    申请人: 东南大学

    IPC分类号: G06T7/80 G06T7/70

    摘要: 本申请实施例公开了一种基于图像配准的激光雷达与相机标定参数校正方法及装置,属于智能驾驶环境感知领域与机器人环境感知领域。所述方法包括:在完成相机和激光雷达之间的标定参数的标定后,根据预定场景获取基准相机图像和基准点云投影图,基准点云投影图是根据基准相机图像和标定参数得到的;检测相机和激光雷达之间的相对姿态是否发生了变化;若相对姿态发生了变化,则根据基准相机图像和基准点云投影图配准得到的单应性矩阵校正标定参数。本申请实施例可以结合图像配准和原始的标定参数来校正标定参数,无需布置标定试验环境,简化了标定参数的校正流程,提高了校正效率。另外,校正后的标定参数误差小,从而提高了校正的精度。

    KITTI数据集的半自动实例标注方法及系统

    公开(公告)号:CN111985394B

    公开(公告)日:2021-05-28

    申请号:CN202010837250.6

    申请日:2020-08-19

    申请人: 东南大学

    摘要: 本发明公开了一种KITTI数据集的半自动实例标注方法及系统,涉及智能网联汽车环境感知数据标注技术领域,解决了现有实例标注效率低且人力成本高的技术问题,其技术方案要点是将待标注的KITTI数据集切分成不同的子集数据集,将子集数据集投入到第一标注网络进行预标注,得到预标注结果,使用Labelme标注软件手动修正预标注结果,得到第一标注结果。由于KITTI数据集本身具有边界框标注信息,标注网络能够利用KITTI数据集的边界框标注信息,精确定位目标位置,而无需标注人员手动框出目标位置。同时,标注人员无需全称参与标注过程,只需专注于标注结果的修正,标注效率高,节约时间和精力。

    一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法

    公开(公告)号:CN111967373B

    公开(公告)日:2021-03-30

    申请号:CN202010818329.4

    申请日:2020-08-14

    申请人: 东南大学

    IPC分类号: G06K9/00 G06K9/34 G06T7/70

    摘要: 本发明公开一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法,所述方法包括:利用卷积神经网络分别提取目标的摄像头图像和激光雷达投影图的图像特征,分别得到第一图像特征和第二图像特征;自适应地分配第一图像特征和第二图像特征的权重,根据分配的第一权重对第一图像特征加权得到第三图像特征,根据分配的第二权重对第二图像特征加权得到第四图像特征,对第三图像特征和第四图像特征进行强化融合;根据所述融合后的图像特征,利用实时实例分割网络输出目标的类别、置信度、边界框、掩模,获取目标的实例分割结果。本发明能够在复杂环境下实时、精确且鲁棒地实现目标实例分割,在智能网联车辆感知领域具有广泛的应用前景。

    基于图像配准的激光雷达与相机标定参数校正方法及装置

    公开(公告)号:CN112233184A

    公开(公告)日:2021-01-15

    申请号:CN202010936777.4

    申请日:2020-09-08

    申请人: 东南大学

    IPC分类号: G06T7/80 G06T7/70

    摘要: 本申请实施例公开了一种基于图像配准的激光雷达与相机标定参数校正方法及装置,属于智能驾驶环境感知领域与机器人环境感知领域。所述方法包括:在完成相机和激光雷达之间的标定参数的标定后,根据预定场景获取基准相机图像和基准点云投影图,基准点云投影图是根据基准相机图像和标定参数得到的;检测相机和激光雷达之间的相对姿态是否发生了变化;若相对姿态发生了变化,则根据基准相机图像和基准点云投影图配准得到的单应性矩阵校正标定参数。本申请实施例可以结合图像配准和原始的标定参数来校正标定参数,无需布置标定试验环境,简化了标定参数的校正流程,提高了校正效率。另外,校正后的标定参数误差小,从而提高了校正的精度。

    KITTI数据集的半自动实例标注方法及系统

    公开(公告)号:CN111985394A

    公开(公告)日:2020-11-24

    申请号:CN202010837250.6

    申请日:2020-08-19

    申请人: 东南大学

    摘要: 本发明公开了一种KITTI数据集的半自动实例标注方法及系统,涉及智能网联汽车环境感知数据标注技术领域,解决了现有实例标注效率低且人力成本高的技术问题,其技术方案要点是将待标注的KITTI数据集切分成不同的子集数据集,将子集数据集投入到第一标注网络进行预标注,得到预标注结果,使用Labelme标注软件手动修正预标注结果,得到第一标注结果。由于KITTI数据集本身具有边界框标注信息,标注网络能够利用KITTI数据集的边界框标注信息,精确定位目标位置,而无需标注人员手动框出目标位置。同时,标注人员无需全称参与标注过程,只需专注于标注结果的修正,标注效率高,节约时间和精力。