一种多模态混合的自动驾驶统一3D检测与跟踪方法

    公开(公告)号:CN117333749A

    公开(公告)日:2024-01-02

    申请号:CN202311382428.2

    申请日:2023-10-24

    申请人: 浙江大学

    摘要: 本发明公开了一种多模态混合的自动驾驶统一3D检测与跟踪方法,属于自动驾驶技术领域。本发明主要包括以下步骤:1.不同模态下的BEV特征的生成;2.自适应融合的BEV特征的生成;3.单帧3D目标检测结果的生成;4.单帧3D目标跟踪结果的生成;5.帧与帧之间目标跟踪结果的迭代。基于本发明所提出的统一3D检测与跟踪方法可以将不同的传感器数据融合为统一的BEV特征,将3D目标检测与3D目标跟踪统一为一个整体。相较于使用独立的目标检测与目标跟踪模型,统一模型可以提高实时性、精度和鲁棒性,获得自动驾驶系统性能和安全性的提升。同时还可以减少模型的训练成本和部署难度。

    基于残差网络和深度监督的自动驾驶三维目标检测方法

    公开(公告)号:CN117496142A

    公开(公告)日:2024-02-02

    申请号:CN202311382432.9

    申请日:2023-10-24

    申请人: 浙江大学

    摘要: 本发明公开了一种基于残差网络和深度监督的自动驾驶三维目标检测方法,属于自动驾驶技术领域。本发明主要包括以下步骤:1.基于点云数据的多层次稀疏体素特征的生成;2.BEV特征和三维区域候选框的生成;3.基于残差网络和深度监督进行由体素到点的特征优化;4.三维区域候选框的优化;5.目标检测结果的生成。基于本发明所提出的三维目标检测方法可以充分利用基于体素的RPN网络获得更高的候选框召回率,同时利用残差网络和深度监督,提取更加丰富的点信息以获得更加清晰的3D物体结构信息。深度监督的存在还可以更好的帮助网络进行优化,并且避免了网络训练过程中出现的梯度消失和梯度爆炸现象。

    一种基于图像-伪点云特征融合的纯视觉目标检测方法

    公开(公告)号:CN117351443A

    公开(公告)日:2024-01-05

    申请号:CN202311215574.6

    申请日:2023-09-20

    申请人: 浙江大学

    摘要: 本发明公开了一种基于图像‑伪点云特征融合的纯视觉目标检测方法,属于自动驾驶技术领域。本发明主要包括以下五个步骤:1.基于图像的基础的纯视觉三维目标检测模型训练;2.基于激光雷达点云的三维目标检测模型训练;3.设计掩码自动编解码器实现伪点云特征生成;4.图像特征和伪点云特征自适应融合;5.微调获得基于伪特征融合的纯视觉目标检测模型。基于本发明所提出的预训练方案,只需要在模型训练过程中提供相对应的激光雷达点云数据,推理时仅需要相机图像作为输入,就可以生成高质量的伪点云特征,通过图像特征‑伪点云特征的跨模态特征融合,在原本纯视觉模型的基础上实现性能的提升。