-
公开(公告)号:CN117333749A
公开(公告)日:2024-01-02
申请号:CN202311382428.2
申请日:2023-10-24
申请人: 浙江大学
IPC分类号: G06V10/80 , G06V10/82 , G06V20/64 , G06T7/246 , G06N3/0455 , G06N3/0464
摘要: 本发明公开了一种多模态混合的自动驾驶统一3D检测与跟踪方法,属于自动驾驶技术领域。本发明主要包括以下步骤:1.不同模态下的BEV特征的生成;2.自适应融合的BEV特征的生成;3.单帧3D目标检测结果的生成;4.单帧3D目标跟踪结果的生成;5.帧与帧之间目标跟踪结果的迭代。基于本发明所提出的统一3D检测与跟踪方法可以将不同的传感器数据融合为统一的BEV特征,将3D目标检测与3D目标跟踪统一为一个整体。相较于使用独立的目标检测与目标跟踪模型,统一模型可以提高实时性、精度和鲁棒性,获得自动驾驶系统性能和安全性的提升。同时还可以减少模型的训练成本和部署难度。
-
公开(公告)号:CN117496142A
公开(公告)日:2024-02-02
申请号:CN202311382432.9
申请日:2023-10-24
申请人: 浙江大学
IPC分类号: G06V10/26 , G06V10/44 , G06V10/82 , G06V20/64 , G06N3/0455 , G06N3/0464 , G06N3/09
摘要: 本发明公开了一种基于残差网络和深度监督的自动驾驶三维目标检测方法,属于自动驾驶技术领域。本发明主要包括以下步骤:1.基于点云数据的多层次稀疏体素特征的生成;2.BEV特征和三维区域候选框的生成;3.基于残差网络和深度监督进行由体素到点的特征优化;4.三维区域候选框的优化;5.目标检测结果的生成。基于本发明所提出的三维目标检测方法可以充分利用基于体素的RPN网络获得更高的候选框召回率,同时利用残差网络和深度监督,提取更加丰富的点信息以获得更加清晰的3D物体结构信息。深度监督的存在还可以更好的帮助网络进行优化,并且避免了网络训练过程中出现的梯度消失和梯度爆炸现象。
-
公开(公告)号:CN117341727A
公开(公告)日:2024-01-05
申请号:CN202311215579.9
申请日:2023-09-20
申请人: 浙江大学
IPC分类号: B60W60/00 , B60W50/00 , G06V20/56 , G06V20/70 , G06V10/26 , G06V10/25 , G06V10/44 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/042 , G06N3/0442 , G06N3/0985
摘要: 本发明公开了一种基于图注意力的端到端自动驾驶行为规划方法,属于自动驾驶技术领域。本发明主要包括以下步骤:1.多模态特征初步提取;2.多类型感知任务实现;3.根据感知结果将特征构建为图形式,实现感兴趣特征筛选;4.利用图注意力神经网络进行特征处理;5.自动驾驶车辆未来行驶路径点预测;6.自动驾驶车辆行为规划。基于本发明所提出的端到端自动驾驶行为规划方法引入了图(Graph)形式的特征,符合室外自动驾驶场景下的离散型信息分布模式,显式地利用了感知结果,在一定程度上弥补了传统端到端模型缺乏可解释性的问题。
-
公开(公告)号:CN117351443A
公开(公告)日:2024-01-05
申请号:CN202311215574.6
申请日:2023-09-20
申请人: 浙江大学
IPC分类号: G06V20/56 , G06V10/40 , G06V10/80 , G06V10/82 , G06N3/045 , G06N3/0455 , G06N3/0464 , G06N3/09 , G06N3/096 , G01S17/931 , G01S17/86
摘要: 本发明公开了一种基于图像‑伪点云特征融合的纯视觉目标检测方法,属于自动驾驶技术领域。本发明主要包括以下五个步骤:1.基于图像的基础的纯视觉三维目标检测模型训练;2.基于激光雷达点云的三维目标检测模型训练;3.设计掩码自动编解码器实现伪点云特征生成;4.图像特征和伪点云特征自适应融合;5.微调获得基于伪特征融合的纯视觉目标检测模型。基于本发明所提出的预训练方案,只需要在模型训练过程中提供相对应的激光雷达点云数据,推理时仅需要相机图像作为输入,就可以生成高质量的伪点云特征,通过图像特征‑伪点云特征的跨模态特征融合,在原本纯视觉模型的基础上实现性能的提升。
-
-
-