一种基于多模态代理查询的运动预测方法

    公开(公告)号:CN117372992A

    公开(公告)日:2024-01-09

    申请号:CN202311291819.3

    申请日:2023-10-08

    摘要: 本发明公开了一种基于多模态代理查询的运动预测方法,属于自动驾驶技术领域。包括:提取车辆周围不同模态下的环境特征执行目标检测,将检测结果编码为代理查询;将代理查询初始化为可学习查询向量,将不同模态下的环境特征作为环境信息相关的键向量和值向量,先后更新查询向量,生成环境信息相关的代理查询;提取高精地图的地图特征作为地图信息相关的键向量和值向量,更新环境信息相关的代理查询,生成地图信息相关的代理查询作为最终代理查询,用于完成自动驾驶车辆周围物体运动预测的任务。本发明从多模态数据中获取代理信息,结合多维场景特征和高精地图对周围物体进行运动预测,极大程度上避免了物体漏检问题,提高了预测精度。

    基于残差网络和深度监督的自动驾驶三维目标检测方法

    公开(公告)号:CN117496142A

    公开(公告)日:2024-02-02

    申请号:CN202311382432.9

    申请日:2023-10-24

    申请人: 浙江大学

    摘要: 本发明公开了一种基于残差网络和深度监督的自动驾驶三维目标检测方法,属于自动驾驶技术领域。本发明主要包括以下步骤:1.基于点云数据的多层次稀疏体素特征的生成;2.BEV特征和三维区域候选框的生成;3.基于残差网络和深度监督进行由体素到点的特征优化;4.三维区域候选框的优化;5.目标检测结果的生成。基于本发明所提出的三维目标检测方法可以充分利用基于体素的RPN网络获得更高的候选框召回率,同时利用残差网络和深度监督,提取更加丰富的点信息以获得更加清晰的3D物体结构信息。深度监督的存在还可以更好的帮助网络进行优化,并且避免了网络训练过程中出现的梯度消失和梯度爆炸现象。

    一种基于图像-伪点云特征融合的纯视觉目标检测方法

    公开(公告)号:CN117351443A

    公开(公告)日:2024-01-05

    申请号:CN202311215574.6

    申请日:2023-09-20

    申请人: 浙江大学

    摘要: 本发明公开了一种基于图像‑伪点云特征融合的纯视觉目标检测方法,属于自动驾驶技术领域。本发明主要包括以下五个步骤:1.基于图像的基础的纯视觉三维目标检测模型训练;2.基于激光雷达点云的三维目标检测模型训练;3.设计掩码自动编解码器实现伪点云特征生成;4.图像特征和伪点云特征自适应融合;5.微调获得基于伪特征融合的纯视觉目标检测模型。基于本发明所提出的预训练方案,只需要在模型训练过程中提供相对应的激光雷达点云数据,推理时仅需要相机图像作为输入,就可以生成高质量的伪点云特征,通过图像特征‑伪点云特征的跨模态特征融合,在原本纯视觉模型的基础上实现性能的提升。