公开(公告)号：CN117854057A

公开(公告)日：2024-04-09

申请号：CN202311714073.2

申请日：2023-12-13

Applicant: 电子科技大学长三角研究院(衢州)

Inventor： 张翔 ,  王雨 ,  李宜航 ,  潘晓凤 ,  林蔚 ,  刘建勇

IPC: G06V20/64 ,  G06V10/44 ,  G06V10/80

Abstract: 本发明公开了一种基于级联框架的三维多模态目标检测方法，属于3D目标检测技术领域，包括以下步骤：将点云输入至3D骨干检测网络中，提取原始点云特征，并得到预选框；通过深度补全生成伪点云，使用预选框裁剪伪点云，通过伪点云特征提取网络对裁剪的伪点云进行卷积，得到伪点云特征；通过多级注意力特征融合模块将伪点云特征与原始点云特征进行多级融合，得到融合特征；将融合特征输入至级联注意力网络，得到每一级边界框；通过投票机制对每一级边界框进行投票，得到最终目标检测结果。本发明解决了现有的多模态3D检测方法在不同维度特征下融合效果差的问题。

公开(公告)号：CN118628716A

公开(公告)日：2024-09-10

申请号：CN202410726539.9

申请日：2024-06-06

Applicant: 电子科技大学长三角研究院(衢州)

Inventor： 张翔 ,  王雨 ,  黄永辉 ,  高润植 ,  陈鹏冲

IPC: G06V10/25 ,  G06V20/64 ,  G06V10/26 ,  G06V20/70 ,  G06V10/42 ,  G06V10/44 ,  G06V10/56 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455

Abstract: 本发明公开了一种基于部分补全的三维多模态目标检测方法，属于三维目标检测技术领域，包括以下步骤：将点云输入到点云检测网络中进行检测，得到预选框和原始点云特征；将彩色图像与点云输入至伪点云检测网络中进行部分补全，得到伪点云，通过预选框对伪点云进行切割，并对切割后的伪点云进行特征提取，得到伪点云特征；将原始点云特征和伪点云特征通过特征融合与级联网络进行特征融合与特征提取，得到每一级目标检测特征，并对每一级目标检测特征进行投票，得到三维多模态目标检测结果。本发明解决了现有技术不能实现有效融合点云数据和图像数据的同时保持高效，不能在保持补全质量的同时减少对计算资源的消耗的问题。