基于深度亲和网络自适应关联的多目标跟踪方法及装置

    公开(公告)号:CN116935074B

    公开(公告)日:2024-03-26

    申请号:CN202310916396.3

    申请日:2023-07-25

    摘要: 本申请提供了基于深度亲和网络自适应关联的多目标跟踪方法及装置,涉及自动驾驶多目标跟踪技术领域,包括:对所有预设类别的检测框和预测框进行处理,得到拼接后的特征向量;利用预先训练完成的多层感知机对拼接后的特征向量进行处理,得到升维的特征向量;对升维的特征向量进行切片处理,得到每个预设类别的检测框深度特征和预测框深度特征,构建对应类别的特征矩阵;利用预先训练完成的每个预设类别的深度亲和网络对对应类别的特征矩阵进行处理,得到相似度矩阵;基于每个预设类别的相似度矩阵,利用匹配算法获得对应类别的检测框和轨迹框之间的匹配关系。本申请实现自适应分类数据关联,提高了代价矩阵的准确度,提高了多目标跟踪的精度。

    一种基于改进广义交并比的多类别多目标跟踪方法及装置

    公开(公告)号:CN116309696B

    公开(公告)日:2023-12-01

    申请号:CN202211668177.X

    申请日:2022-12-23

    IPC分类号: G06T7/246

    摘要: 本申请提供了一种基于改进广义交并比的多类别多目标跟踪方法及装置,涉及自动驾驶技术领域,所述方法包括:获取检测器输出的当前图像帧中的所有运动目标的检测框;利用上一图像帧中所有运动目标的运动信息,得到上一图像帧中所有运动目标在当前图像帧中的预测框;计算每个检测框和每个预测框之间的广义交并比,根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数;根据广义交并比和惩罚系数建立各检测框和各预测框之间的关联代价矩阵;基于关联代价矩阵,使用匹配算法得到当前图像帧中匹配成功的检测框的目标序号。本申请提高了检测框匹配的正确率,提高了多类别多目标的跟踪精度。

    一种基于神经架构搜索的稀疏无序3D点云特征提取方法

    公开(公告)号:CN115984638A

    公开(公告)日:2023-04-18

    申请号:CN202211665976.1

    申请日:2022-12-23

    摘要: 本申请提供了一种基于神经架构搜索的稀疏无序3D点云特征提取方法,包括:构建包含N个下采样层的超网,每个下采样层为一个大卷积块;将N个大卷积块的输出通道数作为N个搜索参数构建搜索空间;循环执行下述步骤直至所有子网训练完成:从搜索空间选取N个搜索参数,根据每个搜索参数从对应的大卷积块中切割得到小卷积块,将N个小卷积块连接构成一个子网;利用训练完成的子网的各个小卷积块的权重参数,对所属的大卷积块的权重参数进行更新;将检测准确率最高的子网作为最优特征提取神经网络;利用最优特征提取神经网络对3D点云数据进行处理得到3D点云特征。本申请提高了最优特征提取神经网络的搜索速度,提高了稀疏无序3D点云的特征提取效果。

    一种多激光雷达和多相机传感器空间位置自动标定方法

    公开(公告)号:CN114578328B

    公开(公告)日:2023-03-17

    申请号:CN202210174586.8

    申请日:2022-02-24

    IPC分类号: G01S7/497 G06T7/80

    摘要: 本发明公开了一种多激光雷达和多相机传感器空间位置自动标定方法,所述方法包括:步骤1)通过对每个激光雷达采集的点云数据和每个相机传感器采集的RGB图像分别提取直线特征,经投影计算灰度值得分,得到全部激光雷达点的总得分,采用自适应优化方法选择最高总得分进而得到每个激光雷达和某个相机传感器的位置关系;步骤2)对每两个激光雷达的点云数据进行配准,得到激光雷达间的位置关系;步骤3)利用多个相机的对极几何约束,根据相机传感图像数据得到相机传感器间的位置关系;步骤4)根据步骤1)、步骤2)和步骤3)得到的位置关系,进行全局优化,完成多激光雷达和多相机传感器空间位置的标定。

    视觉雷达时空信息融合的目标检测方法及系统

    公开(公告)号:CN107576960A

    公开(公告)日:2018-01-12

    申请号:CN201710784815.7

    申请日:2017-09-04

    IPC分类号: G01S13/86 G06N3/04

    摘要: 本发明公开了视觉雷达时空信息融合的目标检测方法及系统,系统包括:采集单元,用于采集RGB图像数据、3D点云数据,计算出离散化的用灰度表示的LIDAR深度图;采样单元,对所述LIDAR深度图进行上采样并稠密化,将所述的RGB图像和所述的LIDAR深度图的数据形式统一并一一对应;叠加单元,将所述的RGB图像和所述LIDAR深度图片融合成RGB-LIDAR图片,将连续M次采集的RGB-LIDAR图片进行叠加,获得叠加后的RGB-LIDAR图片,其中M≥1;模型建立单元,将多个所述的叠加后的RGB-LIDAR图片建立RGB-LIDAR数据集,输入到深度学习网络进行训练学习,建立分类模型;执行单元,根据分类模型对目标的分析结果采取相应的决策。达到了识别距离远,分类精度高的效果。

    一种基于自注意力的轻量化三维目标实时检测方法及装置

    公开(公告)号:CN116977820A

    公开(公告)日:2023-10-31

    申请号:CN202310915706.X

    申请日:2023-07-25

    摘要: 本申请提供一种基于自注意力的轻量化三维目标实时检测方法及装置,涉及自动驾驶技术领域,该方法包括:利用局部特征提取模型对N个点的三维点云特征进行处理,得到N个点的局部点云特征;利用第一全局特征提取模型对局部点云特征进行处理,得到N个点的第一全局点云特征;使用最远点采样策略从点云数据获取B个点,从第一全局点云特征中提取出B个点的第二全局点云特征;利用第二全局特征提取模型对N个点的第一全局点云特征和B个点的第二全局点云特征进行处理,得到B个点的第三全局点云特征;利用目标检测模型对第三全局点云特征进行处理,得到目标检测结果。本申请设计的模型结构简单,所需参数少,计算量小,能够实现三维目标实时检测。

    基于深度亲和网络自适应关联的多目标跟踪方法及装置

    公开(公告)号:CN116935074A

    公开(公告)日:2023-10-24

    申请号:CN202310916396.3

    申请日:2023-07-25

    摘要: 本申请提供了基于深度亲和网络自适应关联的多目标跟踪方法及装置,涉及自动驾驶多目标跟踪技术领域,包括:对所有预设类别的检测框和预测框进行处理,得到拼接后的特征向量;利用预先训练完成的多层感知机对拼接后的特征向量进行处理,得到升维的特征向量;对升维的特征向量进行切片处理,得到每个预设类别的检测框深度特征和预测框深度特征,构建对应类别的特征矩阵;利用预先训练完成的每个预设类别的深度亲和网络对对应类别的特征矩阵进行处理,得到相似度矩阵;基于每个预设类别的相似度矩阵,利用匹配算法获得对应类别的检测框和轨迹框之间的匹配关系。本申请实现自适应分类数据关联,提高了代价矩阵的准确度,提高了多目标跟踪的精度。

    一种基于改进广义交并比的多类别多目标跟踪方法及装置

    公开(公告)号:CN116309696A

    公开(公告)日:2023-06-23

    申请号:CN202211668177.X

    申请日:2022-12-23

    IPC分类号: G06T7/246

    摘要: 本申请提供了一种基于改进广义交并比的多类别多目标跟踪方法及装置,涉及自动驾驶技术领域,所述方法包括:获取检测器输出的当前图像帧中的所有运动目标的检测框;利用上一图像帧中所有运动目标的运动信息,得到上一图像帧中所有运动目标在当前图像帧中的预测框;计算每个检测框和每个预测框之间的广义交并比,根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数;根据广义交并比和惩罚系数建立各检测框和各预测框之间的关联代价矩阵;基于关联代价矩阵,使用匹配算法得到当前图像帧中匹配成功的检测框的目标序号。本申请提高了检测框匹配的正确率,提高了多类别多目标的跟踪精度。

    一种陆空两栖飞车的自主驾驶系统

    公开(公告)号:CN114578798B

    公开(公告)日:2023-05-12

    申请号:CN202210174167.4

    申请日:2022-02-24

    IPC分类号: G05D1/00

    摘要: 本发明公开了一种陆空两栖飞车的自主驾驶系统,包括部署在飞车上的地面行驶模块、空中飞行模块和飞车自动驾驶模块,以及部署在地面控制站的用户交互模块;地面行驶模块和空中飞行模块,分别用于在飞车自动驾驶模块的控制下进行地面行驶和空中飞行,并反馈运动信息至飞车自动驾驶模块;飞车自动驾驶模块用于在自动驾驶模式根据感知信息,在二维和三维中交替搜索路径生成轨迹,并将控制信息发送至地面行驶模块和空中飞行模块;用于接收用户交互模块的控制信息进入用户控制模式并发送信息至地面行驶模块和空中飞行模块,还用于接收运动信息并发送至用户交互模块;用户交互模块用于自动驾驶与用户控制模式间的热切换;还用于实现飞车数据可视化。

    一种陆空两栖飞车的自主驾驶系统

    公开(公告)号:CN114578798A

    公开(公告)日:2022-06-03

    申请号:CN202210174167.4

    申请日:2022-02-24

    IPC分类号: G05D1/00

    摘要: 本发明公开了一种陆空两栖飞车的自主驾驶系统,包括部署在飞车上的地面行驶模块、空中飞行模块和飞车自动驾驶模块,以及部署在地面控制站的用户交互模块;地面行驶模块和空中飞行模块,分别用于在飞车自动驾驶模块的控制下进行地面行驶和空中飞行,并反馈运动信息至飞车自动驾驶模块;飞车自动驾驶模块用于在自动驾驶模式根据感知信息,在二维和三维中交替搜索路径生成轨迹,并将控制信息发送至地面行驶模块和空中飞行模块;用于接收用户交互模块的控制信息进入用户控制模式并发送信息至地面行驶模块和空中飞行模块,还用于接收运动信息并发送至用户交互模块;用户交互模块用于自动驾驶与用户控制模式间的热切换;还用于实现飞车数据可视化。