一种三维目标检测中针对静态目标的优化方法

    公开(公告)号:CN113536913A

    公开(公告)日:2021-10-22

    申请号:CN202110642915.2

    申请日:2021-06-09

    申请人: 之江实验室

    IPC分类号: G06K9/00 G06K9/20 G06K9/32

    摘要: 本发明公开了一种三维目标检测中针对静态目标的优化方法,首先过滤缓存中时间太久和距离太远的静态目标,然后融合当前帧的三维目标检测的目标和缓存中的静态目标,再遍历缓存中的静态目标,作为当前帧三维目标检测的部分检测结果R1,遍历当前帧的检测目标,若检测目标类别为静态目标且置信度超过预设阈值S1,则将当前帧的检测目标的三维信息,输入到缓存中,并作为当前帧三维目标检测的部分检测结果R2,若检测类别是动态目标或者检测置信度小于S1,则直接作为当前帧三维目标检测的部分检测结果R3,最后将R1、R2、R3合并为R作为当前帧的三维目标检测结果。针对于自动驾驶领域,本发明稳定了感知模块的输出结果,提升环境感知整体感知精度。

    一种多类传感器数据在控制器中零拷贝的方法和装置

    公开(公告)号:CN115220936A

    公开(公告)日:2022-10-21

    申请号:CN202211146672.4

    申请日:2022-09-20

    申请人: 之江实验室

    IPC分类号: G06F9/54

    摘要: 本发明公开一种多类传感器数据在控制器中零拷贝的方法和装置,该方法为:模块A创建并初始化两块共享内存;初始化为异构平台框架的API接口和软件包接口;创建模块B,打开共享文件并映射到虚拟地址空间,同时获取到传感器的最新数据,得到传感器数据地址;创建模块C,根据传感器数据地址,生成系统内存数据类型对象,保存该地址与生成的对象的映射关系;将系统内存数据类型对象转化为软件包接口支持的类型对象,再创建新的类型对象,保存图片地址与新的类型对象的映射关系;创建并获取框架支持的内存对象,保存传感器数据地址与该内存对象的映射关系;根据上述两个映射关系,数据使用程序直接获取到新的类型对象和内存对象,实现数据零拷贝。

    一种基于多假设跟踪的全局初定位方法和装置

    公开(公告)号:CN114413882A

    公开(公告)日:2022-04-29

    申请号:CN202210317515.9

    申请日:2022-03-29

    申请人: 之江实验室

    IPC分类号: G01C21/00 G01C21/20

    摘要: 本发明属于全局初定位技术领域,涉及一种基于多假设跟踪的全局初定位方法和装置,该方法首先采集场景的点云数据和其对应的全局位姿数据,构建数据库,将采集的数据经过预处理存入数据库,同时生成点云地图,然后对当前帧点云数据与数据库中的数据进行匹配,得到匹配的候选结果,接着利用连续帧之间的约束关系对候选结果进行过滤,直到候选结果收敛后,利用当前帧数据和其对应的数据库中的数据进行平移和旋转的计算,从而得到全局初定位的初始值后与点云地图匹配得到精确的初定位结果。本发明的方法结合全局描述以及多帧数据进行场景初定位,采用多假设跟踪的方法对结果进行筛选,保证了定位的效率,同时提高了定位的鲁棒性。

    一种多类传感器数据在控制器中零拷贝的方法和装置

    公开(公告)号:CN115220936B

    公开(公告)日:2023-01-10

    申请号:CN202211146672.4

    申请日:2022-09-20

    申请人: 之江实验室

    IPC分类号: G06F9/54

    摘要: 本发明公开一种多类传感器数据在控制器中零拷贝的方法和装置,该方法为:模块A创建并初始化两块共享内存;初始化为异构平台框架的API接口和软件包接口;创建模块B,打开共享文件并映射到虚拟地址空间,同时获取到传感器的最新数据,得到传感器数据地址;创建模块C,根据传感器数据地址,生成系统内存数据类型对象,保存该地址与生成的对象的映射关系;将系统内存数据类型对象转化为软件包接口支持的类型对象,再创建新的类型对象,保存图片地址与新的类型对象的映射关系;创建并获取框架支持的内存对象,保存传感器数据地址与该内存对象的映射关系;根据上述两个映射关系,数据使用程序直接获取到新的类型对象和内存对象,实现数据零拷贝。

    基于点云和不同视角下的图像的三维目标检测系统及方法

    公开(公告)号:CN114494248B

    公开(公告)日:2022-08-05

    申请号:CN202210337234.X

    申请日:2022-04-01

    申请人: 之江实验室

    摘要: 本发明公开了一种基于点云和不同视角下的图像的三维目标检测系统及方法。首先处理原始点云数据,输出候选目标的三维包围盒以及点云特征张量;然后根据不同视角下多帧相机采集到的图像数据、每张图像的采集时间戳、点云采集设备和不同相机之间的标定参数、候选目标的三维包围盒,得到候选目标的图像特征张量;再将候选目标的点云特征张量和图像特征张量进行特征融合,得到融合后的特征张量;最后结合候选目标的融合后的特征张量和三维包围盒,得到目标的三维检测信息。本发明解决了多传感器融合产生的时间配准以及点云运动补偿等产生误差的问题,提高了三维目标检测的精度。

    一种基于序列预测的车道线检测系统、装置和方法

    公开(公告)号:CN114677442B

    公开(公告)日:2022-10-28

    申请号:CN202210583847.1

    申请日:2022-05-26

    申请人: 之江实验室

    摘要: 本发明公开了一种基于序列预测的车道线检测系统、装置和方法,所述方法对待检测的图像数据进行归一化操作得到归一化后的图像,并查找相应的预测关键点序列;提取归一化后的图像的特征向量,对该特征向量进行降维得到降维特征,将该降维特征按高宽维度展开,得到图像序列特征;基于降维特征的维度计算图像位置编码,将图像序列特征和图像位置编码相加,再共同进行编码得到编码记忆;对预测关键点序列进行特征提取得到解码序列特征;对编码记忆、预测关键点序列的位置编码与解码序列特征进行解码,得到待预测关键点的隐状态向量;将待预测关键点的隐状态向量转化为关键点的坐标。本发明提高了车道线的密集关键点的预测准确率,并实现快速预测。

    一种基于序列预测的车道线检测系统、装置和方法

    公开(公告)号:CN114677442A

    公开(公告)日:2022-06-28

    申请号:CN202210583847.1

    申请日:2022-05-26

    申请人: 之江实验室

    摘要: 本发明公开了一种基于序列预测的车道线检测系统、装置和方法,所述方法对待检测的图像数据进行归一化操作得到归一化后的图像,并查找相应的预测关键点序列;提取归一化后的图像的特征向量,对该特征向量进行降维得到降维特征,将该降维特征按高宽维度展开,得到图像序列特征;基于降维特征的维度计算图像位置编码,将图像序列特征和图像位置编码相加,再共同进行编码得到编码记忆;对预测关键点序列进行特征提取得到解码序列特征;对编码记忆、预测关键点序列的位置编码与解码序列特征进行解码,得到待预测关键点的隐状态向量;将待预测关键点的隐状态向量转化为关键点的坐标。本发明提高了车道线的密集关键点的预测准确率,并实现快速预测。

    一种三维目标检测中针对静态目标的优化方法

    公开(公告)号:CN113536913B

    公开(公告)日:2024-11-01

    申请号:CN202110642915.2

    申请日:2021-06-09

    申请人: 之江实验室

    摘要: 本发明公开了一种三维目标检测中针对静态目标的优化方法,首先过滤缓存中时间太久和距离太远的静态目标,然后融合当前帧的三维目标检测的目标和缓存中的静态目标,再遍历缓存中的静态目标,作为当前帧三维目标检测的部分检测结果R1,遍历当前帧的检测目标,若检测目标类别为静态目标且置信度超过预设阈值S1,则将当前帧的检测目标的三维信息,输入到缓存中,并作为当前帧三维目标检测的部分检测结果R2,若检测类别是动态目标或者检测置信度小于S1,则直接作为当前帧三维目标检测的部分检测结果R3,最后将R1、R2、R3合并为R作为当前帧的三维目标检测结果。针对于自动驾驶领域,本发明稳定了感知模块的输出结果,提升环境感知整体感知精度。

    一种毫米波雷达与摄像头数据融合的目标检测方法和装置

    公开(公告)号:CN116794650A

    公开(公告)日:2023-09-22

    申请号:CN202310332750.8

    申请日:2023-03-27

    申请人: 之江实验室

    IPC分类号: G01S13/86 G01S13/931

    摘要: 一种毫米波雷达与摄像头数据融合的目标检测方法和装置,包括:将毫米波雷达与摄像头相对固定,同时采集毫米波雷达与摄像头的数据;将毫米波雷达和摄像头数据根据采集时间对齐;对摄像头采集的图像数据进行目标检测,得到目标占用的像素区域范围和类别;将毫米波雷达数据点投影到图像平面中的像素位置,并在目标和毫米波雷达数据点之间建立对应关系;利用基于图像的目标类别信息对毫米波雷达数据点进行过滤和聚类;利用毫米波雷达数据点的位置和速度信息定义目标的位置和速度;最后输出目标的完整三维检测信息。本发明将基于图像的目标检测信息与基于毫米波雷达的目标检测信息应用到对方域辅助识别。

    一种基于多假设跟踪的全局初定位方法和装置

    公开(公告)号:CN114413882B

    公开(公告)日:2022-08-05

    申请号:CN202210317515.9

    申请日:2022-03-29

    申请人: 之江实验室

    IPC分类号: G01C21/00 G01C21/20

    摘要: 本发明属于全局初定位技术领域,涉及一种基于多假设跟踪的全局初定位方法和装置,该方法首先采集场景的点云数据和其对应的全局位姿数据,构建数据库,将采集的数据经过预处理存入数据库,同时生成点云地图,然后对当前帧点云数据与数据库中的数据进行匹配,得到匹配的候选结果,接着利用连续帧之间的约束关系对候选结果进行过滤,直到候选结果收敛后,利用当前帧数据和其对应的数据库中的数据进行平移和旋转的计算,从而得到全局初定位的初始值后与点云地图匹配得到精确的初定位结果。本发明的方法结合全局描述以及多帧数据进行场景初定位,采用多假设跟踪的方法对结果进行筛选,保证了定位的效率,同时提高了定位的鲁棒性。