基于SAM的点云和图像融合的障碍物分割方法和装置

    公开(公告)号:CN118072007A

    公开(公告)日:2024-05-24

    申请号:CN202311815124.0

    申请日:2023-12-27

    Inventor: 钱昊 梅继林 胡瑜

    Abstract: 本发明公开了一种基于SAM的点云和图像融合的障碍物分割方法和装置,方法包括以下步骤:接收激光雷达回传的点云和相机拍摄的图像,对点云进行聚类处理;将聚类后的点云进行坐标系转换得到图像像素坐标系下的点云坐标并根据图像尺寸进行筛选;将筛选后的点云坐标作为图像分割大模型SAM的提示信息并结合对应图像输入到图像分割大模型SAM中进行图像障碍物分割得到分割输出;对分割输出进行后处理进一步过滤获取最优障碍物分割结果。本发明在进行障碍物分割时具有泛化性高、准确性高和实效性高的优点,适用于自动驾驶环境感知应用场景。

    面向非结构场景的地面无人平台环境通行性评估方法和装置

    公开(公告)号:CN117935596A

    公开(公告)日:2024-04-26

    申请号:CN202311770658.6

    申请日:2023-12-21

    Abstract: 本发明公开了面向非结构场景的地面无人平台环境通行性评估方法和装置,属于地面无人平台环境感知领域,包括:借助前一时刻的环境通行性评估结果以及历史运动轨迹对低精度导航路点进行修正并将其与视觉图像以及激光点云进行融合,分别获得基于图像与点云的可通行区域分布标记点;将上述可通行区域分布标记点进行连续化处理,获得对应的连续可通行区域;对连续可通行区域进行质量评估与单帧融合以获得单帧融合的可通行区域,用于更新环境通行性模型。本发明提出的方法充分利用了环境通行性评估的先验知识和历史数据,并将修正后的导航路点和视觉图像以及激光点云数据进行多源异构信息融,能够快速准确地在非结构场景中进行通行性评估。

    一种车载防滑装置
    13.
    发明公开

    公开(公告)号:CN117103916A

    公开(公告)日:2023-11-24

    申请号:CN202311109561.0

    申请日:2023-08-30

    Abstract: 本发明公开了一种车载防滑装置,包括:固定板组件,所述固定板组件的一侧与车轮组件的轮毂连接,另一侧与防滑组件连接;所述防滑组件按圆周方向均匀设置有若干个防滑板组件;当车载防滑装置卸载时,所述防滑板组件与防滑组件的外壳体拼接形成碗状结构;当车载防滑装置加载时,所述防滑板组件脱离防滑组件的外壳体,防滑板组件向车轮组件方向转动,使防滑板组件均匀布设在车轮组件的圆周表面并紧密贴合实现防滑。本发明可以实现防滑装置的自动加载,同时手动即可完成防滑装置的快速拆装,便于用户操作及自动驾驶集成。

    基于相机与激光雷达点云融合的多任务环境感知方法

    公开(公告)号:CN117036895A

    公开(公告)日:2023-11-10

    申请号:CN202311303504.6

    申请日:2023-10-10

    Inventor: 张硕 梅继林 胡瑜

    Abstract: 本发明公开一种基于相机与激光雷达点云融合的多任务环境感知方法,该方法提出一种基于2D卷积神经网络与3d稀疏卷积相结合的网络结构,该结构可以有效的融合图像信息与点云信息,并且对融合后的特征分别进行3d目标检测解码与点云语义分割解码,在同一网络中同时完成3D目标检测与激光雷达点云语义分割两项任务,有效降低了常规自动驾驶环境感知方案中多个任务分别由单独模型完成的计算冗余以及部署成本。在输入当前帧点云与图像的同时融合过去帧的点云信息来增强输入信息以提升模型效果,并在点云语义分割预测时使用哈希方法高效筛除过去帧点云对应的体素,仅输出当前帧点云的语义分割结果以避免运动模糊等情况。

    一种可拓展的车载防滑装置
    15.
    发明公开

    公开(公告)号:CN116923005A

    公开(公告)日:2023-10-24

    申请号:CN202311105335.5

    申请日:2023-08-30

    Abstract: 本发明公开了一种可拓展的车载防滑装置,包括:固定板组件,固定板组件的一端与车轮组件轮毂的一侧连接,另一端与防滑组件连接;防滑组件在圆周方向上均匀设置有若干个;当车载防滑装置卸载时,防滑板与防滑组件的外壳体拼接形成碗状结构;当车载防滑装置加载时,防滑板脱离防滑组件的外壳体向车轮组件方向转动,使防滑板均匀布设在车轮组件的圆周表面并紧密贴合实现防滑。当拓展防滑板时,防滑组件还包括拉索卷轴器,拉索卷轴器上缠绕有若干组拉索,拉索的末端设置有外防滑板连接扣;拉动拉索,将拉索穿过内侧防滑板内部使内侧防滑板进一步包覆于车轮组件的圆周表面,再通过外防滑板连接扣使拉索的末端安装于车轮组件轮毂的另一侧。

    一种基于动态语义向量的零样本目标检测方法及装置

    公开(公告)号:CN116109841B

    公开(公告)日:2023-08-15

    申请号:CN202310380077.5

    申请日:2023-04-11

    Abstract: 本发明公开了一种基于动态语义向量的零样本目标检测方法及装置,通过将可见类的语义向量设置为网络参数,然后通过设计的两路分类分支网络结构、引入N‑pair loss损失函数,在训练过程中结合可见类视觉特征修改可见类的语义向量在语义空间中的分布,以获得更合理的语义向量分布,从而同时提高对可见类和不可见类的检测效果。本发明解决了部分类别对象数据难采样前提下如何进行目标检测这一问题,且相比以往的零样本目标检测,本发明基于动态语义向量建模,语义分布更好的贴近视觉特征分布,因此具有更高的目标检测精度。

    一种基于多原型混合模块的少样本目标检测方法及装置

    公开(公告)号:CN116129226A

    公开(公告)日:2023-05-16

    申请号:CN202310372187.7

    申请日:2023-04-10

    Abstract: 本发明提供了一种基于多原型混合模块的少样本目标检测方法及装置。首先通过骨干网络提取出支持图像和查询图像的特征信息,然后使用期望最大化算法对支持特征进行处理,生成多个具有代表性信息的原型向量,再将所有的原型向量分别与查询特征进行特征聚合,完成对查询特征相关部分的激活并将其输入到后续的检测模块中,从而实现仅使用少量样本就能快速学习新事物的效果。同时,该模型在训练过程中采用了二类对比方法来进一步增强对新类别物体的学习能力,进而优化少样本目标检测的检测性能。本发明解决了现有少样本目标检测中存在的支持特征代表性不足、特征聚合方法效果不显著等问题,提高了少样本目标检测对于新类别物体的检测性能。

    一种基于动态语义向量的零样本目标检测方法及装置

    公开(公告)号:CN116109841A

    公开(公告)日:2023-05-12

    申请号:CN202310380077.5

    申请日:2023-04-11

    Abstract: 本发明公开了一种基于动态语义向量的零样本目标检测方法及装置,通过将可见类的语义向量设置为网络参数,然后通过设计的两路分类分支网络结构、引入N‑pair loss损失函数,在训练过程中结合可见类视觉特征修改可见类的语义向量在语义空间中的分布,以获得更合理的语义向量分布,从而同时提高对可见类和不可见类的检测效果。本发明解决了部分类别对象数据难采样前提下如何进行目标检测这一问题,且相比以往的零样本目标检测,本发明基于动态语义向量建模,语义分布更好的贴近视觉特征分布,因此具有更高的目标检测精度。

Patent Agency Ranking