一种双进程多目标跟踪方法
    1.
    发明公开

    公开(公告)号:CN115546254A

    公开(公告)日:2022-12-30

    申请号:CN202211398601.3

    申请日:2022-11-09

    申请人: 之江实验室

    摘要: 本发明公开了一种双进程多目标跟踪方法,包括在主进程中运行的主线跟踪器和在子进程中运行的辅线修正器两条分支,所述主线跟踪器分支使用高速低精度模型进行多目标跟踪,所述辅线修正器分支使用低速高精度模型对所述主线跟踪器进行修正。所述两条分支的结果通过融合器融合后得到最终的多目标跟踪结果。本发明能够在不降低所述主线跟踪器跟踪速度的同时,提升其跟踪精度。

    融合视觉和超宽带技术的机器人导航方法、装置和设备

    公开(公告)号:CN117870676A

    公开(公告)日:2024-04-12

    申请号:CN202311757018.1

    申请日:2023-12-19

    申请人: 之江实验室

    IPC分类号: G01C21/20

    摘要: 本申请涉及一种融合视觉和超宽带技术的机器人导航方法、装置、计算机设备以及存储介质。所述方法包括:实时获取机器人在视觉坐标系的第一位姿以及在超宽带坐标系的第二位姿;获取视觉坐标系与超宽带坐标系的第一转换关系,将所述第二位姿转换到所述视觉坐标系中得到第三位姿;确定第一位姿以及第三位姿的位姿差异,将位姿差异与设定阈值进行比较得到比较结果;基于比较结果,更新机器人在视觉坐标系下移动到目标位置的移动路线。采用本方法无需离线建图即可实现机器人到目标位置的导航,在视觉的同步定位与地图构建上融合UWB定位信息,提高视觉的同步定位与地图构建中闭环优化的准确率,从而提高机器人室内定位和导航的精度。

    一种机械臂实时轨迹重规划方法
    3.
    发明公开

    公开(公告)号:CN117718966A

    公开(公告)日:2024-03-19

    申请号:CN202410032990.0

    申请日:2024-01-08

    申请人: 之江实验室

    IPC分类号: B25J9/16

    摘要: 本说明书公开了一种机械臂实时轨迹重规划方法,可以确定机械臂在执行目标任务时的环境信息,可以根据环境信息,通过全局路径规划器规划出无碰撞的安全运动路径,以得到初始路径,在通过初始路径实时控制机械臂执行所述目标任务时实时检测环境信息,若通过实时检测出的环境信息确定存在障碍物对机械臂存在干扰,通过局部路径规划器在初始路径中确定局部起始点和局部终止点,以最小化每个待求解的路径点对应的势场、与局部终止点之间的距离和引起的路径偏转角为优化目标,并结合粒子群算法,重新规划出局部路径,并通过该局部路径对初始路径进行更新,以对机械臂进行控制,从而提高了对路径/轨迹进行重新规划的准确性。

    一种基于votenet模型的三维目标检测方法和系统

    公开(公告)号:CN115880685B

    公开(公告)日:2024-02-13

    申请号:CN202211577601.X

    申请日:2022-12-09

    申请人: 之江实验室

    摘要: 一种基于votenet模型的三维目标检测方法,包括:构建votenet模型;针对感兴趣目标构建用于训练votenet模型的点云数据集;构建用于训练votenet模型的基于双层嵌套三维矩形框空间划分的种子点位移损失函数;基于votenet模型原方法构建用于训练votenet模型的其他损失函数,包括前景背景分类损失函数、中心偏移量损失函数、尺寸偏移量损失函数以及朝向角偏移量损失函数;基于构建的点云数据集和损失函数训练votenet模型;使用RGB‑D相机获取待检测场景的点云数据;基于待检测场景的点云数据,经过votenet模型,输出感兴趣目标的三维目标检测结果。本发明可以在不增加模型推理延时的前提下,有效降低三维目标检测结果的虚警率。

    一种夹取任务的执行方法、装置、存储介质及电子设备

    公开(公告)号:CN117226854A

    公开(公告)日:2023-12-15

    申请号:CN202311505956.2

    申请日:2023-11-13

    申请人: 之江实验室

    IPC分类号: B25J9/16 B25J19/00

    摘要: 本说明书公开了一种夹取任务的执行方法、装置、存储介质及电子设备。所述方法包括:获取包含有目标物的图像数据,并确定目标物对应的轮廓信息以及目标物所处环境的环境信息;根据轮廓信息,确定目标物中包含的每个部件所对应的位姿信息、形体信息以及语义信息;根据环境信息、位姿信息、形体信息、语义信息以及每种夹取姿态对应的预设夹取姿态信息,确定通过不同夹取姿态夹取目标物中每种部件时的夹取损失值;根据夹取损失值,在各夹取姿态中确定出目标夹取姿态,以及在目标物的各部件中确定出目标部件,并按照目标夹取姿态执行针对目标部件的夹取任务。

    一种基于加速优化和注意力机制的图像重建方法及装置

    公开(公告)号:CN116934892A

    公开(公告)日:2023-10-24

    申请号:CN202310907273.3

    申请日:2023-07-21

    申请人: 之江实验室

    摘要: 本说明书公开了一种基于加速优化和注意力机制的图像重建方法及装置,对根据传统图像重建算法构建的低秩矩阵补全目标函数中的迭代过程,应用深度展开网络进行了优化,并在优化过程中,引入辅助加速变量。在每一轮迭代过程中,根据上一轮迭代过程的输出图像和辅助加速变量,确定该轮迭代过程的输出图像,根据该轮迭代过程的输出图像和上一轮迭代过程的辅助加速变量,确定该轮迭代过程的辅助变量,根据该轮迭代过程和上一轮迭代过程的辅助变量,确定该轮迭代过程的辅助加速变量。这样,相邻两轮的辅助加速变量之间没有直接的关联,加快了迭代的速度,使得该方法在保证图像重建精准度的同时,进一步提高了图像重建的效率。

    一种任意凸多边形机器人的概率最大化路径规划方法

    公开(公告)号:CN116804556A

    公开(公告)日:2023-09-26

    申请号:CN202310526472.X

    申请日:2023-05-11

    申请人: 之江实验室

    IPC分类号: G01C21/20 G01S17/93 G01S17/42

    摘要: 本发明公开一种任意凸多边形机器人的概率最大化路径规划方法,该方法离线生成一个基本路径库,并离线计算凸多边形机器人与障碍物的碰撞关系,从而尽可能减少在线计算量。在线路径规划时最大化成功到达目标点的概率,使得机器人倾向于通过更开阔的区域,从而为导航过程中成功绕开障碍物提供更多选择。本发明在每一次规划时都最大化到达目标点的概率,而不是简单的搜索最短路径,因此路径规划速度快,规划结果优。

    一种基于深度相机的导览机器人感知行人三维空间信息的方法和系统

    公开(公告)号:CN116012445A

    公开(公告)日:2023-04-25

    申请号:CN202211572616.7

    申请日:2022-12-08

    申请人: 之江实验室

    摘要: 一种基于深度相机的导览机器人感知行人三维空间信息的方法,包括:1)机器人端获取深度相机的RGB图片及Depth图片,进行预处理后传输到云端服务器;2)根据云端部署的多目标跟踪方法及二维人体关键点检测网络获取每一个跟踪到的行人的二维关键点坐标,结合Depth图片与RGB图片的映射关系获取行人的三维关键点坐标;3)根据深度相机与激光雷达联合标定的坐标转换矩阵获取机器人坐标系下的行人三维关键点坐标并输出行人三维空间信息;4)机器人根据获取到的行人三维空间信息进行本体控制,完成自主唤醒等智能导览任务;采用基于视觉感知方法提升导览机器人的自然交互体验。本发明能用于展厅等公共场景下导览机器人对行人的三维空间信息的智能感知。

    一种基于多模态特征融合网络的说话人识别方法和装置

    公开(公告)号:CN115810209A

    公开(公告)日:2023-03-17

    申请号:CN202211491204.0

    申请日:2022-11-25

    申请人: 之江实验室

    IPC分类号: G06V40/16 G06V10/80

    摘要: 一种基于多模态特征融合的说话人识别方法,包括:获取包含图像序列等多模态序列信息;获取人脸图像序列信息;获取人脸图像序列对应的其他模态信息序列;建立多模态特征融合网络,将所述人脸多模态序列信息作为训练集,训练所述多模态特征融合网络;将待识别人脸多模态序列信息输入所述多模态特征融合网络,得到当前人说话状态。本发明还包括一种基于多模态特征融合的说话人识别装置。本发明能够融合不同模态的特征,丰富所提取特征的信息量,提升说话人识别准确度。

    一种任意凸多边形机器人的概率最大化路径规划方法

    公开(公告)号:CN116804556B

    公开(公告)日:2024-07-19

    申请号:CN202310526472.X

    申请日:2023-05-11

    申请人: 之江实验室

    IPC分类号: G01C21/20 G01S17/93 G01S17/42

    摘要: 本发明公开一种任意凸多边形机器人的概率最大化路径规划方法,该方法离线生成一个基本路径库,并离线计算凸多边形机器人与障碍物的碰撞关系,从而尽可能减少在线计算量。在线路径规划时最大化成功到达目标点的概率,使得机器人倾向于通过更开阔的区域,从而为导航过程中成功绕开障碍物提供更多选择。本发明在每一次规划时都最大化到达目标点的概率,而不是简单的搜索最短路径,因此路径规划速度快,规划结果优。