-
公开(公告)号:CN114092561A
公开(公告)日:2022-02-25
申请号:CN202210076234.9
申请日:2022-01-24
Applicant: 之江实验室
Abstract: 本发明公开了一种基于多目相机的无纹理三维物体跟踪方法及装置,该方法包括:获取第一位姿,其中所述第一位姿为目标物体上一帧在各相机坐标系下的位姿;将所述第一位姿转换到物体中心坐标系下,得到第二位姿;建立所述物体中心坐标系下的相机投影模型;根据所述第二位姿和相机投影模型,建立物体中心坐标系下的联合能量函数;将所述联合能量函数最小化,得到所述物体中心坐标系下的位姿变换增量;将所述位姿变换增量转换到各相机坐标系下并对所述第一位姿进行更新,从而实现物体跟踪。本发明采用多目跟踪的方法,将各个相机的图像信息与坐标系信息建立在同一框架下,得到更加准确的跟踪结果。
-
公开(公告)号:CN114083545A
公开(公告)日:2022-02-25
申请号:CN202210076251.2
申请日:2022-01-24
Applicant: 之江实验室
Abstract: 本发明公开了一种基于视觉感知的运动物体机器人抓取方法及装置,该方法包括:获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数;根据第一和第二能量函数,计算物体中心坐标系下的综合能量函数;对综合能量函数进行最小化,得到位姿变换增量;根据位姿变换增量,更新在每个相机视角下的物体位姿;将若干次更新后的物体位姿输入物体运动预测模型中,预测未来预定时间内物体的第一位姿;将第一位姿与抓取位姿数据库中的所有第二位姿进行比较,将与第二位姿差值最小且差值小于预定阈值的第一位姿作为抓取位姿对应的机械臂末端位姿;根据机械臂末端位姿,控制机械臂运动后控制末端执行器进行物体抓取。
-
公开(公告)号:CN113723233A
公开(公告)日:2021-11-30
申请号:CN202110942289.9
申请日:2021-08-17
Applicant: 之江实验室
Abstract: 本发明公开了一种基于分层时序多示例学习的学生学习参与度评估方法,该方法根据示例之间的时间相关性,建立分层时序多示例学习模型,该模型由视频帧‑视频片段的底层模块以及视频片段‑视频的顶层模块构成。该方法使用从视频中提取的头部姿态、面部表情以及身体姿态三类特征以及视频级的学习参与度标签训练评估模型,该模型不仅能够得到视频级的学习参与度,而且能够得到所有视频片段的学习参与度。本发明的实现方法便捷、高效、计算简单,使学习参与度评估精度得到可靠的保证。
-
公开(公告)号:CN113487653A
公开(公告)日:2021-10-08
申请号:CN202110704517.9
申请日:2021-06-24
Applicant: 之江实验室
Abstract: 本发明公开了一种基于轨迹预测的自适应图跟踪方法,该方法在估计轨迹的位移之后,在当前帧重新提取轨迹的特征,使得相同目标的特征尽可能保持一致。本发明融合了位置、外观和历史信息,在自适应图神经网络中更新特征,用以区分不同目标以及学习目标重要的部位。本发明提出了balanced MSE LOSS,用以平衡样本分布,让神经网络自动学习区分不同类型目标(如新出现的或消失的目标)。本发明可以应用于自动驾驶中输出多个目标的轨迹,还能够预测视频目标的行为,并且可以提高交通管理效率以及预防事故的发生。
-
公开(公告)号:CN112287609B
公开(公告)日:2021-03-30
申请号:CN202011576823.0
申请日:2020-12-28
Applicant: 之江实验室
IPC: G06F30/27 , G06N5/04 , G06F111/02
Abstract: 本发明公开了一种面向机器人任务划分的端、边、云协同计算装置,属于机器人技术领域。该装置包括任务建模计算层、任务离线切分层和任务在线执行层;任务建模计算层对不同的机器人任务在不同的设备下分层执行的计算时延以及传输时延进行计算;任务离线切分层根据计算时延和传输时延对目标网络模型进行水平和垂直切分,生成最佳的任务执行策略;任务在线执行层则根据任务离线切分层输出的任务执行策略进行任务的分配、下发和调度,完成任务的在线运行。本发明的协同计算装置可以保护机器人终端的数据隐私,有效地提升了机器人给定任务的执行效率,同时显著地提高了任务划分的性能,具有较好的实用性。
-
公开(公告)号:CN112505723A
公开(公告)日:2021-03-16
申请号:CN202110144837.3
申请日:2021-02-03
Applicant: 之江实验室
Abstract: 本发明公开了一种基于导航点选择的三维地图重建方法,属于地图三维重建技术领域。该三维地图重建方法为:使用单线激光雷达对室内环境进行扫描并建立二维栅格地图,在获得的二维栅格地图上选取贴近地图边界的若干导航点,依据这些导航点形成一条路线,驱动机器人沿着该路线边行走边进行三维重建,即能够针对地图边界的物体较多的区域进行扫描,在行走过程中逐渐扩大所建立的二维栅格地图范围,多次循环后能够建立当前室内场景的全部三维地图。本发明的三维地图重建方法具有建图完整、能够较好地重建室内环境边缘区域物体的特点。
-
公开(公告)号:CN112364853A
公开(公告)日:2021-02-12
申请号:CN202110044134.3
申请日:2021-01-13
Applicant: 之江实验室
Abstract: 本发明公开了一种基于知识库和PDDL语义设计的机器人任务执行方法,属于知识库和机器人自主决策领域。该方法包括:摄像头全局感知场景物体;图像视觉解析得到物体状态;使用图数据库进行进行知识库的表达;生成PDDL域文件和问题文件;执行规划并且返回机器人协同执行。本发明的方法可以实现室内场景下语义环境已知的情况下协同多机器人完成任务执行,对于多机器人自主决策执行有着较大的意义。
-
-
-
-
-
-
-