一种基于Transformer模型的机械臂抓手位姿预测方法

    公开(公告)号:CN114211490B

    公开(公告)日:2024-01-05

    申请号:CN202111551147.6

    申请日:2021-12-17

    申请人: 中山大学

    摘要: 本发明公开了一种基于Transformer模型的机械臂抓手位姿预测方法,包括如下步骤:构建抓手位姿预测模型,所述模型包括Pointnet++模块、Transformer模块及预测模块;将场景点云输入Pointnet++模块中,对点云进行下采样,并提取场景中每一个点的几何特征;将下采样后的点云及几何特征输入Transformer模块,通过计算点云的全局特征和局部特征来获取点云特征;将点云特征输入预测模块对机械臂抓手的位姿信息进行预测。本发明将Transformer模型应用于机械臂抓手位姿预测技术领域,通过计算点云的全局特征和局部特征,并通过多头自注意力模块获取点云特征,提升了机械臂抓手位姿信息的预测性能和效率,增强了鲁棒性。

    一种实时水面船只视觉跟踪系统及其方法

    公开(公告)号:CN110992403B

    公开(公告)日:2022-05-10

    申请号:CN201911312568.6

    申请日:2019-12-18

    申请人: 中山大学

    IPC分类号: G06T7/246 G06N3/04 G06N3/08

    摘要: 本发明涉及一种实时水面船只视觉跟踪系统及其方法,该系统包括用于获取图像的图像获取模块、卡尔曼滤波模块和自适应模块,所述卡尔曼滤波模块包括卡尔曼滤波更新模块和卡尔曼滤波预测模块;自适应模块根据图像的误差值将图像决定调用卡尔曼滤波预测模块或卡尔曼滤波更新模块进行不同的追踪流程。本发明提出的自适应模块,通过预测帧间误差以及误差的变化趋势,动态的调用卡尔曼滤波的预测与更新模块,相较于现有方法面对不同的应用场景拥有更强大的适应能力。

    一种实时水面船只视觉跟踪系统及其方法

    公开(公告)号:CN110992403A

    公开(公告)日:2020-04-10

    申请号:CN201911312568.6

    申请日:2019-12-18

    申请人: 中山大学

    IPC分类号: G06T7/246 G06N3/04 G06N3/08

    摘要: 本发明涉及一种实时水面船只视觉跟踪系统及其方法,该系统包括用于获取图像的图像获取模块、卡尔曼滤波模块和自适应模块,所述卡尔曼滤波模块包括卡尔曼滤波更新模块和卡尔曼滤波预测模块;自适应模块根据图像的误差值将图像决定调用卡尔曼滤波预测模块或卡尔曼滤波更新模块进行不同的追踪流程。本发明提出的自适应模块,通过预测帧间误差以及误差的变化趋势,动态的调用卡尔曼滤波的预测与更新模块,相较于现有方法面对不同的应用场景拥有更强大的适应能力。

    一种基于Transformer模型的机械臂抓手位姿预测方法

    公开(公告)号:CN114211490A

    公开(公告)日:2022-03-22

    申请号:CN202111551147.6

    申请日:2021-12-17

    申请人: 中山大学

    摘要: 本发明公开了一种基于Transformer模型的机械臂抓手位姿预测方法,包括如下步骤:构建抓手位姿预测模型,所述模型包括Pointnet++模块、Transformer模块及预测模块;将场景点云输入Pointnet++模块中,对点云进行下采样,并提取场景中每一个点的几何特征;将下采样后的点云及几何特征输入Transformer模块,通过计算点云的全局特征和局部特征来获取点云特征;将点云特征输入预测模块对机械臂抓手的位姿信息进行预测。本发明将Transformer模型应用于机械臂抓手位姿预测技术领域,通过计算点云的全局特征和局部特征,并通过多头自注意力模块获取点云特征,提升了机械臂抓手位姿信息的预测性能和效率,增强了鲁棒性。