公开(公告)号：CN115035598A

公开(公告)日：2022-09-09

申请号：CN202210638559.1

申请日：2022-06-07

Applicant: 浙江大学

Inventor： 吴程程 ,  刘振宇 ,  谭建荣

IPC: G06V40/20 ,  G06V10/774 ,  G06V10/56 ,  G06N20/00

Abstract: 本发明公开了一种标记增强式的精确手部动作智能捕捉方法。包括：首先在手部的各个关节处均布置标记点，使用多台RGB相机同步采集布置有标记点的手部运动，接着确定手部原始图像中各个标记点的二维位置，然后利用深度学习方法确定手部原始图像中去除标记点的各个关节的名称以及关节二维位置；基于各张原始图像的各个标记点的二维位置和各个关节的名称、关节二维位置分别重建获得各个标记点的三维位置和各个关节的三维位置，同时将标记点与关节名称进行匹配，计算后获得经补偿后关节三维位置；在后续的手部动捕中，通过前后帧以及关节继承关系，实现经补偿后关节三维位置的实时计算。本发明实现了手部动作的精确捕捉，并且实时性较高，鲁棒性强。

公开(公告)号：CN115035598B

公开(公告)日：2025-04-15

申请号：CN202210638559.1

申请日：2022-06-07

Applicant: 浙江大学

Inventor： 吴程程 ,  刘振宇 ,  谭建荣

IPC: G06V40/20 ,  G06V10/774 ,  G06V10/56 ,  G06N20/00

Abstract: 本发明公开了一种标记增强式的精确手部动作智能捕捉方法。包括：首先在手部的各个关节处均布置标记点，使用多台RGB相机同步采集布置有标记点的手部运动，接着确定手部原始图像中各个标记点的二维位置，然后利用深度学习方法确定手部原始图像中去除标记点的各个关节的名称以及关节二维位置；基于各张原始图像的各个标记点的二维位置和各个关节的名称、关节二维位置分别重建获得各个标记点的三维位置和各个关节的三维位置，同时将标记点与关节名称进行匹配，计算后获得经补偿后关节三维位置；在后续的手部动捕中，通过前后帧以及关节继承关系，实现经补偿后关节三维位置的实时计算。本发明实现了手部动作的精确捕捉，并且实时性较高，鲁棒性强。