公开(公告)号：CN116092178A

公开(公告)日：2023-05-09

申请号：CN202211488944.9

申请日：2022-11-25

Applicant: 东南大学

Inventor： 陈睿明 ,  曹邹颖 ,  范思远 ,  高耕 ,  顾枢衡 ,  李明泽 ,  荣逸鹏 ,  杨飞 ,  张子腾 ,  周浩然 ,  宋沫飞 ,  耿新

IPC: G06V40/20 ,  G06V10/46 ,  G06T7/80 ,  G06N3/0464 ,  G06N3/08 ,  G06T7/11 ,  G06T3/00

Abstract: 本发明公开了一种面向移动端的手势识别和跟踪方法及系统，包括：手部图像检测模块至少包括YOLOv5的手部检测模型，将原始图像输入手部检测模型进行处理，输出包括检测框、左手置信度、右手置信度及是否有手的置信度的手部图像检测结果；手势估计模块至少包括手势估计模型，手势估计模型网络的特征提取部分为轻量化网络ShuffleNet V2 0.5x模块，姿态网络部分为3个反卷积层与1个内核大小为1的卷积层，将手部图像检测模块处理后的手部图片输入手势估计模块，输出21个手势关键点估计结果；三维转换模块利用两视图几何，将手势估计模块输出的2D关键点转为3D，使用Levenberg‑Marquardt算法、相机内外参数以及惯性测量单元参数，生成三维关键点坐标，实现手势的识别和跟踪。