公开(公告)号：CN116311522A

公开(公告)日：2023-06-23

申请号：CN202310285310.1

申请日：2023-03-22

Applicant: 浙江大学

Inventor： 耿卫东 ,  董爱祁 ,  韩晨晨 ,  厉向东 ,  梁秀波

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0895

Abstract: 本发明公开了一种基于跨模态对齐辅助任务的连续手语识别方法，包括：提供两个跨模态对齐的辅助任务，即掩码手语词目预测任务和动态时间规整对比学习任务，掩码手语词目预测任务在高层次语义空间对齐手语视频和手语词目序列，动态时间规整对比学习任务在时序上以更密集的方式对齐手语视频和手语词目序列，在端到端的情况下提供更多的监督，缓解了网络底层的过拟合问题，增强了模型可扩展性。同时，两个跨模态对齐的辅助任务都对手语词目序列中的上下文信息进行建模，通过对齐手语词目序列和手语视频来优化上下文中的短期时空特征，解决了现阶段端到端的连续手语识别方法通常忽视了对手语词目序列中信息的挖掘的问题，提升了模型的识别性能。

公开(公告)号：CN113205605A

公开(公告)日：2021-08-03

申请号：CN202110595988.0

申请日：2021-05-29

Applicant: 浙江大学

Inventor： 耿卫东 ,  梁秀波 ,  厉向东 ,  金文光 ,  戴青锋 ,  刘帅 ,  姬源智 ,  周洲 ,  韩晨晨 ,  毋从周 ,  朱俊威

IPC: G06T17/20 ,  G06T7/73

Abstract: 本发明公开了一种从深度图像中获取手部三维参数化模型的方法，步骤如下：获取深度图像序列和深度相机内参；利用手部的深度图像序列和对应的深度相机参数，重建粗略的手部的三维点云；人工去除粗略的手部三维点云中的非手部点云与噪声点云，得到精细的手部三维点云；通过对精细的手部三维点云三阶段的迭代优化，获取用户个性化的手部三维参数化模型。本方法通过深度图像序列即可获得用户个性化的手部三维参数化模型。由于用户个性化的手部三维参数化模型相比传统无模型或通用手部模型提供了更多基于用户的先验信息，因此本发明可以在进行手势姿态估计时具有更高的精度和适配性，在人机交互，康复医疗等具体场景下具有应用前景。

公开(公告)号：CN113205074B

公开(公告)日：2022-04-26

申请号：CN202110595989.5

申请日：2021-05-29

Applicant: 浙江大学

Inventor： 耿卫东 ,  金文光 ,  厉向东 ,  梁秀波 ,  戴青锋 ,  朱俊威 ,  毋从周 ,  韩晨晨 ,  周洲 ,  姬源智 ,  刘帅

IPC: G06V40/10 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06K9/00 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种融合肌电和微惯性测量单元多模态信号的手势识别方法，步骤如下：使用肌电电极和微惯性测量单元采集肌电数据和运动数据，并对两者进行同步处理后，进行训练集和测试集的划分；使用滑动窗口将每个信号段分割为多个固定长度的子信号段，并对每个子信号段的肌电数据与运动数据分别提取时域和频域特征；使用卷积神经网络分别提取肌电特征和运动特征的浅层和深层特征，并分别进行融合后输入分类网络，最后在决策层融合，输出每一手势类别的概率，识别模型进行训练后测试得到手势识别率。本发明融合肌电和微惯性测量单元多模态信号的手势识别方法能够充分利用肌电和运动数据各自的优势，故能更准确地识别同一被试的多种不同手势。

公开(公告)号：CN113205605B

公开(公告)日：2022-04-19

申请号：CN202110595988.0

申请日：2021-05-29

Applicant: 浙江大学

Inventor： 耿卫东 ,  梁秀波 ,  厉向东 ,  金文光 ,  戴青锋 ,  刘帅 ,  姬源智 ,  周洲 ,  韩晨晨 ,  毋从周 ,  朱俊威

IPC: G06T17/20 ,  G06T7/73

Abstract: 本发明公开了一种从深度图像中获取手部三维参数化模型的方法，步骤如下：获取深度图像序列和深度相机内参；利用手部的深度图像序列和对应的深度相机参数，重建粗略的手部的三维点云；人工去除粗略的手部三维点云中的非手部点云与噪声点云，得到精细的手部三维点云；通过对精细的手部三维点云三阶段的迭代优化，获取用户个性化的手部三维参数化模型。本方法通过深度图像序列即可获得用户个性化的手部三维参数化模型。由于用户个性化的手部三维参数化模型相比传统无模型或通用手部模型提供了更多基于用户的先验信息，因此本发明可以在进行手势姿态估计时具有更高的精度和适配性，在人机交互，康复医疗等具体场景下具有应用前景。

公开(公告)号：CN113205074A

公开(公告)日：2021-08-03

申请号：CN202110595989.5

申请日：2021-05-29

Applicant: 浙江大学

Inventor： 耿卫东 ,  金文光 ,  厉向东 ,  梁秀波 ,  戴青锋 ,  朱俊威 ,  毋从周 ,  韩晨晨 ,  周洲 ,  姬源智 ,  刘帅

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种融合肌电和微惯性测量单元多模态信号的手势识别方法，步骤如下：使用肌电电极和微惯性测量单元采集肌电数据和运动数据，并对两者进行同步处理后，进行训练集和测试集的划分；使用滑动窗口将每个信号段分割为多个固定长度的子信号段，并对每个子信号段的肌电数据与运动数据分别提取时域和频域特征；使用卷积神经网络分别提取肌电特征和运动特征的浅层和深层特征，并分别进行融合后输入分类网络，最后在决策层融合，输出每一手势类别的概率，识别模型进行训练后测试得到手势识别率。本发明融合肌电和微惯性测量单元多模态信号的手势识别方法能够充分利用肌电和运动数据各自的优势，故能更准确地识别同一被试的多种不同手势。