- 专利标题: 一种基于Transformer与LSTM知识共享网络的动态手势识别方法
-
申请号: CN202311730776.4申请日: 2023-12-15
-
公开(公告)号: CN117894067A公开(公告)日: 2024-04-16
- 发明人: 郑博仑 , 徐逸杰 , 介曦冉 , 张桦 , 王烨茹
- 申请人: 杭州电子科技大学
- 申请人地址: 浙江省杭州市下沙高教园区2号大街
- 专利权人: 杭州电子科技大学
- 当前专利权人: 杭州电子科技大学
- 当前专利权人地址: 浙江省杭州市下沙高教园区2号大街
- 代理机构: 杭州君度专利代理事务所
- 代理商 朱月芬
- 主分类号: G06V40/20
- IPC分类号: G06V40/20 ; G06V10/40 ; G06V10/80 ; G06V10/764 ; G06V10/82 ; G06N3/045 ; G06N3/0442 ; G06N3/09 ; G06N3/048 ; G06N3/047 ; G06N3/042
摘要:
本发明公开了一种基于Transformer与LSTM知识共享网络的动态手势识别方法。首先获取动态手势数据集,应用不同的数据增强方法增加样本数量,得到数据增强后的数据集;之后将数据增强后的数据集中的数据输入Transformer子网络和LSTM子网络分别提取手势序列特征;将手势序列特征直接或融合输入对应分类器,得到对应的离散概率分布;最后输出类别决策,并进行知识共享和监督训练;本发明通过Transformer和LSTM来提取手势序列数据的特征,在理解序列关系的同时能够充分运用手势数据的树状结构。并且使用了知识共享的方法分享分类器中的参数信息,使得分类结果具有更高的准确性。