发明公开
CN113657127A 手语生成方法和系统
审中-实审
- 专利标题: 手语生成方法和系统
-
申请号: CN202110935678.9申请日: 2021-08-16
-
公开(公告)号: CN113657127A公开(公告)日: 2021-11-16
- 发明人: 赵洲 , 程诗卓 , 沈子栋 , 黄文璨 , 潘文雯
- 申请人: 浙江大学
- 申请人地址: 浙江省杭州市西湖区余杭塘路866号
- 专利权人: 浙江大学
- 当前专利权人: 浙江大学
- 当前专利权人地址: 浙江省杭州市西湖区余杭塘路866号
- 代理机构: 杭州求是专利事务所有限公司
- 代理商 郑海峰
- 主分类号: G06F40/58
- IPC分类号: G06F40/58 ; G06K9/00 ; G06N3/04 ; G06N3/08 ; G06N5/04
摘要:
本发明公开了一种手语生成方法和系统,属于手语生成领域。获取手语注解序列与目标手势姿态序列;将手续注解序列通过一个非自回归模型生成预测的手势姿态序列;在非自回归模型中,手语注解序列经过嵌入及位置编码后,由第一Transformer网络转换为注解同步特征序列,由持续时间预测器预测与每个注解对齐的手势姿态序列的对数持续时间,通过长度调节器将注解同步特征序列扩展到姿态同步特征序列,然后依次由另一个Transformer网络和时空图卷积姿态生成器变换为手势姿态序列;根据预测得到的手势姿态序列合成手语视频;在对非自回归模型进行训练时,引入一个外部对齐器以获得每个注解的目标对数持续时间。
公开/授权文献
- CN113657127B 手语生成方法和系统 公开/授权日:2023-08-18