手语生成方法和系统
摘要:
本发明公开了一种手语生成方法和系统,属于手语生成领域。获取手语注解序列与目标手势姿态序列;将手续注解序列通过一个非自回归模型生成预测的手势姿态序列;在非自回归模型中,手语注解序列经过嵌入及位置编码后,由第一Transformer网络转换为注解同步特征序列,由持续时间预测器预测与每个注解对齐的手势姿态序列的对数持续时间,通过长度调节器将注解同步特征序列扩展到姿态同步特征序列,然后依次由另一个Transformer网络和时空图卷积姿态生成器变换为手势姿态序列;根据预测得到的手势姿态序列合成手语视频;在对非自回归模型进行训练时,引入一个外部对齐器以获得每个注解的目标对数持续时间。
公开/授权文献
0/0