公开(公告)号：CN110458038A

公开(公告)日：2019-11-15

申请号：CN201910653579.4

申请日：2019-07-19

申请人： 天津理工大学

发明人： 高赞 ,  郭乐铭 ,  张桦 ,  薛彦兵 ,  王志岗 ,  徐光平

IPC分类号： G06K9/00 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于双链深度双流网络的小数据跨域动作识别方法，实现了基于源域数据集对其他小规模数据集的高效动作识别；同时，提出了一个用在跨域动作识别任务上的数据集CDSAR；方法的具体步骤如下：(1)视频预处理；(2)基于双链深度双流网络模型搭建；(3)基于双链深度双流网络的目标函数构建；(4)基于双链深度双流网络的小数据跨域动作识别方法；本发明基于已知数据集可对其他仅有少量样本的数据集进行高效的动作识别，能够有效地解决目标数据集数据量少以及不同数据集之间数据分布不一致的问题，并且方法收敛速度快。

公开(公告)号：CN117152828A

公开(公告)日：2023-12-01

申请号：CN202310362590.1

申请日：2023-04-07

申请人： 天津理工大学

发明人： 薛万利 ,  康泽 ,  郭乐铭 ,  袁甜甜 ,  陈胜勇

IPC分类号： G06V40/20 ,  G06V10/42 ,  G06V10/62 ,  G06V10/82 ,  G06N3/045

摘要： 本发明提供了一种连续手语识别方法及装置，涉及手语识别的技术领域，所述方法包括：对全局时序特征进行训练，训练后的全局时序特征包含全局时序下连续手语视频帧与手语单词的对应关系；对局部时序特征进行训练，训练后的局部时序特征包括局部时序下连续手语视频帧与手语单词的对应关系；利用跨上下文知识蒸馏目标函数将训练后的局部时序特征以及连续手语文本特征融合至训练后的全局时序特征，对融合后的全局时序特征进行训练以生成连续手语视频帧与连续手语单词的对应关系。通过本发明可以在全局时序特征之中融合连续手语文本特征以及局部时序特征，能够提高融合的全局时序特征的语义区分性，旨在有效地捕捉手语动作，提高模型泛化性能。

公开(公告)号：CN117351566A

公开(公告)日：2024-01-05

申请号：CN202311317902.3

申请日：2023-10-11

申请人： 天津理工大学

发明人： 薛万利 ,  郭乐铭 ,  康泽 ,  袁甜甜 ,  陈胜勇

IPC分类号： G06V40/20 ,  G06V10/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/049 ,  G06N3/048 ,  G06N3/084 ,  G06F40/284

摘要： 本发明实施例提供了一种基于手语单词先验引导的连续手语识别方法及装置，涉及连续手语识别的技术领域，方法具体包括如下步骤：获取连续手语识别数据集，利用预训练的BERT模型对连续手语识别数据集进行微调以对具备动作不变性手语单词特征进行提取，构建视觉特征提取模型以对手语视觉特征进行提取；构建跨模态特征对齐目标函数以及CTC目标函数构建目标函数，对视觉特征提取模型进行训练以形成跨模态特征对齐模型。通过本发明提供的方法及装置可以缓解现有技术中连续手语识别视觉特征泛化能力弱的技术问题，以具备动作不变性的手语单词特征为先验，约束其对应的多个视频帧视觉特征，最终减少视觉特征间的差异性。

公开(公告)号：CN110458038B

公开(公告)日：2021-10-26

申请号：CN201910653579.4

申请日：2019-07-19

申请人： 天津理工大学

发明人： 高赞 ,  郭乐铭 ,  张桦 ,  薛彦兵 ,  王志岗 ,  徐光平

IPC分类号： G06K9/00 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于双链深度双流网络的小数据跨域动作识别方法，实现了基于源域数据集对其它小规模数据集的高效动作识别，同时，提出了一个适用于跨域动作识别任务上的数据集CDSAR；该方法的具体步骤如下：(1)视频预处理；(2)基于双链深度双流网络模型搭建；(3)基于双链深度双流网络的目标函数构建；(4)基于双链深度双流网络的小数据跨域动作识别方法；本发明基于已知数据集可对其它仅有少量样本的数据集进行高效的跨域动作识别，能够有效解决目标数据集数据量少以及不同数据集之间数据分布不一致的问题，且算法收敛速度快。

公开(公告)号：CN116665304A

公开(公告)日：2023-08-29

申请号：CN202310684457.8

申请日：2023-06-11

申请人： 天津理工大学

发明人： 孙悦 ,  薛万利 ,  刘敬泽 ,  康泽 ,  刘清华 ,  郭乐铭

IPC分类号： G06V40/20 ,  G06F40/289 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08 ,  G06V20/40

摘要： 本发明提供了一种手语识别分词方法及装置，涉及人工智能的技术领域，应用于连续手语识别分词系统，连续手语识别分词系统包括文本提取模型以及并行多尺度视觉特征特提取模型，具体包括如下步骤：将连续手语识别数据集输入至文本提取模型提取连续手语识别数据集中的手语单词文本特征；利用连续手语识别数据集确定手语识别数据视频，将手语识别数据视频输入至所述并行多尺度视觉特征特提取模型，以对所述手语识别数据视频按照不同的时间跨度进行分割，提取多尺度手语视觉特征；利用所述手语单词文本特征以及所述多尺度手语视觉特征对所述连续手语识别分词系统进行训练，通过本申请可以精细地去刻画每一种时序长度的手语动作，对手语识别精细分词。