一种手语翻译方法及系统

    公开(公告)号:CN109637291A

    公开(公告)日:2019-04-16

    申请号:CN201811615411.6

    申请日:2018-12-27

    IPC分类号: G09B21/00 G06K9/00

    CPC分类号: G09B21/00 G06K9/00355

    摘要: 本发明公开一种手语翻译方法,包括:S100:获取手语姿势;S200:对手语姿势进行分解;S300:识别手语姿势的含义;S400:将手语姿势翻译成文字或者语音;S500:将翻译后的文字或者语音呈现给对方;S600:接收对方的语音;S700:将对方语音翻译成对应含义的手语姿势;S800:将翻译后的手语姿势呈现给用户。本发明还公开一种手语翻译系统。本发明公开的一种手语翻译方法及系统,具有如下优点:实现手语与语音或者文字的转换,方便聋哑人与正常人的沟通。

    一种三维手势生成方法
    5.
    发明公开

    公开(公告)号:CN109189206A

    公开(公告)日:2019-01-11

    申请号:CN201810633830.6

    申请日:2018-06-20

    申请人: 济南大学

    发明人: 冯志全 李健

    IPC分类号: G06F3/01 G06K9/00

    CPC分类号: G06F3/017 G06K9/00355

    摘要: 本发明涉及一种三维手势生成方法,包括以下步骤:a.利用Kinect中的人体骨骼信息得到人手的深度坐标;b.获取人手区域的深度图像;c.将步骤b中获取的深度图像按照7:3的比例分为训练集和测试集两部分,并在Caffe框架下用CNN对步骤c-1中的所有训练样本对手腕角度进行训练,得到一个i分类的CNN模型;d.对步骤c-2中分出的每一类训练样本,随机取4/5的样本对手指j个局部状态再次进行CNN训练;e.对每一帧深度图像利用步骤c和步骤d中训练出的二层分类模型得到手腕状态和手指局部状态,这两种状态共同决定了手势状态;f.对手势状态判断并以此来实现对手势的控制。本发明利用二层分类模型对深度图像的手势状态进行分类,最后提出了控制算法以驱动虚拟手的运动。

    图像处理方法和装置
    6.
    发明公开

    公开(公告)号:CN109063653A

    公开(公告)日:2018-12-21

    申请号:CN201810888877.7

    申请日:2018-08-07

    发明人: 吴兴龙

    IPC分类号: G06K9/00 G06K9/46 G06K9/62

    摘要: 本申请实施例公开了图像处理方法和装置。该方法的一具体实施方式包括:获取包含手势的图像的手势边框,其中,该手势边框用于指示图像所包含手势的位置;从该图像中,提取该手势边框所指示的包含手势的局部图像;将该局部图像输入关键点检测模型,以确定该图像所包含手势的手指尖的关键点信息,其中,该关键点信息包括手指尖位置信息。本申请实施例能够检测重要的手指尖的关键点,避免对手势中应用频率很低的关键点进行检测导致的无效检测,提高检测效率。

    一种基于深度神经网络的动态手势识别方法及系统

    公开(公告)号:CN108932500A

    公开(公告)日:2018-12-04

    申请号:CN201810745350.9

    申请日:2018-07-09

    摘要: 本发明公开了一种基于深度神经网络的动态手势识别方法及系统,包括:采集不同手势含义的动态手势视频片段生成训练样本数据集,样本数据包含RGB图像和深度信息;设计基于深度神经网络的动态手势识别网络模型,并利用训练样本对模型进行训练;利用训练好的动态手势识别模型进行动态手势测试与识别;动态手势识别网络模型由特征提取网络、前后帧关联网络以及分类识别网络构成,其中前后帧关联网络用于对每一个手势含义的样本经过特征提取网络得到的特征向量进行前后时间帧的关联映射,并将其合并为每一个手势含义的融合特征向量。本发明,在网络模型中引入了双向LSTM模型来理解连续手势姿态之间的相关性,极大提高了动态手势的识别率。

    基于手势识别的教学互动方法以及装置

    公开(公告)号:CN108805035A

    公开(公告)日:2018-11-13

    申请号:CN201810495581.9

    申请日:2018-05-22

    发明人: 陈鹏丞 卢鑫

    IPC分类号: G06K9/00 G06F17/18 G06Q50/20

    摘要: 本公开是关于一种基于手势识别的教学互动方法、装置、电子设备以及存储介质。其中,该方法包括:获取第一视频采集设备采集的视频信号,提取所述视频信号中的面部特征,以及所述面部特征指定相邻区域的手势行为,分析所述手势行为对应的手势特征,并将所述手势特征与预先定义的手势样本进行匹配,得到匹配结果,匹配所述面部特征与学生标识的关联信息,统计根据所述视频信号中的所有面部特征以及手势行为形成的所有关联信息,并生成教学互动信息,调用设备终端的显示接口显示所述教学互动信息。本公开可以通过对学生面部指定相邻区域手势的准确识别生成教学互动信息。

    用于白板协作的系统和方法

    公开(公告)号:CN104284133B

    公开(公告)日:2018-09-04

    申请号:CN201410262402.9

    申请日:2014-06-13

    申请人: 阿瓦亚公司

    IPC分类号: H04N7/15 G06F3/01

    摘要: 本公开内容涉及用于白板协作的系统和方法。公开了用于在使用非电子方式增强的白板且不使用以电子方式增强的书写和/或指点工具的情况下,在视频会议中协作的方法和工具。实施例可建立正面摄像机以捕获整体视频流,整体视频流被分成至少两个视频馈送——白板馈送和演讲者馈送。正面摄像机可被建立为具有用于捕获白板和演讲者的景深和焦点以及用于优化白板和演讲者的针对每个馈送的特定视频捕捉设置。实施例可根据适当的设置捕获所述两个馈送,并将所述两个馈送传递给其他视频会议成员设备。实施例可添加附加的摄像机以允许附加的优化,诸如消除白板被遮挡区域和/或从视频捕获帧中的多个人中自动地选择演讲者。