一种针对聋人自然手语的双向实时翻译系统及方法

    公开(公告)号:CN108256458A

    公开(公告)日:2018-07-06

    申请号:CN201810018401.8

    申请日:2018-01-04

    Applicant: 东北大学

    Abstract: 本发明属于机器学习领域,涉及一种针对聋人自然手语的双向实时翻译系统及方法。针对聋人自然手语的双向实时翻译系统,包括人体上肢动作采集装置、交互终端和移动设备;交互终端包括语音听写功能模块和自然手语识别功能模块;可以将聋人自然手语翻译成听人能理解的文字和语音,也能将听人的语言翻译成聋人能理解的文字。通过人体上肢动作采集装置提取聋人自然手语动作的数据,并利用机器学习的方法对其识别,将识别结果显示到移动设备的屏幕上,识别结果随着聋人不断地打手语而进行更新,聋人自主选择修改。本发明可应用于银行、医院、商场、公安局、宾馆等多种场景,使聋人与听人之间能进行无障碍地交流,将有助于改善聋人的生活条件和工作条件。

    一种手语识别翻译系统及方法

    公开(公告)号:CN108766434B

    公开(公告)日:2022-01-04

    申请号:CN201810466591.X

    申请日:2018-05-11

    Applicant: 东北大学

    Abstract: 本发明属于手语翻译软件技术领域,公开了一种手语识别翻译系统及方法。系统包括前端模块、网络连接模块、交互同步模块、算法模块、数据采集、处理模块、手语数据管理模块和资源管理模块;各个模块分别负责在识别过程中各个步骤所需的功能,以及支撑系统持续运行的数据内容的管理。根据采集到的传感器数据,进行数据处理及特征提取。对处理后的数据进行模式识别,多元分类,准确、完整的将手语动作转换为自然语言文本信息。我们对系统及算法进行了良好设计,既保证在识别过程中有良好的识别精准度,又确保用户的在使用过程中有良好的用户体验。

    一种针对聋人自然手语的双向实时翻译系统及方法

    公开(公告)号:CN108256458B

    公开(公告)日:2020-08-04

    申请号:CN201810018401.8

    申请日:2018-01-04

    Applicant: 东北大学

    Abstract: 本发明属于机器学习领域,涉及一种针对聋人自然手语的双向实时翻译系统及方法。针对聋人自然手语的双向实时翻译系统,包括人体上肢动作采集装置、交互终端和移动设备;交互终端包括语音听写功能模块和自然手语识别功能模块;可以将聋人自然手语翻译成听人能理解的文字和语音,也能将听人的语言翻译成聋人能理解的文字。通过人体上肢动作采集装置提取聋人自然手语动作的数据,并利用机器学习的方法对其识别,将识别结果显示到移动设备的屏幕上,识别结果随着聋人不断地打手语而进行更新,聋人自主选择修改。本发明可应用于银行、医院、商场、公安局、宾馆等多种场景,使聋人与听人之间能进行无障碍地交流,将有助于改善聋人的生活条件和工作条件。

    一种手语识别翻译系统及方法

    公开(公告)号:CN108766434A

    公开(公告)日:2018-11-06

    申请号:CN201810466591.X

    申请日:2018-05-11

    Applicant: 东北大学

    CPC classification number: G10L15/26 G06F3/014 G06F3/015 G06F3/0346 G10L13/02

    Abstract: 本发明属于手语翻译软件技术领域,公开了一种手语识别翻译系统及方法。系统包括前端模块、网络连接模块、交互同步模块、算法模块、数据采集、处理模块、手语数据管理模块和资源管理模块;各个模块分别负责在识别过程中各个步骤所需的功能,以及支撑系统持续运行的数据内容的管理。根据采集到的传感器数据,进行数据处理及特征提取。对处理后的数据进行模式识别,多元分类,准确、完整的将手语动作转换为自然语言文本信息。我们对系统及算法进行了良好设计,既保证在识别过程中有良好的识别精准度,又确保用户的在使用过程中有良好的用户体验。

    一种基于表面肌电信号的手语识别发声系统及方法

    公开(公告)号:CN105919591A

    公开(公告)日:2016-09-07

    申请号:CN201610227041.3

    申请日:2016-04-12

    Applicant: 东北大学

    CPC classification number: A61B5/0488 A61B5/741

    Abstract: 本发明提供一种基于表面肌电信号的手语识别发声系统及方法,该系统包括肌电采集单元、惯性测量单元、处理器单元和语音合成单元,肌电采集单元设置于受试者的手臂肌肉处,惯性测量单元设置于受试者手腕处,肌电采集单元的输出端和惯性测量单元的输出端均连接处理器单元的输入端,处理器单元的输出端连接语音合成单元的输入端;该方法为:采集受试者手臂部的肌电信号和手腕处动作的加速度信号,提取肌电信号的特征值和加速度信号的特征值,将肌电信号的特征值和加速度信号的特征值与各个手语动作的匹配模型库进行匹配,将匹配到的手语动作以文本形式输出,将手语动作的文本形式转换为声音,输出该手语动作的声音。

Patent Agency Ranking