公开(公告)号：CN117672024A

公开(公告)日：2024-03-08

申请号：CN202311614148.X

申请日：2023-11-29

申请人： 杭州惠耳听力技术设备有限公司

发明人： 凃磊 ,  常丹妮 ,  胡沛尧 ,  张朕 ,  周善晨 ,  俞静

IPC分类号： G09B5/06 ,  G09B19/04 ,  G09B19/22 ,  G06V40/16

摘要： 本发明提供了一种基于语音和口型识别的儿童语言康复训练方法和系统，所述方法包括：配置游戏模板文字的标准语音信息，以及配置所述模板文字的标准口型动作数据；建立游戏关卡，并在每个游戏关卡配置包括语音配对游戏规则、口型配对游戏规则和音跃游戏规则；获取听障儿童对所述游戏模板文字的发音信息，以及获取所述听障儿童对对应游戏模板文字的口型动作信息；将所述游戏模板文字的发音信息和对应的标准语音信息对比，并将对应游戏模板文字的口型动作信息和标准口型动作数据对比，分别计算发音和口型动作相似度；根据所述对应的相似度判断口型配对和语音配对是否通过，若通过则在显示器显示奖励动画。

公开(公告)号：CN118314858A

公开(公告)日：2024-07-09

申请号：CN202410571321.0

申请日：2024-05-10

申请人： 杭州惠耳听力技术设备有限公司

发明人： 凃磊 ,  常丹妮 ,  胡沛尧 ,  周善晨 ,  俞静

IPC分类号： G10H1/00 ,  G10H1/32 ,  G10L19/02 ,  G10L19/18 ,  G10L25/18 ,  G10L25/21 ,  G10L25/24

摘要： 本发明公开了一种用于听障儿童的多模态音乐转化方法及系统，方法包括：接收目标音乐的音频信号；利用快速傅里叶变换分析所述音频信号，得到不同频率的能量强度值；根据所述能量强度值，确定音乐的节奏特征信息，并将所述能量强度值转换为体现音乐节奏的可视化效果画面；根据所述节奏特征信息控制步进电机，以使所述步进电机的振动与音乐节奏实现同步。利用本发明实施例，能够将音乐的节奏旋律准确地转化为视觉图像和触感振动，实现音乐信息的全面且同步的多模态表达，并在技术上保证音乐信息转换的同步性和准确性。