公开(公告)号：CN117688372A

公开(公告)日：2024-03-12

申请号：CN202311672981.X

申请日：2023-12-07

申请人： 浙江大学

发明人： 张韶岷 ,  张海艳 ,  李悦 ,  郑能干 ,  陈光弟 ,  许世豪 ,  陈卫东

IPC分类号： G06F18/2135 ,  A61B5/372 ,  G06F18/214 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明公开了一种基于卷积时序网络的脑电信号发声检测方法，包括：对原始脑电数据进行时频分析，作为神经特征；使用希尔伯特变换对音频数据进行包络分析，通过阈值分割进行标注，得到语音特征，对齐语音特征和神经特征；构建发声检测卷积时序网络，使用对齐后的神经特征作为输入数据，对齐后的语音特征作为真值标签构建数据集，对发声检测卷积时序网络进行训练；将待检测脑电信号经过时频分析输入到训练好的卷积时序发声检测器中，预测发音状态，进行脑电信号的发声检测。本发明取得了优于目前常用发声检测器的性能，同时本发明对检测器的检测性能做出解释，有效地改善了现有基于神经网络的发声检测方法的不可解释的问题。

公开(公告)号：CN118571237A

公开(公告)日：2024-08-30

申请号：CN202410351710.2

申请日：2024-03-26

申请人： 浙江大学

发明人： 陈卫东 ,  吴云鹰 ,  张海艳 ,  彭昱龙 ,  李悦 ,  许世豪 ,  张韶岷 ,  陈飞燕

IPC分类号： G10L19/18 ,  G06F18/241 ,  G06F18/213 ,  G06F18/214 ,  G06N3/0464 ,  G06N3/0442 ,  G10L19/008 ,  G10L19/02 ,  G10L19/022 ,  G10L25/24 ,  G10L25/18 ,  G10L25/30

摘要： 本发明基于语音脑机接口的解码研究，公开了一种语音脑机接口中连续解码指导下的离散解码方法。该方法使用了连续解码系统和离散解码系统共存的深度学习模型，先训练连续解码声学信息中的梅尔谱，基频，以及非周期性信号等信息，然后利用连续解码提取的特征，对离散解码进行指导性，迁移式的训练，最终也完成离散解码的训练(也就是分类任务)。这样的离散解码性能要远高于单纯的离散解码结果，同时已经训练的连续解码输出的基频等信号，可以作为后续基于离散解码结果的语音合成系统的调节输入，增强离散解码结果的语音合成的效果。