-
公开(公告)号：CN116386590B
公开(公告)日：2023-08-15
申请号：CN202310613237.6
申请日：2023-05-29
申请人： 北京科技大学
IPC分类号： G10L13/02 , G10L13/08 , G10L21/0208 , G10L19/18
摘要： 本发明公开了一种多模态的表现性语音合成方法及装置，属于语音合成技术领域，方法包括：将噪声语谱图和与噪声语谱图对应的第一无声视频序列输入至噪声掩码编码器，通过噪声掩码编码器获得去噪掩码；将第二无声视频序列输入至多尺度风格编码器，通过多尺度风格编码器提供多尺度的风格嵌入；将文本信息输入至文本编码器，通过文本编码器获得文本信息嵌入；文本信息嵌入序列经过变量适配器的处理，获得帧级别的语音特征；将帧级别的语音特征与去噪掩码相乘，获得去噪后的帧级别的语音特征；将去噪后的帧级别的语音特征与风格嵌入在通道维度上进行拼接；将拼接得到的特征序列输入至解码器，通过解码器合成干净的语谱图。
-
公开(公告)号：CN116543749A
公开(公告)日：2023-08-04
申请号：CN202310814315.9
申请日：2023-07-05
申请人： 北京科技大学
摘要： 本发明提供一种基于堆栈记忆网络的多模态语音合成方法及系统，涉及视频和语音处理技术领域，包括：用视频信息辅助从文本中合成具有视听同步性的语音。从人脸中提取说话人特性，即利用人脸控制合成语音的音色。在训练和推理时，通过引入的视频‑语音堆栈记忆网络，显式的利用视频检索对应语音，并从检索得到的语音中提取风格特征，解决多模态TTS模块训练‑推理风格不匹配的问题并增强合成音频的表现性，定制个性化语音。本发明引入视频‑语音堆栈记忆网络显式的连接视频和语音两个模态，而非利用距离损失去最小化不同模态信息提取的特征之间的距离。
-
公开(公告)号：CN115424621B
公开(公告)日：2023-04-07
申请号：CN202211349630.0
申请日：2022-10-31
申请人： 北京科技大学
IPC分类号： G10L17/04 , G10L17/08 , G10L17/18 , G06N3/0464 , G06N3/09
摘要： 本发明实施例涉及一种声纹识别模型的训练方法、声纹识别方法、装置及设备，涉及语音识别领域，通过迭代执行对所述当前语音数据子集中的语音数据进行预处理，获得语音片段；确定第一对比正对和对比负对；将每个语音片段输入到上一迭代获得的深度残差网络模型中，获得对应的说话人嵌入；针对每个说话人嵌入，从预设说话人嵌入队列中确定对应的最近邻正实例，并确定第二对比正对；根据所述第一对比正对、第二对比正对和对比负对对所述上一迭代获得的深度残差网络模型进行训练，获得当前深度残差网络模型；即本发明的实施例通过额外引入的说话人嵌入队列，选取最近邻正实例来构成额外的对比正对，使得训练出的声纹识别模型准确性更高。
-
公开(公告)号：CN116543749B
公开(公告)日：2023-09-15
申请号：CN202310814315.9
申请日：2023-07-05
申请人： 北京科技大学
摘要： 本发明提供一种基于堆栈记忆网络的多模态语音合成方法及系统，涉及视频和语音处理技术领域，包括：用视频信息辅助从文本中合成具有视听同步性的语音。从人脸中提取说话人特性，即利用人脸控制合成语音的音色。在训练和推理时，通过引入的视频‑语音堆栈记忆网络，显式的利用视频检索对应语音，并从检索得到的语音中提取风格特征，解决多模态TTS模块训练‑推理风格不匹配的问题并增强合成音频的表现性，定制个性化语音。本发明引入视频‑语音堆栈记忆网络显式的连接视频和语音两个模态，而非利用距离损失去最小化不同模态信息提取的特征之间的距离。
-
公开(公告)号：CN115424621A
公开(公告)日：2022-12-02
申请号：CN202211349630.0
申请日：2022-10-31
申请人： 北京科技大学
摘要： 本发明实施例涉及一种声纹识别模型的训练方法、声纹识别方法、装置及设备，涉及语音识别领域，通过迭代执行对所述当前语音数据子集中的语音数据进行预处理，获得语音片段；确定第一对比正对和对比负对；将每个语音片段输入到上一迭代获得的深度残差网络模型中，获得对应的说话人嵌入；针对每个说话人嵌入，从预设说话人嵌入队列中确定对应的最近邻正实例，并确定第二对比正对；根据所述第一对比正对、第二对比正对和对比负对对所述上一迭代获得的深度残差网络模型进行训练，获得当前深度残差网络模型；即本发明的实施例通过额外引入的说话人嵌入队列，选取最近邻正实例来构成额外的对比正对，使得训练出的声纹识别模型准确性更高。
-
公开(公告)号：CN116386590A
公开(公告)日：2023-07-04
申请号：CN202310613237.6
申请日：2023-05-29
申请人： 北京科技大学
IPC分类号： G10L13/02 , G10L13/08 , G10L21/0208 , G10L19/18
摘要： 本发明公开了一种多模态的表现性语音合成方法及装置，属于语音合成技术领域，方法包括：将噪声语谱图和与噪声语谱图对应的第一无声视频序列输入至噪声掩码编码器，通过噪声掩码编码器获得去噪掩码；将第二无声视频序列输入至多尺度风格编码器，通过多尺度风格编码器提供多尺度的风格嵌入；将文本信息输入至文本编码器，通过文本编码器获得文本信息嵌入；文本信息嵌入序列经过变量适配器的处理，获得帧级别的语音特征；将帧级别的语音特征与去噪掩码相乘，获得去噪后的帧级别的语音特征；将去噪后的帧级别的语音特征与风格嵌入在通道维度上进行拼接；将拼接得到的特征序列输入至解码器，通过解码器合成干净的语谱图。
-
-
-
-
-
搜索结果
6 条记录 (耗时 0.026 秒)
