公开(公告)号：CN119181347A

公开(公告)日：2024-12-24

申请号：CN202411469392.6

申请日：2024-10-21

Applicant: 北京邮电大学

Inventor： 邵恒益 ,  李雨泽 ,  李蕾

IPC: G10L13/02 ,  G10L13/027 ,  G10L25/60 ,  G10L25/30

Abstract: 本发明公开了一种用于藏语数据增强的监督学习zs‑TTS生成与质量评估系统，属于语音智能合成技术领域。本发明系统包括预处理模块、零样本文本到语音合成模块和合成语音质量评估模块；预处理模块对采集的藏语语音数据处理获取样本；零样本文本到语音合成模块使用监督学习的zs‑TTS模型生成藏语语音，在TTS模型基础上引入参考编码器，优化生成对抗网络的损失函数构成；合成语音质量评估模块对合成音频结合多个指标进行评分，并引入动态阈值机制以平衡样本质量和数量。本发明系统实现在极短时长输入样本的情况下快速学习说话人风格并生成高质量藏语语音样本的能力，为低资源语言的语音处理任务提供了一种有效的通用型数据增强方案。

公开(公告)号：CN116843013A

公开(公告)日：2023-10-03

申请号：CN202310805513.9

申请日：2023-07-03

Applicant: 北京邮电大学

Inventor： 郑宇博 ,  罗莹莹 ,  邵恒益 ,  张琳 ,  李蕾

IPC: G06N3/088 ,  G06N3/0464 ,  G06F18/24 ,  G06F18/22

Abstract: 本发明公开了一种无监督对比学习的多模态数据增强和编码方法，涉及数据增强方法的设计与应用。本发明方法包括：通过差异化数据增强方法对输入的多模态时间序列进行数据增强，构建正负样本对；将原始样本与增强样本分别通过编码器编码，获得样本特征；利用时间与上下文对比模块进行时间交叉预测和上下文对比学习，引入原始样本，最小化数据增强偏差，优化样本特征；利用优化的样本特征输入分类模型进行分类或预测。本发明在对比学习框架中的数据增强过程引入数据增强偏差问题，令数据编码模块感知了数据增强带来的偏差影响，减少了数据增强偏差对下游任务的影响，并提升了数据编码能力。