本发明公开了一种利用非平行语料提升语音识别系统性能的方法，涉及语音识别技术领域，步骤包括：收集包含大量语音和文本的非平行语料，这些语料获取来源包括互联网、社交媒体、广播节目等，建立非平行资源库；基于无标注语音预训练编码器；基于非平行文本库训练语音识别解码器；将训练得到的模型进行融合，实现编码器、解码器联合微调，在解码器的输入端增加一定能量的噪声，并在其输出端的标注的标签上增加了一定比例语言模型的软标签，且噪声与软标签的比例会随训练的迭代数逐渐降低，随着训练迭代数的增加，解码器逐渐转换为一个给定音频表征的语音识别器；将模型应用到语音识别系统，最终提升语音识别系统的性能。