本发明属于端到端语音识别技术领域，公开了一种基于端到端语音识别模型和语言模型的融合方法，包括以下步骤:S1、使用语音和文本对训练端到端的语音识别模型，并且使用文本数据训练一个外部语言模型；S2、将训练好的所述语音识别模型的解码器部分单独取出并形成独立的模型；S3、用训练数据到文本单独训练所述独立的模型并在收敛后得到内部语言模型的估计模型；S4、对所述语音识别模型、所述外部语言模型和所述内部语言模型的估计模型的分数融合进行解码以得到解码结果。这种算法能提高语音识别模型与语言模型融合后识别的准确率，在语音识别领域有着广泛的应用前景。