本发明提供一种端到端语音识别方法及系统，包括：基于VGGNet模型使用源语料库训练初始语音特征提取模型；移除所述初始语音特征提取模型中的全连接层并冻结预设数量的卷积层参数，使用目标语料库对经过移除和冻结后的初始语音特征提取模型进行训练，得到频域特征提取网络；构建端到端语音识别框架，所述框架包括编码器和解码器；使用目标语料库训练所述端到端语音识别框架，并基于训练好的端到端语音识别框架进行端到端语音识别。本发明可以有效解决数据受限情况下的模型过拟合问题，同时提高了语音识别的正确率且具有很好的噪声鲁棒性。