本文中描述的是识别和解决端对端语音模型中的偏差源的系统和方法。在一个或多个实施方式中，端对端模型可以是递归神经网络，该递归神经网络具有两个2D卷积输入层，接着是多个双向递归层以及在softmax层之前的一个完全连接层。在一个或多个实施方式中，使用CTC损失函数训练端对端，以从音频的对数频谱直接预测字符的序列。通过优化的递归层和与对齐信息一起训练，可去除所配置的模型中的一些不希望有的偏差，这些不希望有的偏差是通过使用仅纯粹前向递归而引起的。