用于生成从输入序列生成神经网络输出的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。其中一种方法包括，对于输入中的每一个，将包括输入序列中的该输入和该输入之前的输入的当前输入序列提供给包括多个扩张卷积神经网络层的卷积子网络，其中卷积子网络被配置为，对于多个输入中的每一个：接收该输入的当前输入序列，并处理当前输入序列以生成输入的替代表示；以及向输出子网络提供替代表示，其中输出子网络被配置为接收替代表示并处理替代表示以生成神经网络输出。