公开(公告)号：US20170076196A1

公开(公告)日：2017-03-16

申请号：US15172457

申请日：2016-06-03

Applicant: Google Inc.

Inventor： Tara N. Sainath ,  Vikas Sindhwani

IPC: G06N3/04 ,  G06N3/08

CPC classification number: G06N3/084 ,  G06N3/0445

Abstract: Methods, systems, and apparatus, including computer programs encoded on computer storage media, for implementing long-short term memory layers with compressed gating functions. One of the systems includes a first long short-term memory (LSTM) layer, wherein the first LSTM layer is configured to, for each of the plurality of time steps, generate a new layer state and a new layer output by applying a plurality of gates to a current layer input, a current layer state, and a current layer output, each of the plurality of gates being configured to, for each of the plurality of time steps, generate a respective intermediate gate output vector by multiplying a gate input vector and a gate parameter matrix. The gate parameter matrix for at least one of the plurality of gates is a structured matrix or is defined by a compressed parameter matrix and a projection matrix.

Abstract translation: 方法，系统和装置，包括在计算机存储介质上编码的计算机程序，用于实现具有压缩门控功能的长短期存储器层。 系统中的一个包括第一长的短期存储器（LSTM）层，其中第一LSTM层被配置为，对于多个时间步骤中的每一个，通过应用多个时间步骤生成新的层状态和新的层输出 门到当前层输入，当前层状态和当前层输出，多个门中的每一个被配置为：对于多个时间步长中的每一个，通过将门输入向量 和门参数矩阵。 多个栅极中的至少一个门的栅极参数矩阵是一个结构化矩阵，或者由压缩参数矩阵和投影矩阵来定义。