LSTM

使用门结构实现信息选择性的通过，主要是通过一个 sigmoid 的神经层 和一个逐点相乘的操作来实现的。

门结构：

sigmoid 层输出（是一个向量）的每个元素都是一个在 0 和 1 之间的实数，表示让对应信息通过的权重（或者占比）。比如， 0 表示“不让任何信息通过”， 1 表示“让所有信息通过”。

LSTM通过三个这样的本结构来实现信息的保护和控制。这三个门分别输入门、遗忘门和输出门。

1、遗忘门

其中ht−1h_{t-1}ht−1表示的是上一个cell的输出，xtx_txt表示的是当前细胞的输入。σ\sigmaσ表示sigmod函数。

2、输入门

下一步是决定让多少新的信息加入到 cell 状态 中来。实现这个需要包括两个 步骤：首先，一个叫做“input gate layer ”的 sigmoid 层决定哪些信息需要更新；一个 tanh 层生成一个向量，也就是备选的用来更新的内容，C^t\hat C_tC^t 。在下一步，我们把这两部分联合起来，对 cell 的状态进行一个更新。

3、输出门

这个输出将会基于我们的细胞状态，但是也是一个过滤后的版本。首先，我们运行一个 sigmoid 层来确定细胞状态的哪个部分将输出出去。接着，我们把细胞状态通过 tanh 进行处理（得到一个在 -1 到 1 之间的值）并将它和 sigmoid 门的输出相乘，最终我们仅仅会输出我们确定输出的那部分