LSTM 长短期记忆网络

上一课我们手算出了 RNN 的病：每读一个词，旧记忆就被「×0.6 再混入新词」稀释一次， 读了 20 个词，20 步前的信息 $0.6^{20}\approx 0.00004$，几乎归零。

想象你在读一本小说：第 1 章写「主角害怕黑暗」，第 30 章主角走进地下室，这时你需要想起第 1 章那句话。 你不会把这中间 30 章的每个细节都死记，但你会主动记住对后面重要的事—— 因为你早判断出「主角害怕黑暗」值得留着。

RNN 坏就坏在不会「主动」：它每步机械地混合所有内容，重要的和无关的一起稀释。 解药是给记忆装上阀门——几个开关，分别管「忘掉多少旧的」「写入多少新的」「读出多少给当前用」。

LSTM（长短期记忆网络，1997 年提出）的第一招，是把记忆拆成两条线：

• 长期记忆 C（Cell State）：一条「高速公路」，信息可以几乎不受干扰地从句首一直开到句尾。 新内容想挤进来，必须先过阀门；不放行，原有信息就原样保留——这正是对治 RNN「每步稀释」的关键。
• 短期记忆 h（Hidden State）：当前这一步的「工作台」，每步都根据长期记忆和当前词重新算一份， 用来预测下一个词。它对应的就是 RNN 里那个 h。

两条线之间的三个阀门，各管一件事：

1. 忘记阀（Forget Gate）：长期记忆里，旧内容保留多少。
2. 写入阀（Input Gate）：当前词的新信息，写进长期记忆多少。
3. 读出阀（Output Gate）：从长期记忆里读出多少，当作这一步的短期记忆 h。

每个阀门，说穿了就是一个 0 到 1 之间的数：

• 阀门 = 1：完全打开，信息全部通过；
• 阀门 = 0：完全关死，信息全被拦下；
• 阀门 = 0.6：放 60% 过去，拦下 40%。

这个数不是手动拧的，而是网络根据「当前词」和「当前短期记忆」算出来的—— 用什么算？还是老朋友 Sigmoid（把任意值压到 0~1，第 8 课）。然后靠训练数据反复优化，直到阀门学会在该开的时候开、该关的时候关：

公式列着吓人，其实只盯中间那行就够了：$C_t=f\cdot C_{t-1}+i\cdot g$。 翻成人话——新的长期记忆 = 忘记阀 × 旧记忆 + 写入阀 × 新内容。 σ 负责生出 0~1 的阀门值，⊙（逐元素相乘）负责用阀门掐住流量。下一站就拿这一行去手算。

这里还有个值得回味的反转：第 8 课里，Sigmoid 把值压到 0~1 是缺点——两端一压平梯度就消失。 可搬到这儿，「0 到 1」恰恰是优点：它天生就是个「阀门开度」，0 关死、1 全开。 同一个函数，换个位置，缺点摇身变成了优点。

还是用上一课那把尺子——让长期记忆 $C$ 就是一个数，记「主角怕不怕黑」。 只用那行核心公式 $C\leftarrow f\cdot C+i\cdot g$。网络已经学会： 读到重要词，$f=0.9,i=0.9$（候选 $g\approx 0.95$）； 读到无关词，$f=0.99,i=0.04$（几乎不动旧记忆）。从 $C_0=0$ 开始：

关键就在第②步往后：忘记阀 ≈ 0.99 意味着旧记忆几乎原样带过去，写入阀 ≈ 0.04 意味着无关词几乎挤不进来。 于是 9 个词读下来，长期记忆只从 0.855 掉到 0.851——还剩 99%。 把这台 LSTM 和一台 RNN 喂同一句话，并排看它俩的记忆：

对照得很扎心：读到「地下室」时，LSTM 的长期记忆还剩约 99%， 而 RNN 的记忆只剩不到 2%——「害怕」早被冲没了。同一句话，一个记得住、一个记不住，差别全在那几个阀门。

有了高速公路和阀门，LSTM 能处理的长距离依赖远超 RNN。原理就藏在那行公式里： 长期记忆走的是「$f\cdot C_{t-1}$」这条道，忘记阀 f 接近 1 时，记忆几乎无损地往前传， 连带梯度也能几乎无损地传回很远的地方——梯度消失被大大缓解。

算给你看：哪怕隔 30 个词，RNN 是 $0.6^{30}\approx 2\times 10^{-7}$（彻底没了）， 而 LSTM 的忘记阀按 0.99 算是 $0.99^{30}\approx 0.74$——还留着 74%。实验中 LSTM 能可靠记住 50~100 步前的信息。 也正因如此，2010~2017 年间，语音识别、机器翻译、文本生成的主力都是它，很多产品级系统至今仍在用。