梯度下降与优化器

上一课，那台猜水果的机器终于有了损失——知道自己每次猜得有多差。这一课就来干正事： 调参数把损失降下去，也就是真正地训练它。用的就是第 5 课《梯度》学过的蒙眼下山。

回忆一下：梯度 ∇L 指出最陡的上坡方向，朝它的反方向迈步就是下坡。写成更新公式：

听上去万无一失，可真迈一步就翻车。为了把账算清楚，我们盯住其中一个权重 $w$， 把「$w$ 取不同值时、损失有多大」画成一条山谷曲线。假设这台机器的损失随 $w$ 变化恰好长这样：

这是一条开口向上的抛物线，谷底在 $w=4.5$（那里损失为 0），离谷底越远、损失越大。 训练要做的就是把 $w$ 一步步挪向谷底。现在机器的权重停在 $w=0.5$，先算它此刻的损失——把 0.5 代进去：

再算梯度（也就是这条曲线在 $w=0.5$ 处的斜率）。对 $L(w)=1.5(w-4.5{)}^2$ 求导 （第 5 课的法则：平方求导、再乘内层那项的导数 1）得 $\partial L/\partial w=3(w-4.5)$，代入 $w=0.5$：

负号说明「往右（$w$ 变大）是下坡」。按更新公式 $w\leftarrow w-\nabla L$ 迈一步：

这一步把 $w$ 从 0.5 直接甩到了 12.5。它到底落到山谷的哪儿？再把 12.5 代回损失：

损失从 24 不降反升、飙到了 96！方向其实没错（确实朝着下坡迈）， 问题出在步子：一步迈了整整 12，直接飞过谷底（$w=4.5$），冲到对面更高的山坡上。 看来「方向对」不等于「走得到谷底」——还得管住步幅。把刚才这一步画到那条山谷曲线上，就一目了然：

加入学习率后，更新公式变为：

$\alpha$ 通常是 0.001 到 0.1 之间的一个小数。但选多大，是整个训练过程中最重要也最棘手的决定：

实践中用学习率调度（LR scheduling）：训练初期用较大的学习率快速接近最优区域， 后期逐渐降低——如余弦退火（cosine annealing）或线性预热（linear warmup）。

光说不练没感觉。下面把那台猜水果的机器缩到只看「颜色」一个特征（这样整台机器和每一步都看得清清楚楚）， 给它 8 个已知答案的水果当训练数据，让你亲手一步步训练它：

盯着 $w$、$b$ 和损失这三个数字跳动，你看到的就是训练的全部秘密： 算梯度 → 朝反方向挪一小步 → 重复。几亿个参数的大模型，做的也只是同一件事，只是数字更多。

但学习率还不是最大的问题。有一个更基本的困难正在等着我们。

目前为止，∇L 是基于所有训练样本的平均损失算出来的。 更新一次参数，需要把整个训练集都喂给网络跑一遍。 GPT-3 的训练集有 3000 亿个 token——每次更新参数前要扫完 3000 亿条数据， 一天下来可能只更新几次，这显然行不通。

每次从训练集随机抽取 B 条样本（一个 batch），计算这 B 条的平均梯度，更新一次参数。 B 通常是 32、64、128——随 GPU 显存大小调整。

这叫 Mini-batch 随机梯度下降。「随机」指的是每次随机抽取一个 batch—— 每次算出的梯度不是真正的全量梯度，有一定噪声。

噪声有时反而有好处：它帮助模型跳出「小坑」（局部最小值）， 找到泛化能力更好的参数区域。纯全量梯度太精确，反而更容易陷入局部最优。

一个 epoch 是扫完整个训练集一遍。完整训练通常需要几十到几百个 epoch， 每个 epoch 里有「数据集大小 / B」次参数更新。

Mini-batch SGD 还有一个麻烦：在「峡谷地形」（某方向坡度很陡、另一方向很平缓）里， 参数会沿陡峭方向来回震荡，沿平缓方向却走得极慢。

修补：加入动量（Momentum）——给更新加入惯性， 用历史梯度的加权平均代替单步梯度：

90% 保留上一步的方向，10% 接受新梯度。陡峭方向的来回震荡相互抵消， 平缓方向的梯度逐步积累速度——轨迹更平滑，收敛更快。

现代训练几乎都用 Adam（Adaptive Moment Estimation）： 在动量的基础上，还为每个参数维护一个自适应的学习率—— 更新频繁的参数自动降低学习率，稀疏参数自动提高。

Adam 的默认参数（α=0.001, β₁=0.9, β₂=0.999）在绝大多数任务上开箱即用， 不需要精细调节。Transformer 几乎清一色用 Adam 或其变种 AdamW。