反向传播

上一课那台训练台，每点一步都用到了梯度 $\partial L/\partial w$——可梯度本身是怎么算出来的？这一课就来揭晓，也给卷二收尾。

最笨的方法是数值微分：对每个参数 $w_i$，把它微微增大 $\epsilon$，看损失怎么变：

${\mathbf{e}}_i$ 是第 i 个分量为 1、其余为 0 的单位向量。 算一个参数的梯度，需要一次额外的前向传播。

反向传播的精神，可以用一个词概括：追责。输出层算出来错了一截，这份「错」该怎么 摊派给前面每一层、每一个权重？谁的影响越大，谁就该多背一点责任、被调整得多一点。 而链式法则，正是这套追责的精确账本。

微积分里的链式法则：如果 $L=f(g(x))$，那么：

翻译一下：「L 怎么随 x 变化」= 「L 怎么随 g 变化」× 「g 怎么随 x 变化」。 如果 g 是一层网络，x 是上一层的输出，那么这个公式就告诉我们：只要知道「损失对这层输出的梯度」，就能算出「损失对这层输入的梯度」， 进而继续往前一层传。

每个节点在前向传播时记录自己的输入值； 反向传播时，用记录的输入值计算本地导数，再乘以「右边传来的梯度」， 结果继续往左传。这就是计算图（computational graph）的工作方式。

最简单的网络：输入 x=2，一个权重 w=1.5，网络： z = w·x，a = z²，L = (a−6)²。目标输出 y=6。

关键点：反向传播复用了前向传播中保存的中间值（z=3, a=9）来计算本地导数。整个过程只需要一次前向传播 + 一次反向传播， 不管有多少参数，代价只是两倍的前向传播。

把同样的链式法则用到我们那台猜水果的机器上（神经元 + Sigmoid + 交叉熵），会冒出一个特别漂亮的结果。 下面这台演示就把梯度从损失一路传回 $w$ 和 $b$——改颜色或真实答案，看每个梯度实时重算：

上面那台单神经元太简单，梯度只穿过一层就到了权重。真实网络真正的难点，是梯度要穿过隐藏层、一层层往回传。 下面这个完整案例就把这件事彻底摊开：一个最小的「真」网络——2 个输入 → 1 个隐藏神经元（Sigmoid）→ 2 个输出（Softmax）， 任务是判断一个水果是不是西瓜（颜色深、个头大就更像）。从前向、Softmax、损失，到反向传播每一步的链式法则、再到权重更新与训练收敛，所有数字一个不省、全程可交互。

建议照标签页顺序走一遍：① 看清网络结构 → ② 前向算出预测（拖动权重滑块感受变化）→③ Softmax 把得分变概率、交叉熵量出损失 → ④ 反向传播，A→E 五步把梯度从输出一路传回每个权重 →⑤ 按梯度更新一步、看损失是降是升 → ⑥ 连点训练，看损失曲线一路滑到底、网络真的学会认西瓜。

特别盯住第 ④ 页那条反向的链子：$\partial L/\partial o=\hat{y}-y$（预测 − 真实）→ 乘 $v$、两路相加得 $\partial L/\partial h$→ 乘 Sigmoid 的导数 $h(1-h)$ 得 $\partial L/\partial z$ → 再乘输入 $x$ 得 $\partial L/\partial w$。 每一环都只是「上一环传来的梯度 × 本环的局部导数」，一路相乘传回去——这就是反向传播的全部秘密。 唯一要小心的是：隐藏层 $h$ 同时连着两个输出，它的梯度得把两条路相加。

反向传播的梯度是一串相乘： ∂L/∂w₁ = ∂L/∂aₙ × ∂aₙ/∂aₙ₋₁ × … × ∂a₂/∂a₁ × ∂a₁/∂w₁

好消息：你几乎永远不需要手写反向传播。 PyTorch、TensorFlow 等框架内置自动微分（autograd）： 用框架的运算构建网络，调用 loss.backward()， 所有参数的 .grad 属性就自动填好了。 反向传播对用户完全透明。

卷二六课，你建立了「神经网络如何学习」的完整图景：

• 神经元：z = w·x + b，σ(z) 输出（第 7 课）
• 激活函数：打破线性诅咒，ReLU 解决梯度消失（第 8 课）
• 损失函数：MSE 用于回归，交叉熵用于分类（第 10 课）
• Softmax：把分数变成概率，temperature 参数的来源（第 11 课）
• Mini-batch / Adam：高效更新参数（第 12 课）
• 反向传播：一次反向扫描算出所有梯度（第 13 课）