激活函数

上一课那台猜水果的机器，输出端挂着一个 $\sigma$——我们当时一笔带过，说它「把总分压成概率」。 这一课就来正面回答：这个 σ 到底是什么？为什么非有它不可？

这堵「天花板」其实已经撞见过两次：第 4 课《线性变换》发现「线性叠线性还是线性」， 第 7 课那台机器又卡在「单个神经元只能切一条直线」。这一课，我们把它正面拆掉。

先做个实验：把两台水果神经元前后接起来（两层），中间不放任何激活函数 （或者说，激活函数就是 $f(x)=x$ 本身）：

把第一层的结果代入第二层：

$W_2{W}_1$ 是两个矩阵相乘，结果还是一个矩阵——叫它 $W^{\prime }$。$W_2{b}_1+b_2$ 是两个向量的组合，结果还是一个向量——叫它 $b^{\prime }$。 于是：

两层网络等价于一层网络。继续叠，也是一样——三层、一百层，最终都能压缩成「一个矩阵 + 一个偏置」。 层数带来的只有运算量，没有表达能力。 对那台猜水果的机器来说，这意味着：无论叠多少层，它本质上还是只有一层，它在特征空间里能画的，永远只是一条直线。

既然多层纯线性网络等价于一层，那就直视这一层能做什么。还记得上一课那张能拖动的平面吗？ 神经元的输出永远是一张「平的」图像，判定边界永远是直的——二维空间里，y = Wx + b 画出的就是一条直线（高维里则是超平面）。

打个直观的比方：线性变换只能把一整张纸拉伸、旋转、平移，纸始终是平的， 一条直线无论怎么变都还是直线。非线性则像在纸上「折」一道弯—— 折过几次之后，原本被一条直线死死分开的两类点，就能被叠进同一侧、或圈进不同区域。 每加一层「线性变换 + 一次弯折」，网络就多一次折纸的机会，能表达的形状也就越复杂。

这个「插在层与层之间的非线性函数」，正是本课的主角——激活函数（activation function）。 它紧跟在每一层的线性变换 $Wx+b$ 之后，给网络添上一道「弯折」，「多层 = 一层」的魔咒就此打破。下面就来认认，常用的激活函数都有哪几种、各自脾气如何。

带着「给每层添一道弯折」这个目标，我们把常用的激活函数一个一个认下来。 先说最直接的——阶跃函数：z < 0 时输出 0，z ≥ 0 时输出 1。 它确实「弯」了——可惜太死板：除了 z=0 那个跳变点，其余地方完全平坦， 输出对输入的任何风吹草动都毫无反应。这样的函数没法做精细的调整，实践中几乎没人用。

历史上解法是把阶跃函数「平滑」掉——做成一条 S 型曲线，就是大名鼎鼎的 Sigmoid：

Sigmoid 平滑、好懂、输出还正好落在 0~1 之间能当概率读，一度是最流行的激活函数。但它也有自己的短板：

顺着 Sigmoid 往下，还有一个常打照面的「近亲」——tanh（双曲正切）。 它的形状同样是一条 S 曲线，区别在输出范围：Sigmoid 把结果挤在 0~1， tanh 则铺在 −1~1、正好以 0 为中心。

「以 0 为中心」是个实打实的好处：每层的输出均匀分布在 0 两侧，一层层往后传时更稳， 所以同样是 S 形，tanh 往往比 Sigmoid 表现更好。但它毕竟还是 S 形，两端饱和这个老毛病并没躲过去。

既然 Sigmoid 的两端会「饱和变迟钝」，有没有更干脆的函数—— 在正区间永远保持灵敏、原样放过，不打一点折扣？

最简单的方案：正数直接放过，负数全部归零。

ReLU 在实践中效果惊人——不是因为它有多精妙，而是因为它刚好解决了最关键的问题。 现代深层网络（ResNet、BERT、GPT）的隐藏层默认用 ReLU 或其变体。

ReLU 也有个小毛病：z < 0 时输出恒为 0、斜率也为 0，这个神经元就此「躺平」、再难被唤醒。 于是有了两个常见的改良版——LeakyReLU（负区间不再压到 0，而是留一点微弱的斜率，让神经元不至于彻底躺平）和GELU（Transformer 的标配，正区间类似 ReLU，但在 0 附近用一道平滑的过渡代替生硬的折角）：

四种主力激活函数都认完了。光看曲线还不够过瘾——下面把它们装回上一课那台苹果神经元， 给输出端接上一个可切换的「弯折器」，自己上手转一转最直观。转旋钮改变总分 $z$， 点上方按钮在阶跃 / Sigmoid / tanh / ReLU 之间切换，看红点（当前工作点）落在曲线哪里， 再留意底下那个「此处斜率」——每种函数的脾气，几乎都写在这条曲线的形状里：

绕了一圈，别忘了最初那堵墙：第 1、2 站算明白了——纯线性的网络叠多少层都等于一层，判定边界永远是直的。 第 7 课图 7-4 那个例子最典型：只看一个特征个头大小 x，好苹果偏偏挤在中间一段（太小、太大都不是）， 而单个神经元 $z=wx+b$ 只有一个分界点，怎么也框不住「中间一段」。现在就用激活函数，把这道坎正面跨过去。

办法正是开篇那套「一层套一层」——只不过这次中间放上激活函数。设好苹果的合格区间是 $0.4\le x\le 0.7$。 第一层放两个神经元，各盯一个边界；为把逻辑看得最透，激活先用最直白的阶跃（换成 Sigmoid/ReLU 道理一样，只是边界更柔和）：

随手代三个数进去验一验，正好对上第 7 课图 7-4 的三类样本：

• 太小（x=0.2）：$h_1=$阶跃(−0.2)=0，$h_2=$阶跃(−0.5)=0 →　y = 0，判「不是」✓
• 适中（x=0.55）：$h_1=$阶跃(0.15)=1，$h_2=$阶跃(−0.15)=0 →　y = 1，判「是」✓
• 太大（x=0.85）：$h_1=$阶跃(0.45)=1，$h_2=$阶跃(0.15)=1 →　y = 0，判「不是」✓

把这套结构画成网络、让你亲手转一转就更直观了——拖动个头大小 x，看两个神经元怎么轮流亮起、输出怎么在「中间一段」托出 y=1：

点睛之笔全在激活函数上：若中间不放它，$y=(x-0.4)-(x-0.7)=0.3$，是个雷打不动的常数—— 两层又塌回一层、毫无用处（正是开篇证过的「多层 = 一层」）。正因为阶跃把两条直线各「折」成 0/1 的台阶，第二层一相减，才凭空托起中间那一段「带」。

这就是激活函数的全部意义：它让层数真正变成表达能力。第 7 课单个神经元框不住的「中间一段」，两层带激活轻松搭出； 再多堆几层、多放几个神经元，圆、月牙、任意复杂的边界都能这样「折」「拼」出来。开篇那道天花板，到此顶开。