模型蒸馏

走到这里，我们已经能造出一台 GPT-4 级别的庞然大物——会写论文、读合同、解数学、调代码。可它太贵： 每生成 1000 个 token 约 0.03 美元，一家中型公司若拿它扛下全部客服对话，一年 API 账单轻松上百万美元。

而一个 7B 的小模型，在一张消费级显卡（16GB 显存）上就能跑，成本是前者的几百分之一—— 但它笨得多，尤其在推理、写作、代码这些硬任务上。一边是聪明但烧钱，一边是便宜但平庸。

能不能把大模型的本事，「教」给一个小模型？

考一道选择题：「法国的首都是？　A. 巴黎　B. 伦敦　C. 罗马　D. 柏林」。告诉学生答案，有两种讲法：

• 硬标签：「选 A。」——只传了一个比特：对，还是错。
• 软标签：「A 99.6%、B 0.25%、C 0.09%、D 0.05%」—— 还顺带告诉你：错误项里伦敦比罗马、柏林更像个首都。这层「错得有讲究」的信息，硬标签里完全没有。

这正是 Hinton（深度学习三位先驱之一）2014 年提出的知识蒸馏： 让小模型（学生）去模仿大模型（教师）的输出分布，而不只是抄那个正确答案。学生学的是教师的「判断纹理」，不只是结论。

有个麻烦：教师太自信了。它的原始分布常常 99.6% 全压在正确答案上，错误项小到 0.05%—— 暗知识虽在，却淹没在小数点后好几位，学生几乎看不见、学不到。怎么办？请回第 11 课那个老朋友：温度 T。

softmax 之前把每个分数都除以 T，T 越大、分布越「软」。拿一组教师打分 logits 手算一遍，体会暗知识怎么浮出来：

升温不改变谁高谁低，却把被压扁的差距拉开成学生看得见、学得到的信号。 于是蒸馏训练时，小模型同时背两个目标——既要像被升温软化的教师，也要答对真答案：

$\alpha$ 调两者轻重（常取 0.5~0.9，软标签为主）。值得回味的是，这一课三件工具没一件是新的：软标签是第 11 课 softmax 的概率分布，温度 T 是第 11 课那个调软硬的旋钮，KL 散度是第 6 课量「两个分布差多远」的尺子。临近终点，整门课的零件来了一次小小的会师。

上面讲的是 Hinton 的经典版，但它有个前提：你得拿得到教师每一步、整个词表上的概率分布。 这只有在你自己拥有教师模型（白盒）时才行。可大多数人只能通过 API 调 GPT-4——它只吐文字，不给你内部分布（黑盒）。于是现实分出两条路：

第二条路看着「只学了硬答案」，可一旦教师够强、数据够多够好，效果惊人。 尤其 2024 年起火热的推理蒸馏：让 DeepSeek-R1、o1 这类会一步步思考的强教师， 把完整的思维链写出来，小模型照着这些「解题过程」训——竟能把「慢慢想」的本事也学个八九分。 DeepSeek-R1-Distill 把推理能力蒸进 7B/14B，正是这条路。

蒸馏早已是工业界压小模型、降成本的标准操作：

• DistilBERT（HuggingFace）：把 BERT 蒸到 60% 大小，保留约 97% 的性能。
• Phi 系列（微软）：小到 3.8B，靠精选「教科书级」数据 + 大模型输出，多项基准上压过更大的模型。
• DeepSeek-R1-Distill：把强推理大模型的思维链蒸进 7B/14B，推理能力大幅保留。