AMPLIFIER / J-SYSTEM16 SEP 2026
人类 × AI⑤｜蒸馏篇：能复制百分之几，取决于你拿什么题考它
上一篇说，大模型的东西能拷贝，人的搬不走。马上有个追问：蒸馏和微调不是能把一个大模型的行为复制个大概吗？那理论上能复制多少，百分之几？
ANSWERS 01 学的是答卷 |
COVERAGE 02 题覆盖到哪像到哪 |
TAIL 03 要命的在尾部 |
这个问题问得准，但它有个前提需要先拆开——「百分之几」不是一个数，它是一个函数，自变量是你拿什么题去考。
先说蒸馏在干什么。
AMPLIFIER / 01
它复制的是一张答卷，不是写答卷的人
训练一个小模型去模仿大模型，做法很朴素：拿一堆问题去问大模型，把它的回答记下来，然后让小模型照着学。学得像了，就算蒸馏成功。
注意这个过程里小模型能看到什么。它看到的是问题和答案的配对。它看不到大模型内部凭什么给出这个答案，也看不到大模型在多少种别的可能性之间做过权衡。
打个不太准但够用的比方：这像是把一位老医生每天的诊断记录抄下来，让新人背。背熟之后，遇到记录里出现过的情况，新人答得和老医生一样好。可老医生看一眼脸色就知道不对劲的那个东西，记录里没有，因为它从来没被写下来过。
AMPLIFIER / 02
所以那个百分比，由你的题决定
这就是为什么「百分之几」问不出一个数。
在你测过的题型上，蒸馏模型可以非常接近——公开的做法里，小模型在常见评测上达到大模型的绝大部分是常态。（这个「绝大部分」是各家自己报的评测结果，我没有逐个回核，读的时候按「厂商在自己选的题上的成绩」理解更安全。）
而在你没测过的地方，答案是：不知道。 不是「差一点」，是没有信息。
这两句连起来才是完整的回答：蒸馏的复制率高，恰恰是因为它是照着你的题优化的。你的题覆盖到哪，它就像到哪。
这里有个容易滑过去的地方。你可能会想，那我多出点题不就行了。问题在于，出题这件事本身被同一个局限卡着——你只会出你想得到的题。而真正会出事的那些情况，定义上就是你没想到的。
AMPLIFIER / 03
更麻烦的一层：它连「不确定」也一起抹平了
上面说的是覆盖问题。还有一层跟覆盖无关。
大模型回答一个它其实没把握的问题时，内部的状态是分散的——几个答案的可能性差不多，它只是挑了一个最高的说出来。这个「差不多」是有价值的信息，它相当于犹豫。
而蒸馏的时候，小模型主要学的是说出来的那个答案。于是老师的犹豫，到学生这里变成了一个干脆的回答。
结果是：学生可能在老师原本没把握的地方，答得比老师还笃定。
这比单纯答错更麻烦。答错了还能被发现，而一个自信的错误答案，会让检查它的人也放松。
AMPLIFIER / 04
那这一整套跟人有什么关系
绕回来。这套机制不只发生在模型之间，它每天都发生在人和人之间。
你把一件事怎么做写成手册交给下属，他照着做，在手册覆盖的情况下做得跟你一样好。这就是蒸馏，而且通常很有效——不然公司没法运转。
但同样的两个漏洞会同时出现：手册没写到的情况，他不知道该怎么办；而你写下来的时候没法标注「这一条我其实也不太确定」，所以他会比你更硬地执行它。
第二条尤其值得留意。你的经验里有大量「视情况而定」，但落到纸上全都变成了规定。 拿着那份规定的人，会在你本来会犹豫的地方毫不犹豫。
AMPLIFIER / 05
一个可以当场用的判据
所以「能复制百分之几」这个问题，我建议换成一个能操作的问法：
这件事出错的时候，是在常见情况里出错，还是在罕见情况里出错？
如果失误主要发生在常见情况——那蒸馏足够了，无论是小模型还是新人手册，都能覆盖绝大部分，成本还低得多。
如果真正的损失集中在罕见情况——比如一次没识别出来的风险就能打穿本金——那蒸馏复制的那个「百分之九十几」几乎没有意义。因为要命的从来不是那百分之九十几。
这跟仓位那条判据是同一个东西的两种说法：不看平均，看尾部；不看通常会怎样，看最坏那次会怎样。
AMPLIFIER / 06
最后，给这篇自己配一条推翻它的条件
上面这套说法，如果哪天不成立了，会是因为什么？
我想得到的是这一条：如果出现一种方法，能让小模型不只学答案、而是学到老师内部的权衡——包括「在哪些地方老师自己也不确定」——那么上面第二层就不成立了。 这在技术上不是不可想象的方向。
而第一层——你只能用你想得到的题去测——我暂时想不出它怎么被绕过。它看起来不是技术限制，是认识上的限制。
所以如果要我赌哪一半会先被推翻，我赌第二层。但这只是我的判断，没有证据，请当成一句可以被打脸的话来读。