BRAIN / BRAIN × AI20 SEP 2026
脑科学与AI㉟｜做得再大，也治不好的三个毛病
上一篇讲 scaling law 什么时候到头，结论里有一句话：真正把 transformer 这条路卡死的，不是算力和数据，而是三样东西：搬运定速、不能边用边学、学得太慢。这三样，模型做多大都解决不了。
scaling 解决的是"数量"问题：同一种学法，读得更多、脑袋更大。这三个毛病是"种类"问题：学法本身的样子。马车加再多匹马，也跑不成火车。
10× 01 模型大10倍写字慢10倍 |
0次 02 训练完使用中更新参数 |
15万倍 03 比孩子多读的词 |
这句话只下了结论，没讲为什么。这一篇专门讲清楚：为什么有些毛病，越做大越治不好，有的甚至越做大越重。
BRAIN / 01
一、先立一个比方：仓库里背书的学生
把今天的大模型想成一个学生，他有三个习惯：
—他只在开学前读书。 读完考一次试，从此不再读，之后不管遇到什么新事，脑子里的东西都不变。—他读书特别慢。 别人读一本就懂的道理，他要读十几万本才懂。—他的书不在脑子里，在隔壁仓库。 每回答一个字，他都要把要用的书从仓库搬到桌上翻一遍，答完再放回去。
scaling 做的事，是让这个学生读更多的书、建更大的仓库。
问题是：读更多书，改不了"只在开学前读"；建更大的仓库，改不了"每个字都要搬一趟"，反而搬得更多；读书慢，只能靠读得更多来补，而世上的书是有限的。
下面一个一个拆。
BRAIN / 02
二、第一个毛病：搬运定速，做大反而更重
那道除法
本系列第 ⑫ 篇讲过，大模型写字是一个字一个字写的，每写一个字，都要把这一步用到的参数从内存搬到计算芯片上过一遍。所以写字速度有个上限：
每秒字数上限 = 内存带宽 ÷ 每个字要搬的量
第 ⑫ 篇的实测：一台内存带宽约 819G/秒的机器，跑一个每字要搬约 22G 的模型，819 ÷ 22 ≈ 37，理论上限每秒 37 个字，实测 19 个字。
这道算式里没有算力。芯片算得再快，东西搬不过来，只能干等。
为什么做大会更重
模型做大，就是参数变多，每个字要搬的量跟着变多，分母变大，速度变慢。
算一下：同一台机器，模型大一倍，每字要搬 44G，819 ÷ 44 ≈ 19，理论上限直接减半。模型做大 10 倍，在同样的通道上，写字慢 10 倍。
想不变慢，就得把通道（内存带宽）也加宽 10 倍。而通道恰恰是最难加宽的那一样。2024 年伯克利 Gholami 等人在《AI 与内存墙》一文里统计：过去二十年，芯片算力大约每两年涨 3 倍，内存带宽每两年只涨约 1.6 倍。算力跑得比通道快得多，差距每两年拉大一截。
这就是为什么今天最贵、最抢手的芯片部件之一是高带宽内存：大家缺的是通道，不是算力。
机器的补救：配菜员
现在主流的大模型用"专家混合"结构：总参数可以有几千亿，但每个字只唤醒其中一小部分，只搬那一小份。第 ⑫ 篇管它叫"门口站了个配菜员"。
这招很有效，但它是绕，不是拆：搬运这道工序还在，只是每次少搬一点。模型继续做大，配菜员也得越配越精，搬运量照样跟着涨。
脑是怎么做的
脑没有这道工序。记忆存在突触里，计算也发生在突触上，存的地方就是算的地方，不用搬。第 ⑫ 篇的说法：脑的肉，长在灶台上。
所以人脑大约 20 瓦就能运转（第 ㉛ 篇），不是因为脑的通道比电脑宽，是因为脑根本没有通道。
要让机器也不搬，得把"存"和"算"做进同一个零件里（存内计算），这等于把冰箱和灶台砌成一个东西，整个后厨要重建。这是换架构，不是把现在的模型做大。
BRAIN / 03
三、第二个毛病：不能边用边学，做大也改不了
它是一本印好的百科全书
大模型训练完就冻住了。你和它聊了一下午，它好像记住了你说的话，其实那些话只是还摆在它眼前的对话窗口里，像一张便利贴。对话结束，便利贴扔掉，它的参数一个数都没变。第 ㉘ 篇说过：下次见面，它对你一无所知。
打个比方：人像一个活着的专家，每天的经历都在改变他；大模型像一套印好的百科全书，印得再厚、再全，印完那一刻起就不会再长一个字。想加新内容，只能重印。
为什么不能随时"补一页"
那能不能用新资料接着训练，随时给它补一页？
可以，但会出一个三十多年前就发现的毛病。本系列第 ㉚ 篇讲过：1989 年 McCloskey 和 Cohen 发现，一个神经网络学会一组题，再用另一组题训练它，它很快把第一组忘得差不多，这叫"灾难性遗忘"。原因是模型的知识分散在所有参数里，新训练会把这些参数一起往新方向推，旧知识就被盖掉了，像在写满字的黑板上直接写新内容。
所以今天大公司的做法，是把所有资料混在一起、从头一次性学完，再冻住。要更新，就隔几个月重来一遍，每次几亿到几十亿美元。
为什么做大也改不了
要说公道话：研究发现，模型越大，遗忘确实会轻一些（如 Ramasesh 等 2022 年的研究）。脑袋大，新旧知识挤得没那么厉害。
但这只是减轻，不是治好。更关键的是，"训练完就冻住"这件事，是训练流程的性质，不是规模的性质。百科全书印得再厚，它还是印刷品；规模变了，"印完不再长"这一点不变。
机器的补救：便利贴和笔记本
今天的补救有两种：
—加长便利贴：对话窗口从几千字加长到几十万、上百万字。但便利贴还是便利贴，对话一结束就清空。而且便利贴越长，每个字要回头翻的内容越多，又回到了第一个毛病：要搬的东西更多了。—外挂笔记本：给它接一个资料库，用到时去查。这是"会查"，不是"学会"。第 ㉚ 篇说过：笔记本不等于学会。
脑是怎么做的
第 ㉚ 篇讲过，脑用两套系统分工：海马体一次就能记下新事，但容量小；大脑皮层学得慢，但学进去就稳。白天海马体先记，夜里睡觉时一遍遍"重播"给皮层，皮层一点一点吸收，和旧知识交织在一起。每次只改一点，新旧交错着学，所以不会把旧的盖掉。第 ㉝ 篇又补了一层：挑什么值得记，在事情刚结束的那几秒就开始了。
大模型缺的就是这个"海马体＋睡眠"。给它补上，是换学法，不是把百科全书印得更厚。
BRAIN / 04
四、第三个毛病：学得太慢，只能靠多读来补
那个 15 万倍
一个 13 岁的孩子，一辈子听过、读过的词大约 1 亿个（研究儿童语言习得的 BabyLM 项目的估算）。Meta 训练 Llama 3.1，用了约 15 万亿个词。
15 万亿 ÷ 1 亿 = 15 万。大模型读的字，是一个孩子的 15 万倍。 而这个孩子早就会说话、会讲道理、会察言观色了。
慢在哪
第 ㉘ 篇讲过两者学法的区别：
—人是"就近改"：一根连接变强还是变弱，看它两端的神经元，旁边再有多巴胺提示"刚才是好是坏"（第 ㉙ 篇）。看一两次就能记住一张新面孔。—模型是"全局算账"：每猜一次，算出整体错多少，再从最后一层倒着往回分摊，每个参数该负多少责、往哪调多少（反向传播）。精确、强大，但每次只调一点点，要海量例子才调得准。
而且人从一出生就不是白纸：几十亿年进化写好的结构，让孩子天生就偏向学语言、认人脸。模型是从一堆随机数字开始的。
为什么 scaling 治不了，反而撞墙
还是要说公道话：模型越大，每读一个字学到的越多，Kaplan 2020 年就发现了这一点。所以做大确实能提高一点效率。
但做大的模型需要的总数据更多，不是更少。按 2022 年 Chinchilla 的配比，每个参数大约要配 20 个词：模型大 10 倍，就要多读约 10 倍的书。
scaling 的本质，是用"读得更多"去补"学得太慢"。而人类写下的高质量文字是有限的，上一篇讲过，约 300 万亿词，按现在的速度大约 2028 年前后用完。数据墙，正是这种补法的尽头。 墙的根源不是书太少，是读得太慢。
脑是怎么做的
孩子学"烫"，被烫一次就够了。那一次有身体、有疼痛、有后果，一次的分量顶得上千万句"火是烫的"。第 ㉕ 篇说过：模型只能读到人类写下来的东西，没写下来的读不到；而身体的分量，大部分不在纸上。
BRAIN / 05
五、三个毛病，其实是一个
把三个毛病放在一起看，根子是同一个：transformer 把"学"和"用"、"存"和"算"拆开了。
—学和用分开，训练时学、使用时不学：不能边用边学。—学的方式是集中、离线、全局算账，所以只能靠海量数据：学得太慢。
而脑恰恰是三样长在一起：存就是算，用就是学，学是就近、一点一点、一辈子都在发生。第 ㉘ 篇那句话放在这里正合适：脑是长出来的，transformer 是造出来的。
scaling 是在"拆开"这个前提下，把每一块都做大。这三个毛病来自"拆开"本身，所以做大治不了，有的还越做越重。
数量堆不出种类。把仓库建得再大，学生也不会变成一个边走边学的人。
BRAIN / 06
六、出现什么，就算我错了
这个判断要能被检验。以下任何一条出现，我就承认"做大治不好"说错了，至少说早了：
—一个主流大模型，能在使用中持续更新自己的参数，而且不遗忘旧本事，靠的仍然只是把 transformer 做大，而不是加了新的记忆结构。—同等能力需要的训练数据降了 100 倍以上，而降的原因主要是规模本身，不是换了学法。—内存带宽的增速追上了算力，或者"存算合一"的芯片成为大模型的主流硬件。如果是后者，等于换了架构，反而证明了本文的判断。
这三条都是公开可查的，每年看一次就够。
BRAIN / 07
七、最强的反方
—"补丁够用了。" 配菜员、长便利贴、外挂笔记本、定期重训，加起来已经让 AI 很好用了，根治与否不重要。这一条对"有没有用"成立，对"会不会到头"不成立：补丁的成本都随规模上涨，而且每打一个补丁，往往会加重另一个毛病（便利贴越长，搬得越多）。—"大模型可能自己在内部长出了学习能力。" 有研究发现，大模型能在对话里"现学"新规则（所谓上下文学习）。这是真的，但学到的东西只活在这一轮便利贴里，对话结束就没了，参数不变。—"新架构其实已经在路上。" 一边用一边训练的研究、存算合一的芯片、带记忆模块的模型，都有人在做。我同意。但这恰好是本文的意思：出路在换学法、换架构，不在把现在这套做大。
BRAIN / 08
八、对投资的一点含义
—按毛病找受益者。 搬运定速最直接：高带宽内存、更快的芯片互联，卖的都是"通道"。只要模型还在做大，通道就是最紧的那一样。—按毛病找风险。 "模型越大护城河越深"的逻辑，要打折扣：大模型越大越贵越慢，而这三个毛病谁也没治好，谁先在架构上治好一个，谁就可能改写排名。
BRAIN / 09
九、边界
—三个毛病的生物学对照，来自本系列前面各篇引用的研究；把它们合成"一个根子"，是我的归纳，不是任何一篇论文的结论。—"模型越大遗忘越轻""越大每字学得越多"都有研究支持，本文没有否认规模的作用，只是说它治标不治本。—孩子 1 亿词是研究者的估算，不同估法会差几倍；但 15 万倍差几倍，结论不变。—算力与带宽增速取自 Gholami 等人对过去二十年硬件的统计，未来趋势可能改变。
BRAIN / 10
十、三行，留着复习
```
搬运定速，做大更重 速度 = 带宽 ÷ 每字搬运量；模型大10倍慢10倍；算力每两年×3，带宽只×1.6
冻住不学，做大不改 训练完就是印好的百科全书；补一页会灾难性遗忘；便利贴越长搬得越多
学得太慢，多读来补 比孩子多读15万倍；scaling就是用多读补慢学，数据墙是这条补法的尽头
```