BRAIN / BRAIN × AI20 SEP 2026
脑科学与AI㉞｜scaling law 会到头吗：到头的是杠杆，不是曲线
在 transformer 这套架构不变的前提下，规模定律（scaling law）什么时候到头？还是会一直涨下去？这个问题吵了两年吵不清，因为吵架的双方说的往往不是同一条曲线。本篇把问题拆开，每个数字给来源，能复算的都给算式。它接着本系列第 ⑫（搬运定速）、⑬（复制权）、⑭（知识是长成的）、㉕（学的是思考的产物）、㉘（长出来 vs 造出来）、㉚（学新忘旧）、㉛（20 瓦）、㉜（学不会往回传）篇往下讲。
scaling law 不是一条曲线，是三条。猜字那条数学上永远不到头，但已经贵到不值；干活那条还在加速；真正会把 transformer 卡住的，不是算力和数据，而是它只会一种学法。
100× 01 每压一半误差要乘的算力 |
4个月 02 AI任务长度翻倍周期 |
15万倍 03 大模型比孩子多读的词 |
BRAIN / 01
零、一句话结论
"scaling law"不是一条曲线，是三条：猜字错误率（预训练 loss）、能干多难多长的活（能力）、有没有人付钱（经济价值）。第一条在数学上永远不到头，但误差里近九成已是压不动的地板，剩下能压的那一截每压一半都要乘 100 倍算力；第二条到今天还没弯，反而在加速；第三条才刚起步。所以回答是：预训练那条曲线 2025 年已经弯了（事实），2028–2030 年会在数据和钱上撞墙（高概率推测）；但能力曲线靠换杠杆（强化学习、推理时计算、智能体）大概率还能再翻好几倍；真正把 transformer 这条路卡死的，不是算力和数据，是本系列已经写过的那几样东西——持续学习、样本效率、搬运定速——这些 scaling 不管多大都解决不了。
下面把这句话拆开，每个数字给来源，能复算的都给算式。
BRAIN / 02
一、先把"到头"拆开：到底问的是哪条曲线
日常比方：问"一个学生的进步什么时候到头"，可以指三件完全不同的事——
—能做什么难度的题、能独立完成多长的项目（下游能力）；
错题率降到接近零之后，还能不能继续降，是一个数学问题；能不能把一个项目独立做完，是一个结构问题；有没有人付钱，是一个市场问题。三者相关，但不是一回事。大多数"scaling law 到头了吗"的争论，吵的双方说的根本不是同一条曲线。
| 曲线 | 测什么 | 现状（2026-10） | 性质 |
| A 预训练 loss | 猜下一个字猜错多少 | 可预测、平滑，误差约九成已是地板 | 幂律，数学上不到头，但边际收益递减到不值 |
| B 下游能力 | 考试分数、能完成多长的任务 | 阶梯式跳变；METR 任务时长曲线还在加速 | 阈值效应，难预测 |
| C 经济价值 | 替代了多少付费工作 | 刚起步；推理价格每年降约 10 倍 | 市场决定，与 A 的关系最松 |
BRAIN / 03
二、幂律本身：数学上不到头，但每一步越来越贵
2.1 比方
把一间屋子的灰扫干净。规则是：每一遍扫掉剩下灰尘的一半。灰尘永远扫不到零（这是"数学上不到头"），但第一遍扫掉了整间屋子一半的灰，第十遍只扫掉千分之一，花的力气一样。这就是幂律：曲线不会停，但每一遍的收获递减，而且是按固定比例递减。
再加一条：屋子地板本身是灰色的。你扫到最后发现，有一层"灰"是地板颜色，怎么扫都在。这就是不可约损失——文字本身的随机性。同一句"今天天气____"，后面可以是"好""差""真热"，世界上最好的模型也猜不准，因为答案本来就不止一个。
2.2 原始公式（事实，已核原文）
Kaplan 等，OpenAI，2020-01（arXiv 2001.08361）。三条幂律，拟合时没有放不可约项：
—参数：L(N) = (8.8×10¹³ / N)^0.076—数据：L(D) = (5.4×10¹³ / D)^0.095—算力：L(C) = (3.1×10⁸ PF-days / C)^0.050
复算一下"算力 vs 错误率"这条：算力乘 10，loss 乘 10^(−0.05) = 0.891，降 11%；乘 100，降 21%；乘 1000，降 29%。砸一千倍算力，错误率只降三成。这就是幂律指数 0.05 的含义。
Kaplan 原文第 6.3 节自己写了：趋势"必然最终走平，因为自然语言有非零的熵"，并且他们的算力曲线和数据曲线外推下去会自相矛盾，矛盾点约在 10¹² 参数、10¹² 词、loss 约 1.7 nats，推测那是"transformer 语言模型达到最高性能的点"。后来事实是，这个点在算力上（约 8.6×10²³ FLOP）早就被 GPT-4（约 2×10²⁵）跨过去了，曲线没有在那里断——断的是 Kaplan 的拟合，不是现象。这件事值得记住：拟合公式会错，但"越大越好、收益递减"这个现象两次换公式都没变。
Hoffmann 等（Chinchilla），DeepMind，2022-03（arXiv 2203.15556）。换成带不可约项的形式：
L(N, D) = 1.69 + 406.4 / N^0.34 + 410.7 / D^0.28
三项分别是：地板颜色（E = 1.69 nats/词，原文称"自然文本的熵"）、模型太小带来的误差（随参数 N 降）、数据太少带来的误差（随数据 D 降）。结论：算力固定时，参数和数据应该同步放大，约每个参数配 20 个词。
2.3 用 Chinchilla 公式算一遍"还剩多少路"（复算）
| 模型规模 | 参数 N | 数据 D | 训练算力 (6ND) | 预测 loss | 可降部分 | 地板占比 |
| Chinchilla 本尊 | 700 亿 | 1.4 万亿 | 5.9×10²³ | 1.937 | 0.247 | 87% |
| 1 万亿 / 20 万亿 | 10¹² | 2×10¹³ | 1.2×10²⁶ | 1.801 | 0.111 | 94% |
| 10 万亿 / 200 万亿 | 10¹³ | 2×10¹⁴ | 1.2×10²⁸ | 1.746 | 0.056 | 97% |
| 把全部人类文字（300 万亿）用光 | 1.5×10¹³ | 3×10¹⁴ | 2.7×10²⁸ | 1.740 | 0.050 | 97% |
| Epoch 说 2030 可行的最大一次训练 | 4×10¹³ | 8×10¹⁴ | 2×10²⁹ | 1.727 | 0.037 | 98% |
规律很干净：算力每乘 100 倍，离地板的距离减半（参数项和数据项合起来对算力的指数约 0.15，100^0.15 ≈ 2）。按这个公式，2022 年 Chinchilla 的误差里已有 87% 是地板、能降的只剩 13%；到 2030 年最大可行训练，地板占到 98%、能降的只剩 2%，再压一半仍要乘 100 倍算力。
两个重要提醒（这是推测与事实的分界）：
—E = 1.69 是拟合出来的参数，不是测出来的物理常数。换数据集、换分词方式，它会变。Shannon 1951 年用人猜字估计英语约 0.6–1.3 比特/字符，Chinchilla 的 E 换算过来大致在这个范围内，所以量级可信，精确值不可信。—这张表只说 loss。loss 上的"剩 2%"不等于能力上的"剩 2%"，这是下面第四节的核心。
BRAIN / 04
三、真正的天花板来自哪里：五堵墙
3.1 第一堵墙：文字本身的随机性（不可约熵）
已经在上面说清：这堵墙是硬的、数学的，但它只挡 loss，不直接挡能力。而且它只对"猜人写的下一个字"成立。换成猜数学证明的下一步、猜代码跑不跑得通，地板是另一块地板，可能低得多（因为答案唯一）。这正是 2024 年之后行业转向数学和代码做强化学习的底层原因之一。
3.2 第二堵墙：人类写下的字快被读完了（数据墙）
比方：一个孩子要靠读书长大，而全世界的书是有限的。读完之后要么重读（有用，但边际递减），要么自己写书给自己读（合成数据），要么去读书以外的东西（图像、视频、操作记录）。
数字（Epoch AI，2024-06，《Will we run out of data?》，核原页）：
—可用的高质量公开人类文字，去重去重复后约 300 万亿词（90% 置信区间 100 万亿到 1000 万亿）。—按算力最优配比用，2028 年前后用完；若像 Llama 3 那样"超训"5 倍（用远多于最优配比的数据），2027 年；整体区间 2026–2032。—合成数据"只在数学、代码这类窄领域被可靠证明有效"；非公开数据（邮件、聊天）因法律与碎片化"不太可能大规模使用"。
复算一下数据墙对应的训练规模：300 万亿词按每参数 20 词配，模型 15 万亿参数，算力 6×1.5×10¹³×3×10¹⁴ ≈ 2.7×10²⁸ FLOP，约 GPT-4 的 1000 倍。也就是说，纯靠人类文字做算力最优的预训练，上限大约在 GPT-4 的一千倍左右，之后只能靠超训、重读和非文字数据。
Epoch 2024-08 的《2030 可行性》报告补了一句：加上图像、视频、音频，2030 年可用数据约 400 万亿到 2 京（2×10¹⁶）词，能支撑 6×10²⁸ 到 2×10³² FLOP。也就是说多模态把数据墙往后推了，但推多远取决于视频里"有多少可学的东西"，这件事到今天没有人给出可靠数字（查不到，只有"大概能把数据翻三倍"这类估计）。
另一个事实（Llama 3.1 技术报告 / BabyLM 挑战赛，Warstadt 等）：一个 13 岁孩子一生听过约 1 亿词，Llama 3.1 用了 15 万亿词，15 万倍。这接本系列第 ㉘ 篇"长出来 vs 造出来"的论点：数据墙是 transformer 样本效率低的直接后果，不是数据少。
3.3 第三堵墙：电、芯片、钱（物理与资金）
比方：扫地的人力一直在加，但房东只给这么多电，扫帚厂一年只造这么多把，而且扫一遍的钱已经抵得上一座城市一年的电费。
数字：
—前沿训练算力 2010–2024 年每年约 4–5 倍增长（Epoch 2024-05）。—Epoch 2024-08：到 2030 年，2×10²⁹ FLOP 的单次训练"很可能可行"，约 GPT-4 的一万倍。四个约束各自允许的上限：电力（单园区 1–5 GW 对应 1–3×10²⁹；跨地域 2–45 GW 对应 2×10²⁸ 到 2×10³⁰）、芯片（中位数 1 亿块 H100 等效，对应 9×10²⁹）、数据（6×10²⁸ 到 2×10³²）、延迟墙（3×10³⁰ 到 10³²）。最紧的是电和芯片，不是数据。一次 2×10²⁹ 的训练约需 6 GW 电——六个核电机组同时只干这一件事。—Epoch 另有一条"训练时长不能再长"的分析：因为晚几个月开训就能用上更好的芯片和算法，单次训练超过约 9 个月就不划算；时长自 2020 年每年增 1.4 倍，约 2027 年 5 月触顶（90% 区间 2025-08 到 2029-09）。时长贡献了 2018 年以来算力增长的约三分之一，这一块到顶之后只能靠堆更多芯片。—现实对照（AI 2027 追踪站引用 Epoch 数据，2026-09-06 更新）：2026 年前沿训练约 10^26.5 到 10^27 FLOP。复算：若从 GPT-4 的 2×10²⁵（2023-03）按每年 4 倍增长，2026-09 应到 2.6×10²⁷；实际 3×10²⁶ 到 10²⁷，折合每年 2–3 倍。预训练算力增速已经慢于历史趋势，这是事实。原因两种解释并存：撞墙了，或者钱改投到强化学习和推理上了（见第四节）。—钱：四大云厂（亚马逊、微软、谷歌、Meta）2026 年资本开支合计约 7250 亿美元，比 2025 年的 4100 亿增 77%；华尔街预估 2027 年超 1 万亿（多家财经媒体综合 2026 年一季报指引）。OpenAI 已签约 10 GW 算力，Stargate 七个站点规划 9.6 GW，但 2026-04 实际在运行的只有阿比林的 0.3 GW（Epoch 2026-04-17）。—电：IEA 2025-04《Energy and AI》：全球数据中心用电 2024 年 415 TWh（占全球 1.5%），2030 年约 945 TWh，翻 2.3 倍，超过今天日本全国用电量。
我自己的推算（标明是推算）：2×10²⁹ FLOP 若用 H100 等效芯片、40% 利用率、跑 9 个月，约需 2100 万块；按每块 2.5 万到 4 万美元，光芯片 5000–8000 亿美元。用新一代芯片会便宜几倍，但量级在几千亿美元。这是一次训练的钱，不是一年的钱。所以"2030 年技术上可行"和"2030 年有人真的做"之间，隔着一个商业问题：这一次训练换来的 loss 从 1.74 降到 1.73，值几千亿吗？
3.4 第四堵墙：transformer 这套架构本身（接本系列）
这堵墙本系列已经写过多篇，这里只点名、不重复，并说清为什么 scaling 解决不了：
—搬运定速（⑫）：推理速度 = 带宽 ÷ 每字搬运量，算式里没有算力。模型越大，每字搬得越多，推理越慢越贵。scaling 让这堵墙更厚，不是更薄。专家混合是绕，不是拆。—学新忘旧（㉚）：今天的大模型一次训练后冻住，不能边用边学，新知识只能贴便利贴（上下文）或外挂笔记本（检索）。loss 降到地板也改变不了这一点，因为这是训练流程的性质，不是规模的性质。—样本效率（㉘、本篇 3.2）：15 万倍的数据差距，是 transformer 用反向传播从零学习的代价。scaling 是在用"读得更多"来补"学得不快"，而数据墙正是这条补法的尽头。—学的是思考的产物（㉕）：没写下来的东西学不到。这决定了即便文字 loss 到地板，模型学到的也是"人类文字能承载的那部分智能"，身体、经历、默会判断不在里面。
把这四条合起来说一句大白话：scaling law 回答的是"读同一类东西读得更多会怎样"，而 transformer 真正的局限是"它只会这一种学法"。前者是数量问题，后者是种类问题，数量堆不出种类。
3.5 第五堵墙：loss 降了，能力和钱不一定跟着来
这是最容易被忽略、也最重要的一堵。
比方：学生错题率从 10% 降到 5%，可能什么都没变；从 5% 降到 4% 的那一刻，突然会做压轴题了——因为压轴题要连对二十步，每步错误率得低到某个门槛以下才可能全对。loss 是平滑的，能力是阶梯的。
证据（事实）：
—Du 等 2024（arXiv 2403.15796）：不同大小、不同数据量的 transformer 只要预训练 loss 相同，下游表现就相同；多个任务在 loss 降到某个门槛以下才从"随机猜"跳起来，门槛之上无论参数多少都是零分。所以loss 是能力的正确预测变量，但关系是阶梯而非直线。—Schaeffer 等 2023（"涌现是海市蜃楼"）：很多"突然涌现"是打分方式造成的（全对才算对 vs 部分给分），换成连续评分就变平滑。两篇合起来：能力曲线是不是阶梯，取决于任务本身要不要"连对多步"——而现实世界里值钱的活，恰恰大多要连对多步。—METR（2025-03 原文；2026-01 更新）：模型能以 50% 成功率完成的任务，按人类所需时长衡量，2019–2025 年每 7 个月翻一倍；只看 2024 年以后，约 4 个月翻一倍。从 Claude 3.7 Sonnet（约 60 分钟，2025-02）到 Claude Opus 4.6（约 718 分钟，约 12 小时）一年涨 12 倍。两个重要脚注：80% 成功率的时长比 50% 的短得多（可靠性要求一高，能力掉得很快）；任务集是软件和推理类，不代表所有工作。—Sara Hooker（前 Cohere 研究负责人，2026-02《On the Slow Death of Scaling》）：Falcon 180B 已被十分之一大小的模型（Llama-3 8B、Gemma 27B）轻松超过；scaling law 只能可靠预测预训练 loss，和下游表现相关性差；下一波进步来自"适应的成本"而不是模型大小。
所以第五堵墙的形状是：loss 每降一点越来越贵（递减），但降到门槛时能力会跳（不递减），而能力能不能变成钱又是另一道门槛（可靠性 80% 以上才有人敢用）。这三道关系叠在一起，"到头"没有一个单一答案。
BRAIN / 05
四、哪些曲线已经弯了，哪些刚开始
4.1 已经弯的：预训练大算力（事实为主）
时间线：
—2024-11：Ilya Sutskever 对路透社说"扩大预训练的结果已经停滞（plateaued）"，"2010 年代是 scaling 的年代，现在回到探索与发现的年代"；同月 The Information 报道 OpenAI 的 Orion 相对 GPT-4 的提升远小于 GPT-3 到 GPT-4。—2024-12：Ilya 在 NeurIPS 讲"我们所知的预训练将会结束"，理由是数据只有一个互联网。—2025-02：GPT-4.5 发布，被普遍认为平淡；OpenAI 自己也没敢叫 GPT-5。—2025-08：GPT-5 发布。Epoch（2025-09-26）分析：GPT-5 的训练算力很可能少于 GPT-4.5，是 GPT 系列第一次倒退（历史上每代约乘 100）。原因是后训练新技术让小模型打败了大模型，边际上"做后训练比做预训练划算约 30 倍"。Epoch 同时预测 GPT-6 会回到更大的预训练。—2026：GPT-5.5 于 2026-04-23 发布（维基百科有条目）；有媒体说它是自 GPT-4.5 以来第一次"从头重做预训练"，这一点我只在二手媒体看到，维基条目没有确认，标为未核。前沿训练规模 2026 年约 10^26.5 到 10^27（见 3.3），落后于 4 倍/年趋势。
判断：预训练这条曲线弯了，但没有断。弯的原因里，"数据和成本撞墙"与"钱改投强化学习更划算"两种成分都有，无法从外部拆开比例。可观察的分辨方法：看 2027 年有没有 ≥10²⁸ FLOP 的预训练发生——若有，是改投；若没有，是撞墙。
4.2 刚开始但很快并轨：强化学习训练（RL scaling）
比方：预训练是读书，强化学习是做题——做完对答案，对了加分，错了扣分。做题比读书贵得多（每道题模型要自己写几千字的草稿），但能学到读书学不到的东西（怎么把多步连对）。
数字：
—o1（2024-09）到 o3（2024-12）：强化学习训练算力4 个月增 10 倍（Epoch 2025-05，引 OpenAI 公开图）。—DeepSeek-R1（2025-01）强化学习阶段约 6×10²³ FLOP，约 100 万美元，约占基座预训练的 20%。—Dario Amodei 2025-01：到那时为止推理训练花到约 100 万美元一个模型。—Epoch 2025-05：若 10 倍/几个月的速度持续，"大概一年内"强化学习算力会追上总训练算力的前沿，之后只能跟着总算力一起每年约 4 倍涨，"推理模型的进步可能随之放缓"。各实验室 2025 年初自己承认这个速度"维持不了超过 1–2 年"（Epoch 2025 年度十大更新第 8 条）。—Toby Ord 2025-10：按公开数据拟合，强化学习算力乘 10 倍带来的提升≈推理时算力乘 3 倍；基准分数从 20% 到 80%，要么推理算力乘 100，要么强化学习算力乘 10000；要靠纯强化学习换一个"GPT 代际"（相当于预训练乘 100）需要强化学习算力乘约 100 万倍。Grok 4（2025-07）据称是第一个强化学习算力≈预训练算力的模型，过了这个点，再乘 10 倍强化学习就等于总成本乘 10 倍，不再是"顺手多做一点"。
判断：强化学习这条曲线 2024–2025 年看着陡，是因为起点低（只占总算力的零头），到 2026 年它已经或即将并入总算力的 4 倍/年。它真正的价值不在陡，而在它换了一块地板——数学和代码的"下一步"有唯一答案，没有文字的 1.69 nats 随机性，所以能力能一直往上顶到人类专家以上。它的墙在别处：可验证的题目有限（Epoch 列的第一约束），验证不了的领域（写作、判断、人际）学不到。这正好接本系列第 ㉗ 篇"四层可预测性"：第一层能核对的事进步最快，不是巧合，是强化学习的墙决定的。
4.3 对数式、每次都付钱：推理时计算（test-time compute）
比方：读书是一次性学费，做题训练是补习费，推理时计算是每次考试多给的时间。多给时间确实能提分，但提分和时间是对数关系（时间乘 10 提一截，再乘 10 再提一小截），而且每次考试都得重新付。
事实：o1 系列的公开曲线显示准确率随推理算力的对数线性上升；AIME 2025 上无推理的 Claude 3.5 Sonnet 12.9%，o3-mini 96.1%（二手综述引用，数字量级可信）。Epoch 2025 年度更新：同等能力的推理价格 2023-04 到 2025-03 每年降超过 10 倍。
判断：推理时计算是一条真实但有上限的曲线，它把一部分"训练一次摊销"的成本换成"每次使用付费"的成本。这对投资者的意义比对研究者大（见第六节）：它把需求从一次性训练变成了持续性用电。
4.4 没弯、反而加速：能力时间线（METR）
这是整个问题里最硬的"没到头"证据。50% 成功率任务时长，2019–2025 每 7 个月翻倍，2024 年后约 4 个月翻倍，最近一年 12 倍。它混合了预训练、强化学习、推理时计算和工程脚手架的全部贡献，所以它测的不是任何一条 scaling law，而是"所有杠杆加起来"的结果。
两个脚注再说一次：80% 可靠性的时长远短于 50%；任务集偏软件。但只要这条曲线不弯，说"AI 到头了"就是错的；它什么时候弯，是下面情景判断里最关键的证伪信号。
4.5 一直在涨：效率曲线（算法进步）
DeepSeek V3 用 Llama 3 十分之一的算力达到最好的开源水平（Epoch 2025 年度更新第 7 条）；开源落后闭源前沿不到一年（第 2 条）；Falcon 180B 被十分之一大小的模型超过（Hooker 2026）。效率曲线的意义是：同一个能力的价格在崩，这接本系列第 ⑬ 篇"可复制的趋零"。对"scaling 到头"的含义是：即便前沿不再变大，追赶者用更少的钱做到同样的事，这件事还会持续很多年。
BRAIN / 06
五、概率化判断：分情景，给证伪信号
先定义"到头"，不然没法下注。我用两个定义：
—预训练到头：连续两年前沿训练算力增长低于每年 3 倍，且没有 ≥10²⁸ FLOP 的预训练发生。—能力到头：METR 50% 任务时长翻倍时间拉长到 18 个月以上，并持续一年。
概率是我的主观判断，依据上文证据；每条给可观察的证伪信号。
到 2028 年底
| 情景 | 概率 | 证伪/证实信号 |
| 预训练算力增速持续低于 3 倍/年，但 2027–2028 至少出现一次 ≥10²⁸ 的训练（"弯但没断"） | 55% | 看 Epoch 训练算力数据库是否录入 ≥10²⁸ 的模型 |
| 预训练按上面定义"到头"（没人再做大预训练） | 25% | 2028 年底仍无 ≥10²⁸ 记录；实验室公开说"数据用完了" |
| 预训练回到 4 倍/年以上 | 20% | 2027 年出现 ≥3×10²⁸ 的训练 |
| 能力曲线（METR）翻倍时间仍 ≤ 12 个月 | 75% | METR 季度更新 |
| 能力按定义"到头" | 10% | METR 翻倍时间 >18 个月持续一年 |
| 数据墙被实验室公开承认为主约束 | 50% | 技术报告里出现"多轮重读""合成占比过半" |
到 2030 年底
| 情景 | 概率 | 信号 |
| 真的有人跑了 ≥10²⁹ FLOP 的训练（Epoch 说可行） | 30% | 6 GW 级单任务集群实际投运；电网接入公告 |
| 预训练到头（定义同上） | 40% | 同上 |
| 能力曲线仍在翻倍（≤12 个月） | 50% | METR |
| 能力到头 | 25% | METR；且推理价格下降放缓到每年 <3 倍 |
| 前沿进步的主力来自 transformer 之外的架构变化（持续学习、记忆、非反向传播等） | 25% | 头部模型技术报告里出现"训练后权重持续更新" |
| 四大云厂年资本开支相对 2026 年下降 | 35% | 季报指引 |
到 2035 年
| 情景 | 概率 | 信号 |
| transformer 范式内三条曲线（预训练+强化学习+推理时）仍是前沿主力 | 35% | 头部模型仍是"训练一次冻住"的 transformer |
| 主力换成能边用边学的架构（第 ㉚ 篇说的"海马体"），transformer 退为部件 | 45% | 出现"每份拷贝长出自己历史"的个体化模型（第 ⑬ 篇预言的洗牌） |
| AI 整体停滞十年（"AI 冬天"） | 10% | 资本开支连续三年下降且 METR 平 |
| 其他（不可预见） | 10% | — |
一句话压缩：2028 年之前"预训练弯、能力不弯"是基准情景；2030 年前后是预训练在数据和钱上同时撞墙的高概率窗口；2035 年我更看好范式换掉而不是范式到头。
BRAIN / 07
六、最强的反方
要诚实地写反方，因为上面的判断有几处站在比较松的地面上。
反方一：loss 上的"剩 2%"是假精确。E = 1.69 是拟合参数，Epoch 2024 年复现 Chinchilla 时发现原文拟合有误、常数要改（这一点未逐一核验数字）。更要紧的是，就算 loss 只剩 2%，这 2% 可能恰好是"连对二十步"所需的那一截——第五堵墙说了，loss 是平滑的，能力是阶梯的。所以"loss 边际递减"不能直接推出"能力边际递减"。我接受这一条，这也是为什么情景表里能力曲线的"不弯"概率我给得比预训练高得多。
反方二：数据墙是纸老虎。三个绕法都在推进：多模态（Epoch 自己说 2030 年可到 2×10¹⁶ 词级）、合成数据（2024 年只在数学代码证明有效，2026 年已有把合成数据放进预训练主体的报道，但大规模效果我没核到可靠数字）、强化学习环境（题目可以无限生成）。如果三条里有一条大规模成立，300 万亿词就不是墙而是台阶。
反方三：每次说"到头"都被新杠杆接上。参数（2020）→数据配比（2022）→强化学习（2024）→推理时计算（2024）→智能体和工具（2025–2026）。"scaling law 到头"每次说的都是上一根杠杆。范式没变，杠杆一直换。按这个历史，正确的预期是 2027–2028 年还会出现一根我今天叫不出名字的杠杆。这是对我"2030 撞墙"判断最有力的反驳。
反方四：METR 曲线在加速。如果到头了，这条应该先弯，它反而从 7 个月缩到 4 个月。没有比这更硬的反证。我的回应是：它测的是软件类任务，正是强化学习最拿手的"可核对"领域；它在别的领域是否同步，查不到对应数据。
反方五：经济价值不需要前沿进步。Epoch 2025 年度第 10 条：AI 的价值主要来自"广泛的自动化"，不是研发加速。现有能力（12 小时任务、80% 可靠性之下的那一截）扩散到全部行业就是十年的生意，前沿到不到头和这十年无关。这一条我完全同意——它说明"scaling 到头"和"AI 投资到头"是两个问题。
BRAIN / 08
七、对投资者的含义（简短）
—算力账单是"换杠杆不换账单"。预训练弯了，钱转到强化学习和推理上，总资本开支 2026 年 7250 亿、2027 年预估破万亿。但账单的性质变了：训练是一次性、推理是持续性；推理价格每年降 10 倍、用量涨更快。量价两头都在剧烈变，算力需求总量看涨，单位利润率看跌。—谁受益，按"墙"来找。最紧的墙是电和芯片，受益的是电力、变压器、冷却、园区（6 GW 一次训练、945 TWh）。第 ⑫ 篇的"搬运定速"指向内存带宽（HBM）而不是算力峰值。推理占比上升指向推理专用芯片（博通与 OpenAI 的 10 GW 定制芯片合同、AMD 6 GW）。—谁有风险。押"更大模型永远领先"溢价的闭源实验室：开源落后不到一年，Falcon 180B 被十分之一大小的模型超过。一旦预训练不再是护城河，护城河就只剩分发、数据飞轮和推理成本。—两个最该盯的仪表。一是 METR 翻倍时间——它弯而资本开支不弯，就是泡沫信号；二是 2027 年有没有 ≥10²⁸ 的预训练——有，说明前沿还在砸钱做大；没有，说明行业已默认预训练到头，估值逻辑要重写。
BRAIN / 09
八、三行，留着复习
```
三条曲线不是一条 loss 永远不到头但剩两成每步天价；能力是阶梯还在加速；经济价值刚起步
墙不在算力在种类 电和芯片 2030 前后撞墙是高概率；真正卡死的是只会一种学法：不能边用边学、样本效率差 15 万倍
到头的是杠杆不是范式 每次"到头"都是上一根杠杆；2035 年更可能是换架构而不是停下来
```
BRAIN / 10
附：实际核到的来源（按核验状态标注）
直接核过原文或原页：
—Kaplan et al., *Scaling Laws for Neural Language Models*, OpenAI, 2020-01, arXiv 2001.08361（PDF 全文，第 6.3 节"矛盾与猜想"）—Hoffmann et al., *Training Compute-Optimal Large Language Models*（Chinchilla），DeepMind，2022-03，arXiv 2203.15556（PDF 全文，公式 10）—Epoch AI, *Will we run out of data? Limits of LLM scaling based on human-generated data*, 2024-06-06—Epoch AI, *Can AI scaling continue through 2030?*, 2024-08—Epoch AI, *Training compute of frontier AI models grows by 4-5x per year*, 2024-05-28—Epoch AI, *Frontier LLM training runs can't get much longer*（数据洞察）—Epoch AI, *How far can reasoning models scale?*, 2025-05-09—Epoch AI, *Why GPT-5 used less training compute than GPT-4.5 (but GPT-6 probably won't)*, 2025-09-26—Epoch AI, *Top 10 data insights and gradient updates of 2025*—Epoch AI, *OpenAI Stargate: where the US sites stand*, 2026-04-17—Toby Ord, *How well does RL scale?*, 2025-10-20—METR, *Measuring AI ability to complete long tasks*, 2025-03-19（2026-01 更新数字来自二手转述，见下）—Sara Hooker, *On the Slow Death of Scaling*, SSRN / Substack, 2026-02-10—Du et al., *Understanding Emergent Abilities of Language Models from the Loss Perspective*, 2024, arXiv 2403.15796（摘要页）—AI 2027 Tracker, 训练算力条目, 2026-09-06 更新（引 Epoch 数据）—Wikipedia, *GPT-5.5*（仅确认 2026-04-23 发布日期；无训练规模信息）
二手或综述转述（量级可信、精确数字未核原文）：
—路透社 2024-11 Ilya Sutskever 访谈；The Information 2024-11 Orion 报道—IEA, *Energy and AI*, 2025-04（415 TWh → 945 TWh）—四大云厂 2026 年资本开支 7250 亿（多家财经媒体综合 2026 年一季报）—METR 2026-01 更新（4 个月翻倍、Opus 4.6 约 718 分钟）—BabyLM / Warstadt：孩子 1 亿词 vs Llama 3.1 15 万亿词—Schaeffer et al. 2023 "涌现是海市蜃楼"—AIME 2025 对比（12.9% vs 96.1%）—GPT-5.5 "从头重做预训练"的说法（仅媒体，未确认）
查不到或未核：
—2026 年合成数据在预训练主体中的大规模效果数字—Epoch 2024 复现 Chinchilla 的修正常数（凭记忆提及，未核）—任何实验室对 2026 年前沿模型训练 FLOP 的官方披露