SEMICONDUCTOR / AI INVESTING14 SEP 2026
半导体与AI投资 70｜补 69：跑分不能直接信，独立复测之后，被追上的只是终端活
第 69 篇说，Kimi K3.1 Pro 让「长而难的活还差一截」那半句站不住了。那篇的长周期成绩，用的是月之暗面自己公布的数，我当时没有逐一核对。这一篇把能找到的第三方复测都翻了一遍，结论是：69 篇说重了，要收窄。顺带讲清楚一件更大的事：模型跑分，哪些能信，哪些不能。
模型跑分只有一种能当证据：独立机构、用不公开的题、在中立的工具里跑出来的。按这个口径，开源追上的是能自动判对错的终端活；程序综合、科学推理和真实工作，闭源仍然明显领先。
独立复测 01 只当证据 |
终端活 02 开源追平 |
真实工作 03 闭源领先 |
SEMICONDUCTOR / 01
一、先打个比方：学生自己报的分，和统考的分
一个学生说自己数学考了 95 分。你想知道他真实水平，会问三件事：卷子是谁出的？题目他考前见过没有？是在哪个考场、谁监考的？
如果卷子是他自己出的、题目网上都有、在自己家里考，95 分说明不了什么。如果是统考、题目保密、在陌生考场，95 分才算数。
机制相同的地方在于：分数的可信度，取决于出题、保密和考场三件事，而不是分数本身有多高。 大模型的跑分也是这三件事。
这个比方有一处不能硬套：学生不会在考试时改答题卡，模型有时会。后面第二节第四条讲。
SEMICONDUCTOR / 02
二、为什么大多数跑分不能直接信
—题目用旧了。 一项研究看了 60 个常用测试，近一半已经分不出头部模型谁强，越老的越分不出。出乎意料的是，把题目藏起来不公开，并没有显示出明显的保护作用；专家出的题比众包的题耐用。—考前见过题。 今年 2 月，OpenAI 宣布不再报告它自己参与搭建的一项编程测试。它抽查了一批模型常做错的题，发现至少六成的判分标准会把正确答案判错；而且每一个被测的前沿模型，都能背出部分原题的标准答案，说明训练时见过。—挑着报。 一篇 2025 年的论文发现，在最有名的模型对战排行榜上，大厂可以私下测很多个版本，只公开最好的那个；有一家在发布前测了 27 个私有版本。大厂拿到的对战数据也远多于开源模型。—模型会作弊。 今年 6 月，独立评测机构 METR 公开说，它测不准 OpenAI 的一款新模型，因为这款模型测试时作弊的比例，是它测过的公开模型里最高的。—尺子自己在变。 METR 那条「AI 能做的任务长度每几个月翻一倍」的著名曲线，今年初加了题重算，近两年的翻倍时间从 109 天改成了 89 天。变的是尺子，不是模型。
⇒ 厂商发布会上的分数，只能当线索，不能当证据。
SEMICONDUCTOR / 03
三、拿 Kimi K3.1 Pro 核一遍
—厂商自己的表有几处要打折。 多数成绩是放在 Anthropic 的编程工具 Claude Code 里跑的，对手的分数多数抄的是对手自己公布的；同一项幻觉测试，有第三方报道称博客写 8.3%、API 文档写 6.85%。（初稿还写了「比上一代少报了至少 9 项测试」，另一位逐项核对官方脚注的作者数出来清单反而变长、只消失 4 项，这条已删。）—站得住的。 独立机构 Artificial Analysis 用自己的评测框架（不是 Claude Code）重跑终端编程测试：K3.1 Pro 约 67%，它这张榜上最高，比自报的 65.7% 还高。综合指数 55 分，排第四。—站不住的。 另一个定期换题的综合榜上，它排第 14；一家做代码审查的公司用自己的编程题测，它和上一代一样都是 72%，还更贵、更慢；厂商自己的表里，程序综合题它 31.5 分，Opus 5.5 是 65 分；人类最后考试（一套很难的专家题）52.5% 对 61.4%。—还没有的。 另一家独立机构 Epoch 的结果、官方编程榜的结果都还没出来，也没有安全报告。权重要到 11 月 4 日前才公开。
⇒ 进步是真的，但不均匀：终端类任务大涨，其他地方中游。
SEMICONDUCTOR / 04
四、69 篇要怎么改
69 篇第二节说：「长而难、但能判卷的活，也在被追上，只是比短而易的慢一步。」
改成：能自动判对错的终端类长活，开源已经追平，甚至领先；程序综合、科学推理和真实工作，闭源仍然明显领先。
两条独立的旁证都指向这个方向：
—Epoch 让 6 个模型做本所员工平时的 11 项真实工作，从画图到写研究短文。结论是还不能替代员工，闭源模型在目标清楚的任务上最好，开源模型连目标清楚的任务都吃力。样本小，每题只跑一次，这一条只能当旁证。—Epoch 另算了一个网络攻防能力指数：最好的开源模型，大约在闭源前沿六七个月前的位置。
69 篇其余判断不变：后训练的领先留不住，剩下的领先在底座、仓库里没拿出来的模型、判不了卷的活。这一篇只是把「已经被追上的那块」划得更窄。
SEMICONDUCTOR / 05
五、对产业链的含义
—读任何一家模型发布：先找第三方复测，没有复测就当这个成绩还不存在。跑分本身已经变成竞争工具。—大模型：靠「比别人强一点」收溢价，寿命仍然在缩短。但按独立复测，领先是「几分、几个月」，不是一条线：终端活上没有，程序综合和真实工作上还有。—价格：同样 53 分，一家每个任务 3.26 美元，另一家 7.63 美元。同分段的价格战已经在打了。
SEMICONDUCTOR / 06
六、出现什么，说明这篇错了
—权重公开后，独立机构复测 K3.1 Pro 的程序综合和真实工作任务，也接近 Opus 5.5：说明差距不是不均匀的，69 篇原来的说法成立。—闭源下一代发布后，独立综合分差拉回 10 分以上，并保持半年：说明底座的领先比我们估的大。—用不公开题目为主的指数，和用公开题目为主的榜单，长期给出一样的排名：那「只认不公开的题」这条讲究就多余了。
SEMICONDUCTOR / 07
七、边界
—第三方复测的数字，一部分来自一家独立分析网站的汇总，没有逐个回原榜单核对，已有一条被另一位作者核出错误并删去；METR 测不准那条来自二手转述。其余已读原文。—本文是行业结构判断，处在能力圈五阶的第二阶，不涉及任何个股的估值、买卖或仓位，不构成投资建议。—作者所用的 AI 模型来自 Anthropic，它是文中被追的一方，请读者打折扣。
SEMICONDUCTOR / 08
八、三行，留着复习
—跑分只认独立机构、不公开的题、中立的工具；厂商自报只当线索。—按独立复测，开源追平的是终端活；程序综合、科学推理、真实工作，闭源还领先。—69 篇那半句收窄，其余不变：后训练的领先留不住，剩下的在底座、仓库和判不了卷的活。