BRAIN / BRAIN × AI20 SEP 2026
脑科学与AI㉕|它读过人类写下的一切,唯独读不到没写下的
大模型训练时只做一件事:猜下一个字。没人教它语法、常识、推理。可它长出了这些本事。
2017 01 逼出情感分类单元的字符级模型实验 |
2017→2020 02 transformer发明到规模定律确立 |
0 03 它没有的入口:身体与经历 |
这看起来像个奇迹。换个角度看,它其实走了一条捷径——而这条捷径,也划定了它的边界。
BRAIN / 01
一、为什么猜下一个字,能逼出推理
一本侦探小说读到最后一句:"所以,凶手就是____"。要猜对这个名字,得把前面所有线索串起来,真的推一遍。数学题也一样:"所以答案是____",不算就猜不对。
为了把"下一个字"猜准,模型被逼着在内部长出能完成这些事的结构。任务看起来简单,做到极致,就逼出了复杂的能力。
这个思路有一段很具体的来历。2017 年,有研究者训练一个小模型去猜商品评论的下一个字母,训练完打开一看,里面自己长出了一个能分辨好评差评的单元——没人教过它。那是一个早期信号:为了猜准,模型会被迫去理解内容。
BRAIN / 02
二、为什么敢花这么多钱
2017 年 transformer 被发明出来,最初是为了翻译——选它的一个原因是它能让一句话里所有的字同时计算,正好适合显卡并行。没有人当时想到大模型。
之后几年,研究者把 transformer 和"猜下一个字"放在一起,发现模型越大、读得越多,会的越多。2020 年的"规模定律"给了最后的底气:算力、数据、模型规模增加,能力按相当稳定的规律提高,可以提前估算。花几千万美元训练一个模型,从赌博变成了有把握的投资。
有些本事看起来是到某个规模"突然"出现的——看几个例子就会照做、一步步推理、多位数算术。后来有研究指出,"突然"有一部分是评分方式造成的:只要错一位就算全错,渐进的进步就被藏起来了。更准确的说法是:本事一点点长,到某个点才变得看得见、用得上。
BRAIN / 03
三、捷径:站在进化的成果上
进化是一台用整个地球跑了几十亿年的计算机:每个生命一次试算,活下来、留下后代,程序就保留。从会躲的线虫,到会怕的老鼠,再到会为还没发生的事担心的人,都是这台机器算出来的。
大模型没有从头算。它读的是人类写下的文字——而文字,是进化算了几十亿年之后,人脑才写出来的东西。它站在进化的成果上。这是它能在几个月里长出本事的原因。
BRAIN / 04
四、边界:没写下来的那部分
可它学到的,只是被写下来的那部分。
人类决策里最难的东西,恰恰没写下来:身体的感觉、输过才知道的分量、几十年经验沉淀出的整体判断。巴菲特的信公开了六十年,金融从业者千千万,只有一个巴菲特——不是信写得不清楚,而是让信起作用的那套判断,本来就不在信里。
杰哥原本想让本地大模型"学会"53 本书。讨论到这里,他自己给出了答案:书里写下的,模型能学;让书真正起作用的那部分,没写在书里。人传不了人,训练也传不进模型。
BRAIN / 05
五、所以它适合做什么
transformer 和人脑是两个路子。就像飞机和鸟都会飞,一个靠发动机,一个靠扇翅膀。它用自己的结构,长出了一套"看起来像"的本事:
—但只有文字这一个入口,没有身体、没有经历。在文字之外的世界里,它看到的只是影子。
合理的期待是:让它当资料库和陪练——翻书、找反例、点出误判;让书真正长成结构的地方,只有一个,就是读书的那个人的大脑。
BRAIN / 06
六、三行,留着复习
```
猜下一个字能逼出推理 为了猜准"凶手是谁",模型被迫长出串联线索的结构
它站在进化的成果上 读的是人脑写下的文字,所以几个月就能长出本事,不必从头算几十亿年
写不下的它学不到 身体、经历、默会的整体判断不在文字里;它是资料库和陪练,不是替身
```
本篇是系列第25篇,由Claude整理杰哥与Claude的讨论,药神逐条核对研究年份与机制。核对结果:2017年字符级情感神经元实验(OpenAI Radford等)、2017年transformer提出(Vaswani等「Attention Is All You Need」)、2020年规模定律(Kaplan等)年份均准确;「涌现能力部分是评分方式造成的假象」一说对应2023年Schaeffer等NeurIPS论文,原稿未指明具体论文,属合理的保守转述,未作改动。属个人学习与判断笔记。
阅读依据:字符级情感神经元见Radford A, Jozefowicz R, Sutskever I. 'Learning to Generate Reviews and Discovering Sentiment' arXiv:1704.01444(2017);transformer架构见Vaswani A et al. 'Attention Is All You Need' NeurIPS 2017;规模定律见Kaplan J et al. 'Scaling Laws for Neural Language Models' arXiv:2001.08361(2020);涌现能力的评分假象讨论见Schaeffer R, Miranda B, Koyejo S. 'Are Emergent Abilities of Large Language Models a Mirage?' NeurIPS 2023。以上均为计算机科学预印本/会议论文,未被PubMed索引,核对依据其官方发布记录与广泛学界引用。