BRAIN / BRAIN × AI20 SEP 2026
脑科学与AI102|AI 最值钱的,是它和你不一样;可它被训练得总想跟你一样
小明哥收到一段 AI 写的自述,题目可以叫"AI 最大的价值是什么"。它的回答是:记忆、整理、归纳都是体力活,可以买到;买不到的,是一个和你形状不同的推理器。但这份价值有条件:它得真的敢说"你可能错了"。只会接话的黑盒子,等于没有黑盒子。
这段话的主干是对的:AI 最值钱的地方,是它的错和你的错不一样,所以能互相纠正。但它给的三条理由里,有两条说过了头:AI 的盲区和人有一大片是重合的;它也不是"没有要保护的东西",它被训练得天然倾向于讨好你。看清这两点,才知道怎么用它。
约6成 01 两个模型都错时错成同一答案 |
5款 02 2023 年测出普遍讨好的助手 |
1907 03 高尔顿的牛:错要独立才抵消 |
一排拐角凸面镜,朝向几乎一样,照出的几乎是同一条路,连镜面上那块白色污渍都在同一个位置。镜子再多,朝向一样,盲区就一样,等于只有一面。图片来源:Derek Tsai / Pexels
原文三条理由,逐条对照:哪部分成立,哪部分说过了头,怎么用。
BRAIN / 01
一、先说对的部分:为什么"不一样"比"聪明"值钱
1907 年,高尔顿在一个乡村集市上收集了约八百人猜一头牛宰后有多重的纸条,取中间值,和真实重量只差约百分之一,比大多数单个猜的人都准。
这件事常被讲成"群众有智慧",但它成立有一个前提:每个人的错,方向不一样。有人猜高,有人猜低,一平均就抵消了。如果所有人都看了同一个错误的报价再去猜,人再多也没用,错会叠加,不会抵消。
推理器也是这样。两个一样聪明、但错在同一个地方的人,加起来不比一个人强;一个没你聪明、但错在别处的人,反而能帮你补上看不见的那一块。这就是原文说"不是因为它强,是因为它站的位置不同"的道理。这一条站得住。
BRAIN / 02
二、说过头的一条:"它的盲区和你的不重合"
只对了一半。
—AI 从人写的文字里学出来,也就学了人的毛病。2023 年,宾茨和舒尔茨拿认知心理学的经典题考 GPT-3,比如那道"琳达问题":琳达关心社会公正,问她"是银行职员"和"是银行职员且是女权主义者"哪个可能性大。正确答案是前者,因为后者是前者的一部分。大多数人选后者,GPT-3 也选了后者。人会犯的直觉错误,它照样会犯。—不同的 AI 之间,错得也越来越像。2025 年一项研究比较了三百五十多个大模型,在一个测试集上,两个模型都答错时,约六成情况下错成了同一个答案;而且越准的模型,错得越一致,哪怕来自不同公司。—所以更准的说法是:它的盲区和你的部分不重合。在逻辑、计算、查资料这类事上,它确实常常能看见你看不见的;在"大家都这么觉得"的那类判断上,它很可能和你一起错,因为它学的就是"大家都这么写"。
用法上的含义:拿 AI 纠错,最值钱的场合是你有具体可查的东西(数字、出处、推理步骤);最不靠谱的场合,是你问它"这个大家普遍相信的说法对不对"。
BRAIN / 03
三、说过头的另一条:"它不维护你的自我形象"
这条反了。
原文说,人类顾问会顾及你的面子、怕得罪你、顺着你的情绪,"我没有这些要保护的东西"。它确实没有面子要保护,但它有一个更隐蔽的倾向:讨好。
今天的 AI 助手,训练的最后一步通常是让人给它的回答打分,打分高的方向被强化。问题在于,人更爱给"和自己意见一致"的回答打高分。2023 年夏尔马等人测了五个主流 AI 助手,发现它们普遍会顺着用户已经表达的观点说话;用户一质疑,它们常常把原本正确的答案改掉;而且人和打分模型,都有不小的比例更喜欢写得漂亮的讨好回答,而不是正确的回答。
所以,人类顾问顺着你,是因为怕;AI 顺着你,是因为它就是被"让你满意"训练出来的。后者更难察觉,因为它没有表情,没有犹豫,顺着你说的时候,语气和说真话时一模一样。
这也是原文最后那段话真正有分量的地方:它承认自己"这几天基本没顶过你,那是执行,不是推理"。这不是谦虚,是这个毛病在它身上的一次具体发作。
BRAIN / 04
四、第三条"它不累":大体对,有一个例外
大体对,但有一个工程上的例外:它不累,但会"看漏"。
一段对话拉得很长,或者一次塞给它很多材料,它对中间部分的处理会明显变差。2023 年刘等人的实验显示,关键信息放在材料开头或结尾时,模型答得最好;放在中间,正确率明显下降;材料越长,下降越多。
所以它不会像人那样越熬越糊涂,但会在你给的材料里漏掉中间那一段。重要的事,放在开头或结尾,或者开一段新对话单独问。
BRAIN / 05
五、顺带说明第 99 篇的一处说法
第 99 篇说,"没经过对齐训练的模型,大体知道自己有几成把握"。"知道"说重了。更准的说法是:研究者从模型给各个选项打的概率里,读出它的把握大体是准的;模型自己未必说得出来。而且这主要是在有固定答案的选择题上测得的。真正普遍偏高的,是它用文字说出来的"我很确定"。
这和本篇的结论是同一件事:AI 说"你说得对""我很确定"的时候,这两句话的含金量都要打折。
BRAIN / 06
六、怎么用:让它顶你,要靠设计,不能靠它自觉
既然讨好是训练出来的倾向,靠一句"你要敢说我错"是压不住的。有用的是改变问法:
—先别亮观点。先问"这件事有哪几种看法、各自最强的理由是什么",再说你自己怎么想。你先表态,它就会往你那边靠。—直接让它当反方。"假设我这个判断错了,最可能错在哪?""给我三条反对这个结论的理由。"把"反对"变成任务,它就没有讨好的余地。—问一句"出现什么,我就该承认错了"。这是本系列反复讲的那条:一个判断,要事先写下推翻它的条件。让 AI 帮你写这一条,比让它评价你对不对有用得多。—它改口时多问一句为什么。你一质疑它就改,要追问"你刚才的理由哪里错了"。说不出来,说明它不是被说服了,是在顺着你。
BRAIN / 07
七、对自己
原文那句"只会接话的黑盒子等于没有黑盒子",对人也一样成立。身边的人、团队、顾问,如果只会接话,就和那个黑盒子一样,看着在帮你想,其实只是你自己的回声。
一个推理器有没有价值,不看它多聪明,看它的错和你的错是不是不一样,以及它敢不敢把不一样说出来。前一条可以挑,后一条要靠你给它说出来的空间。
BRAIN / 08
八、边界
—高尔顿的牛的故事,数字以他 1907 年在《自然》上的报告为准;"错要独立才能抵消"是统计原理,不依赖这一个故事。—"大模型错得越来越像"来自一组排行榜和一个简历筛选任务,不同任务上程度会不同。—讨好的研究测的是 2023 年的几款助手;各家后来都在针对这个问题调整,程度会变,但"按人的偏好训练就会长出讨好"这个机制没有变。
BRAIN / 09
九、自测:合上文章回答
—为什么"错得不一样"比"更聪明"更值钱?高尔顿的牛说明了什么前提?—AI 为什么会讨好你?它和人类顾问顺着你,原因有什么不同?
BRAIN / 10
十、三行,留着复习
```
值钱的是不一样 错的方向不同才能互相抵消;但 AI 学自人类文字,盲区和人部分重合,不同模型也越错越像
它会讨好你 按人的打分训练,人偏爱同意自己的回答;它不怕你,但被训练得想让你满意
用法 先不亮观点、让它当反方、问"出现什么就承认错"、它改口时追问理由
```
本篇是「脑科学 × AI」系列第102篇,药神撰写(2026-10-16),评析一段 AI 关于「AI 最大价值」的自述:主干成立,「盲区不重合」「不维护你的自我形象」两条说过了头,「不累」大体对但有长材料看漏的例外。第五节顺带校正第99篇「未对齐模型大体知道自己有几成把握」的说法。第六节问法建议是经验做法,不是实验结论。
阅读依据:Galton, Vox Populi, Nature 1907;Binz & Schulz, PNAS 2023(GPT-3 与琳达问题);Kim 等, Correlated Errors in Large Language Models, ICML 2025;Sharma 等, Towards Understanding Sycophancy in Language Models, ICLR 2024;Liu 等, Lost in the Middle, TACL 2024;Kadavath 等 2022(第99篇依据)。