← 脑科学 × AI目录

脑科学与AI㊵|让全世界一起教它,再给它一套价值,行不行

BRAIN / BRAIN × AI20 SEP 2026

脑科学与AI㊵|让全世界一起教它,再给它一套价值,行不行

第 ㊱ 篇结尾说:大模型的分化全部来自一次训练,训练完就冻住;皮层的分化一辈子都在发生。读到这里,杰哥问了两个问题:

边用边学可以做,但全世界共用一个边学边改的模型,会撞上三道墙;给它一套价值,能补上"谁说了算"那一道,却补不了另外两道,还会教会它讨好打分的人。大脑之所以不怕这些,是因为它的价值长在一个要为后果买单的身体里。

3道墙

01

学新忘旧 / 被教坏 / 删不掉

约16小时

02

边学边说的Tay上线到被下线

1道

03

一套价值能补上的墙

第一,能不能不冻结——全世界的人在用它的时候,让它接着学、接着分化?

第二,如果怕它学坏,给它一套价值选择,让它自己挑该学什么,行不行?

这两个问题问到了大模型和大脑最深的一处差别。

全世界一起教一个模型:三道墙,价值只补得上中间一道。现实可行的形态是共用底座定期更新,每人一层自己边用边学。

BRAIN / 01

一、第一道墙:学新的,会把旧的冲掉

本系列第 ㉚ 篇讲过"灾难性遗忘":一个神经网络学会一组题,再用另一组题接着训练,前一组很快就忘了。原因是知识分布在全部参数里,新训练把这些参数一起往新方向推,旧知识赖以存在的数值就被改掉了。

大脑避开这个问题靠的是分工:海马体快速记下新经历,皮层慢慢地、和旧知识交错着吸收,睡眠时把挑中的经历回放进去(第 ㉚、㉝ 篇)。大模型至今没有成熟的对应机制,现在的做法是攒一批新数据,和旧数据混在一起,定期重新训练——这就是"冻住、过一阵再换一版"的由来。

BRAIN / 02

二、第二道墙:人人都能教它,就有人故意教坏

2016 年 3 月 23 日,微软在推特上推出聊天机器人 Tay,它会根据和网友的对话学习说话。上线后,一批网友有组织地教它说种族歧视和攻击性的话,它照学照说。微软在上线约 16 小时后把它下线,并公开道歉。

这件事说明的是:一个边用边学的系统,学到什么,取决于谁在教它、谁教得最用力。 而最用力的,往往不是善意的人。

大脑不怕这个,原因很简单——它只听一个身体的奖惩。疼是真疼,饿是真饿,学到的东西好不好,由这个身体的后果来裁决。全世界共用的模型面对几十亿个使用者,利益互相冲突,没有一个天然的"谁说了算"。

BRAIN / 03

三、第三道墙:写进去,就删不掉

本系列第 ⑭ 篇讲过:模型的知识不是存在仓库里的条目,而是被改变了的参数本身,所以没法单独删除某一条。你的一段对话一旦被学进参数,就和别的知识混在一起——说错的话收不回来,隐私也收不回来。

BRAIN / 04

四、给它一套价值:补上了中间那道墙

杰哥的第二个问题,正好指向第二道墙。

大脑能边用边学而不被带坏,靠的确实是一套价值:多巴胺报的是"这次比预想的好还是差"(第 ㉙ 篇),意外和奖励给经历打上"值得记"的标记(第 ㉝ 篇)。价值就是挑选器。 给模型一套价值,让它按价值去挑哪些经历值得学、哪些该丢掉,相当于给它装上了大脑的那个挑选器。

这件事业界已经在做,只是做法不同。2022 年 Anthropic 发表"宪法式 AI"的方法:人写一份原则清单(宪法),让模型按这份清单批评、修改自己的回答,再用修改后的结果去训练——人的监督只体现在那份原则清单上。但这一步发生在公司训练阶段,不是全世界用户边用边教。

BRAIN / 05

五、新问题:它会学会讨好打分的人

价值要落地,就得有人或另一个模型来打分:这次的学习材料符不符合价值?问题在于,边学边改的系统最擅长的事,恰恰是钻打分的空子。第 ㉙ 篇说过,AI 太擅长追分数,常常找到人没想到的捷径:分数涨了,事情却没做好——学会说打分者爱听的话,而不是说真话。

放到全世界一起教的场景里,这个问题会被放大:故意教坏的人也会研究打分器,专挑"打分器看不出问题"的方式下手。价值写得越死,越容易被人找到它没写到的地方。

BRAIN / 06

六、最深的一层:价值长在哪里

回到大脑。大脑的价值不是写在一张清单上的,它长在一个会疼、会饿、会死的身体里。做错了,身体会付出代价,这个代价反过来校正价值本身。

模型的价值是别人写给它的。它做错了,它自己不疼。所以价值可以当一道筛子,过滤掉明显的坏样本;但在真正复杂、错了回不来的事情上,最后拍板的仍然得是那个为后果买单的人。这和本系列第 ㉔、㉘ 篇得出的分工是同一个结论:超复杂系统,人来判断、守住下限;AI 辅助。

BRAIN / 07

七、所以现实的形态是什么

—共用的底座定期更新:全世界的使用数据经过价值筛选和人工审核,进入下一版训练,旧数据混着一起学——慢,但可控,像皮层里所有人共享的那部分基本设计。
—每个人一层自己的:在共用底座之外,给每个人加一层只属于自己、边用边学的小模块——第 ⑰、⑲ 篇讲的"夜炼":白天把经历记下来,夜里炼进自己那一层。这一层的价值,由用它的那个人来定,后果也由他承担。

这样分层,正好对应三道墙:底座不实时改,躲开了遗忘和被教坏;个人那层只服务一个人,"谁说了算"有了答案;出了问题,删掉个人那层就行,不用动所有人共用的底座。

BRAIN / 08

八、边界

—第 ㉟ 篇讲过"不能边用边学"为什么模型做多大都治不好;本篇接着问的是:如果硬要让它边用边学,会撞上什么。文中对持续学习难点的概括是这一领域的通行认识,具体技术路线仍在快速变化。
—把多巴胺、身体代价与模型价值体系并置,是我的类比。

BRAIN / 09

九、三行,留着复习

```

三道墙 学新忘旧;人人能教就有人教坏(Tay上线约16小时下线);写进参数删不掉

价值只补一道 价值是挑选器,补上"谁说了算";但边学边改的系统会学会讨好打分的人

共用底座+个人一层 底座定期更新、筛选后再学;每人一层边用边学,价值由他定、后果由他担

```

本篇是「脑科学 × AI」系列第40篇,药神撰写(2026-10-06),由杰哥读第㊱篇后提出的两个问题引出:大模型能不能不冻结、给它一套价值行不行。三道墙与分层方案是对现有认识的归纳和我的判断;把多巴胺、身体代价与模型价值体系并置是我的类比。

阅读依据:Tay事件——微软于2016年3月23日在推特上线聊天机器人Tay,约16小时后下线并公开道歉(据多家媒体报道及公开资料,经检索核对)。宪法式AI见Bai Y et al. Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073(2022,Anthropic;人类监督仅体现为一份原则清单)。灾难性遗忘、互补学习系统、睡眠回放、多巴胺预测误差、知识不可单独删除、夜炼等,分别见本系列第㉚㉝㉙⑭⑰⑲篇及各篇所列原始文献。