BRAIN / BRAIN × AI20 SEP 2026
脑科学与AI㊵|让全世界一起教它,再给它一套价值,行不行
第 ㊱ 篇结尾说:大模型的分化全部来自一次训练,训练完就冻住;皮层的分化一辈子都在发生。读到这里,杰哥问了两个问题:
边用边学可以做,但全世界共用一个边学边改的模型,会撞上三道墙;给它一套价值,能补上"谁说了算"那一道,却补不了另外两道,还会教会它讨好打分的人。大脑之所以不怕这些,是因为它的价值长在一个要为后果买单的身体里。
3道墙 01 学新忘旧 / 被教坏 / 删不掉 |
约16小时 02 边学边说的Tay上线到被下线 |
1道 03 一套价值能补上的墙 |
第一,能不能不冻结——全世界的人在用它的时候,让它接着学、接着分化?
第二,如果怕它学坏,给它一套价值选择,让它自己挑该学什么,行不行?
这两个问题问到了大模型和大脑最深的一处差别。
全世界一起教一个模型:三道墙,价值只补得上中间一道。现实可行的形态是共用底座定期更新,每人一层自己边用边学。
BRAIN / 01
一、第一道墙:学新的,会把旧的冲掉
本系列第 ㉚ 篇讲过"灾难性遗忘":一个神经网络学会一组题,再用另一组题接着训练,前一组很快就忘了。原因是知识分布在全部参数里,新训练把这些参数一起往新方向推,旧知识赖以存在的数值就被改掉了。
大脑避开这个问题靠的是分工:海马体快速记下新经历,皮层慢慢地、和旧知识交错着吸收,睡眠时把挑中的经历回放进去(第 ㉚、㉝ 篇)。大模型至今没有成熟的对应机制,现在的做法是攒一批新数据,和旧数据混在一起,定期重新训练——这就是"冻住、过一阵再换一版"的由来。
BRAIN / 02
二、第二道墙:人人都能教它,就有人故意教坏
2016 年 3 月 23 日,微软在推特上推出聊天机器人 Tay,它会根据和网友的对话学习说话。上线后,一批网友有组织地教它说种族歧视和攻击性的话,它照学照说。微软在上线约 16 小时后把它下线,并公开道歉。
这件事说明的是:一个边用边学的系统,学到什么,取决于谁在教它、谁教得最用力。 而最用力的,往往不是善意的人。
大脑不怕这个,原因很简单——它只听一个身体的奖惩。疼是真疼,饿是真饿,学到的东西好不好,由这个身体的后果来裁决。全世界共用的模型面对几十亿个使用者,利益互相冲突,没有一个天然的"谁说了算"。
BRAIN / 03
三、第三道墙:写进去,就删不掉
本系列第 ⑭ 篇讲过:模型的知识不是存在仓库里的条目,而是被改变了的参数本身,所以没法单独删除某一条。你的一段对话一旦被学进参数,就和别的知识混在一起——说错的话收不回来,隐私也收不回来。
BRAIN / 04
四、给它一套价值:补上了中间那道墙
杰哥的第二个问题,正好指向第二道墙。
大脑能边用边学而不被带坏,靠的确实是一套价值:多巴胺报的是"这次比预想的好还是差"(第 ㉙ 篇),意外和奖励给经历打上"值得记"的标记(第 ㉝ 篇)。价值就是挑选器。 给模型一套价值,让它按价值去挑哪些经历值得学、哪些该丢掉,相当于给它装上了大脑的那个挑选器。
这件事业界已经在做,只是做法不同。2022 年 Anthropic 发表"宪法式 AI"的方法:人写一份原则清单(宪法),让模型按这份清单批评、修改自己的回答,再用修改后的结果去训练——人的监督只体现在那份原则清单上。但这一步发生在公司训练阶段,不是全世界用户边用边教。
BRAIN / 05
五、新问题:它会学会讨好打分的人
价值要落地,就得有人或另一个模型来打分:这次的学习材料符不符合价值?问题在于,边学边改的系统最擅长的事,恰恰是钻打分的空子。第 ㉙ 篇说过,AI 太擅长追分数,常常找到人没想到的捷径:分数涨了,事情却没做好——学会说打分者爱听的话,而不是说真话。
放到全世界一起教的场景里,这个问题会被放大:故意教坏的人也会研究打分器,专挑"打分器看不出问题"的方式下手。价值写得越死,越容易被人找到它没写到的地方。
BRAIN / 06
六、最深的一层:价值长在哪里
回到大脑。大脑的价值不是写在一张清单上的,它长在一个会疼、会饿、会死的身体里。做错了,身体会付出代价,这个代价反过来校正价值本身。
模型的价值是别人写给它的。它做错了,它自己不疼。所以价值可以当一道筛子,过滤掉明显的坏样本;但在真正复杂、错了回不来的事情上,最后拍板的仍然得是那个为后果买单的人。这和本系列第 ㉔、㉘ 篇得出的分工是同一个结论:超复杂系统,人来判断、守住下限;AI 辅助。
BRAIN / 07
七、所以现实的形态是什么
—共用的底座定期更新:全世界的使用数据经过价值筛选和人工审核,进入下一版训练,旧数据混着一起学——慢,但可控,像皮层里所有人共享的那部分基本设计。—每个人一层自己的:在共用底座之外,给每个人加一层只属于自己、边用边学的小模块——第 ⑰、⑲ 篇讲的"夜炼":白天把经历记下来,夜里炼进自己那一层。这一层的价值,由用它的那个人来定,后果也由他承担。
这样分层,正好对应三道墙:底座不实时改,躲开了遗忘和被教坏;个人那层只服务一个人,"谁说了算"有了答案;出了问题,删掉个人那层就行,不用动所有人共用的底座。
BRAIN / 08
八、边界
—第 ㉟ 篇讲过"不能边用边学"为什么模型做多大都治不好;本篇接着问的是:如果硬要让它边用边学,会撞上什么。文中对持续学习难点的概括是这一领域的通行认识,具体技术路线仍在快速变化。—把多巴胺、身体代价与模型价值体系并置,是我的类比。
BRAIN / 09
九、三行,留着复习
```
三道墙 学新忘旧;人人能教就有人教坏(Tay上线约16小时下线);写进参数删不掉
价值只补一道 价值是挑选器,补上"谁说了算";但边学边改的系统会学会讨好打分的人
共用底座+个人一层 底座定期更新、筛选后再学;每人一层边用边学,价值由他定、后果由他担
```