BRAIN / BRAIN × AI20 SEP 2026
脑科学与AI㉙｜多巴胺，是大脑里的强化学习
很多人以为多巴胺是"快乐物质"。这个说法不太对。多巴胺更像大脑里的一个报信员，它报的是：结果比你预想的好，还是差。
学习的关键不是"得到奖励"，而是"预想和结果之间的差"。大脑和 AI，用同一个公式在学。
3阶段 01 多巴胺放电规律:意外→提前→落空变负 |
1997 02 Schultz/Dayan/Montague把两条路合到一起的年份 |
3处不同 03 大脑奖励 vs AI奖励:来源/单一还是多个/会不会被钻空子 |
更神奇的是，人工智能研究者在完全不知道这件事的情况下，独立发明了一模一样的算法。两条路，在 1990 年代末撞到了一起。
BRAIN / 01
一、猴子和果汁
1990 年代，神经科学家 Wolfram Schultz 做了一组实验。猴子面前亮一盏灯，过一会儿，嘴里会得到一滴果汁。他同时记录猴子脑中多巴胺神经元的放电。
结果分三个阶段：
—一开始，猴子还不知道灯和果汁有关。 果汁来的那一刻，多巴胺神经元猛地放电——"意外的好事！"—练多了，猴子知道灯亮就会有果汁。 这时，多巴胺在灯亮的那一刻放电；果汁真的来了，反而没什么反应——"这在预料之中。"—灯亮了，但果汁没来。 在本该来果汁的那一刻，多巴胺神经元的放电掉到平时以下——"比预想的差！"
所以多巴胺不是在说"好开心"，而是在说"比我想的好"或"比我想的差"。它报的是预测误差。
BRAIN / 02
二、另一条路：一个学下棋的算法
几乎同一时期，计算机科学家 Richard Sutton 等人在研究：怎么让机器在没人告诉它正确答案的情况下，靠自己尝试学会做事？
他们提出的一个关键算法叫"时间差分学习"。核心想法是：
—机器在每一步，都对"接下来能拿到多少好处"做一个估计；—两次估计之间的差，就是学习信号。差是正的，说明刚才那步比想的好，以后多这么做；差是负的，就少这么做。
这个算法在 1990 年代就教会了电脑下西洋双陆棋，达到顶尖人类水平。
BRAIN / 03
三、两条路撞在一起
1997 年，Schultz 与理论研究者 Peter Dayan、Read Montague 合写了一篇论文，把这两件事放在一起：猴子多巴胺神经元的放电规律，和时间差分学习里的"预测误差"几乎一模一样。 一开始在奖励时出现，学会后提前到预示奖励的信号上，奖励落空时变成负的——三个阶段，完全对得上。
一个是几亿年进化出来的，一个是几个人在黑板上推出来的。没人抄谁。它们面对的是同一个问题：在一个不告诉你答案的世界里，怎么靠试错变聪明。好的解法，也许本来就不多。
后来的研究还发现了更细的对应：多巴胺神经元不是都"一个口径"，有的偏乐观、有的偏悲观，合起来表示的是"结果可能好到哪、坏到哪"的整个分布——这又和 AI 里一种较新的强化学习方法对上了。
BRAIN / 04
四、从下棋到今天的大模型
这条线一路延伸到今天：
—AlphaGo、AlphaZero 下围棋、下象棋，靠的就是强化学习：自己和自己下几百万盘，赢了就加强刚才的走法，输了就减弱。—今天的大模型，先靠"猜下一个字"读完人类的文字，再用强化学习去磨：做题对了加分、错了扣分；回答让人满意加分、不满意扣分。第 ㉗ 篇说的"答案能核对的事进步最快"，正是因为在这类事上，强化学习有最清楚的奖励信号。
BRAIN / 05
五、但大脑的奖励，和 AI 的奖励不一样
相同的公式，用在不同的东西上：
—奖励从哪来。大脑的奖励来自身体：饿了吃到东西、冷了找到温暖、孤单时有人陪。这些是几亿年进化定下的。AI 的奖励是人写的：做对题加一分，让评分员满意加一分。—一个奖励，还是很多个。大脑同时在乎很多东西，彼此会冲突，需要权衡——这正是生活难的地方。AI 通常只追一个分数。—会不会被"钻空子"。AI 太擅长追分数，常常找到人没想到的捷径：分数涨了，事情却没做好——比如学会了说评分员爱听的话，而不是说真话。这就是"迎合"的来源之一。人也会被多巴胺"钻空子"：赌博、刷短视频、上瘾，都是这套报信系统被劫持了。
BRAIN / 06
六、对我们自己的一点用处
既然大脑靠"预想和结果之间的差"来学，那么：
—事前写下预想，是在帮大脑学习。 做决定前写下"我觉得会怎样、有多大把握"，事后对照结果。没有写下的预想，事后很容易被记忆改写成"我早就知道"，误差信号就丢了。这正是罗盘里"直觉记账"想做的事。—结果好，不等于决定好。 多巴胺只管结果比预想好还是差，不管这结果是靠本事还是靠运气。要分清这两者，得靠事后冷静地复盘，而不是靠那一下"爽"。
BRAIN / 07
七、三行，留着复习
```
多巴胺报的是误差 不是"快乐"，而是"比预想的好/差"；学会之后提前到预示信号上，落空时变成负的
两条路撞到一起 AI 的时间差分学习和猴子的多巴胺放电规律几乎一样，没人抄谁
奖励不同，坑也不同 大脑的奖励来自身体、很多个、会冲突；AI 追一个人写的分数，容易钻空子、迎合
```
本篇是系列第29篇，由Claude撰写（2026年10月3日），药神逐条核对实验与论文年份。Schultz猴子多巴胺实验与1997年Science论文、Sutton时间差分学习与西洋双陆棋应用、分布式强化学习与多巴胺神经元异质性的对应关系，均经PubMed/学界公开记录核实，年份与机制陈述准确，未发现错误。属个人学习与判断笔记，文末「罗盘」相关表述为杰哥自有方法论工具的内部引用，不涉及医疗或投资建议。
阅读依据（经PubMed核对）：Schultz W, Dayan P, Montague PR. 'A neural substrate of prediction and reward.' Science 1997;275(5306):1593-1599，PMID 9054347（猴子多巴胺预测误差三阶段与时间差分学习的对应关系出自本文）。分布式强化学习与多巴胺神经元异质性对应见Dabney W et al. 'A distributional code for value in dopamine-based reinforcement learning.' Nature 2020;577(7792):671-675，PMID 31942076。时间差分学习教西洋双陆棋达到顶尖水平见Tesauro G. 'Temporal Difference Learning and TD-Gammon.' Commun ACM 1995（计算机科学经典文献，按学界公认历史记录处理）。AlphaGo/AlphaZero强化学习自对弈属公开发表的DeepMind系列研究。