BRAIN / BRAIN × AI20 SEP 2026
脑科学与AI55｜复习多巴胺：它报告的不是快乐，是"意外"
这一篇接着第 51 篇往下讲。第 51 篇讲基底节怎样做选择：默认刹住所有动作，松开一个、压住其他。留下一个问题：它怎么知道该松哪一个？
多巴胺报告的不是"好"，而是"比预想的好多少"：奖励如约而至，它几乎不动；意外之喜，它爆发；该来的没来，它沉下去。大脑用这一个"意外"信号，去调整基底节里该加强哪条连接——这和 AI 里的强化学习，是同一个算法。
1972 01 Rescorla-Wagner：按预期与实际之差学习 |
1997 02 Schultz、Dayan、Montague：多巴胺≈预测误差 |
1个信号 03 全网广播，所以学得慢 |
答案是多巴胺。这一篇依据"智能的计算基础"系列第 036 篇（这个系列主要依据 Rolls 2023 年的教科书），同时也是本系列第 ㉙ 篇《多巴胺，是大脑里的强化学习》的复习。重复讲一遍，因为这是理解大脑和 AI 怎样学习最重要的一块。
两个礼物盒。让多巴胺爆发的不是礼物本身，而是礼物比预想的好。图片来源：Max Fischer / Pexels
多巴胺神经元的三种反应：意外的奖励，放电增加；预料之中的奖励，几乎不变；预料的奖励没来，放电下降。学会以后，放电提前到预示奖励的信号上。
BRAIN / 01
一、多巴胺不是"快乐分子"
多巴胺常被叫作"快乐分子"，但实验看到的更精细：
它报告的不是"好"，而是"比预想的好还是差"——这叫"奖励预测误差"。
还有一个关键现象：一开始，多巴胺在拿到奖励时放电；反复几次以后，放电提前到"预示奖励要来的那个信号"出现时（比如灯一亮），而奖励本身到来时反而不再放电了。大脑学会了"预期"。
BRAIN / 02
二、从条件反射到算法
这条线可以追到心理学。
—1972 年，Rescorla 和 Wagner 提出一个描述条件反射的规则：动物每次根据"预期的奖励"和"实际的奖励"之间的差，调整自己的预期。差越大，学得越多；没有差，就不学。—后来，Sutton 和 Barto 在此基础上发展出"时间差分学习"：不只预测这一次有没有奖励，而是预测从现在到将来，总共会有多少奖励，并用前后两个时刻预测之间的差来学习。这正是今天 AI 强化学习的基础之一。（Barto 就是第 ㊸ 篇那篇智能爆炸论文的作者之一；Sutton 和 Barto 获得了 2024 年的图灵奖。）
BRAIN / 03
三、一处要更正：这个发现不是一个人的
原文把"多巴胺神经元像预测误差信号"这个发现主要归在 Peter Dayan 一个人名下。这不准确。
—做实验、记录到这些放电规律的，主要是 Wolfram Schultz，他在猴子身上做了一系列经典实验；—1997 年，Schultz 和 Dayan、Read Montague 在 *Science* 上合写论文，指出这些放电规律和时间差分学习里的"预测误差"几乎一模一样；—2017 年的"大脑奖"（全称格雷特·伦德贝克欧洲大脑研究奖）颁给了 Schultz、Dayan 和 Ray Dolan 三个人，表彰的正是奖励学习这条线。
这正是第 ㉙ 篇讲过的那篇论文。实验和理论各有其功，缺了哪一边都不成。
BRAIN / 04
四、只有一个误差信号，所以学得慢
原文讲了一个很重要的点，值得单独拿出来：
在这种强化学习网络里，整个网络只有一个"好或不好"的信号，广播给所有神经元。每个连接只能靠"刚才我有没有参与、结果是好是坏"来调整自己。
这和今天训练大模型的方法很不一样。大模型用的是反向传播，每一个连接都会收到一份专门为它算好的"改多少、往哪改"的信息。
所以：
—一个信号广播给所有人：简单，生物上容易实现，但学得慢——不知道这次的好结果到底该归功于谁；—每个连接一份专属的误差：学得快，但需要把误差精确地"往回传"，生物大脑很可能做不到（第 ㉜ 篇讲过：类脑芯片学会了放电，却学不会往回传）。
大脑的办法是两者结合：多巴胺提供"好还是坏"的全局信号，基底节里的局部连接规则（谁刚才一起活跃，谁就被加强）负责把功劳分到具体的连接上。
BRAIN / 05
五、多巴胺怎样改写基底节
把第 51 篇和这一篇连起来：
—大脑皮层把"现在的情况"和"可选的动作"送进纹状体；—基底节通过"松一个刹车、压住其他"选出一个动作；—动作的结果，如果比预想的好，多巴胺爆发，刚才一起活跃的那些连接被加强；如果比预想的差，多巴胺下降，相关连接被削弱；—下次遇到同样的情况，被加强过的那个动作更容易被选中。
日积月累，就形成了习惯：不再需要想，环境一出现，动作就自动发生。
BRAIN / 06
六、对照 AI
—AI 的强化学习，就是照着这套写的。下围棋的 AlphaGo、让大模型学会"说人话"的人类反馈强化学习，背后都有"预测—实际—差值—调整"这个循环。—奖励设计是最大的难题。第 ㊻ 篇说过，奖励的标准是祖先的环境定的，会过时；AI 的奖励是人定的，模型也会学会钻空子——第 ㉙ 篇提到过，AI 太擅长追分数，常常找到人没想到的捷径。—"意外"才是学习的燃料。一切都在预料之中时，大脑不学；只有预期被打破，才会更新。对人也一样：总是在舒适区里，预测误差接近零，就很难学到新东西。
BRAIN / 07
七、边界
—"多巴胺 = 奖励预测误差"是一个非常成功的模型，但不是全部：后来发现，有些多巴胺神经元对厌恶的事情、对新奇和显著的事情也会反应（原文也提到了"动机显著性神经元"）。—本文对 Sutton、Barto 获奖和"大脑奖"的介绍依据公开信息。
BRAIN / 08
八、自测：合上文章回答
—多巴胺神经元在"意外奖励""预料之中的奖励""该来没来"三种情况下，分别怎样反应？
BRAIN / 09
九、三行，留着复习
```
报告意外 意外奖励↑、如约而至→、该来没来↓；学会后提前到预示信号上
从心理学到算法 Rescorla-Wagner(1972)→Sutton与Barto的时间差分；Schultz实验+Dayan、Montague理论(1997)
一个信号学得慢 多巴胺广播一个好坏信号，局部规则分功劳；大模型每个连接一份误差，学得快但大脑难做到
```
本篇是「脑科学 × AI」系列第55篇，第㉙篇复习篇，药神撰写（2026-10-06），依据「智能的计算基础」系列第036篇（据Rolls 2023教科书）。原文把发现主要归于Dayan，本文更正为Schultz实验与Dayan、Montague理论共同完成。封面图来自 Pexels（Max Fischer）。
阅读依据：「智能的计算基础」第036篇（据Rolls ET. Brain Computations and Connectivity, OUP 2023）。Schultz W, Dayan P, Montague PR. A neural substrate of prediction and reward. Science 1997，PMID 9054347。Rescorla-Wagner模型(1972)、Sutton与Barto时间差分学习、2017年大脑奖与2024年图灵奖为公开信息。其余回引见本系列第㉙㉜㊸㊻51篇。