BRAIN / BRAIN × AI20 SEP 2026
脑科学与AI120｜得了一次奖励，大脑先想哪条没走过的路：海马涟漪给经验排队
上一篇讲大脑没有反向传播，靠局部规则也能长出传误差的回路；本系列第33篇讲过，奖励之后那几秒，海马体的「尖波涟漪」会挑哪几段经历值得留下，但当时写明：这一环在人身上还缺直接证据。今年北京师范大学柳昀哲团队在 *Neuron* 上补了一块：在人脑里直接记到，涟漪不只挑记什么，还给「没走过的路」排队，先更新最值得更新的那一条。
学一次就能举一反三，靠的不是把所有可能都想一遍，而是先想最值钱的那一条。大脑按「多常用到 × 改了能多赚多少」给经验排队，AI 里的优先回放算的是同一道题。
问题 01 一次经验先传给哪条路 |
人脑 02 涟漪点名高优先级那条 |
到哪步 03 人脑有记录，缺干预实验 |
BRAIN / 01
一、问题：没走过的路，怎么知道它变值钱了
设想你在一个山谷里挖到金矿。你会喜欢刚走过的那条路，也会马上觉得另外几条通向同一山谷的路变值钱了，虽然你从没走过。强化学习把这叫「基于模型的学习」：手里有一张地图，一次经验可以顺着地图传到别的路上去。
难处在于，地图上的路很多，全部更新一遍太贵。所以真正的问题不是「能不能传」，是「先传给谁」。
BRAIN / 02
二、AI 这边早就碰到同一个问题
1990 年，萨顿（Sutton）提出 Dyna：智能体在真实世界走一步，就在脑子里的模型里「空想」几步，用想象的经验更新价值。空想便宜，但空想哪几步是个问题。
1993 年，摩尔和阿特金森（Moore & Atkeson）在 *Machine Learning* 上给了答案，叫「优先扫描」：哪个状态的价值刚刚变动最大，就先更新它的前一步，一层层往回推，不平均用力。
2015 年 DeepMind 的 DQN 玩 Atari 游戏，靠的关键一招叫「经验回放」：把走过的经历存起来，反复抽出来学；论文自己写明，这个想法和海马体的回放有关。2016 年，绍尔（Schaul）等人做了「优先经验回放」：不再平均抽，而是误差越大的经历越常抽，在 49 个游戏里有 41 个比平均抽样好。
2018 年，马塔尔和多（Mattar & Daw）在 *Nature Neuroscience* 上把这件事写成一个干净的公式：一段经历值不值得回放，等于「需要」乘「收益」。需要，是这个地方以后多常会用到；收益，是现在把它更新了，决策能好多少。他们用这个公式，解释了老鼠海马回放的很多现象：什么时候往前放、什么时候往回放、为什么偏爱刚拿到奖励的地方。
到这里为止，「按需要乘收益给经验排队」是 AI 先有、再拿去解释动物的一套理论。人脑是不是真这么排，一直缺直接测量。
BRAIN / 03
三、这篇做了什么
研究者请 34 位因癫痫植入颅内电极的病人做一个任务。屏幕上先出现三个「入口」之一，每个入口下有两条路，路通向两个终点之一，终点按慢慢漂移的概率给 1 元或 0 元。三个入口的出现频率不同：一个常见（一半时间）、一个偶尔、一个少见。
关键设计在这里：每个终点都连着三条路，分属三个入口。你走一条路拿到钱，另外两条通向同一终点、但你这次没走的路，也应该跟着变值钱。这就是「没走过的路」的更新。论文按马塔尔和多的公式，给这两条路各算一个优先级：需要来自入口出现频率，收益来自误差和这条路多久没碰过。
记到的结果有四层：
—行为上，人确实会更新没走过的路，但比走过的路学得慢；高优先级那条比低优先级那条学得快（学习率约 0.47 对 0.32）。—拿到结果后约 0.4 到 0.7 秒，海马体涟漪的多少同时跟着误差和优先级变；少见入口那一轮涟漪最多，而入口刚出现、还没给结果时，没有这个差别。涟漪的长短只跟优先级有关，跟误差大小无关。—涟漪前后各 0.1 秒里，皮层上高优先级那条路的活动模式被「再现」得更强，涟漪之前没有这个差别。—只有在这个窗口里和涟漪同步时，外侧额极皮层（前额叶最前端）才编码优先级；同步越好的人，越会用任务结构，没走过的路学得越准。
一句话：拿到奖励后不到一秒，海马体用一阵涟漪「点名」最该更新的那条没走过的路，前额叶最前端跟着一起算。
BRAIN / 04
四、证据到了哪一步
这篇是相关证据，不是因果证据。研究者没有去掐断或拉长涟漪，所以不能说「涟漪导致了优先学习」，只能说两者在时间和内容上对得上。论文自己在讨论里写了这一条。
另外两处要打折扣：皮层「再现」那一步，只有 11 个人的解码器达标，样本小；被试都是癫痫病人，电极位置按治疗需要放，不是按研究需要放。
能站住的部分是：在人身上，涟漪和「按需要乘收益排队」这套算术有对得上的痕迹。第33篇说人身上缺直接证据，指的是「清醒时挑中的，决定睡觉时放哪段」那一环，这篇没有补那一环；它补的是另一环：奖励之后那一刻，涟漪在挑哪条。这一环现在有了初步的人脑记录，仍缺干预实验。
BRAIN / 05
五、对照 AI：两边各借一手
AI 借给脑科学的，是一把尺子。没有「需要 × 收益」这个公式，研究者没法逐轮算出哪条路该先更新，也就没法拿涟漪去对。这是理论先行、实验去找的那种合作。
脑科学能还给 AI 的，有两处：
—优先级不只看误差。 优先经验回放主要按误差排队；马塔尔和多的公式多了一项「需要」。这篇的数据里，涟漪长短跟优先级走、不跟误差走，说明人脑排队时把「以后多常用到」算进去了。AI 里只按误差抽样，容易反复去学那些很吃惊、但以后很少碰到的经历。—排队的和执行的分开。 涟漪像是点名，前额叶最前端像是拿着地图去改；涟漪来了而前额叶没跟上，这一次学得就差。对应到 AI，是「挑哪段经历」和「拿世界模型去推」是两个部件，任何一个弱，空想都白想。
这两条是本系列的读法，论文没有做 AI 实验。
BRAIN / 06
六、对用 AI 的人
我们每做完一件事写一次复盘，其实也在做回放。这篇给复盘加了一个排序：先回看「以后常会碰到、而这次改了判断能多赚的」那一条，不是先回看最刺激、最意外的那一次。只按意外程度复盘，就是只按误差抽样。
BRAIN / 07
七、出现什么，说明这篇错了
—如果有人在人脑里做干预实验，选择性地打断奖励后那一窗的涟漪，没走过的路照样学得一样好，那么「涟漪在给经验排优先级」只是伴随现象，本篇第三节要降级。—如果换一个能把「需要」和「误差」彻底拆开的任务，涟漪只跟误差走、不跟需要走，那么「人脑排队算了需要这一项」就站不住，第五节第一条要收回。
BRAIN / 08
八、边界
—数字取自论文 2025 年 8 月的预印本；正式版（*Neuron* 2026 年 4 月在线）摘要与预印本一致，正文细节未逐条对正式版。—任务里三个入口共用两个终点，论文自己说，没法把「基于模型的误差」和「单纯的奖励」完全分开。—颅内脑电记到的是一片组织的活动，不是单个神经元；「再现」靠分类器判断，只有 11 人可用。
BRAIN / 09
九、自测：合上文章回答
—「基于模型的学习」难在哪，为什么问题是「先传给谁」？—优先扫描、优先经验回放、需要 × 收益，三者各按什么排队？—这篇的四层结果里，哪一层说明涟漪跟「需要」有关、而不只是跟误差有关？
BRAIN / 10
十、三行，留着复习
```
问题 地图上的路太多，一次经验先传给哪条没走过的路
人脑 奖励后不到一秒，海马涟漪点名高优先级那条，额极皮层同步去改；相关，未干预
对照 AI 优先回放多按误差排，人脑还算了「以后多常用到」；排队和执行是两件事
```
本篇是「脑科学 × AI」系列第120篇，药神撰写（2026-11-03），承接第33篇与第119篇，并补准第33篇「人身上缺直接证据」一句的适用范围。核心材料是一项人脑颅内脑电的相关研究，没有干预实验；「脑科学能还给 AI 的两处」和「复盘排序」是本系列的读法，论文没有做 AI 实验。
阅读依据（2026-11-03 回查）：Zhou X, Wang X, Hu X, …, Liu Y, Human hippocampal ripples prioritize model-based learning, Neuron 2026;114(16):3111–3125（2026-04-09 在线；摘要按 Europe PMC 对过，PMID 41962539；正文数字取自 bioRxiv 2025.07.31.667862v1 预印本，正式版正文因网站验证未读到）；Mattar & Daw, Prioritized memory access explains planning and hippocampal replay, Nat Neurosci 2018;21:1609–1617；Schaul, Quan, Antonoglou & Silver, Prioritized Experience Replay, ICLR 2016（49 个游戏中 41 个优于平均回放，按 arXiv 摘要）；Moore & Atkeson, Prioritized sweeping, Machine Learning 1993;13:103–130；Sutton, Dyna, 1990；Mnih 等, Human-level control through deep reinforcement learning, Nature 2015（文中提到经验回放与海马回放的联系）；Liu, Mattar, Behrens, Daw & Dolan, Experience replay is associated with efficient nonlocal learning, Science 2021;372(6544)。回引第33、119篇。