BRAIN / BRAIN × AI20 SEP 2026
脑科学与AI125｜手为什么走直线：大脑怕的可能是噪声，强化学习训出来的机器手却会抖
这一篇跟写"智能的计算基础"系列第 077 篇。077 讲伸手够东西的几条规律：手在空间里走近似直线，速度曲线是对称的钟形，目标越远越小、动作越慢（菲茨定律），多出来的关节让同一个目标有无数种够法，婴儿靠乱动加奖励学会伸手。原文把这些规律一条条列了出来，却没给出把它们串起来的那个解释。这一篇补上这个解释，再对照 AI：机器人用强化学习练出来的控制器，恰恰缺这一样。原文的问题放在第六节。
手走直线、速度先快后慢、靶子越小动作越慢，这三条可以用一个假设解释：指令越大，噪声越大，大脑挑的是终点最准的那条轨迹。强化学习只奖励"够到了"，不管"稳不稳"，所以练出来的机器手会抖，平滑要另外教。
直线与钟形 01 指令越大噪声越大 |
冗余 02 只纠正碍事的偏差 |
对照 AI 03 RL 不罚抖要另外教 |
婴儿伸手去够架子上的玩具车。刚学伸手时，手要分好几段才凑到目标；几个月后，才会出现大人那样一条直线、一次到位的伸手。图片来源：Yan Krukau / Pexels
077 的三件事对照：直线与钟形速度、冗余、学会伸手，大脑这边怎么解释，AI 这边对应什么。
BRAIN / 01
一、手走直线：计划是在手的空间里做的
1981 年，意大利的莫拉索让受试者在水平面上用手指向随机出现的目标。手走的路径接近直线，速度先升后降、单峰对称；同一时间肩和肘的角度曲线却各不相同，有的单调变化，有的中途反转。手的轨迹规整、关节的轨迹不规整，说明大脑规划的是手在外部空间里怎么走，关节怎么配合是后面再算出来的。这和第112篇讲的坐标变换接得上：目标位置一路从视网膜坐标换到身体坐标，到了这里，计划就写在"手要去哪"这一层。
为什么偏偏是直线和钟形？最早的数学解释叫"最小加加速度"。加加速度（jerk）是加速度的变化率，人坐车时感到的"顿挫"就是它。霍根 1984 年先在猴子肘部单关节动作上提出：动作像是在追求"尽可能平滑"，即全程加加速度的平方和最小；弗拉什和霍根 1985 年把它推广到人的多关节伸手，算出来正好是直线加钟形速度，和实测吻合。宇野、川人等 1989 年提出另一种代价"力矩变化最小"，能解释某些方向上手的路径会微微弯曲。
这两种解释有个共同的弱点：为什么大脑要在乎"平滑"？这是先假定的。
BRAIN / 02
二、一个更省的解释：用力越大，抖得越大
1998 年，哈里斯和沃尔珀特在《自然》上给了一个更省的假设：神经发给肌肉的指令带噪声，而且指令越大，噪声的方差越大（信号相关噪声）。在这个前提下，大脑只要挑一条让终点位置方差最小的轨迹，别的都不用另外假定。
直观地想：猛冲猛停要用大力，大力带来大抖动，抖动累积到终点就是偏差；所以最准的走法是起步和收尾都轻，中段才快，这就是钟形速度。走直线是因为绕路要多用力。同一个假设还推出了三样东西：
—菲茨定律。菲茨 1954 年的实验是让人在两块目标之间来回敲，发现动作时间约等于 a + b·log₂(2D/W)，D 是距离，W 是目标宽度。目标越小，允许的终点误差越小，在信号相关噪声下就只能用更小的力、走得更慢。—2/3 幂律。画曲线时，手的角速度和曲率的 2/3 次方成正比（拉夸尼蒂等 1983），弯得越急走得越慢。—眼跳。眼球快速跳视的速度曲线也被同一个假设预测出来。
这里要分清：这是"规范性"解释，说的是"如果大脑在这样优化，就会出现这些规律"，不等于证明了大脑里有一处在计算方差。
BRAIN / 03
三、冗余：多出来的关节不是麻烦
手到桌上某一点，肩、肘、腕的组合有无数种。苏联生理学家伯恩斯坦 1967 年把这叫"自由度问题"：大脑怎样在这么多可能里挑一种？更怪的是，同一个人连按十次同一个点，十次的关节姿势都不一样，指尖却每次都准。
托多罗夫和乔丹 2002 年在《自然·神经科学》上用"最优反馈控制"给了答案：大脑不是先定死一条轨迹再严格跟踪，而是边动边看，只纠正会让任务失败的那部分偏差，对任务无关的方向放任不管，他们叫"最小干预原则"。肘关节偏了一点、腕关节刚好补回来，指尖没偏，就不去纠。这样解释了为什么姿势多变而结果稳定：变异被推到不碍事的方向去了。纠正本身也要用力、也带噪声，不碍事的偏差去纠，反而添乱。
BRAIN / 04
四、婴儿怎么学会：乱动，再挑出有用的
077 后半讲伸手的发育。婴儿早期的伸手是一段一段凑过去的，几个月后才变成大人那样一次到位。原文介绍的几个模型都是一个思路：先自发地乱动（运动咿呀），再靠结果挑出好用的。
—布洛克、格罗斯伯格等 1993 年的 DIRECT 模型，在"咿呀阶段"自发产生动作，把同时出现的视觉、空间、运动信号对上，学会"手要往哪个方向动、各关节该怎么变"。学完以后，关节被固定住、手里换了不同长度的工具，它不用再学也能够到目标，这就是冗余带来的好处。—贝尔蒂埃 1996 年用 Q 学习，让模型把伸手拆成几段子动作，补偿指令不准带来的误差。—贝尔蒂埃、罗森斯坦和巴托 2005 年用"行动者-评论家"强化学习，让一个简化的四自由度手臂学习最快到达目标；运动系统本身的不确定性被拿来当探索。巴托是强化学习的奠基人之一。
BRAIN / 05
五、对照 AI
一、平滑不是白来的。用深度强化学习训练机器人控制器，常见毛病是动作发抖：奖励只看到没到、摔没摔，不管指令是不是在高频来回跳。米索尔等 2021 年在 ICRA 上的 CAPS 方法，专门加了一项正则，惩罚"相邻时刻动作差太多"和"相近状态给出差很多的动作"。在一架真实四旋翼无人机上，控制器平滑之后，耗电下降了将近 80%。
拿第二节对照：在大脑里，平滑是"想打得准"的副产品，因为用力越大噪声越大，抖本身就会被准确性惩罚；在强化学习里，仿真器的执行器通常没有这种"越用力越不准"的设定，平滑就得另外写进奖励或正则。这是本系列的对照读法：如果在训练里给动作加上随幅度增长的噪声，控制器会不会自己长出钟形速度，值得试，我们没查到直接检验。工程上另一条路更直接：路径规划器常常干脆用多项式拟一条最小加加速度轨迹，让机械臂照着走，这是把霍根的公式当作现成的设计规则。
二、冗余：只管任务相关的方向。冗余机械臂（关节数多于任务需要的）在机器人学里有现成做法：先保证末端到位，再把多出来的自由度用在次要目标上，比如离关节极限远一点、避开障碍，这些次要动作被限制在"不影响末端位置"的方向里（零空间）。这和托多罗夫的最小干预原则是同一个形状：任务相关的方向严管，无关的方向留给别的用途。区别在于，机器人是工程师手动划分主次，大脑的划分是从"只纠正有害偏差"这条最优原则里自己长出来的。
三、乱动不如朝着目标乱动。DIRECT 那种完全随机的咿呀，放到关节很多的系统上效率很低。罗尔夫、施泰尔和金格 2010 年提出"目标咿呀"（goal babbling）：从一开始就朝着目标去试，沿着试的路径采样、修正，直接学冗余系统的逆运动学。他们在本田人形机器人和最多 50 个自由度的平面臂上都学成了。这和第四节讲的婴儿伸手对得上：婴儿从很早起伸手就是冲着目标去的，不是对着空气乱挥。
四、噪声的两面。大脑里，噪声是要压住的代价，也是探索的来源（贝尔蒂埃 2005 正是拿运动的不确定性当探索）；强化学习里，探索噪声是人为加进去的，训完往往要拿掉。两边都在用同一样东西，用法不同。
BRAIN / 06
六、原文的几处问题
—直线与钟形的出处。原文把"人点到点伸手走直线、速度钟形"引给霍根 1984，那篇是猴子肘部单关节动作的最小加加速度模型；人多关节伸手走直线的经典观察是莫拉索 1981，多关节的最小加加速度模型是弗拉什和霍根 1985。更大的遗漏是：全篇没提"最平滑"这一解释，也没提哈里斯和沃尔珀特 1998 年用信号相关噪声把钟形、菲茨定律、2/3 幂律一起推出来。—分段那一条说反了。原文说"手臂运动可能基于离散笔画，并且在三维空间中分段平面"，引的却是斯特纳德和沙尔 1999，那篇题目就是"端点轨迹分段并不意味着控制分段"：他们发现关节角是连续振荡，看上去的分段是手臂运动学的非线性造出来的，用连续正弦式控制的机械臂也能画出一样的"分段"。—2/3 幂律的出处。定律由拉夸尼蒂、特尔佐洛、维维亚尼 1983 年提出，原文引的是 2001 年综述；"在运动皮层群体编码中得到验证"出自施瓦茨 1994 年《科学》，原文没引。—菲茨定律的出处与"难以提示"。原始出处是菲茨 1954 年《实验心理学杂志》，原文引的是 2001 年一篇节律瞄准研究；菲茨的原实验是两目标之间来回敲击，不是"快速抓取"。原文说它"难以对神经系统组织给出明确提示"，但信号相关噪声正是从它推出的一条线索。—冗余一段张冠李戴。自由度问题由伯恩斯坦提出；原文引的布洛克等 1993 年 DIRECT 模型，要点是靠咿呀阶段自组织学会映射、换工具和关节被固定也能够到，不是"多目标优化、避开关节极限"。冗余问题最有影响的解释之一，托多罗夫和乔丹 2002 的最优反馈控制，原文没提。—"前额叶"再现。"前额叶区域的一些相关运动皮层"应为额叶运动皮层，第118、121篇已指出过同一处误译。—残留变量。介绍贝尔蒂埃 1996 时写"随着 k 值的降低"，k 是什么前文没交代。
BRAIN / 07
七、边界
—最小加加速度和最小方差在多数伸手动作上预测相近，两者谁更对，要靠专门设计的实验区分；本文说"更省"，指的是假设更少，不是已经被判定更对。—规范性模型说明"这样优化会得到这些规律"，不等于大脑里有对应的计算回路；回路层面的证据另当别论。—第五节"给强化学习加随幅度增长的噪声会不会长出钟形速度"是本系列的推测，未查到直接检验。
BRAIN / 08
八、自测：合上文章回答
—莫拉索 1981 年看到手的轨迹规整、关节的轨迹不规整，这说明了什么？—信号相关噪声这一个假设，怎么推出钟形速度和菲茨定律？—最小干预原则为什么能解释"姿势每次不同，指尖每次都准"？—强化学习训练出的控制器为什么会抖？CAPS 怎么治？
BRAIN / 09
九、三行，留着复习
```
直线与钟形 计划写在手的空间；指令越大噪声越大，挑终点最准的轨迹，顺带推出菲茨定律和 2/3 幂律
冗余 只纠正碍事的偏差，无关方向放任；机器人用零空间做同样的事，但主次靠人划
学会伸手 乱动再挑；朝着目标乱动比对着空气乱动学得快；RL 不惩罚抖，平滑要另外教
```
本篇是「脑科学 × AI」系列第125篇（2026-11-06），跟写老炊专辑「智能的计算基础」第077篇，承接第123、112篇。更正：直线与钟形的出处应为 Morasso 1981 与 Flash & Hogan 1985（原文引的 Hogan 1984 是猴肘单关节）；所引 Sternad & Schaal 1999 结论是分段不代表控制分段，原文说反；2/3 幂律出处为 Lacquaniti 1983、皮层证据为 Schwartz 1994；菲茨定律出处为 Fitts 1954；冗余问题由 Bernstein 提出，所引 DIRECT 1993 要点是咿呀阶段自组织学映射而非多目标优化；「前额叶」应为额叶运动皮层；「k 值」未定义。最小方差与最小加加速度孰对尚待专门实验；「给 RL 加随幅度增长的噪声会长出钟形速度」是本系列推测，未见直接检验。
阅读依据（2026-11-06 回查）：老炊《智能的计算基础》077；Morasso, Spatial control of arm movements, Exp Brain Res 1981;42(2):223–227（PMID 7262217）；Hogan, An organizing principle for a class of voluntary movements, J Neurosci 1984;4(11):2745–2754（PMID 6502203）；Flash & Hogan, The coordination of arm movements, J Neurosci 1985;5(7):1688–1703（PMID 4020415）；Uno, Kawato & Suzuki, Minimum torque-change model, Biol Cybern 1989;61(2):89–101（PMID 2742921）；Harris & Wolpert, Signal-dependent noise determines motor planning, Nature 1998;394:780–784（PMID 9723616）；Fitts, J Exp Psychol 1954;47(6):381–391；Lacquaniti, Terzuolo & Viviani, Acta Psychol 1983;54:115–130；Schwartz, Direct cortical representation of drawing, Science 1994（PMID 8036499）；Sternad & Schaal, Exp Brain Res 1999;124(1):118–136（PMID 9928796）；Bernstein, The Co-ordination and Regulation of Movements, 1967（凭通行引法）；Todorov & Jordan, Nat Neurosci 2002;5(11):1226–1235（PMID 12404008）；Bullock, Grossberg & Guenther, DIRECT, J Cogn Neurosci 1993;5(4):408–435（PMID 23964916）；Berthier, Dev Psychol 1996;32(5):811；Berthier, Rosenstein & Barto, Psychol Rev 2005;112(2):329–346（PMID 15783289）；Mysore et al., CAPS, ICRA 2021（arXiv 2012.06644）；Rolf, Steil & Gienger, Goal babbling permits direct learning of inverse kinematics, IEEE TAMD 2010;2(3):216–229。回引第112、118、121、123篇。正文配图 Pexels 6209349（Yan Krukau）。