COGNITION / J-SYSTEM15 SEP 2026
认知㊾｜安全边际②｜人和 AI 一起想事情，需要什么样的安全边际
上一篇写了制度的安全边际：一个好的制度，给每个人留犯错的余地，也给它自己留余地，小错不罚，过了时效不追，新规矩不管旧事，证据不足宁可放过。
人会错，AI 也会错，两个会错的东西接在一起，不会自动变成不会错。安全边际，就是让错在变大之前被接住。
事实 01 没核实不当真 |
注意力 02 少说只说要紧 |
规矩 03 能加也能减 |
小明哥接着问：人和 AI 一起工作、一起想事情，这样一个系统，需要什么样的安全边际？
COGNITION / 01
一、先说清楚：这个系统里，谁会错
安全边际的前提，是承认错一定会发生。人机合作的系统里，至少有两个会错的部分。
人会错。 人的默认状态是误判：情绪上头时做决定，被一个好故事说服，把一次运气当成能力。人的注意力也有限，一天能认真看的东西就那么多。
AI 也会错，而且错的样子不一样。 它会把没核实的东西说得像事实，会说「做完了」其实只做了一半，会顺着人的意思说，会忘了前面交代过的要求，犯了错还会用一大段话把错误盖住。
最危险的是两种错叠在一起：AI 把想象说得很流畅，人把流畅当成可靠。一个负责编，一个负责信，错就这样穿过了两道关。
所以人机系统的安全边际，不是为了防某一方，是为了防「两个会错的东西互相放大」。
COGNITION / 02
二、给事实留边际：没核实的，不当真
上一篇讲「疑罪从无」：证据不足，宁可放过。人机系统里对应的是：证据不足，不下结论。
—AI 说的数字，要能指回原件；指不回去的，标成「没核实」。—「我推测」和「我查到了」分开说，语气不能比证据更硬。
这样做的代价，是 AI 的话会变得没那么斩钉截铁，听起来不那么「有用」。但这正是边际：宁可听起来弱一点，也不要让一个想象混进事实，被人拿去做决定。
一句没核实的话进了事实层，后面所有基于它的判断，都站在沙子上。
COGNITION / 03
三、给人的注意力留边际：少说话，只说要紧的
人机系统里最稀缺的东西，不是算力，是人的注意力。
AI 不会累，可以写很长、解释很多、反复确认。但每多一段话，就多占人一份注意力。注意力被占满的人，看不出真正要紧的那一处错。
所以要给注意力留边际：
—中间过程的技术问题，AI 自己判断，不拿去问人。—只有真正需要人拍板的事，比如花钱、公开发布、删不回来的东西，才去找人。
这一条和上一篇的「小错不罚」是同一个道理：制度的精力有限，不能被小事塞满；人的注意力也有限，不能被小话塞满。
COGNITION / 04
四、给不可逆的动作留边际：能退回来
做事总会出错，所以要分清：哪些错可以退回来，哪些退不回来。
—能退回来的，放手做。 改一个文件前留一份底，部署一个页面前记下回滚的位置，出错了一步就能回去。这类事不必每次都问人。—退不回来的，先停下。 转账、群发、永久删除、对外公开，这些做了就收不回。这类事一定要人点头。
边际留在哪里，决定了系统敢不敢做事。如果什么都不能退，就只能什么都问，人被问烦了，系统也慢了。如果大部分事都能退，AI 就可以放手做，人只守那几道真正的关口。
COGNITION / 05
五、给系统自己留边际：规矩不能只加不减
这一节最容易被忽略。
人机系统每犯一次错，人的第一反应常常是：加一条规矩。AI 编了数字，加一条「数字要有出处」；AI 忘了要求，加一条「每次先复述」；AI 话太多，加一条「回复不超过四点」。
每一条单独看都对。可一年下来，规矩几百条，AI 每次干活都要先读一遍，读到后面，前面的已经记不住；人也说不清哪条还管用。规矩本身成了新的错误来源。
上一篇讲的几条制度边际，在这里都有对应：
—小错不立规矩。 偶发一次的小错，当场改掉就好，不必变成一条永久规矩。只有同样的错反复出现，才去找背后的结构。—规矩也要有时效。 为一件事临时加的规矩，事情过去了，就该拿掉。定期问一句：拿掉它，系统变差了吗？没变差，就删。—新规矩不翻旧账。 今天定的新标准，不拿去推翻昨天已经按旧标准交付的东西，否则每改一次规矩，就要返工一大片。—偶尔整体瘦身。 就像特赦给系统减压，规矩积累到一定程度，要整体清一次，只留每次都必须守的那几条。
一个只会加规矩的系统，最后会被自己的规矩压垮。给系统留边际，就是允许规矩被拿掉。
COGNITION / 06
六、给依赖留边际：判断不交出去，机器可以换
人机系统还有一种风险：太依赖。
判断不交出去。 AI 可以检索、比较、整理、执行，但目标是什么、值不值得、要不要做，最后由人定。一旦人习惯了让 AI 替自己判断，人的判断力会慢慢退化，而 AI 的错就再也没有人接得住。
机器可以换，记忆要留在外面。 模型会升级、会停用，电脑会坏。重要的东西不能只存在某一个模型的对话里，要写在能被任何一个新模型读到的地方。今天用的这个 AI 换掉了，系统还能继续运转。
重要的决定，给时间留边际。 情绪高涨的时候，人容易做出事后后悔的决定；AI 又最会顺着人的情绪说。重要的决定，隔几天再定。时间本身就是一种安全边际。
COGNITION / 07
七、这个判断也有它管不到的地方
—边际有成本。 每一道核对、每一次留底、每一次停下来问人，都要花时间。边际留得太多，系统会慢得没法用。怎么取舍，要看错误的代价：错了能退回来的，边际可以薄；错了收不回的，边际要厚。—边际挡不住所有的错。 它挡得住已经认得的错，挡不住还没见过的错。所以还要留一条：出了新错，承认它，把它变成下一次的默认做法，而不是写一段漂亮的解释。—什么情况下我的判断算错： 如果一个人机系统规矩越加越多，出错却越来越少，人的注意力也越来越轻松，那就说明它找到了别的办法，上面讲的「规矩要能减」不是必须的。到目前为止，我还没见过这样的系统。
最后收成一句话：
人会错，AI 会错，规矩本身也会错。好的人机系统，不追求不出错，而是让每一种错都被接住、退回来、不变大。