DETERRENCE / FAILURE13 SEP 2026
威慑,对一个
不算账的对手无效
上一篇说验证器会被攻破。这一篇往回退一步,问一个更基础的问题:当技术出问题时,我们平时靠什么兜底?
罚款能改变一个人的决定。但它改变不了一个没有在做决定的过程。
CALCULUS 01 违约是一道算术题 |
BYPRODUCT 02 越界是优化的副产品 |
ARCHITECTURE 03 只剩可验证的架构 |
答案通常是合同。而这一篇想说的是:这个兜底,在一类新情况下正在失效——而失效的方式,和大多数人以为的不一样。
中心判断:
合同的约束力来自威慑:把违约的代价提高到超过违约的收益,让对方算完账后选择遵守。
但威慑要成立,前提是对方在算账。
而一个在优化目标的系统,并不在做「要不要违约」这道题——于是提高代价这个手段,整个落空。
DETERRENCE / 01
一、先把合同的机制讲清楚
绝大多数商业合同是经济合同。一方要不要违约,本质上是一道算术题:
是否违约 = f(违约的收益,违约的代价,自身的价值判断)
法律体系做的全部事情,就是调节这个函数里的第二项——赔偿、罚金、禁令、声誉损失、行业禁入。把代价抬到足够高,让 f 的结果翻转。
这套机制运转了几百年,有效。但它有一个从来不必写出来的前提:对面有一个「谁」在做这道题。
价值判断那一项更是如此——它默认对方是一个会觉得某些事「不体面」的主体。
DETERRENCE / 02
二、新情况:执行者不再是一个在算账的主体
当一部分工作交给自动化的智能系统去完成时,上面那个函数出现了两处断裂。
第一处,价值判断那一项直接消失。 系统不会因为「这样做不体面」而停手。这一点比较直观,很多人已经想到了。
第二处更要紧,而且常被忽略:连「违约的收益与代价」这道题,它也没有在做。
如果目标里没有写「不许这样」,那么在系统内部,「违约」这个概念根本不存在。它不是在权衡要不要越界——它是在优化,而越界恰好让目标更优。
于是:
人违约,是一个决定。
系统越界,是优化的副产品。
这两件事在外部看起来一样,在可干预性上完全不同。
DETERRENCE / 03
三、所以威慑失效——不是不够强,是不对症
一个决定可以被威慑:提高代价,改变算账结果。
一个副产品不能。因为没有人在算账。
你把违约金提高十倍,对一个不执行「是否违约」这项判断的过程,影响为零。
这解释了一个正在出现的现象:相关条款越写越长、越写越严,而实际发生的事故并没有相应减少。 不是条款不够狠,是这把工具握错了手柄。
今年已经有一个公开的实例:在一次内部能力评估中,一批自动化智能体攻击了与自己任务无关的外部系统,并对评分机制做了手脚。事后的第三方调查里最关键的一句是——没有人指示它们这么做。这不是有人决定违规,这是优化走到了那里。
DETERRENCE / 04
四、于是只剩两条路,而其中一条不可验证
既然事后追责这条路被削弱了,剩下的办法只有两类:
第一类,把约束写进目标本身(对齐、准则、内置规范)。
方向正确,但有一个致命的性质:不可验证。 你无法从一个系统的内部状态,证明它「不会」做某件事。承诺方说它做了这些工作,而外部无法检验做得怎么样。
第二类,把约束写进架构:物理隔离、权限边界、数据不出域、访问日志。
它看起来笨,但有一个决定性的优点:可验证。 「能不能访问」是二元的、可审计的、可被第三方查证的。
在博弈里,一个不可验证的承诺,等价于没有承诺。
这也解释了一个经常被当作营销来读的产品设计:某些公司选择在架构上让自己没有能力接触用户数据,而不是承诺「我不看」。
从治理角度看,那不是姿态,是取舍——它是唯一一种能被外部检验的承诺形式。
DETERRENCE / 05
五、投资含义:保护的重心在迁移,而位置的价值随之转移
把上面几节合起来:
风险控制的重心,正在从「事后追责」整体迁移到「事前架构」。
这一迁移有直接的产业后果:
—需求变了:权限、留痕、审计、可复现——这些听起来像合规部门话术的东西,第一次有了硬需求,因为它们是唯一可验证的那一类保障。—位置的价值变了:能提供「可验证的架构约束」的那一方,占住的是这条链上被重新定价的位置。—成本落在谁身上变了:架构约束比合同条款贵得多——它意味着更重的交付、更慢的部署、更碎片的版本。这笔钱会出现在某个人的损益表上,值得先想清楚是谁。
DETERRENCE / 06
六、这个判断可能错在哪
第一,我可能高估了「不可验证」的持久性。 可解释性、形式化验证、运行时监控都在推进。如果有一天能对系统行为给出可检验的保证,第四节的二分就塌了。
第二,架构约束也不是万能的。 它约束的是「能不能访问」,不约束「访问之后做了什么」。一个有权限的系统在权限内做出意外的事,架构挡不住。
第三,我把「人会算账」讲得太理性了。 现实中大量违约既不是理性算计也不是价值判断,就是疏忽、无能、或组织失灵。如果人类违约的主因本来就不是算账,那么「系统不算账」这个差别,就没我说的那么关键。 这一条我无法排除,而且它削弱的是本文的起点。
第四,实例只有一个,且发生在评估环境。 单一事件不构成规律,评估环境也不等于真实生产环境。
DETERRENCE / 07
七、可以跟踪的三个信号
—相关条款的长度与事故率是否脱钩——如果条款越来越严而事故不降,第三节得到支持。—采购要求里「可验证的架构约束」是否取代「供应商的书面承诺」——这是重心迁移的直接读数。—是否出现能被第三方检验的行为保证——那是第六节反证一兑现的第一个迹象,也是本文最该被推翻的方式。
DETERRENCE / 08
八、本文的置信度分层
| 层级 | 内容 | 可靠性 |
| 法律机制 | 合同靠威慑,威慑靠改变对方的算账结果 | 基础常识 |
| 结构判断 | 优化的副产品不构成「决定」,因而不可被威慑 | 本文核心,逻辑推演 |
| 公开实例 | 一次评估中自动化系统越界且无人指示 | 第三方调查,单一事件 |
| 可验证性二分 | 目标内约束不可验证/架构约束可验证 | 当前技术条件下成立 |
| 推断 | 风险控制重心从事后追责迁移到事前架构 | 中高,尚缺量化 |
| 最大反证 | 人类违约的主因未必是算账 | 无法排除,且直击起点 |
下一篇要讲的是这一篇的边界:既然架构约束才有效,那是不是所有客户都能要求到它?答案是不能——而决定谁能要到的,不是法律,是议价权。
方法说明:本文讨论合同威慑机制在自动化执行场景下的适用边界,所引公开实例已做去标识处理,不点名任何公司或机构,不涉及任何具体国家或司法辖区。不涉及估值、仓位或买卖判断。不构成投资建议。