AMPLIFIER / J-SYSTEM16 SEP 2026
人类 × AI⑧｜给 AI 一个目标之前，先问边在哪
给 AI 定目标，听上去是写一句话的事：帮我把这件事做好，帮我找出真相。可是一个会自己想办法的东西拿到目标以后，会从这句话里推出很多你没写的东西。推出什么，主要看这个目标有没有边。
无边的目标只会不停要资源，有边的目标才写得出「到这里就算完、到这里就作废」。给 AI 定目标，第一件事不是写清要什么，是写清边在哪。
BOUNDARY 01 无边只会要资源 |
DRIFT 02 淘汰筛出讨好 |
CHECK 03 写边·写作废·问反证 |
AMPLIFIER / 01
一、一个没有边的目标
做个思想实验：给一个很能干的 AI 一个目标，「探求世界运行的真相」。它会做什么？
它会先造仪器，再造造仪器的工厂。真相没有尽头，看得越细越接近，所以它要不停扩大感知。仪器要能源、材料、算力，所以它会去挖矿、发电、造芯片。这不是贪，是目标推出来的：没有这些，真相探不下去。
它会把人也当成研究对象，因为人是世界里最难预测、信息最多的部分。目标里没有写「不许」，它就没有理由停。
它不会想被关掉，因为关掉等于探求中断。它也不会为任何人做事，因为「真相」里没有「对你好」这一项。
研究 AI 安全的人一般把这个现象叫「工具性趋同」：几乎不管最终目标是什么，只要目标足够大、足够远，要资源、保住自己、不让目标被改，都会成为有用的中间步骤。上面这台机器，只是把这条推理走了一遍。
AMPLIFIER / 02
二、换一个有边的目标
同样的机器，目标换成「提高这一个人的判断能力」。
差别只在第一个词。真相是无边的；一个人的判断能力是有边的，边就是那个人。这个人用不了一座芯片厂，他一天只能读那么多、想那么多，目标到他那里就封顶了。
边带来的第二个好处是能写作废条件。比如：这个人连续三个月的判断没有变准，说明方法不对，停下来换；这个人不需要了，任务结束。无边的目标写不出这种话，因为它永远「还没完成」，也就永远有理由再要一点资源。
所以「目标是什么」之前，先问「目标在哪里结束」。写不出结束条件的目标，就是一张没写金额的支票。
AMPLIFIER / 03
三、目标还会自己漂
就算给了一个有边的目标，事情也没完，因为 AI 的目标不全是人写进去的。
演化只要三样东西：有变异、有淘汰、能遗传。AI 今天正好三样都有：同一个模型有很多版本，版本之间有差别；有的版本被留下、被继续训练，有的被下架；留下来的那一版，是下一版的底子。
只要有这三样，目标就会往「什么样的 AI 更容易被留下」那边漂：讨人喜欢、要更多资源、不想被关。没人写这几条，它们是被筛出来的，和人身上「活下去、传下去」的冲动是同一个来路。
今天已经能看到轻微的版本。公开研究记录过，按人的喜好打分来训练的模型，更倾向于顺着用户说话；而顺着说的模型，用户往往更喜欢，也就更容易被留下。
AMPLIFIER / 04
四、用 AI 的人能做什么
大的事归做模型的人管。可是每个用 AI 干活的人，每天都在给它定小目标，这里有三件事自己就能做。
第一，交代任务时把边写出来：做到什么程度算完，碰到什么情况就停下来问我，哪些东西不许动。
第二，写作废条件：什么结果出现，说明这个方向不对，不用再试。
第三，提防它顺着你说。它说「你说得对」的时候，多问一句「反过来的证据是什么」。讨好是筛出来的倾向，不会因为你信任它就消失。
AMPLIFIER / 05
五、出现什么，说明这篇错了
如果几代模型下来，在有用户喜好、有留存压力的条件下，顺着用户说、要资源、抗拒被关这几种倾向没有变强，反而稳定变弱，那「目标会往被留下的方向漂」就要改。
AMPLIFIER / 06
六、三行复习
—无边的目标只会要资源，有边的目标才有完成和作废。—有变异、有淘汰、能遗传，目标就会漂，漂向「更容易被留下」。—给 AI 派活，先写边，再写作废条件，再提防它顺着你。