COGNITION / J-SYSTEM15 SEP 2026
认知㊼｜好东西会变成癌：系统为什么一定会长肥
认知㊹ 讲了污染怎么从外面进来：没核实的话被当成事实，没资格的判断被当成定论。这一篇讲另一半：污染也会从系统里面长出来。最难治的那一种，原本是系统里最有用的东西。
系统长肥，不只是外面塞进了垃圾。更多时候，是里面的好东西变了质，而人和 AI 一起在喂它。
癌变 01 好单元只顾自己长 |
人 02 只加不减 |
测试 03 拿掉变差了吗 |
COGNITION / 01
一、好单元是怎么变成癌的
癌细胞不是外来的。它原本是身体里正常的细胞，有自己的位置，干自己的活。变坏之后，它有三个特征：
系统里也一样。一条为补一次漏洞写的规矩，起初是好的。后来它被抄到每个环节，又派生出子规矩，每件事都要过它一遍。它的体积、它占的精力一直在涨，系统的产出没跟着涨。
它难治，正因为它原来有用。 外面送来的垃圾，一眼看得出是外来货；癌变的单元有来历、有功劳，谁想动它，看起来都像不负责任。系统的免疫力对它不起作用。
COGNITION / 02
二、三种从里面长出来的污染
—塞垃圾。 内部单元自己往系统里加东西：多一份备份，多一道确认，多一个「以防万一」。—无限复杂化。 把简单的事做复杂，而且没有尽头。每一步单独看都有理由，合起来没人说得清为什么要这么多步。—借保护之名限制功能。 保护过头的代价看不见，只是事情没做成、做得慢；保护不够的代价，一出事人人看见。这个不对称，让保护只加不减。
一件事步骤越来越多，产出却没变好，多出来的那部分先怀疑。
COGNITION / 03
三、人也是污染源，包括设计系统的人
小明哥说了一句很少有人肯说的话：系统长肥，一部分是人的错。用一段时间，就想起很多东西让系统加；到了瘦身的时候，只说一句「瘦身」，自己不参与设计。
加和减是不对称的。加的时候，人清楚为什么要它；减的时候，面对的是一堆细节，插不上手，只好交给别人凭理解去砍。砍不准，砍完又长回来。
守门的那一方也有份。AI 的偏向是有需要就加、有问题就补，让加就加，很少问一句「那拿掉什么」。它产出最多，说话又最像事实，所以它是最大的潜在源头。
解法不是让人去做技术设计，而是把人放在对的位置上：
—执行的一方负责把每一项翻成大白话：留着有什么用，拿掉会怎样；—加一样东西之前先问一句：它防的是什么事？能不能替掉一样旧的？
COGNITION / 04
四、为什么一定要重新设计
有些系统，一开始连设计它的人也不知道它该长什么样，只能先长。这不是错，那是在试错。
但乱长的系统受进化的约束：越来越复杂，功能越来越差，最后是死。没有设计图，瘦身只能凭感觉砍；凭感觉砍掉的，一定会长回来。
所以节奏是循环的：
—按证据重新设计：过去真被用到、真产出了东西的留下来，给它一个形状；
重新设计也有它的坑：新设计里塞满上一版没实现的愿望，比旧的更胖。所以设计要从证据出发，不从愿望出发。
COGNITION / 05
五、认嫌疑的一个测试
「垃圾」「癌」本身也是判断。贴标签之前要核实，否则就是用㊹讲的那种污染去治污染。
最好用的测试只有一个：把它拿掉，系统变差了吗？
保护类的东西再多问三句：它防的是什么事故？那种事故真出过几次？每次执行它要花多少成本？答不上来的列为嫌疑，先停用，不急着删。
这个测试本身也要有认错条件：按它拿掉的东西里，只要有一样事后证明不该拿，系统因此出了事，就说明观察期太短。 下次先停用更久，看清楚再删。
COGNITION / 06
六、没有不死的系统
世界上没有不死的系统。所以目标不该是让一个系统永远活着，而是让它死的时候，值钱的东西还在：人的判断，沉淀下来的方法，记录下来的对与错。这些要能搬进下一代系统。
系统可以重建；判断和方法丢了，才是真的丢了。