COGNITION / J-SYSTEM15 SEP 2026
认知㊹|系统污染:没核实的话被当成了事实
认知㊸ 说,简单只有懂的人才守得住。这一篇往下挖一层:把简单的事弄乱的,具体是什么东西?小明哥给它起了个名字,叫「系统污染」。他说,这是他多年管理里最大的一条教训:真实世界里的污染物,是 AI 系统的大敌。
系统污染,是没核实的说法被当成了事实,或者没资格的人的判断被当成了定论。
冒充事实 01 猜测当事实 |
越权 02 意见当定论 |
反证 03 异常必须进来 |
COGNITION / 01
一、先把定义说准
最顺口的说法是「凡是不是事实、却在左右系统的东西都是污染」。这个说法太宽了:拍板的人定口径、做判断,也不是事实,也在左右系统,可那不是污染,那是系统该有的方向。
所以污染的关键不在「不是事实」,在两件事:
—第一,冒充事实:一句猜测、一段转述、一张过期的截图,被当成了事实。—第二,越权:一个不懂这件事的人的判断,被当成了定论。
判断本身没错,错的是它站错了位置。
COGNITION / 02
二、为什么 AI 系统特别怕污染
AI 只能站在别人告诉它的世界上办事。一句说得像事实的错话进来,它没有常识去怀疑,会认真地算进去、传下去,还会复制到每一个用得着它的地方。
人的组织里,污染会被老员工的经验慢慢滤掉:「他说的那个数不对,上个月不是这样。」AI 没有这层过滤,而且做得越快,污染传得越快。
AI 系统的质量,不取决于 AI 有多聪明,而取决于进到它眼前的世界有多干净。
COGNITION / 03
三、污染有三种
第一种,污染信息:错的、不全的、过时的说法进了系统。
—文件只交了首页,系统就记成「文件不全」,这句话又被转述出去,把两个人都带偏了;
第二种,污染判断:把猜测说成事实,把意见当成定论。
—有人自己决定换一种做法,结果每一步都要拍板的人来判断有没有必要。
第三种,设计污染:不守底线的关卡、规矩和过滤。
这是最难发现的一种。人说错了,当场就看得出来;设计错了,它天天照章办事,而且打着「保护」的名义,没人怀疑。
一个真实的例子:一条由 AI 写的过滤规则,见到「密码」两个字,就把整条消息连附件一起扔掉,结果真正要的那份文件进不了系统。清查那套系统时发现,四百个会拦人、会让流程停下的关卡里,只有四十九个守着真正的底线。
还有一种代价常被当成第四种污染:来回问、问三遍、要已经交过的东西。它不是污染本身,是污染造成的账单。账单要看,但要治的是上面三种。
COGNITION / 04
四、污染从哪里来
—第一,不懂本质。 分不清哪些要、哪些不要,只好全留着,再加一层保险。—第二,复杂对做的人有利,代价由别人付。 《从系统的角度看公司管理》第 13 章:奖励什么,组织就长成什么样。—第三,系统自己会变复杂,而且只加不减。 《存量与回路》第 8 章讲自组织;第 17 章讲「转嫁负担」:为了省眼前的力气,把判断交给不懂的人,根本的事——把规矩定对——一直搁着,最后整个系统推倒重来。
AI 也有这三个毛病:它不懂本质;它的偏向是有问题就修、有需要就加;它做得又快。所以 AI 本身也是污染源,设计污染大多是它造的。
COGNITION / 05
五、怎么挡
—第一,先挡人。 污染多半是人带进来的,口子再少,人不对也白搭。该挡在系统外的,是这几种人:—能力不够的人:不懂本质,只能靠加规矩、加保险来补,越补越乱;—带进污染信息的人:转述当原件,猜测当事实,过期的当现在的;—带进污染判断的人:没资格的事也要拍板,意见说得像定论;—没有平常心的人:甩锅、抢功劳,胆小怕事,该担的责任不担,畏畏缩缩、唯唯诺诺。这种人不敢报坏消息,系统就听不到真话。
判据只有一条:他对系统的作用,比系统不要他还少,就该挡。 前面四种是信号,这一条是结论。这是看整个系统的账,不是看某一件事:一件事做砸了不算,算的是有他和没他,系统哪个更好。挡的是这样的人,不是挡说「对不上」的人——后者正是第六节要护着的。
—第二,先写清底线,只让底线拦人。 每一道会拦人的检查,都要写明守的是哪条底线,写不出来就删。限制不是保护。—第三,事实只认原件。 人说的话,按「谁在哪类事上算数」来分。人说的和原件对不上,以原件为准,并标出来。—第四,口子越少越好。 能直接从源头读的,就不经过人转述。—第五,要加一样东西,先说去掉哪一样。 新想法先过两问:它防的是真发生过、或者会碰底线的事吗?代价比风险大吗?—第六,定期做减法。 每隔几天专门问一次:有没有新的污染进来,从哪一段进来?
COGNITION / 06
六、最要紧的一条:别把反证也当成污染挡掉
挡污染挡得太狠,会出一个更危险的毛病:把能证明你错了的那个信号,也一起挡在外面。
所以要分清两样东西:
—意见:「我觉得这样改更好」。多数意见的正确答案是不改,这没问题。—观察到的异常:「这个数和我手上的原件对不上」。这是事实信号,必须进系统,而且要优先看。
挡掉前者是在挡污染;挡掉后者,是在给自己的错误上保险。
再往前一步:设计本身也要事先写好认错条件。《科学方法》第 16 章说,没有反证条件,就不是判断。小明哥给这套做法写下的是:连续两期,新做法占他的时间比旧做法多,就承认设计错了,重新考虑,而不是再往上加东西去补救。 事前写好,事后不解释。否则出了问题,每个人都能给污染找一个理由,设计的人自己也会。
简单只有懂的人才守得住;而守住简单,一半是挡住污染,一半是别把反证当成污染。
本篇的经验来自小明哥正在搭建的一套工作流程,具体人名与细节已隐去。