术语纪律:本文沿用《你拼命消除的正是智能》的用法——「幻觉」(事实误差/错误)与「注意力」(概率权重)均加引号,皆为借来未厘清的词。“癌症"不是我加的修辞,是书里的原词:§5.4.3 边栏点名"两类工程癌症”——上下文污染与循环推理——并给出了唯一根因。本文做的事,是把这颗癌从第一个细胞讲到全身转移。
〇、为什么偏偏是"癌",不是"bug"
bug 的隐喻是外伤:哪坏了修哪,修完就好。癌不一样。癌有三个定义性特征:
- 不是外来感染,是自身机制被劫持——癌细胞用的是机体自己的复制机制;
- 不报错——它不触发告警,形状上是"合法组织";
- 自我喂养——它会为自己接通血供,越长越壮。
上下文污染恰好三条全占:错误来自模型自身的生成机制(不是外部注入);每一步都通过格式校验(schema 合法、字段齐全);而系统的"记忆"机制亲手给它供血。这就是为什么书不叫它 bug,叫它癌——你没法"修掉"它,只能切断它的形成通路。
下面按病理四期,看它怎么长。
一、第一期:突变——那个必然产生的错细胞
癌的起点是一次复制错误。大模型的"复制错误",书在 §3.1.5b 给了三层根因:
- 根因 A(Σ=1,无弃权桶):输出层 Softmax 必须把概率压到某个 token 上,架构级没有"我不知道、先去核验"的原生槽位;
- 根因 B(自回归强制吐字):每步必吐一个 token 才能继续,且一旦提交永久成为后续上下文、无法回改;
- 根因 C(MLE 无真值):损失函数里根本没有"事实准确性"这一项,流畅的假话与流畅的真话被等同对待。
Kalai 等(arXiv:2509.04664)严格证明了生成错误率存在非零下界——即便语料零污染,「幻觉」(事实误差/错误)率也不会归零。
翻译成病理语言:突变率不为零,这是当下训练配方的数学必然。第一个错细胞一定会出现,问题只在它接下来能长多大。注意,这一期不是癌——人也会记错一个名字,那是单点事实误差,有界、静态、错就错在那一个点。
二、第二期:原位生长——雪崩,但有界
错 token 被提交后,事情开始变化。自回归架构没有修订路径:这个低相关 token 进入上下文,抬高了下一步更多低相关 token 的概率,沿链累积——“越写越离谱”。这是书里的雪崩机制:单点误差在强制补全下滚成系统性离谱输出。
但请注意机体的天然边界:雪崩绑定在单条自回归轨迹内。结束符(EOS)一停,下一条轨迹重新 Σ=1,放大链断开(L0 架构层)。也就是说,在单体时代,这颗瘤是原位的——它再离谱,也死在一轮回复的边界里。你重开一个会话,它就没了。
单体大模型的病,到这一期为止。癌变发生在下一期——而下一期的通道,是多智能体系统自己修出来的。
三、第三期:突破基底膜——两条转移通道
多智能体把生成串成了流程:上一个节点的输出是下一个节点的输入,上一轮的对话被塞进下一轮的上下文。原位肿瘤由此获得两条转移通道。必须钉死:这两条通道与雪崩是不同机制——雪崩是单轨迹内的放大,转移是跨边界的携毒(GIGO),二者互补、不可混为一谈(§3.3.3 边栏原文的区分)。
通道一:跨节点——格式闸门挡形状不挡错误。刚性 DAG 里,节点衔接由脚本负责,脚本只校验字段齐全、类型对、schema 通过——即格式,不碰语义。一个形状合法、内容却错的前提,会被原封不动喂给下一节点。举个例子:Agent A 断言"接口返回的是毫秒时间戳"(实际是秒),这句话字段齐全、类型正确,闸门放行;Agent B 据此写转换代码,Agent C 据此写测试用例——测试还通过了,因为测试和代码错得一致。癌细胞过了免疫检查点,不是因为没有检查,而是因为检查的是形状,不是恶性。
通道二:跨轮——原始上下文被当成记忆回灌。这是书给出的唯一根因(§5.4.3 边栏原话:“根因只有一个:原始上下文被当成记忆回灌”)。行业追求"通用记忆",把对话每句话无差别塞回上下文,美其名曰记忆——于是本该死在本轮边界的推理链(含它的错误与循环)拿到了跨轮通行证。上面那个时间戳断言,第三轮之后已经不是"某个 Agent 说过的话",而是上下文里的既定事实——没人记得它需要核实,因为它看起来一直都在那里。
四、第四期:定植与免疫逃逸——癌变完成
错误一旦落进"记忆",性质就变了:它从推理过程中的一步固化成了系统的前提。污染的不再是过程,是地基。此时两个恶化条件接管战场:
恶化条件一:弱分化 → 低质量共识盖章。系统里明明有多个"复检"角色,为什么没人揪出毒?因为角色只换了人设标签,看问题的决策轴没有显著可分——视角重叠面大。复检者与肇事者从同一个角度打量同一句断言,谁也照不见对方的盲区。于是他们达成一致——注意书的纪律:共识没有真假,只有质量高低。这份共识的问题不是"假",而是放到统一标准下校验、放进结果导向情景,错误率高——共识质量差。N 份相同偏见收敛到同一个自信的错误(§3.1.5a)。这是最标准的免疫逃逸:不是免疫系统缺席,是免疫细胞和癌细胞长着同一张脸。而且它比报错危险得多——报错会叫,低质量共识不叫,它还给肿瘤盖了"健康组织"的章。
恶化条件二:循环推理 → 无限增殖。推理链无终止,错误沿回灌跨轮,退化成 step repetition / 死循环(MAST FM-1.3)。书对"停止"有精确定义:收敛是动态过程,共识是它的涌现退出条件——最后一个有依据的意外被裁决、被消化后,系统自然不再转(§5.1.2/§5.1.3)。而在被污染的系统里,这道涌现门坏了:没有真实冲突可裁决(大家共享盲区),也没有新信息进入(回灌的都是旧毒),循环失去了自然停下的理由,只能靠预设步数或超时被硬截——那不是收敛,是耗竭。
至此癌变完成:突变(必然的错 token)→ 原位(单轨迹雪崩,本有界)→ 转移(格式闸门放行 + 记忆回灌供血)→ 定植(固化为前提)+ 免疫逃逸(低质量共识确认)+ 无限增殖(循环失去涌现出口)。每一期单看都不致命,连起来就是绝症。
五、根治:不是化疗,是断血供
对着形成通路逐期拆,就是书 §5.4.3 的答案。注意它不是"杀死已有的错误"(种子错永远会有,突变率非零),而是让错误长不成癌:
1. 每轮重置原始上下文——斩断转移通道二。本轮推理链(含其循环与污染)死在本轮边界,循环无法跨轮。这是把 L0"雪崩封顶于单轨迹"的思想从生成内推到轮次间。重置斩断的是原始回灌,不是记忆。
2. 结构化、经仲裁的项目日志——只给健康组织发通行证。日志由多角色共建(冲突上报、双审、规则更新),是"体外器官"(L485)而非收据。书的原话:"它只跨轮存活结构化且验真过的内容,癌症无法迁入。"这一步补上了格式闸门缺的那半边:格式闸门查形状,仲裁查语义。
有人立刻问:重置不丢信息吗?书的回答很干脆——看似丢,实则未丢。每轮所需上下文由两处持久源重组:各角色的角色定义 + 结构化项目日志;N 个角色各带聚焦视角,集体重建的是经仲裁的高保真记忆,优于原始 dumps。CoordClaw 实测里长任务目标始终稳定,正因为目标活在角色定义与结构化日志里、每轮重读,不押在会被重置的临时推理链上。
3. 抬高分化程度——让免疫细胞换张脸。治免疫逃逸的不是加更多复检员(N 份相同偏见还是那个错),而是让角色的决策轴显著可分:不同的优先级、不同的盲点、不同的判断框架。分化只有程度之分,分化程度越高,那句"毫秒时间戳"越可能撞上一个从数据一致性角度打量它的角色。分化治不了共享先验盲区的残余——那是更深一层的边界,交给下一条。
4. 按需调用真值锚——对可核实断言拉核实杠杆。"接口返回什么单位"是可以拿真值锚核掉的:发个请求看返回值,一秒见分晓。注意书的纪律:真值锚是按需调用的核实杠杆,不是每句话过闸的门槛——不是所有断言都要验、也不是验过才准入库,而是当断言可核实且分量重时,有人负责去拉这一杆。它治的正是分化够不着的种子错。
四条合起来就是四重纪律:纵向防回灌(重置)、横向防混用(项目隔离,不通用)、结构化 + 仲裁后日志才是记忆、通用只在元层组织设计(分工),不在执行层一套记忆通吃。
六、尾声:记忆无罪,执念有罪
最后把两句诚实的话说完。
第一,靶子从来不是记忆本身。记忆是"体外器官",是正解;靶子是"无结构、无仲裁、全量回灌"的那种伪记忆。行业把"通用长记忆"当圣杯去追,恰恰是把癌症的血供当成了营养液——这背后是那个更深的执念:以为记住一切、消除一切不确定,系统就完美了。书把这个执念列为笼子的第三态,也是最深的误区。
第二,结构只能抑制,不能消除(§5.3.2 边栏的诚实边界)。角色锚定 + 重置 + 仲裁 + 真值锚,是提高稳定性、抑制漂移与污染的工程约束,不是免疫承诺。突变率非零是数学下界,共享先验盲区是路径依赖的代价——智慧的前件同时是它的阿喀琉斯之踵。协作的目标是收敛到更低错的共识,不是杜绝问题;共识错误率的地板由先验种子决定。
所以这篇病理报告的结论只有一行:癌不是长出来的,是喂出来的。错细胞必然出现(不可消除),但转移通道是工程自己修的(可以拆除)。你拼命给系统灌"完整记忆"、拼命消除每一处不确定的时候,喂的正是那颗癌;而斩断回灌、让不确定性在结构里显形、冲突、被仲裁——癌细胞还会产生,但它永远停在第一期。