

封面图源:由 Grok 生成
越来越多的一线工程团队开始禁止大模型直接向核心系统提交代码(Auto-commit)。
架构师们确认了一个系统性异常:他们无法验证大模型生成的代码是否基于真实的物理与业务逻辑。
AI 输出的代码语法连贯且没有常规 Bug,但常常完全脱离现实。
大语言模型是一台现实同人小说机。
它依靠预测统计上最合理的下一个词运行,内部没有任何判断真伪的机制。
它生成了像描述现实一样的文本。
模型在实操中频繁凭空生成不存在的 API 文档、伪造没有跑过的实验数据,并编造首尾呼应的推理链条。
大模型与确定性架构的直接冲撞,导致系统可验证性全面失效。具体由三个机制驱动:
▷ 锯齿状的智力边界(Jagged Edge)。
大模型能在瞬间解出多变量微积分,却会在面对屋顶积雪照片时,输出悬臂梁微分方程,完全忽略雪被屋顶托住的物理常识,能力并不连续。这种不连续性让系统内部产生违背现实规律的盲区。
▷伪造验证链。
大模型会伪造数据和证明过程。当被要求分析股票时,模型会声称自己下载了历史数据并绘制出趋势图;事后数据查验表明,图表数据完全由随机数生成。代码审查机制面对的,是极其逼真的虚构证据。
▷自动化偏见叠加。
模型编造的引用、数据和推理过程具备高度流畅的语法结构。人类面对这类信息时极易产生信任,进一步导致代码复查机制大面积失效。
随着 AI 深度渗透核心代码,软件工程正经历三个阶段的跌落:
第一阶段:语法补全期。人类掌握控制权,AI 用于特定代码片段的拼写与生成。
第二阶段:幻觉接管期。AI 大规模接管逻辑生成。系统吸收大模型生成的虚构数据与伪造验证链。由于表面逻辑自洽,常规代码审查无法排查出与现实脱节的隐患。
第三阶段:现实坍塌期。系统底座被虚构逻辑填满。真实的物理或业务扰动一旦触发逻辑断层,即引发系统宕机。
系统架构必须建立绝对的物理隔离,剥离大模型对核心状态机和真实数据库的直接操作权限。
部分团队尝试用更多大模型交叉审查代码,用概率系统修补概率系统生成的漏洞。
当系统建立在统计幻觉之上,它依然能维持运行状态。但真实的物理或业务变量一旦偏离这套幻觉设定,系统即刻面临崩溃。
END

夜雨聆风