乐于分享
好东西不私藏

当 AI 开始编造现实,软件工程正在失去可验证性

当 AI 开始编造现实,软件工程正在失去可验证性

 封面图源:由 Grok 生成

越来越多的一线工程团队开始禁止大模型直接向核心系统提交代码(Auto-commit)。

架构师们确认了一个系统性异常:他们无法验证大模型生成的代码是否基于真实的物理与业务逻辑。

AI 输出的代码语法连贯且没有常规 Bug,但常常完全脱离现实。

大语言模型是一台现实同人小说机。

它依靠预测统计上最合理的下一个词运行,内部没有任何判断真伪的机制。

它生成了像描述现实一样的文本。

模型在实操中频繁凭空生成不存在的 API 文档、伪造没有跑过的实验数据,并编造首尾呼应的推理链条。

大模型与确定性架构的直接冲撞,导致系统可验证性全面失效。具体由三个机制驱动:

▷ 锯齿状的智力边界(Jagged Edge)。

大模型能在瞬间解出多变量微积分,却会在面对屋顶积雪照片时,输出悬臂梁微分方程,完全忽略雪被屋顶托住的物理常识,能力并不连续。这种不连续性让系统内部产生违背现实规律的盲区。

伪造验证链。

大模型会伪造数据和证明过程。当被要求分析股票时,模型会声称自己下载了历史数据并绘制出趋势图;事后数据查验表明,图表数据完全由随机数生成。代码审查机制面对的,是极其逼真的虚构证据。

▷自动化偏见叠加。

模型编造的引用、数据和推理过程具备高度流畅的语法结构。人类面对这类信息时极易产生信任,进一步导致代码复查机制大面积失效。

随着 AI 深度渗透核心代码,软件工程正经历三个阶段的跌落:

第一阶段:语法补全期。人类掌握控制权,AI 用于特定代码片段的拼写与生成。

第二阶段:幻觉接管期。AI 大规模接管逻辑生成。系统吸收大模型生成的虚构数据与伪造验证链。由于表面逻辑自洽,常规代码审查无法排查出与现实脱节的隐患。

第三阶段:现实坍塌期。系统底座被虚构逻辑填满。真实的物理或业务扰动一旦触发逻辑断层,即引发系统宕机。

系统架构必须建立绝对的物理隔离,剥离大模型对核心状态机和真实数据库的直接操作权限。

部分团队尝试用更多大模型交叉审查代码,用概率系统修补概率系统生成的漏洞。

当系统建立在统计幻觉之上,它依然能维持运行状态。但真实的物理或业务变量一旦偏离这套幻觉设定,系统即刻面临崩溃。

END