ARTICLE · 1060861
AI差点把一场战争点燃,美军飞机已经升空了
AI差点把一场战争点燃,美军飞机已经升空了故事是这样的。 2026年春天,美伊战争打得正凶的时候,美国特种作战司令部有个分析师,正在评估一艘中国货船的舱单。 他不是查资料,他是让一个AI聊天机器人,把公开来源情报和机密的信号情报混在一起,让它自己分析。 几分钟后,AI给出了一个结论。这艘船,正在运载核武器项目的部件。 然后接下来的事,才是最炸裂的。 美军根据这份报告,开始准备武装拦截这艘中国船。登船部队就位。军用飞机已经升空。 整个行动,走到了执行倒计时。 最后一步之前,有人在链路最末端认真核查了一遍原始材料,发现这份报告是AI辅助生成的,内容完全不实。 行动取消。一次潜在的美中冲突,就这么被避免了。 这是CNN在2026年9月18日做的独家调查,多名熟悉事件的匿名信源交叉确认。而截至9月22日,军方层面的回应,是零。不确认,也不否认。 一位信源的评价我印象最深,就一句话。 almost started a war。差点引发了一场战争。 你敢信??? 一份聊天机器人生成的假情报,差点让美国军用飞机,去拦一艘中国的船。
夜航甲板上的战机,静待升空先说清楚,哪些是实的,哪些还是未知。 这块需要注意一下,我先把「确定性」讲清楚,这也是整件事里我觉得最见功夫的一个点。 事件本身,就是一次未分级信息进入决策链的灾难。所以这篇文章里,我会把已证实和未证实分开摆放。 已证实的,有这些。CNN独家调查,多家媒体跟进。涉事方是特种作战司令部的一名分析师,情报原始来源是太平洋司令部。分析师用了两次AI,一次做融合分析,一次把错误结论整理成正式摘要。报告沿指挥链传播,美军准备武装拦截,军用飞机已升空,最后一刻取消。行动取消的原因是报告被认定完全不实。三名民主党参议员Warner、Reed、Coons在9月19日联名致信防长和情报总监,要求监察长立即调查。 未证实的,也很关键。那个AI聊天机器人,到底是商业产品还是政府自研工具,至今不明。AI具体错认了哪种货物,CNN也明确说了,未知。行动的确切时间、地点、部队、机型,只知道「今年春天」和「中东」。是谁在最后关头起了疑心,报道没说。分析师有没有被处分,无报道。中方有没有反应,截至发稿没有公开报道。 这里有个前高级官员的话,我觉得挺狠的。他说军方内部那些工具,mostly just copies of the commercial stuff wearing lipstick,大多是套了层皮的商业产品复制品。 解读一下。工具出身,其实不是本案的关键变量。无论商用还是自研,失效都发生在同一个地方,混源输入,加上无校验采信。 顺着上面的,再聊聊细节,看错误是怎么一路走到升空的。 第一步,分析师让AI把开源数据和机密信号情报揉在一起,分析那艘中国货船装了什么。AI的错误就出在这,它给出了一个语气权威、格式完整的判断,这个船运载的是核武器项目部件。但CNN说了,错认的具体是什么货,到现在没人知道。
夜航货船(示意)· 非涉事船只第二步,更骚的事来了。分析师又用同一个AI,把错误结论二次加工,整理成一份看起来像正式文件的摘要。 注意这一步,这是全案最容易被忽视、也最致命的一环。 下游看到的,不再是「AI说的」,而是一份「报告说的」。内容的来源、置信度、生成方式,在制式化的过程里被整个抹掉了。AI不仅生成了错误,还亲自参与了错误的公文包装。 第三步,摘要沿各级指挥渠道往上走。因为格式太权威,一路上被默认当成已核实的情报。 第四步,拦截计划制定,武装登船部队就位,军用飞机升空。 第五步,行动前夜,独立复核发现报告完全不实,取消。 你品品这个结构。纠错发生在哪,发生在链路的最末端。整条链上每个环节都有名义上的把关人,但全部放行了。唯一生效的校验,是行动授权前那次人工核查。 那为什么整条链上,没人拦得住?我拆了四个风险点。 风险点一,幻觉加公文格式,等于信任放大器。大模型的输出天然流畅、结构完整、语气确定,这恰好就是正式情报报告的外观。内容层的幻觉产生时,形式审查是失效的。格式权威不等于内容可靠。 风险点二,速度压力扭曲了校验意愿。有位信源的金句,我直接搬过来。 AI allows you to get to a bad idea faster。AI让你更快地到达一个坏主意。 杀伤链加速是官方目标,校验却没有对应的时间预算。年轻分析师作为数字原住民,更容易无批判地信任聊天机器人的输出。 风险点三,人在环路的空心化。信源的原话,AI在瞄准中的应用肯定在加速,但对于人在环路如何防止平民伤亡或误伤友军,没有任何真正的指引。本次事件里每一环都有人,但没有人独立核查过证据,人只是批准了AI的输出。 风险点四,工具分散部署,缺乏统一校验标准。各部门的AI工具是分散采购、分散部署的,没有统一的溯源、评审、留痕标准。参议员在联名信里直指,把AI能力采用和试验的加速,置于有效治理之上。 这四个风险点,还可以再往上收一层。 其实这件事里,没有任何一个因素是AI独有的。战争期间的高行动节奏,信息本身不完备,人类对自动化输出的自动化偏见,KPI指向速度不指向准确,高后果决策叠加对抗性信息环境。 AI改变的不是这些因素的存在,是它们的规模和速度。 光说险酿冲突,可能还不够有冲击力。再讲一个平行的。 2026年2月,美军空袭了伊朗Minab的一所小学。死亡人数,将近200名儿童和成人。 据CNN此前的报道,三名信源说,高级指挥官绕过了关键数据库里的警告,其中一个数据库是AI驱动的,那个警告明确提示,关于这个伊朗目标的情报,已经严重过时。 是不是AI误判直接导致的,美方调查到现在没有公布结论。但结构上,它和本次事件共享同一个失效模式。过时或者错误的输入数据,AI平台生成spurious outputs,人工把关形同虚设。 一个是差点引发冲突,一个已经酿成了平民伤亡。同一套故障,不同的代价。 再说政治后续。这件事已经从情报事故,升级成了国会议题。 9月19日,三位民主党参议员Warner、Reed、Coons联名致信防长Hegseth和情报总监Jay Clayton。 信件三件事。第一,要求监察长立即调查,且要更高程度的公开透明。第二,指控AI瞄准平台反复生成虚假输出,基于过时数据,或者纯粹幻觉,可能造成严重行动错误。第三,这类错误正在损害美国公众和国际伙伴,对情报驱动行动准确性的信心。 截至9月22日,调查结论、责任认定、制度改革,全部没有公开结果。 这里我要强调一句。官方零回应说明,目前所有信息都单向依赖美国媒体的信源。在信息战环境里,这是有被操纵风险的。没有溯源标注的信息不该进入决策,没有溯源标注的报道,也不该进入你的结论。 讲到这里,你可能会问,这事跟你有什么关系? 如果你把大模型接进了任何有真实后果的决策流,风控、医疗分诊、合规审查、交易执行、运维操作,那恭喜,你和美国特种作战司令部,面对的是同一个失效模式。 概率生成器,权威格式,无校验管道,高后果行动。 你的系统里,那架升空的飞机,对应的是什么? 找到那个不可逆的动作,就是设计校验环节的起点。 核心认知只有一个。大模型是概率生成器,不是数据库。它不「知道」任何事,它只是生成听起来合理的文本。
校验与溯源:让错误在地面被拦住plausible不等于accurate。听起来合理,不等于正确。 所以靠一句提示词去求模型「不要说错」,是拦不住本次事件的错误的。提示词约束是请求,Harness机制才是制度。得靠结构性的校验设计。 我总结了四条原则,每条都能直接落地。 1,强制溯源。每个进入报告的事实性断言,必须挂来源指针,信源ID、数据时间戳、原始片段。没有来源,就等于未经核实,而且在渲染层必须肉眼可见,不能藏在元数据里。如果那份摘要的每一句都顶着「AI综合生成,未交叉核实」的红标,它走不到指挥链的第三层。 2,双通道校验。生成和验证必须分离。生成Agent产出结论,但不许给自己的输出盖章。独立的验证器,不同的模型、规则引擎、人工抽检,对关键断言做对抗性复核。高风险动作前置一个证据门,拿不出原始证据,工作流在物理上就无法推进到下一步。本案里分析师用同一个AI既分析又成文,生成和包装同源,校验就是零。 3,把人在环路做实。人审不是看一眼点同意,审核界面必须展示原始证据和AI结论的差异。分级授权,后果越不可逆,人工层级越高。参考DARPA的VENOM思路,人在环上,随时可以夺回控制权,而不是形式化签字。 4,给校验留时间预算。高后果链路设置冷却窗口,最小复核时长,不能被加速绕过。为校验环节分配明确的时间和人力,像给生成环节分配算力那样。考核指标改口径,看纠错率、拦截率,不只看产出速度。被度量的,才会被保护。校验没有指标,就会在每一次赶工中第一个被牺牲。 顺带说三条给个人用户的,也是我最近反复跟自己强调的。 1,AI越流畅自信,越要回原始信源核一遍。语气确定是生成属性,不是正确性证据。 2,给常用工具加一条自定义指令,涉及数字、日期、人名、法条、事件时标注来源,不确定就明说不确定。 3,不要用同一个会话、同一个模型,既生成又自我核实。那等于分析师拿同一个聊天机器人写了两遍报告,校验还是零。 最后,说点我自己的感受。 写这篇的时候我一直在想,为什么这事会让我觉得离我们很近。 因为这套故障结构,我在每个Agent项目里都见过原型。没有溯源的RAG,既当生成又当验收的单一模型,赶工期被绕过的复核节点。 AI时代的竞争,表面上比的是谁跑得快。但真正的分水岭,是你能不能跑出可信的快。 之前那架飞机,是在离地面还有一步的位置被拉回来的。它没有被拦截,恰恰是因为有一个环节,还有人存在着。 让错误在地面被发现,而不是在空中。 以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~ 谢谢你看我的文章,我们,下次再见。
夜航甲板上的战机,静待升空
夜航货船(示意)· 非涉事船只
校验与溯源:让错误在地面被拦住