夜雨聆风学习资料网

ARTICLE · 1048108

AI假情报险些让美军拦截中国货船:智能时代的战争责任归谁

AI假情报险些让美军拦截中国货船:智能时代的战争责任归谁

这两天我的Agent帮我抓取新闻,CNN的一篇报道让我忧心忡忡。我的主业是专门研究前沿技术与硬核科技领域在资本市场的应用,国际政治博弈只能算是辅助,但CNN这份报告(姑且认为它不是假新闻),还是让我很担心AI的发展可能会失控,但愿不是杞人忧天。

一份格式完美的报告,从屏幕流向指挥链,只需要几秒钟。

今年春天,美国和以色列联合打击伊朗期间,中东美军收到一份情报:一艘中国籍货船正在中东海域向伊朗运送核武器计划零部件。

情报出自美国特种作战司令部一名分析师之手,而他用 AI分析了这艘船的货运清单,AI把船上的普通货物认成了制造核武器部件。

据 CNN 9 月 18 日的独家报道,四名知情人士还原了接下来的流程:美军迅速制定拦截计划,军用飞机升空,武装人员准备登船。行动开始前不久,官员回头核查报告来源,才发现整份情报是 AI 拼出来的。一名消息人士的原话是,这份报告完全是假的,但它差点引发一场战争。

和平时期,大模型胡说八道,代价通常是一个笑话、一次公关尴尬。可当它的输出直接流进战备流程,可能要用一场军事冲突来填。如果涉及中美俄这样的超级强权,任何一丁点疏漏都可能是毁灭性的,这可不是开玩笑。

AI 会犯错并不新鲜。真正担心的是:整条指挥链为什么几乎没有产生任何摩擦力或者说是一点疑问与复核?

一、 签字的人还在,怀疑没了

把 AI 卖进军方和大企业的供应商,话术都差不多:人类始终在程序链条里,最终拍板的是人。制度设计上确实如此。报告有人审,按钮有人按,命令有人签。

但认知科学里有个老问题,叫自动化偏误:当一个系统长期给出格式工整、语气权威、大部分时候正确的结论,人对它的审查会从“核验”退化成“确认”。

一份 AI 生成的情报摘要,逻辑自洽、术语准确、要素齐全,摆在长期紧张、疲惫的分析师面前,要求他几分钟内判断对错。质疑它,可能需要重新调取原始数据、重建推理链条,成本很高;签字,只需要几秒钟。

人虽然没有离开流程,但如果人把最关键的怀疑交出去了,底层数据一旦错了,后面每一级审核都在为错误背书,而不是拦截错误。

二、概率模型干不了零容错的活

咱们经常玩AI聊天机器人的都知道,生成式模型的工作方式,是按概率拼出最可能的下一段话,追求的是合理的最高概率。

把一堆互相矛盾、置信度很低的情报碎片喂给它,它会倾向于缝合成一个通顺的故事。在电商推荐里,95% 的正确率是优秀;在核常戒备和战场打击里,哪怕只剩下0.1%的错误,代价也不可承受。

错位发生在工程哲学层面:推荐算法出错,损失是一次误点的广告;情报模型出错,损失可能是一场交火。用一个天生会把故事编圆的工具支撑重大战争决策,相当于把轮盘赌搬进了指挥室。

更麻烦的是,模型越自信,人越难察觉。错误输出不会标注“我是猜的”,它和正确输出长得一模一样。

三、 省下的研判时间,本来是用来犹豫的

军队引入 AI 的直接理由是速度。过去几十名参谋花几个小时完成的态势研判,现在几秒钟出结果,OODA 循环(观察、判断、决策、行动)被压到极限。

但冷战史上几次最著名的“没打起来”,靠的恰恰是慢。

1962 年古巴导弹危机,苏联潜艇军官阿尔希波夫拒绝同意发射核鱼雷,把第三次世界大战按了回去。1983 年,苏联预警军官彼得罗夫面对卫星系统“美国导弹来袭”的报警,判断为误报,没有上报。两个人做的是同一件事:在系统催促行动的时候,坚持怀疑、拖延、用常识二次核对。

现在呢,AI 把研判从几小时压到几秒,压掉的正是现场核对、跨部门求证、以及“哪里不对劲”的直觉反应时间。虚假情报以毫秒级速度流向打击预案时,人类参谋部连皱一下眉的窗口都没有了。

四、要骗过它,喂数据就够了

过去要误导国家级情报机关,可能需要经营多年的双面间谍、大规模物理伪装。针对 AI 情报系统的对抗性攻击,理论上不需要攻破保密内网:在开源信息、商业卫星过境路径、公开无线电频谱里投放精心计算的扰动和假目标,就可能诱导模型的特征识别发生偏移,让它“自主”得出对方正在集结进攻力量的结论。

需要说明,这是机制推演,不是已经发生的事。但攻击成本的量级变化是真实的:欺骗对象从人变成了模型,而模型的识别边界可以被反复试探。情报战里最值钱的东西,正在从搞到手的秘密变成“让对方深信不疑的谎言”。

五、真发射了,怎么办?

假设最后那次复核没有发生,导弹真的发射,民用船被击中,核大国之间爆发直接冲突。该怎么办?责任往哪追?

是几秒钟内点了确认、但根本不可能看懂模型推理过程的值班军官?是编写微调流程和安全护栏的外包工程师?还是训练模型的公司、采购系统的部门、签发授权的将领?

“算法判断的”正在变成一句可以稀释所有人责任的话。决定有机器参与,但机器不能被起诉,不能上军事法庭,也承担不了道德压力。当责任在算力架构里被一层层分摊,最后往往没有任何一层承担终极责任。说的再极端一些,强权之间的核大战,要是通过这种方式打起来了,只能说是人类自作不可活。

结尾:别把运气当机制

这件事的启示并不只属于军方。

在资本市场,如果高频量化交易在几毫秒内调动天量资金,银行用黑箱模型决定信贷和反洗钱,政府用自动化系统分配公共资源。它们共享同一个逻辑:把不可逆的高权重决定,交给一个会自信输出错误的概率系统,再用一层薄薄的人工审核兜底。

机器能提供计算带宽,提供不了承担后果的主体,也提供不了“这不对劲”的那一下迟疑。

所以在所有涉及生死、巨额资产和不可逆后果的环节,真正该写进制度的不是“有人审核”四个字,而是几条具体的硬约束:AI 输出必须附带信息来源和置信度;关键决定强制留出物理上的复核时间;审核人有权暂停流程且不被追责;高危场景的模型调用保留完整日志,可供事后追溯。

这次行动叫停在军机升空之后,已经算运气好。下一次有没有人在最后一刻回头查报告来源,没人能保证。好运气能用几次呢?

相关学习资料