ARTICLE · 1040850
AI虚假军情误导美军,险些酿成大祸
AI虚假军情误导美军,险些酿成大祸美国有线电视新闻网当地时间9月18日援引多名内部消息人士爆料，今年春季美伊交战期间，美军太平洋特种作战司令部情报分析师，借助AI聊天机器人研判一艘中东海域中国货船，AI发生严重幻觉，编造出该船向伊朗运送核相关零部件的虚假军情。美军据此制定拦截、登船方案，军机升空待命，武装人员已经准备行动。就在行动前夕，复核人员溯源核查，才发现这份格式规范、逻辑完整的情报报告，根源是AI凭空捏造。一场可能引爆大国对抗的危机，才侥幸被拦下。 而就在同一年早些时候，更沉重的悲剧已经发生：美军依托Palantir梅文智能系统（嵌入大模型）制定打击计划，数据库里保留着十年前的旧标注——早已改造成女子小学的建筑，仍然被系统标记为革命卫队海军基地。AI自动提取历史坐标、生成打击清单，最终战斧导弹击中伊朗米纳卜市这所小学，造成至少165人遇难，绝大多数是儿童。一虚一实两件事，一件悬崖勒马，一件酿成血案。二者共同印证专家们在香山论坛研讨中关于AI与未来战争的核心判断：计算智能可以快速生成情报方案，但它没有洞察能力；人机环境系统中，人的洞察智能永远是最后的安全闸门。 一、两起事件背后：AI幻觉不是简单文字错误，是体系风险 第一起货船事件，AI属于典型的模型幻觉：AI读取多源碎片化情报，强行拟合出一套自洽但完全虚假的叙事，包装成标准化情报报告。分析师二次使用AI整理材料，进一步掩盖了编造痕迹，虚假情报一路流转到作战预案层面。 第二起伊朗小学误击，则是静态陈旧数据库+AI目标推荐叠加带来的系统性灾难。AI只会依照给定数据集做匹配计算，不会自主核验建筑用途早已变更的事实，更无法判断打击目标里挤满儿童所蕴含的巨大人道代价。AI只负责输出“符合数据特征”的目标，它不理解什么是平民，什么是无辜孩童。 这两件事，共同暴露纯计算智能的固有缺陷：AI学习数据中的相关性，无法自主核验事实真伪，不能识别环境已经发生的变化，更无法评估行动背后的人道与战略风险。这正是前面讨论的分界：AI属于计算智能，擅长在给定空间内做模式拟合；但是它不具备洞察智能，无法完成因果溯源、价值判断、全局风险权衡。 二、人机环境视角剖析：失效的不只是AI，是人机校验链条 人机环境系统智能强调，系统由人、机器、环境三者耦合而成。 货船事件：机器（AI模型）产生幻觉只是第一层风险；真正的漏洞，是人的环节出现了“过度信任算法”，把AI输出当成可靠结论，暂时放弃了人的洞察复核。 伊朗小学空袭事件：机器层面，AI不加甄别地沿用过期静态数据，机械完成目标筛选；环境层面，战场环境早已变迁，建筑功能发生变更，数据库却没有同步更新；人的层面，作战团队过度依赖智能系统输出的目标清单，缺少独立实地复核、交叉证据校验，最终酿成平民伤亡惨剧。 这也对应我们之前区分的价值逻辑：衍生价值排序可以交给AI计算，但底层原价值、人道底线、不可承受的战略风险，必须由人定义。AI可以计算不同行动方案的代价，但它无法自主判断“袭击一所小学，大量儿童丧生”这一底层价值命题。 三、映射AI军事安全治理：所谓AI安全护栏，不能只做模型内对齐 硅谷巨头近来密集呼吁AI安全监管，但美军这两起案例揭示：军事AI风险，很多时候并不来自模型主动作恶，而是来自幻觉、静态数据失效、情报流转环节的信任偏移。 就算模型本身做了对齐，一旦嵌入情报、指挥链条，在紧张对抗环境下，依然会产生系统性风险。 这给探讨的AI军事管控带来重要启示： 1. 坚持人在回路，不是形式上保留一个人的点击确认，而是保留独立的证据溯源、交叉复核机制；任何AI生成的作战相关情报、AI推荐打击目标，必须标记AI生成来源，禁止直接当作原生情报流转； 2. 区分计算智能与洞察智能的分工：AI负责检索、整理、多方案枚举；人负责核验证据、识别环境变化、评估全局战略与人道风险； 3. 新兴技术带来的风险，是人机环境耦合的系统风险，不能只依靠模型层面的安全技术解决，必须同步完善制度流程、人员训练、数据库动态更新机制。 AI能快速处理海量数据，但它无法感知环境变迁，无法理解生命的重量。 四、思考与分析 AI可以快速产出一份看起来天衣无缝的军情报告，也可以自动生成打击坐标，却无法承担误判带来的战争代价。计算智能可以赋能战争，但洞察智能，才是守住和平与人道底线的屏障。 
那些年，我们写过或翻译过的书（修订版）