乐于分享
好东西不私藏

【会员下载】美军反思“战场AI依赖症”的致命隐患

【会员下载】美军反思“战场AI依赖症”的致命隐患

关注 ▲蓝军开源情报▲ 10万+情报研究员,一起成长
【导读】

2026年5月12日,现代战争研究所发布报告《美军反思“战场AI依赖症”的致命隐患》。

1916年,英国首次在索姆河战役中投入坦克作战时,坦克被誉为打破堑壕战僵局的利器。然而,大多数坦克却频频发生故障,陷入泥潭,或者在缺乏如何将其融入诸兵种合成作战体系的真正理解的情况下被仓促部署。原本被视为突破性武器的坦克,往往反而成为累赘,直到经过多年的试验和理论完善,才逐渐展现出其有效运用之道。半个世纪后,美军在越南战场上也遭遇了类似的困境,M16步枪在缺陷尚未被充分认识的情况下被广泛部署,既没有配备清洁工具,也缺乏必要的训练。结果令人痛心。

步枪在交火中卡壳,严重削弱了士兵对这种本应救命武器的信任。这两个案例都表明:不应盲目部署新技术,更不应盲目信任。相反,使用这些技术和创新成果的士兵必须充分了解其各自的缺陷和弱点。此外,指挥官也必须接受培训,以便在这些系统出现故障时能够迅速有效地应对。展望未来,人工智能的引入与坦克的引进或M16步枪的部署并无二致;如果我们不经过深思熟虑的准备就仓促将其投入战场,那么当士兵最需要它的时候,它所带来的好处可能会迅速变成一种负担。

那么,陆军如何才能更好地训练士兵,使其能够在人工智能得到更有效应用的环境中作战呢?

本报告美军反思“战场AI依赖症”的致命隐患》英文原文15页,译文5100字。扫码文末二维码,加入蓝军开源情报知识星球会员,免费下载本文原文及译文。需要报告联系电话:19118805880(微信同号)。

键词:坦克作战,人工智能,GPS信号,M1艾布拉姆斯坦克

这是蓝军开源情报的第 593期分享

编译 l 所长007

来源 l 蓝军开源情报(ID:Lanjunqingbao)
转载请联系授权(微信号19118805880

一、了解人机交互系统的脆弱性

人工智能在战场上的吸引力显而易见。它只需几秒钟就能处理通常需要训练有素的士兵花费数百小时才能完成的感官数据、情报报告和目标信息。毫无疑问,在未来的冲突中,能够更有效地利用人机协作系统的一方将获得竞争优势。然而,正是这种效率使得人工智能在战场上如此宝贵,但也带来了严重的安全隐患,因为它直接迎合了人类依赖启发式方法的倾向。启发式方法是思维捷径——人们在压力和不确定性下快速做出判断所依赖的简单规则。从心理学角度来看,启发式方法可以加快决策速度,尤其是在时间紧迫的高压力环境下。但启发式方法也存在风险。在战场人工智能应用中,启发式方法可能导致士兵不加质疑地接受人工智能的输出结果,尤其是在人工智能给出自信答案的情况下。这可以表现为不同的方式——即推卸责任、接受并遗忘的思维方式以及对人工智能系统的精神依赖。

二、推卸责任/与权威唱反调

在高风险环境下,士兵和指挥官可能会无意识地将责任从自身转移到人工智能,并认为系统推荐或确认了他们的选择。这种现象会因权威偏见而加剧,权威偏见指的是人们倾向于信任那些看起来权威的信息来源。由于人工智能能够以极高的置信度和精确度输出结果,其建议往往被误认为是最终的指导,而不仅仅是统计预测。这种现象在现代作战中尤为明显。例如,以色列国防军就使用了Habsora,这是一种人工智能目标定位系统,能够快速生成目标列表,并配有颜色编码的指示器来估算附带损害。但是,当Habsora或美国陆军的Maven智能系统等决策支持系统被整合到目标定位作战中时,对算法输出的心理依赖会造成严重的组织风险。错误选择的法律和职业后果只会加剧这种现象。如果指挥官仅凭自身专业知识或直觉做出错误判断,可能会被判定为疏忽或鲁莽。然而,那些采纳人工智能建议的人则可以辩称,他们使用的是当时最先进的工具。在职业生涯受高风险决策结果影响的行业中,人工智能很容易成为个人逃避责任的屏障。研究也观察到了这种趋势。一项最新研究发现,过度依赖人工智能的人在做决策时更容易“推卸责任”,导致他们花在评估决策解释上的时间减少。在高风险的领导环境中,这会加剧盲目接受决策,并削弱个人责任感和担当意识,因为人们会认为系统会承担所有错误责任。

战斗环境加剧了这种风险。在压力、疲劳和信息过载的情况下,指挥官们本就倾向于依赖经验法则来减轻负担。人工智能提供了一条完美的捷径,在混乱的战场上能够快速给出可靠的答案。然而,当责任分散时,判断的归属感也随之分散。其结果是,这支部队的行动速度可能更快,但未必更聪明;而且,当人工智能出错时,没有人会承担全部责任。

三、接受并遗忘的思维模式/信息过载

人工智能在战场应用的第二个弱点可以概括为“接受即遗忘”思维,即领导者倾向于快速接受自动化系统的输出结果,而不进行复核就继续推进。当信息通过技术快速传递时,大脑会进入一种低审查、高速度的决策循环,假定机器已经验证过答案。这种模式也被称为自动化偏见,意味着用户即使有其他证据表明系统可能出错,也会接受人工智能的建议。这可能导致两种危险的错误。

当领导者因系统未提供建议而未能采取行动,且信息过载导致他们无法独立做出决策时,就会出现疏忽错误。如果不能有效利用人工智能工具解析数据,信息过载将导致决策瘫痪。这种瘫痪源于数据利用方面的巨大挑战,收集的数据量远远超出传统分析方法的处理能力,使得决策者难以识别关键信息。此外,沟通不畅加剧了这一问题,因为工作人员可能难以传达他们收集的数据的意义。因此,关键信息可能无法及时或以易于理解的方式传递给指挥官,导致他们在最需要的时候无法做出明智的决策。数据过载、沟通不畅和缺乏可操作的洞察最终会阻碍作战效能,并在关键时刻错失良机。

相比之下,指挥失误是指领导者即使明知自动提示错误,仍然盲目遵循。这两种错误在战斗中都非常危险,因为犹豫或误判都可能造成人员伤亡。NASA的飞行甲板实验清晰地揭示了这个问题。实验中,机组人员使用包含自动决策提示的电子检查清单。当自动决策提示提供错误信息时,与仅使用传统纸质检查清单的机组人员相比,他们不仅更频繁地遵循这些错误提示,而且在决策前彼此交流也更少。飞行员不再进行复核或讨论,而是直接听从系统,行动也缺乏协调。自动化系统的存在改变了团队的互动方式,并减少了通常有助于人类发现错误的冗余环节。

在战场上,同样的模式很容易出现。面对需要解析海量数据才能得出解决方案并获得可靠的人工智能输出,士兵们可能不太愿意质疑结果或与同伴讨论。这种偏见不仅影响个人,还会重塑团队动态,阻碍沟通,并加速错误决策的发生。至关重要的是,我们仍然不清楚自动化偏见在承受战斗压力的陆军部队中会如何体现。这种不确定性本身就是一种弱点,陆军必须在人工智能系统广泛部署之前,通过周密的准备来应对这一弱点。

三、精神依赖/批判性思维能力下降

第三个隐患在于,当人工智能被当作拐杖反复使用时,士兵的批判性思维能力会逐渐丧失。教育和认知科学领域的初步研究表明,当人们过度依赖人工智能辅助时,他们用于解决问题的脑力投入就会减少。久而久之,这会造成依赖性。曾经需要深思熟虑和判断的任务,变成了下意识地依赖人工智能的行为。对于一支已经将批判性思维和创造性思维视为领导者必备素质的军队而言,这种潜在的负面影响尤其令人担忧。

如前所述,NASA 的研究发现,在高度自动化的环境下,即使系统输出错误,人们的沟通也会减少。这种沟通的减少使得质疑错误变得更加困难,并削弱了通常由开放式对话产生的冗余机制。此外,近期关于生成式人工智能的研究也揭示了类似的风险:虽然个体可能产出更精准、更完善的输出,但他们的解决方案会趋于一致,变得明显相似。这些因素相互叠加,加剧了风险。部门内部对话的减少意味着发现错误的机会减少,而人工智能输出的同质化程度越高,对手就越容易预测这些部门的行动。

在充满不确定性的战场上,过度依赖人工智能的部队适应能力会下降。如果士兵习惯于接受人工智能的指导而放弃自身判断,军队就有可能培养出一些行动迅速但难以应对算法故障、性能下降或被敌人欺骗的指挥官。除非这种趋势得到遏制,否则下一代指挥官的关键能力和素质将会退化。

四、军队领导人能做什么

在战场上有效运用人工智能并不会减轻指挥官的责任,反而会加重他们的负担。应对人工智能带来的风险,最直接的办法并非增加技术投入,而是要从根本上、有意识地应用陆军条令出版物6-22《陆军领导力与职业》,并着重关注人机系统集成过程中的人文因素。陆军指挥官已经拥有一个能够有效预测和管理人工智能在战场上带来的风险的框架,那就是领导力需求模型。

五、领导力需求模型为之前发现的弱点提供了直接的解决方案

卓越的领导者需要具备批判性思维能力,能够质疑人工智能的建议,并有意识地训练与人工智能协同工作或独立工作相关的认知技能。通过提升自身的判断力和创新思维,领导者可以确保在算法产生有缺陷或带有偏见的输出结果时,自己不会被边缘化。

领导力强调人的作用,尤其是在沟通和责任方面。由于自动化可能会减少团队内部的对话,领导者必须积极促进决策过程中的沟通。这还要求他们培养在下属面前对人工智能进行严谨质疑的能力,表明领导力意味着对决策负责,并在团队内部强化信任,即使人工智能系统参与其中也是如此。

这一成就强调,任务的成功不能依赖于单一故障点。领导者必须让部队做好准备,应对人工智能性能下降、被禁用或被蓄意操纵的环境。这意味着不仅要进行技术冗余方面的训练,还要培养士兵的主动性和适应能力,以便在人工智能出现故障、反应迟缓或失去行动能力时,行动仍能继续进行。

通过认真学习和应用领导力需求模型,领导者可以将人工智能视为辅助工具而非预言机。正如部队在GPS信号减弱时会使用指南针和地图进行导航一样,他们也必须做好准备,在人工智能输出被拒绝、篡改或完全错误的情况下完成任务。能够以身作则,示范何时利用人工智能、何时质疑其输出的领导者,能够为团队树立榜样。这样做,可以有效避免责任分散,减少自动化偏见,并维护团队的批判性思维能力。

六、行动呼吁:陆军需要做什么

领导者需要保持警惕,但仅靠警惕而缺乏制度性行动是远远不够的。只有在类似实战的压力和摩擦环境下进行研究,才能充分理解人机交互中的偏见。传统的学术研究可以揭示自动化偏见和认知依赖的模式,但却无法捕捉士兵在极度疲劳、持续危险、通信中断以及生死抉择的压力下所面临的独特环境。为了应对未来的战争,陆军必须在最接近实战的训练环境中——作战训练中心和其他高保真模拟环境——有意识地对人机交互进行压力测试。

陆军已经意识到在严苛条件下保护装备的重要性。例如,M1艾布拉姆斯坦克的设计就配备了温度调节系统,以确保最佳性能并降低过热风险。对指挥官的保护也应如此。正如陆军研究并设定其装备的性能极限一样,它也必须了解在压力下,当人工智能与人类协同工作时,人类的表现会发生怎样的变化。例如,与睡眠充足的部队相比,睡眠不足的部队可能会出现人工智能引发的脆弱性和错误率显著上升的情况。通过将人工智能评估融入到诸如MASTR-E研究等全面的人员绩效评估工作中,陆军可以建立必要的实验框架,从而发现这些未知的阈值。确定这些阈值不仅对作战安全至关重要,而且对于构建涵盖整个DOTMLPF-P的反馈回路也至关重要,这有助于陆军指挥官识别并减轻这些脆弱性。

心理学领域提供了实现这一目标的方法论工具。与观察性研究不同,实验设计可以通过操纵压力、疲劳或节奏等条件,并测量这些条件对士兵与人工智能交互方式的影响,从而分离出因果关系。这些实验还必须研究人工智能呈现信息的方式——无论是置信度评分、排名列表还是颜色编码指示器——如何影响士兵的决策,从而从中汲取经验教训。通过借鉴社会科学领域的实验传统,陆军可以摆脱推测,生成所需数据,从而制定保障措施、设计领导力培训方案并调整作战条令。

这是行动的号召:陆军不能想当然地认为从民用研究或人工智能商业应用中汲取的经验会自动应用于战场。它必须通过将人工智能融入作战训练中心轮训、专业军事教育兵棋推演和其他高仿真训练环境,来生成自己的证据。唯有如此,领导者才能了解何时可以信任人工智能,何时必须对其提出质疑,以及如何在人工智能失效时构建必要的冗余机制以取得胜利。

历史已经证明:军队在战场上仓促使用未经检验的技术,最终付出了惨痛的生命和任务失败的代价。这些弱点已经显现。推诿责任、接受即忘的思维模式以及对人工智能的依赖,都可能对士兵与人工智能的互动方式产生负面影响。但军队并非无能为力。作为一个机构,它必须发挥其一贯的优势:在模拟战争压力的环境下进行训练,但这一次,要将人工智能融入到逼真且高度还原的训练场景中,从而发现技术在哪些方面能够发挥作用,在哪些方面会误导人。我们的目标不是拒绝人工智能,而是驾驭它。如果能够正确理解和应用人工智能,它就能提升士兵的智力,而不是使其变得迟钝。正如我们保护机器以确保其性能达到极限一样,我们也必须保护我们的领导者,使他们能够清晰思考、自信质疑,并在算法出错时及时调整。军队未来的优势不在于机器的速度,而在于当机器出现故障时,领导者的韧性。

获取资料目录:19118805880(微信同号)

👇👇

加入蓝军开源情报星球会员免费下载3000+资料

👇👇

原价999元!
星球试运营期间199元!
试运营结束,恢复原价!

扫码了解、加入

👇👇