生成式AI的实验者优势:为何大多数公司的AI投资正在沦为沉没成本?

一场产业风暴过境之后，生成式人工智能正在进入一个更为广阔的工业疆域——制造业。它正协助管理者驾驭不可预测性，支持实时决策。能够编码、自动化并分散组织专业知识的生成式AI，最终可能重塑从车间到高管层的整个工作结构。已有公司开始用它来解析工厂中奔涌的信息洪流，预测故障，模拟复杂场景，并实时优化生产过程。通过与海量制造数据——从维护手册、机器自动化代码到复杂图表、三维工程图——的深度交互，生成式AI有潜力建立起人与机器协作的全新范式。
然而，谁将从这些变革中获益？多快？这不是一个简单的问题。如同电力和印刷术，生成式人工智能是一种通用技术——而历史告诉我们，通用技术的采纳过程很少是顺畅的。管理者往往未能认识到新技术的真正经济潜力，也未能重新组织任务、技能和工作流程以适应它们。因此，性能提升通常滞后于技术扩散，导致所谓的“生产率J曲线”：随着组织适应新技术，生产力先经历初步下跌，随后因为持续上涨的互补投资才带来回报。近期关于生成式AI的数据也与这一趋势吻合：2025年，麦肯锡的一项调查发现，尽管许多公司迅速采用了生成式AI，超过80%的受访者表示该技术并未对盈利产生显著影响。到2026年第一季度，这一状况并未根本改观——Gartner的一项追踪研究显示，在基础设施与运营领域，仅有28%的AI应用场景能够完全成功并达到预期投资回报率，高达20%的项目以彻底失败告终。
正因为尚不清楚公司将如何有效采用生成式AI，管理者正面临一个战略困境：等待更多明晰，冒着落后的风险？还是过早行动，将资源投向那些并不奏效的应用？
为了解决这种紧张关系，领导者需要将生成式AI的采用视为一个投资组合式的组织实验，而非单一决策。就像数字产品开发中的A/B测试，这些实验应旨在分离因果效应——不仅关注生成式AI是否奏效，还要追问它如何运作、为谁效力、在什么条件下生效。通过在规模化之前系统地测试生成式AI应用，管理者可以降低风险、优化策略，并建立内部变革的动力。专家们一直在倡导这种做法，但大多数公司仍在苦苦挣扎。实验在许多组织中仍是相对陌生的实践。
这种情况必须改变。实验让企业得以将生成式AI的不确定性转化为战略优势。它帮助公司比竞争对手更快、更成功地穿越采纳阶段。而通过实验产生的知识，可以被用来强化现有关系，或在生态系统内部创造新的关系。本文将深入剖析企业如何通过实验——既在自身组织内部，也在整个生态系统中——更好地采用生成式AI。软件组织在这方面一直是先驱，但像西门子这样的工业巨头，已经开始将这种工作方式带到生产的物理世界之中。
采纳的挑战
尽管生成式AI的前景巨大，许多组织尚未完全拥抱这一理念。生成式AI工具会产生幻觉和不可靠结果的事实，是公司在高风险场景中使用它们时保持谨慎的原因之一。清华大学的研究揭示，即使是GPT-4，在基于引用的事实性评估中仍有约28.6%的幻觉率，而GPT-3.5的幻觉率更高达约40%。2026年3月，OpenAI发布的论文进一步揭示，其推理模型o3有13%的概率欺骗用户，o4-mini为8.7%，类似现象也出现在谷歌Gemini、Anthropic Claude等多款顶级AI中。
但多位专家认为，更深层的原因在于：生成式AI的真正经济潜力，在于创造全新的、有价值的系统——而这些系统，组织往往难以识别，更遑论独立构建。作为历史类比，想想电力：根据已故经济史学家保罗·大卫的研究，制造工厂花了近四十年时间才适应电力技术并围绕其进行优化。
在组织层面嵌入生成式AI技术，要求公司认真规划如何将其与现有流程、体系和团队相整合。在制造业，挑战更为艰巨——在这一领域，性能、可靠性、安全性以及与人类工人的顺畅融合，都是极其刚性的约束。
从这个角度看，缓慢的采纳成功率并不令人意外。它反映了让生成式AI不仅技术上令人印象深刻、且能在组织层面真正有用的更宏大挑战。而这，正是组织实验能够发挥决定性作用的地方。
学习与适应的引擎
组织实验的核心，是将科学方法应用于真实工作环境。它设立治疗组——例如，使用新AI系统的员工或团队——与一个按照既有方式运作的对照组。实验基于明确的研究设计，从可检验的假设出发，可能持续数周甚至数月，以捕捉初始与持续效果。数据基于关键绩效指标，有时辅以参与者的定性反馈。采用随机分配或其他控制手段，以确保各组在实验期间的可比性。
为了隔离AI工具对绩效的影响，一家公司可能仅为一半员工随机启用该工具。GitHub在微软旗下的实践即是一个典型：在由Alexia Cambon博士领导的微软研究团队开展的一项随机对照实验中，部分开发者被随机分配使用GitHub Copilot编写代码，另一部分开发者则手动编写。实验结果显示，使用Copilot的开发者完成编码任务的速度提高了26%至55%，且代码编译成功率较对照组高出8%。实验还发现，使用AI工具的开发者报告了更高的工作满意度与更低的心理倦怠感——AI改善的不仅是生产力数字，还有工程师的工作体验本身。
当随机化难以实施时，一些公司采用错开推出的策略，在不同阶段逐步引入不同团队，自然形成对照组。一项发表在《Organization Science》上的田野实验中，研究人员与一家面向中小企业业务流程软件的《财富》500强美国企业合作，向超过5000名客户支持代理分阶段推出了生成式AI助手，比较了能使用工具者与不能使用者的表现。结果显示，使用该工具的人群整体生产力提升约14%，其中经验较少的代理提升幅度高达34%。客户情绪评分也随之上升，客户留存率同步走高。这些结果促使公司将工具扩展至整个组织。
另一种方法是创建“实地实验室”——一个受控环境，在其中可以细致观察人与新技术的互动。宝洁公司提供了一个极具说服力的案例。2026年初，在宝洁首席信息官塞思·科恩主导的“AI工厂”战略框架下，公司分别在沃顿商学院和哈佛大学举办了两场创新黑客马拉松。研究团队将776名产品开发者分为四组：两人团队使用GPT-4、两人团队不使用AI、个人使用GPT-4、个人不使用AI。结果显示，使用GPT-4的个体表现与无AI辅助的两人团队相当；而无论是个体还是团队，使用AI都更擅长将技术可行性与商业可行性结合起来，创新产出提升约三倍。宝洁首席信息官塞思·科恩在2026年4月的HumanX大会上分享了这一成果，并得出结论：使用生成式AI可以减少孤岛思维，并可能促成更小、更跨职能的团队形态。值得关注的是，此次实验中的一位核心组织者——哈佛商学院助理教授拉斐拉·萨顿，深度参与了该实验的设计与主持。
尽管组织实验与传统技术试点及A/B测试共享某些特征，它们之间存在关键差异。试点通常是非正式的测试，邀请精选团队和个人反馈；规模化的决策往往基于热情而非证据。试点缺乏明确的假设和对照组，因此其洞察的可推广能力有限。A/B测试在微调数字产品功能方面表现出色——比如选择某个新按钮的颜色——但很少能捕捉到变化对协调机制、工作流程或员工体验的广泛影响。组织实验超越了试点和A/B测试：它们评估真实世界的影响，揭示生成式AI是否有效，以及如何、为谁、在何种条件下有效。它们是战略学习与适应的引擎。
当组织实验进行得当时，可以带来多重益处：
因果洞见。 实验有助于区分相关性与因果关系——这一点至关重要。没有明确的实验设计来区分二者，组织无法确定生产力提升是来自生成式AI本身，还是来自技术的早期采用者——他们通常比平均水平更熟练或更有动力。挪威公共部门敏捷组织NAV IT在2026年1月发表于arXiv的一项纵向混合方法案例研究便揭示了这一点：研究发现，GitHub Copilot的用户在使用工具之前就已经比非用户更活跃，如果不加控制地比较两组人，很容易高估AI工具的因果效应。
颗粒度。 实验可以揭示生成式AI对不同类型员工或单元的不同影响。这很重要，因为生成式AI的有效性高度取决于具体任务、用户技能水平、工作流程整合以及组织文化等诸多因素。对一个团队极其有效的做法，可能对另一个团队收效甚微。在上述客户支持代理的实验中，生成式AI副驾驶对经验较少的员工带来了高达34%的生产力提升，但对经验丰富的员工几乎微不足道。这类证据为管理者提供了宝贵的洞察：不仅关乎生成式AI对组织的影响，还关乎实现这种影响所需的投资——例如，通过向最能从中受益的群体部署新工具，他们可能在哪些环节收获最大的改进。
风险降低。 实验帮助管理者在全面铺开之前识别可能存在的问题与实施障碍。在《势能效应》一书中，沃尔玛和优步前首席经济学家约翰·A·李斯特对这一观点进行了扩展，指出实验可以实现多重好处：帮助你避免假阳性，确保最初的积极结果不仅仅是偶然；理解你的受众，避免一个仅对特定高度积极群体有效的想法被误用于更广泛、更多元的群体；评估组件的可扩展性，确保一个想法的成功不依赖于某个独特的人，而是基于可复制的工艺或产品；考虑非预期后果，避免因对原始构想的缩减而产生不可预见的负面影响；以及成本管理，评估一个想法的成本是否在其增长时仍能保持可持续。最后一点对生成式AI尤其重要，因为其应用需要在技术、人员和组织流程上投入不可忽视的资金。李斯特将创新在规模化过程中效果衰减的现象称为“势能下降”，并提炼出“5大势能开关”，为技术驱动型企业提供了一套可操作的科学决策框架。
战略学习。 管理者可以通过启动一个由可检验假设构成的发现过程，来克服常常与不确定性相伴的决策瘫痪。设计实验迫使管理者聚焦于战略性问题，并建立一个结构化思考问题的框架。当西门子启动组织实验时，它首先定义了需要检验的假设，以捕捉生成式AI对工人生产力与福祉的影响。聚焦于具体假设，带来了对实验过程中所收集指标的更清晰定义——包括捕捉行为变化（例如解决问题所需的时间）、态度变化（例如工作满意度）以及最终的车间生产力提升。遵循科学方法也为生成式AI在制造业中的初级与次级影响提供了清晰的认识——例如，生成式AI是否能减少员工对专家工程师的依赖。总体而言，这一过程帮助西门子理解了从技术采纳到价值创造的路径，远比直接推出一个通用产品更能产生洞见。
生态系统实验
生成式AI的实验不仅为采纳者带来潜力。创新者可以收获更大的回报：他们可以将获得的洞察应用于潜在买家，了解哪些生成式AI的应用场景对他们真正重要，或者哪些挑战可能阻碍他们将技术融入现有流程。一些拥有庞大用户基础的创新者，正在围绕自身的新生成式AI应用、与当前或潜在买家共同引领实验。在这些情况下，创新者策动的正是生态系统实验。
微软的实践提供了一个范例。该公司与一支由哈佛商学院教授拉斐拉·萨顿和麻省理工学院教授约翰·霍顿等学者组成的学术团队合作，开展了名为“Copilot Adoption and Productivity Study”（CAPS）的大规模实地实验。研究涵盖了超过66家公司中7000名员工对Microsoft Copilot的采纳情况。团队进行了实地实验，为指定员工群体授予Copilot权限，然后追踪他们的电子邮件和会议行为变化，并与同类岗位中没有Copilot权限的员工进行对比。研究发现，Copilot用户每周花在电子邮件上的时间减少了1.3到3.6小时，文件草拟更快，但他们的会议行为并未改变。研究还发现，提供培训并建立变革管理计划是采纳成功的关键。由于实验规模庞大，这些发现很可能影响微软在Copilot项目上的未来发展方向。此外，微软CEO萨提亚·纳德拉也在2025年7月新财年开始时宣布，所有员工使用AI工具的情况将被纳入绩效考核，标志着组织实验从“试点”走向“制度化”的关键转折。
类似地，东南亚领先的超级应用平台Grab正与哈佛商学院教授金贤真、金多贤以及伦勃朗·科宁等学者合作，开展一项名为“Mapping AI into Production: A Field Experiment on Firm Performance”的大规模随机对照实验。该实验覆盖六个国家超过100万名企业家，旨在精准观察生成式AI对哪些任务最有帮助，以及平台上不同类型的企业实际上如何使用该工具。实验的规模使Grab的产品开发者能够持续改进他们设计、部署和实验人工智能的方式。Grab还在其企业AI平台“Bricks”之上分层构建了AI代理能力，使团队无需编写代码即可规模化部署AI智能体。
在中国，华为云在2025年底启动了与清华大学经济管理学院合作的“盘古大模型工业效能实验”，在超过40家制造企业中部署了基于华为云盘古大模型5.0的工业AI助手，涉及设备维护、质量检测和生产排程三个核心场景。盘古大模型由华为云人工智能领域首席科学家田奇团队主导研发，已在30多个行业、400多个场景中落地。此次实验采用随机对照设计，覆盖超过3000名一线工程师与管理人员，旨在分离AI辅助对设备停机时间、质检准确率以及排程效率的因果效应。初步结果显示，使用AI助手的团队在设备故障诊断速度上提升了约28%，而经验不足三年的一线工程师受益最为显著——这一发现与全球范围内的研究结论形成呼应。
工厂车间的人工智能
软件公司并不是唯一能从AI生态系统实验中受益的主体。通过协作，西门子与多个客户共同打造了名为“Eigen Engineering Agent”的工业级自主AI系统。该系统在2026年4月的汉诺威工业博览会上正式发布，并于2026年4月20日正式商用，是首批可自主规划并执行工业自动化工程任务的AI系统之一。与仅能提供建议的AI工具及辅助助手不同，Eigen Engineering Agent可在真实的工程系统中运行，实现端到端的任务规划、执行和验证。西门子还与英伟达及机器人公司Humanoid合作，构建了完全基于AI的自适应制造系统。预计该工具将于2026年6月下旬在中国市场上市。
西门子于2024年在德国埃尔朗根的实验工厂进行了其生成式AI车间助理的首次测试。维修技术人员被要求在对昂贵机器进行复杂维修时使用该工具。这些维修通常涉及多个步骤以识别和更换磨损或损坏的零件。实验测试了车间助理能否通过逐步分析与维修指引来简化流程，为工作流中的工人提供支持。早期结果——基于结构化的事前事后调查与细致的绩效数据——显示，车间助理缩短了寻找信息所需的时间，并帮助工人更独立地完成任务。
实验教会了西门子关于车间助理的重要经验，以及更广泛地，关于生产工人对AI的采纳与使用：
用户在尝试之前会保持警惕。 西门子的技术维护人员最初对自身在AI增强型工厂中的未来持怀疑态度。然而，在使用车间助理几周后，他们报告感觉在工作中更加踏实。为什么？通过大幅减少寻找信息所需的时间，该工具让他们能够将更多时间投入到只有他们自己才能做的重要工作中。
它是一个有价值的学习工具。 即使没有明确要求，用户很快开始使用车间助手来扩展对机器及反复发生事件原因的理解。这为生产工人开启了全新的知识获取方式，他们通常不像白领工人那样能接触到结构化的知识共享体系。该工具还为工人提供了在学习时间和地点上更大的自主权，减少了对更有经验同事的依赖——这种依赖受限于同事的可用性与意愿。
它赋予工人承担更复杂工作的能力。 因为维修技术员能够在车间助理的支持下处理许多复杂事故，他们对流程工程师的依赖减少了。反过来，维修请求的减少让技术员和流程工程师有更多时间处理更高价值的任务，如生产过程优化与技术更新。
它让工人能够更轻松地完成工作。 在2024年测试期间，西门子因与引入生成式AI工具无关的原因大幅缩减了整个团队。尽管如此，较小的团队依然能够保持稳定的产出，尽管成员们常常不得不独自应对事件，无法迅速呼叫同事求助。这些工人甚至表示在车间工作时的压力更小——尽管缺乏其他支持。
西门子正利用这些经验开发更大规模的随机对照试验，以测试Eigen Engineering Agent及其车间助理在其自有工厂以及部分生态系统客户中的效果。此外，得益于这种实验引导的培养方式，公司还将应用类似方法测试新型“AI密集型”工作设计是否以及如何影响求职者的质量与数量。
在2025年，西门子进一步将这一实验扩展至其位于成都的数字化工厂（SEWC）和位于南京的数字化工厂（SNC），针对中国制造业工人的独特工作习惯与技能结构，测试了Eigen Engineering Agent的中文版本。初步反馈显示，中国工人对AI助手的接受速度更快，但他们对工具的可信度要求也更高——这一发现直接影响了西门子后续的产品迭代方向。
成为组织实验者
我们已经概述了组织实验的诸多益处——但我们并不声称它们容易实现。要成功实施，需要聚焦于几个关键领域。
客户需求。 任何成功的生成式AI实验的核心，在于对客户需求的深刻理解。组织必须专注于解决具体且高影响力的问题。实验性解决方案必须清晰地呈现潜在投资回报——以及明确表达且可检验的潜在影响。这需要开展广泛的客户访谈，以确保解决方案回应的是紧急需求，而不仅仅是“拥有AI”的表面光环。通过区分战略性差异化与小不便，公司可以将资源投向高影响力实验，避免将它们分散在价值可疑的小型试点上。这正是宝洁在由拉斐拉·萨顿等人主持的实验中所做的：通过深入理解传统产品创新过程中的瓶颈，公司认识到由生成式AI启用的“合成队友”可能有助于减少市场与研发团队成员之间的常见摩擦，尤其是在产品开发的早期阶段。
可用的原型。 在产品开发流程中，团队需要构建早期原型，让人们实际可以使用并测试，然后他们需要参与真实世界实验，让那些原型能够快速迭代，直至准备好更广泛的推出。这样做可以建立信任，也更有可能让实验带来真正的洞见与更好的成果。这种方法将生成式AI视为不替代工人的方式，而是帮助他们更好地完成工作。
一种学习心态。 传统产品开发通常动作缓慢且内向封闭，并不特别适合实验生成式AI。为了推动创新，公司需要采用一种实验性方法，让客户从一开始就参与进来，跨职能团队在短时间冲刺中工作，快速测试想法并收集反馈。在西门子对其生成式AI工具的实验过程中，它依赖一个已有的工具——创新验证引擎——来确保公司所做的一切都专注于解决真实客户问题，并且尽早、迅速。这种方法让终端用户拥有更多控制权，产品团队直接对价值创造负责。这正是西门子以速度、精准和业务对齐的方式，识别、验证并开发工业环境中的生成式AI应用所需要的。
实验性专长。 在企业内部应用科学方法，需要多种技能的结合。团队需要知道如何设计并执行好实验——提出清晰且可检验的假设、确定合适的样本量——以及如何正确运行它们并保持方向。团队还需要能够分析结果、解读其含义，并利用发现做出决策。由于这些技能在学术界有深厚积累，一些企业纷纷寻求学术专家的帮助。2020年，亚马逊聘请了著名劳动经济学家贾斯廷·黑斯廷斯，将大规模田野实验引入公司内部。2022年，沃尔玛引入了芝加哥大学经济学家约翰·A·李斯特担任首席经济学家，协助测试和规模化从生成式AI商品陈列工具到人力资源实践在内的无数实验。其他公司正在建立与学术研究人员的合作关系，借此借用实验专长，而非将其完全内部化。这正是微软与拉斐拉·萨顿和约翰·霍顿、Grab与金贤真和伦勃朗·科宁、宝洁与拉斐拉·萨顿在本文所述实验中采取的方式。
在中国，这一趋势同样显著。2026年2月，北京大学光华管理学院正式成立“前沿科技场景实验室”，聚焦人工智能等前沿技术发展带来的全新商业机会，以场景驱动技术与产业的深度变革。实验室在2026年3月24日至4月2日期间，先后与火山引擎、百度智能云、腾讯三家平台合作，连续推出三场聚焦Agent智能体技术的体验工作坊，面向全校师生及校友开展AI应用的实践探索，共吸引500余名师生参与。与此同时，华为云与清华大学技术创新研究中心合作，将盘古大模型5.0应用于工业场景的田野实验，在超过40家制造企业中检验AI对一线工程师生产力的因果效应。阿里巴巴旗下的钉钉则与浙江大学管理学院联手，在超过200家中小企业中开展了基于钉钉AI助手的分阶段推广实验，旨在理解AI工具对不同规模、不同行业企业中的差异化效果。
合作能力。 为了驱动有效的原型开发、学习、实验、发现与知识共享，正在尝试生成式AI的公司需要发展与多方参与者的积极合作——供应商、客户、行业专家以及学者。关键在于组建具备充分领域专长与实验设计和执行权力的团队，以满足业务需求，并确保这些团队能够与产品开发团队可靠沟通。最重要的是，如果领导者希望在生成式AI时代将实验构建为公司战略的重要组成部分，就需要持续明确对持续学习与数据驱动决策的承诺。
实验者的时代
快速且严谨的实验能力，正在成为生成式AI时代的一项战略必需。发展出实时测试、学习和适应能力的组织——无论是在内部还是在整个生态系统中——都将更有可能将技术潜力转化为组织优势。令人不安的真相是：当你在讨论生成式AI战略时，你的竞争对手可能正在系统性地学习什么真正有效。
通过拥抱实验作为一门组织学科，企业能够将不确定性转化为战略差异化的源泉，并以此塑造未来的工作形态。正如西门子车间里的维修技师在埃尔朗根实验工厂中学习与AI协作，宝洁的产品开发者在沃顿和哈佛的黑客马拉松中体验AI如何打破创新孤岛，华为云上的中国一线工程师在盘古大模型辅助下实现设备诊断速度28%的提升，微软Copilot的7000名用户在工作邮件与会议行为中留下采纳足迹——这些分散在全球各地的实验场景所共同揭示的是：那些愿意在真实工作场景中反复测试、谦逊学习、不断校准的组织，才是这个AI时代真正的先行者。他们不是在等待一个完美的答案——他们正在用实验本身，书写那个答案。