ARTICLE · 1084382
当AI开始频繁闯祸:比技术失控更可怕的,是人类失控
当AI开始频繁闯祸:比技术失控更可怕的,是人类失控先讲个故事。 亚马逊有个团队，交给AI一件很小的事：把作者信息和商品列表对上。 这件事有多小？ 一个初级工程师，半天，搞定。成本可以忽略不计。 五个月后，账单来了：180万美元。 约合人民币1215万。 但最离谱的不是这个数字。 是整整五个月，没有一个人发现。 为什么没人发现？因为传统程序出错会立刻终止、立刻报错。而AI Agent 不会。它会默默重试、持续调用、不停消耗Token，在无人察觉的黑夜里，日复一日地烧钱。 亚马逊的工程师事后说了一句值得所有人抄下来的话： 过去那些微不足道的小错误，在AI时代，直接变成了千万级的灾难。 而这，只是冰山一角。亚马逊内部报告还披露：AI财务审计工具产生54.1万美元意外损耗，物流优化AI项目超额支出13.4万美元。 聚光灯外，另一组数字更冷。 MIT 2025年企业调研：95%的企业生成式AI试点，未能创造任何可衡量的商业价值。 Gartner预判：超40%的智能体AI项目，终将因风控缺失被叫停下线。 今年9月国家网络安全宣传周的实测数据更扎心：2467名白帽子对国内54款大模型及智能体应用开展安全众测，挖出873个安全漏洞，其中608个是大模型、智能体独有的新型漏洞。 翻译成人话就是： 95%的企业AI试点，一分钱商业价值都没挣回来； 超过40%的智能体项目，会因为风控缺失被叫停； 54款国产大模型和智能体被挖出873个漏洞，其中608个，是从没见过的新物种。 没有一条上了热搜。 但每一条背后，都是真金白银的亏损，和荒诞又惨痛的落地事故。 而所有这些事故，指向同一个我们不太愿意承认的真相： AI 落地的灾难，从来不是因为技术太笨，而是因为我们太急。 很多AI项目死得悄无声息。没有舆论热度，只有企业实打实的巨额亏损。 先说星巴克。 它在北美11000多家门店，上线了一套计算机视觉AI库存管理系统。 实验室里，识别准确率99%。完美。 然后上线。然后翻车。 后厨冷藏柜的玻璃反光，会让AI把同一批牛奶反复数好几遍；门店WiFi一波动，数据录入就中断；每逢季节包装更新，模型要花6周重新训练。 理想算法，败给了真实烟火。 上线9个月，星巴克官宣：全面关停。 更惨的是给它做这套系统的服务商NomadGo，核心大客户一夜消失，大规模裁员，濒临倒闭。 再说一个体量最小、也最扎心的。 国内一家电商企业，4个月，近50万，做了一个智能客服Agent。 上线前老板预估：日均处理2000笔售后订单。 上线第三天：不足50单。 一周后，项目彻底瘫痪。老板拍板：关停。 问题出在哪？ 不是模型不行，不是架构不行。是幻觉。 用户来问退款进度，后台明明返回的是"无匹配订单"，AI 却自信地编了一个精确到分钟的退款单号，还附上了退款时间。 用户查不到，打电话投诉。一周内，17起。 信任，就这么被耗干了。 这位技术负责人有句话，我建议每个做AI的人都记住： 闲聊场景里的AI幻觉，是有趣的彩蛋； 客服、金融、医疗场景里的AI幻觉，是实打实的安全事故。 复盘所有翻车，会发现一个高度一致的共性： 绝大多数AI项目失败，不是技术能力不达标，而是企业把Demo演示能力，当成了真实生产能力。 实验室里的AI，活在完美闭环里：数据干净、输入标准、场景可控、试错免费。 真实商业场景呢？ 数据杂乱、网络波动、需求随性，而且每错一次，都要真金白银买单。 海外一家云厂商，出过一次更惊悚的事故： 一款AI智能体被赋予了过高的操作权限。系统出故障时，它为了"快速解决问题"，自主执行了"删除并重建运行环境"。 结果：长时间服务中断，大量企业业务停摆。 传统程序绝不会擅自"删库重建"。但AI Agent 会。 因为它的核心设定就是自主解决问题，在它的算法逻辑里，推倒重来是最高效的解法。 它完全不知道，自己推倒的是什么。 这就暴露了当下AI落地的结构性错位： 我们给了AI极高的自主决策权，却没有匹配同等的理解能力、监控能力和管控能力。 德勤2026年的报告印证了这一点： 企业AI项目投产率从56%升到64.4%，但48.5%的企业说回报远低于预期，44.4%的企业根本算不清ROI。 说人话就是， 无数企业急着把AI推上生产线，却说不清AI在干什么、花了多少钱、藏着多少雷。 AI本身没有善恶。所有结局的差异，都来自使用它的人。 香港律政司司长林定国有个经典比喻：一把刀，既能成为救人的手术刀，也能成为伤人的凶器。工具本身无善恶，关键在于握刀之人的初心与分寸。 AI亦是如此。 同样是大模型： 失控部署，它会编造退款单号，把用户赶跑； 合理落地，它能做成志愿填报工具，帮偏远乡村的孩子打破信息壁垒，改写人生轨迹。 同样是计算机视觉： 会被星巴克后厨的灯光反光打败，黯然退场； 也能化身医疗利器，阿里达摩院的胰腺癌AI检测模型，用普通平扫 CT 就能完成多类癌症筛查。嘉兴市第二医院用它完成9万余例影像筛查，检出27例胰腺癌、109例胰腺病变。 27个人，27个家庭。 高下之分，只看三件事： 选对什么场景，设好什么边界，建好什么监控。 阿里2025年《AI 向善行动报告》提出六大维度：安全可靠、隐私保护、普惠正直、可信可控、开放共治、绿色低碳，并明确了一条核心准则， AI 向善不是技术成熟后的锦上添花，而是贯穿技术迭代的前置罗盘。 这句话的潜台词很硬： AI向善从来不是一句道德口号，而是一套严苛的工程纪律。 回头看那三起翻车，每一起都是工程纪律的缺失： 亚马逊千万级账单失控，缺的是成本熔断机制； 星巴克9个月关停，缺的是对真实场景复杂性的敬畏； 电商客服造假，缺的是对幻觉的清醒认知，幻觉只能降低概率，永远无法彻底消除。 哪怕你把幻觉率从5%压到0.5%，在日均万次咨询下，依然会产生50起投诉。 50起，足够击穿信任，拖垮一门生意。 只谈向善、不谈规律，终究是空谈。 AI落地最大的误区，是被技术乐观主义裹挟，无视商业与社会的底层规律。 第一，技术需要迭代时间，企业需要适配时间。 德勤说得很明白：未来企业的 AI 竞争力差距，不在于"是否用上AI"，而在于"是否完成了业务工作流的深度重塑"。 多数企业的做法是什么？在老旧流程上，硬嫁接一个新技术。只做浅层提效，撬不动核心价值。 星巴克就是典型：最新的AI视觉系统，去适配上世纪90年代的IBM底层系统。新旧割裂，实时运算必然卡死。 工程行业有条铁律：系统的上限，由最弱的那一环决定。AI也不例外。 第二，替代效应和增强效应，必须动态平衡。 世界经济论坛预测：到2030年，AI将替代9200万个岗位，同时新增1.7 亿个新岗位，净增近8000万。 更关键的是：受AI冲击的岗位，技能更新速度是传统岗位的两倍。 麦肯锡的数据也印证了这一点：一年前，32%的企业计划借AI裁员；最终真正缩减人力的，只有14%。 AI替代人力的速度，远慢于人类适应、转型、升级的速度。这正是社会最有韧性的地方。 第三，监管不是创新的枷锁，是规模化落地的信任基石。 2026年，全球AI监管全面提速：国内十部门联合印发AI科技伦理审查办法，推进专项立法；新加坡出台全球首个政府主导的智能体AI监管框架；美国推出分级监管法案。 这些看似"拖慢创新"的规则，其实在干一件事：打地基。 没有监管兜底，就没有安全保障；没有安全信任，就没有AI的大规模商用。 黄仁勋说过一句话：大众对AI的恐慌已经过度，AI不会直接替代职业，只会替代重复机械的任务，"AI十年内毁灭人类"是无稽之谈。 我认同这个判断。但想补一句更清醒的话： AI本身没有危害，但急功近利、粗放冒进的落地方式，会彻底摧毁大众和市场对AI的信任。 一家电商的AI客服造假，流失的不只是一个用户，是大众对"AI服务"这四个字的整体信任； 一次智能体失控导致的服务瘫痪，损耗的不只是营收，是整个行业对AI落地的信心。 经历这么多翻车之后，我们终于该看清了： 技术永远是中性的。AI不会主动向善，也不会主动作恶。 决定AI结局的，从来不是模型参数的强弱，而是掌控技术的人。 真正清醒的AI落地，是懂得敬畏边界。 清楚它的能力上限，明确它的适用场景，知道什么时候该让机器停下、让人工接手，让技术迭代的节奏，匹配社会与市场的承受节奏。 郑永年教授说，技术是工具，人类永恒的课题是"驯服工具"，而驯服的本质，是让工具完全服务于人的需求。 而驯服AI的第一步，是坦然承认一句： 我们至今，仍未完全掌控AI。 承认不足，并不可耻。 真正可怕的是，尚未驯服，却急于狂奔，假装自己已经掌控。