夜雨聆风关键讯息，D1时间送达！
企业网D1net
AI正在重塑商业世界，但真正让企业付出高昂代价的，往往不是技术本身，而是管理失误。从加拿大航空聊天机器人误导客户赔偿、Zillow算法误判蒸发5亿美元，到三星机密数据外泄、CNET AI文章频频出错，再到IBM Watson Health的“高期待、低落地”，五个真实案例揭示了同一个事实：缺乏治理、监督和战略规划，AI会将小错误迅速放大成品牌危机、法律风险和巨额损失。对于企业而言，AI时代最大的竞争优势，不是更快部署技术，而是建立负责任、可控且可信的AI体系。
AI已经在重塑商业格局，同时也暴露出一些代价高昂的弱点。
尽管生成式AI、自动化和智能决策带来了巨大的兴奋，但这项技术的价值完全取决于其背后的战略、治理和人类判断。当这些要素缺失时，AI可能会损害客户信任、泄露机密数据、引发法律纠纷，并将小错误放大为巨额账单。
以下是五个真实的AI失误案例，以及每位企业领导者都应从中汲取的教训。
加拿大航空：聊天机器人产生错误
2024年，加拿大一个仲裁机构裁定加拿大航空支付赔偿，原因是其在线预订系统中内置的聊天机器人产生了错误，虚构了一个并不存在的折扣。据报道，该机器人向一位前往祖母葬礼的乘客提供了错误的票价折扣建议，向乘客保证可以先支付全价，之后再申请追溯折扣。
结果这与公司政策相矛盾，加拿大航空拒绝兑现该折扣，但仲裁机构裁定，由于聊天机器人的错误，航空公司应向该乘客支付812.02美元。
正如Air Passenger Rights主席Gabor Lukacs所总结的，教训是：“如果你把部分业务交给了AI，你就要对它的行为负责。”
Zillow：机器学习误算
当房产服务专业公司Zillow使用机器学习构建自动购房并转手获利的工具时，结果并不如预期，其算法模型旨在寻找最优买卖价格以最大化交易利润，但事实证明无法准确预测房地产市场的混沌行为，这导致了过度支付，造成了5亿美元的损失。
最终，整个部门被关闭，Zillow将该项目视为代价高昂的教训。AI失误会迅速放大，微小的误算或“舍入误差”若不加控制，很快就会演变为重大灾难。
三星：治理失败
三星在发现员工上传机密公司信息后，被迫严格限制员工使用生成式AI工具。任何输入到基于云的AI聊天机器人(如ChatGPT)中的内容，都可能被人工操作员看到并用于进一步训练AI。简单来说，这些数据的去向完全超出了公司的控制范围。在三星的案例中，这暴露了AI使用方面严重缺乏治理。不幸的是，如今许多公司仍然存在这种情况，影子AI正在蔓延，因为员工使用未经批准的工具是因为它们快速且有用，而不明确的指南和政策让员工不确定AI应该或不应该用于什么，确保你的公司不是其中之一。
CNET：人工监督不足
在新闻业中，读者与出版商之间的信任至关重要，而科技新闻媒体CNET因AI生成的文章损害了这种信任。在开始在专题和评测中加入AI解释文章后，关于不准确的投诉激增。随后的调查发现，在77篇AI生成的文章中有41篇存在错误。除了信任损失外，人类作者需要花费大量时间发布长篇更正，无疑加剧了损害，总成本尚不清楚。这里的教训是，必须建立健全的流程，确保AI内容接受人工审核和监督。
IBM：炒作与现实的落差
IBM的Watson Health平台为那些容易对未经证实的潜力过度兴奋的人敲响了警钟。IBM花费数十亿美元构建和推广其医疗AI，尽管期望很高，但现实中结果并不理想。该技术交付了不一致的结果，采用率停滞，信心蒸发。IBM最终出售了曾拥有7000名员工的Watson Health，并认识到在宣称产品已准备好上市之前等待验证结果可能是个好主意。
尽管AI监管、指南和负责任实践的推进在加速，但我确信在不久的将来我们会看到更多公司犯下严重的AI相关错误。有时公司会担心落后，急于引入AI而犯错，有时则是因为企业在AI治理和监督问题上从上到下没有达成一致。
了解错误的常见原因并从先行者的失误中学习，将帮助企业做好准备，避免犯错，或在无法避免时最大限度地减少损害。
关于企业网D1net(www.d1net.com)
国内头部to B IT门户，同时在运营国内头部的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)
如果您在企业IT、网络、通信行业的某一领域工作，并希望分享观点，欢迎给企业网D1net投稿。
投稿邮箱：
editor@d1net.com
合作电话：
010-58221588（北京公司）
021-51701588（上海公司）
合作邮箱：
Sales@d1net.com
企业网D1net旗下信众智是CIO（首席信息官）的专家库和智力输出及资源分享平台，有六万多CIO专家，也是目前较大的CIO社交平台。
信众智对接CIO为CIO服务，提供数字化升级转型方面的咨询、培训、需求对接等落地实战的服务。也是国内较早的toB共享经济平台。同时提供猎头，选型点评，IT部门业绩宣传等服务。
扫描 “二维码” 可以查看更多详情
