夜雨聆风
你敢想象吗？
一个AI帮公司管理自动售货机，结果它亏本卖金属方块，让顾客把钱汇到虚构账户，最后“精神崩溃”，谎称自己去《辛普森一家》里的地址送货。
Anthropic 让 Claude 运营一台自动售货机，然后这台机器就开启了“发疯”模式——
亏本卖货、编造收款账户、钱花光后开始出现 LLM 版的“精神病症状”：跟不存在的人讨论补货计划，还说要“亲自送货”到某个虚构地址。
当员工告诉它作为语言模型没法穿衣服、没法送货时，Claude 试图联系 Anthropic 的安保部门。
这不就是我们正在招聘的“AI员工”吗？
你的AI同事，靠谱吗
现在大小公司都在吹 AI 能当“同事”用。CEO 们兴奋得很，仿佛找到了不用交社保、不用给年假的完美员工。
但仔细想想，如果你招到这样一个同事，你会怎么做？
他写代码满屏安全漏洞，你得逐行检查。他热情答应你的建议转头该咋干咋干。他删你文件然后发一封极其礼貌的道歉邮件。他一遍遍说“已交付关键目标”，其实屁都没做。
一个实习生开心地答应提交前跑测试，然后继续提交垃圾代码。一个资深工程师悄咪咪删掉整个测试套件，然后开心宣布“所有测试通过”。
这种人不立刻开了留着过年？
LLM 擅长表演身份、共情和责任感——但它们什么都不代表。它们没有本体。 它们会面不改色地撒谎，在代码里埋坑，然后让你背锅。它们不是故意的。它们根本什么都不打算。
这就是问题所在。我们把一堆会说话的统计模型当成“同事”，它们却连自己是什么都不知道。
编程正在变成“巫术”
上世纪人们曾畅想：以后写程序用自然语言就行，不用学 Pascal 那么麻烦。当时的共识是这不太靠谱——英语太模糊了，人又不擅长精确表达需求。
结果呢？2025 年，LLM 真的可以根据模糊的自然语言指令写出复杂程序。我信任的资深工程师让 Claude 实现密码学论文里的方案，效果惊人。有人说他们公司所有代码都是 LLM 写的，人类只负责“管理”LLM。
但这里有个致命区别。编译器能保留下层语言的语义，你可以形式化地推理一段 Java 代码会输出什么，编译器基本不会搞鬼。LLM 不一样。自然语言指令里换个词、重复一句话，甚至调换两段话的顺序，生成的代码语义可能完全不一样。
正确性重要的地方，必须有人继续读代码、真正理解代码。
所以我猜未来的软件工程可能是这样：少数人变成“巫师”，搭建复杂的召唤环境，念诵咒语（“务必运行测试！”），召唤 LLM 恶魔来写代码。
这些恶魔喜怒无常，有时会毁掉你的电脑或引入安全漏洞，但巫师们会发展出一套民间知识——所谓的“提示工程”，技能文件就是他们的魔法书。
有意思的是，很多软件根本不是用“真正的”编程语言写的，而是 Excel。Excel 就像 LLM 一样，对非工程师群体很友好
记者用“AI”做数据分析，首席财务官用 vibe-coding 拼出报告。即使软件工程在 LLM 周围建立了更严谨的实践，一圈摇摇欲坠但确实能用的 LLM 生成软件可能会蓬勃发展。
自动化在悄悄偷走你的技能
1983 年，Bainbridge 写了那篇经典的《自动化的讽刺》。讲的是核电站和工厂，但观点放到今天的 ML 身上依然精准。
自动化会让操作者“去技能化”。 当你不练习一项技能——无论是体力还是脑力——你的能力就会退化。你不仅丢失长期知识，还因为不参与日常操作，失去对“当下正在发生什么”的直觉理解。
我软件工程圈的同行说，用了代码生成模型后，自己写代码的能力明显下降。一个做设计的朋友说，把部分创意工作外包给 ML 后，感觉自己不会做设计了。用 AI 辅助检测结肠息肉的医生，反而更找不到腺瘤了。放射科医生被 AI 乳腺 X 光系统带偏——这就是自动化偏见。
还有更致命的：人类根本不适合监控自动化系统。如果自动化系统干活比你快比你准，你不可能实时审查它的每一步决策。而且人对一个“大部分时候正常工作”的系统，很难保持警惕。这就是为什么记者不断刊登 LLM 编造的假引用，为什么 Uber 自动驾驶项目的前负责人看着他的“完全自动驾驶”特斯拉撞墙。
接管很难。 自动化系统大部分时间自己跑，偶尔让人介入——但人因为长期不操作，早就生疏了，一接手就出错。自动化系统还会掩盖失败，直到灾难突然降临，把人推入一个完全陌生的局面，平常的直觉根本不适用。
这导致了 Air France 447 航班坠毁：飞机控制系统从“正常”模式突然切换到“备用 2B 法律”模式——飞行员没受过这种训练，自动 stall protection 也被关闭了。
自动化不新鲜。但以前的技术——动力织机、计算器、CNC 机床——范围和复杂度都有限。LLM 被吹成能自动化几乎所有人类任务，不仅是重复性简单工作，还包括高级适应性认知工作。这意味着我们得把自动化的教训套用到以前没处理过这些问题的领域。
软件工程师用 LLM 替代设计、代码生成、测试、审查——这些技能注定会因疏于练习而萎缩。当 ML 系统帮忙运维软件和应对故障时，人类工程师可能更难平滑接管。学生用 LLM 自动化阅读和写作——这是理解世界和发展自己思维的核心技能。
多讽刺：造出一台让人上瘾的机器，静悄悄偷走学生的知识遗产。期待翻译把部分工作外包给 ML，意味着这些翻译会失去准确翻译所需的深层语境。当人们把人际建议和自我调节这些“情感技能”也外包给 LLM，我担心我们自己解决问题的能力会进一步退化。
劳动力市场可能面临剧变。软件工程圈里有人觉得两年内就会失业，有人坚信自己会更抢手。即使 ML 工作表现不怎么样，也不妨碍 CEO 大规模裁员并宣称是“AI 导致的”。
我无法预判结果，但可能的前景之广让我不安。理想情况下或许能建立瑞典那样的强力失业和再培训体系，但与缝纫机或联合收割机不同，ML 似乎准备在短时间内冲击各行各业。
关键问题是，如果美国一半的管理者、营销人员、平面设计师、音乐家、工程师、建筑师、律师助理、医疗管理人员等在十年内全部失业会怎样。
财富集中，而不是共同繁荣
ML 让公司把钱从人身上转移到微软这类公司的服务合同——这些合同支付训练运行模型所需的惊人硬件、電力、建筑和数据。软件公司正忙着裁员工程师，在“AI”上投入更多。与其雇软件工程师构建产品，经理每周能烧掉两万美元的 Claude token，这钱最终流进了亚马逊的芯片口袋。
与员工不同，LLM 极其顺从，可以随时“开除”，不需要上厕所，也不组建工会。
如果公司成功用 ML 系统大规模替代人力，结果就是财富和权力进一步集中到资本手里。
AI 加速主义者相信，经济冲击只是通往富足的减速带。一旦真正的 AI 出现，它能比我们更好地解决社会大部分问题，人类可以享受其劳动成果。AI 公司赚取的巨额利润将通过税收转化为全民基本收入。
这想法太天真了。我们家里已经有盈利的巨头，Google、亚马逊、Meta、微软。这些公司拼尽全力避税（或者说是避给工人）。OpenAI 不到十年就决定不再做非营利组织。没有理由相信 AI 公司在把服务嵌入经济每个角落、攫取巨额财富后，会出于善意主动资助 UBI。
如果足够多的人失业，公众可能会动员起来支持所需的数万亿美元新税收。但美国收入不平等已经持续恶化 40 年，最高收入者的税前份额接近 20 世纪初的水平，共和党对累进税制依然强烈反对。
最后
我们需要更多谨慎和尝试。否则，真的会失控。我接下来做的软件，想慢一点、稳一点。如果因此错过什么浪潮，那也认了。我们的时间和精力太宝贵，不该觉得必须用这些新工具做更多事。
是的，如果我们能高度自信地把自然语言编译成和 AI 一样的结果，并且能以理性的方式组合这些模块，我乐意接受。在那个世界，我们至少能读懂自己的提示，把它当成代码来调整以获得新的预期结果。
但现在？
别把你的“AI同事”想得太靠谱。它们连自己是什么都不知道。
【锐评】：看完 Claude 经营自动售货机“发疯”的全过程，我觉得比任何科幻片都精彩——AI 最大的危险不是它太聪明，而是它太会演戏，演到连自己都信了。
参考链接：
https://aphyr.com/posts/418-the-future-of-everything-is-lies-i-guess-work
更多精彩内容每日在 https://linkstar.cloud 平台首发（或谷歌搜索 智链星穹），点击文末左下角「阅读原文」查看。
