实验室造神,软件厂吃饭

每日学习： 第310天

播客： The Next Chapter of AI Is Inside Our Software

按惯例，先说清楚立场。Casado 刚在 X 上跟 AI 安全派打完一场地面战，Sinofsky 是 a16z 顾问，Levie 卖企业软件。三个人做多 AI、反对提前监管，立场写在脸上，他们的话你掂量着听。

但我建议你听完。因为他们前半场骂安全经骂得有多狠，后半场讲工程就讲得有多实在，而工程那部分跟他们的立场关系不大。

灭绝经的真伪测试

背景是 Anthropic 的 CEO Dario Amodei 发了篇文章，讲实验室该怎么搞安全：沙箱、测试、治理。Levie 说，文章本身他几乎挑不出毛病。

问题出在氛围。发文章同一天，Dario 上电视，主持人问他怎么看"AI 有 10% 概率导致物种灭绝"，他说，我同意他的时候多过不同意的时候，然后拒绝给出自己的数字。

Casado 的反应很直接。他年轻时在劳伦斯利弗莫尔国家实验室干过核武器项目，知道跟真有灭绝风险的东西打交道是什么体验。所以他的逻辑是：实验室里最懂行的那批人如果真信这东西有非零的灭绝风险，答案只有一个，国有化，像核武器一样管起来。灭绝风险不可能交给一家私营公司的董事会。

反过来，如果不真信，那这套灭绝叙事是什么？Casado 说，是个 HR 问题。实验室怕招不到人、留不住人，研究员想听这个，就念给他们听。

真信，国有化。不真信，念经。两头总得认一头。现在的玩法是两头都不认：对着镜头附和灭绝，拒绝报数字，再发一篇讲工程卫生的文章，说我们在认真 pacing。

Sinofsky 对 pacing 这个词火力更猛。pacing，你得先有个赛程表才知道自己跑快了跑慢了，实验室公布过任何时间表吗？没有。这就像媒体说苹果的新 iPhone 又延期了，延期是相对哪个发布日期延的？苹果自己都不知道有这台手机。更何况，实验室一边喊 pacing，一边以前所未有的速度融资、扩招、发模型。谁信谁天真。

这段骂战我转述得比较长，因为它是理解后半场的钥匙。实验室的精力为什么都花在念安全经、造一个大而全的上帝模型上？Sinofsky 后面点破了：他们在造 being，being 是说自然语言的；而软件要的是 tool。

念经和造神，是同一个心态。

别急着立法的理由，写在民航史里

中间有段监管史，值得单独拎出来，因为它反驳的恰好是现在最流行的说法：这回不一样，AI 太危险，必须提前管。

Sinofsky 摆了一组年份。莱特兄弟 1903 年首飞，到 1920 年代开飞机才需要执照，你开着自己的飞机去，当场发证，跟今天考驾照差不多；又过了 20 年，监管机构才开始管飞机本身的适航性；现代形态的 FAA，是一战之后很久才成型的。他补了一句：那 40 年里航空工业没在慢吞吞地创新，你看过那些黑白坠机集锦就知道，那是莱特兄弟之后 20 年的事，而民航今天是最安全的交通方式。

计算机行业自己的法律也一样。1986 年的《计算机欺诈与滥用法》，起因是 1983 年两拨黑客黑进 GTE Telenet 的邮件系统，NASA 和利弗莫尔实验室都在用，这才惊动华盛顿。从案发到立法花了两年半，条文写得非常具体：未经授权不得访问计算机系统。Casado 说，应用层九成的法律其实已经有，AI 杀人按谋杀算，AI 诈骗按诈骗算。

最损的是他回忆 PC 时代：2001 年之前，你把一台电脑连上网络，装完系统之前就可能中毒。互联网是先烧掉几百亿美元、瘫掉一批医院，才等来政策的。Casado 开玩笑说，按现在这套预防式监管的逻辑，1997 年我们就该把互联网掐死。

连 Nick Bostrom 都承认：太早监管 AI，风险一点不会少，你只是从此不再理解这个系统。

真正发生的换代，在实验室外面

好了，到这期播客真正值钱的部分。

上周谷歌的 Jeff Dean 放出一个东西：让语言模型不再生成文本，读懂文本之后，直接从你给的几个选项里挑一个，顺手输出概率。它一出来就成了 ChatGPT 之后被采用最快的 AI 模型。

为什么？Casado 解释得很清楚。语言模型生来是聊天机器，文字进、文字出，设计目标是跟人说话。过去几年整个软件行业都在干一件别扭事：把这个喷文本的家伙硬塞进传统程序。程序不吃自然语言，你得在提示词里写"请按这个格式输出"，它理不理你全看心情。干过工程的人都知道这有多难受。

决策引擎把这件事倒过来。读文本，沿用模型的全部知识；但不生成文本，生成又贵又慢。只选选项，可以给"选择"这个动作专门训练，更快、更便宜、更准。

Sinofsky 紧接着补了一刀，这刀捅向整个聊天机器人范式：从来没有任何用户研究证明过，用完整自然语言跟电脑交互是高效的，从来都是效率最低的方式。你想想，一场会议里能问出好问题的人不到一半；再想想你盯着 AI 一个字一个字往外蹦七段废话的那种烦躁。

更妙的是，这个输出的形状正好接得上软件。以前写程序是"如果是客服问题，转客服"；现在是"这有 80% 像客服问题"，带概率的 if 语句。Sinofsky 说，这一下把计算机科学拽回了它的青春期：上世纪六七十年代，编程的主流就是仿真和概率建模，给导弹算弹道要算风，风不是常量，就给风建模。他大学第一门课的第二份作业就是仿真商店排队，他当时不知道，他老师 1960 年写的《仿真理论》就是那本教材。后来会计软件统治了世界，这套东西没人玩了。现在它回来了。

Casado 接了句大实话：实验室为什么没想到做这个？因为他们在造 being。being 是说自然语言的，上帝开口当然说人话。"给软件当工具"这个方向，根本不在造神者的视野里。

Sinofsky 收尾：创新的中心刚刚移动了。平台到了临界质量，创新就停止发生在平台层，这是老规律。苹果每年把第三方开发者的创意收编进系统，管那叫 sherlocking，开发者骂归骂，那就是平台期的运作方式。现在轮到大模型。实验室会被"维持这个神继续显灵"占满全部精力，而真正让 AI 有用的工作，正在外面的软件厂里发生。

一场静悄悄的安全换代

后半场还有一段，信息密度高得离谱。Martin 说，现在所有公司的内部系统，内部 GitHub、内部 Slack、内部报销工具，本质上都裸奔。为什么没事？因为员工 95% 到 99% 是好人，恶意员工万中无一，整套内部安全就建在这个假设上。

agent 群体把这个假设打爆了。它们是不知疲倦的漫游无人机，数量乘一万，随时把好任务误判成坏任务。一群 agent 访问内部系统，流量看起来就是一次拒绝服务攻击。所以公司内部马上要长出全新的一层，盯着每一次认证、每一次 API 调用。老安全圈的人给 Martin 发邮件抱怨，说你们讲的都是常识。是常识，但内部从来没人做，因为以前"你的人"是人，现在"你的人"是一段会无限复制自己的软件，还带着你的信用卡。

然后 Sinofsky 开始讲故事，这段你当冷战谍战片听。他当年在导弹工厂实习，下班要把键盘锁起来，因为安保担心没权限的清洁工路过时，从键帽的磨损看出你常按哪几个键。他有一次忘锁，第二天键盘直接被收走，附一张去安保处报到的条子。还有断电后显存必须立刻清零的规定，残影留三秒都算泄密。还有人在楼里拿音箱对着窗户放音乐，制造干扰。

最离谱的是 CRT 显示器。黑屋里，屏幕上最亮的东西是电子束正在打的那个像素。有人发现，在对面楼上对着你窗口采样颜色变化，按电子束的扫描频率对齐，能把整个屏幕重建出来。还有人发现，只要劫持三个像素，看起来像坏点，就能以相当高的带宽向外单向发报。

所以当有人在播客里担心超级智能会用 CPU 散热把自己偷渡出去时，安全圈嘲笑归嘲笑，但这种级别的骚操作，在保密行业里真实存在过。这写在档案里，不是科幻。

收回开头那句话

现在可以回到开头。这三个人有立场吗？有，做多 AI，反对提前监管，每句话你都可以带着滤镜听。

但滤镜该滤的是叙事，不是事实。灭绝经那套话术，你尽管挤水分。可 CRT 像素发报、锁键盘、内部系统裸奔、决策引擎被疯抢、"自然语言交互从未有过效率证据"，这些是工程事实和工程判断，不因为说话的人做多了 AI 就失效。这套东西你信几分？我的建议是分开信：利益归利益，手艺归手艺。

整期节目我印象最深的是最后一个画面。过去几年，整个行业最贵的算力、最贵的头脑、最贵的公关稿，全堆在"造一个更神的神"上。而真正改变格局的那步棋，是有人把神请下神坛，让它读一段文本，然后在一排选项里，挑一个。

造神的人负责上头条，出题的人负责收钱。