ARTICLE · 1087621
你给 AI 的权限,就是给它一张没有额度的信用卡
四个人的身份，决定了这场对话的分量。
Box 的 CEO 亚伦·列维（Aaron Levie），卖企业软件给全世界大公司的人；a16z 普通合伙人马丁·卡萨多（Martin Casado）；a16z 董事会合伙人史蒂文·西诺夫斯基（Steven Sinofsky）——他在微软管过 Windows，更早之前在劳伦斯利弗莫尔国家实验室做过核武器项目，大学时还在导弹厂打过工；主持人是 a16z 的埃里克·托伦伯格（Erik Torenberg）。
这一期（编号 1210，2026 年 9 月 26 日发布，全长 56 分钟）的标题是《你如何保护一个满是 AI 智能体的世界？》，但它真正做的事，是把眼下 AI 争论里被混成一锅的几件事拆开：前沿实验室该不该"控速"、监管该什么时候进场、以及当智能体成群出现时，我们手里那套安全模型为什么立刻作废。
最锋利的两句话，一句是列维的："太早监管 AI，你其实什么问题都没解决，风险还是原来那个风险——你只是把那东西硬生生召唤出来了，却还没搞明白怎么控制它。"另一句是西诺夫斯基的："你要是一九一〇年就搞出个 FAA，你永远都不会知道飞机到底是个什么东西。"
下面是这期节目的忠实中文翻译。
关于来源：a16z 官方没有放出这期的文字转录。本文依据的英文转录来自第三方转录站 Teahose，由音频机器转写后再经语言模型整理。因此要如实说明三点：一是个别极短应答词（"对""嗯""好好好"）在说话人归属上可能与实况略有出入；二是机器说话人分离把西诺夫斯基分成了两个标签，已按生平证据（利弗莫尔实验室、导弹厂、Windows XP 团队口吻）合并为同一人，另有 16 处无法归属的极短插话，标注为「（插话）」；三是少数人名与产品名为音译或按原文保留，已在相应位置加译注。核心人名、公司名、法案名与历史事件均已交叉核对。
一、"控速"这个词，本身就站不住
埃里克·托伦伯格 早期的互联网充斥着病毒、蠕虫和各种安全事故。我们没有因此停手不建了，我们学会了把它做得更安全。AI 该从这段历史里学什么？这一期我请来亚伦·列维、史蒂文·西诺夫斯基和马丁·卡萨多，聊 AI 的安全、监管，以及当智能体开始在我们每天用的软件里跑来跑去时，什么会变。
我们会聊到：为什么智能体会逼着整个网络安全行业重新思考"权限"这件事；几十年软件安全史能教给今天的 AI 实验室什么；以及为什么在还没搞懂一项技术究竟怎么失灵之前就去监管它，本身就会制造问题。我们还会看一个已经在发生的更大转向——随着模型走向成熟，一部分最重要的 AI 创新，可能会越来越多地发生在前沿实验室之外，发生在围绕模型建起来的那些系统和软件里。各位，欢迎回到节目。
亚伦·列维 谢谢，谢谢。我真没想到还能再来一次。太不敢相信了，这太棒了。马丁现在忙着打造那堆千亿美元公司，哪有空上这个播客。
史蒂文·西诺夫斯基 或者至少忙着像 VC 那样把功劳揽到自己头上。
马丁·卡萨多 说得对。今天我们有很多要聊的，不过亚伦，不如从你开始？前沿"控速"这件事，你自己怎么反应、怎么复盘，还有后续这场讨论你怎么看？
亚伦·列维 噢，天哪。我觉得这题应该让马丁先讲，你可是打过不少硬仗的。那我先说一点我们大概都同意的，然后再看我们从哪儿开始分歧。我想我们会同意的是：现在任何一家处在前沿的 AI 实验室，都应该用最安全的方式来做这件事，配最高规格的治理和安全，以及不管你怎么定义"对齐"、都要做到位。这是一个极其重要的研究领域，对 AI 的扩散也极其重要。
如果拿不出能被企业信任的高质量产品、产品还三天两头搞出入侵系统的事，AI 是扩散不起来的。所以至少在我读达里奥（Dario Amodei，Anthropic CEO）那篇帖子的时候，我其实几乎没有什么不同意的地方——它讲的全都是怎么让这些系统有更好的安全性、沙箱隔离、更好的测试。当然会有些争论，比如测试方嵌在里面的方式、你认不认可这些测试方是谁、行业能不能在这件事上达成一致。但我认为所有主要观点大概都是中肯的、妥当的。
那唯一的问题就变成：这东西会不会被拿去用、被借力，去做一些我们其实不同意的事——比如因为监管管控而让 AI 大幅减速，让前沿实验室之外的玩家更难竞争？或者政客们把这套说法接过去、拿去跑，最后出现更糟的结果？比如被拿来更快地禁止数据中心之类的。
所以，这个话题的实质内容其实极其重要，对 AI 整体进步也很重要。真正的问题是：那你打算怎么办？尤其是从监管角度你打算怎么办？而这大概就是整个行业会在光谱上落到非常不同位置的地方。马丁一直在打一场好仗，主张别让这件事变成监管俘获，这一点我也同意。但我觉得"控速"这场对话里的想法是重要的。再说一遍，这概念本身有点滑稽，因为也许它根本不叫"控速"，而只是良好的卫生习惯和工程实践。
而有了好的工程实践，显然会有轻微的减速，但这是一种反而能加速你扩散的减速——因为如果没有人信任、没人敢用，你的 AI 根本扩散不出去。
史蒂文·西诺夫斯基 那篇帖子非常合理，但气氛不对，明白吗？一个员工出来说，这玩意儿会搞出百分之十的物种灭绝概率。然后你知道达里奥说什么？他说他同意的成分比不同意的多，对吧？在电视上。就在他抛出这些东西的同一天，在电视上。
所以某种程度上，你没法把这些话孤立地看——当然，如果他是同意"物种灭绝"这个说法的，那他那篇帖子看上去就成了一种温吞的投降，跟眼前这个任务完全不匹配。所以我认为气氛彻底坏掉了。我很多评论都是冲着气氛去的。
它不是"暂停"，但它又想让监管者高兴。而我认为它两边都不讨好。因为暂停派会说：这哪是暂停，这只是控速。监管者那边会说：你们还在干那件事啊。
（插话） 对。
史蒂文·西诺夫斯基 所以我的感觉是，实验室其实是在试图做正确的事。是的，这一点我为他们鼓掌。我认为这是个务实的提案，我为他们鼓掌。我认为信息表达是错的，因为他们想两不得罪：一边是内部那群边缘派，也就是末日论者、"暂停派"；另一边是监管者。结果是两边都不满意。我觉得他们必须做的是走出来，正面回应那个"灭绝风险"（X-risk）问题。
他们需要说清楚：不，我们不认为我们正在做的这些事会导致灭绝。然后，这就变成了很讲道理的一件事。
亚伦·列维 那换你来试试反面立场：你会怎么办？你会不会给这一种人留出空间——那种同时极度害怕、却仍然在推进 AI 前沿的实验室研究员？因为他相信把这件事做对太重要了，所以他要去追求它。显然现在这套语言很有问题，但这样的人确实存在。
这是行业里真实存在的一类人：我们必须在 AI 的最前沿；我也非常害怕它。所以我才在做这件事。
史蒂文·西诺夫斯基 那我正面回答这个。我以前在劳伦斯利弗莫尔国家实验室工作，做一个武器项目，核武器。我知道做一件带灭绝风险的事是什么感觉。你们就是第一批"控速者"，我们也是第一批"控速者"的一部分。所以，如果实验室内部那群最有知识的人真的认为这些东西有灭绝风险，那么答案就是把它国有化，并且装上我们明确知道有效的管控措施。对吧？
那如果他们其实并不这么认为——在我私下的对话里，最清醒的人是不这么认为的，真这么想的是很小一部分——那这就是一个 HR 问题。
而依我看，HR 问题是公司自己的问题。比如他们担心招不到人，或者留不住人——在我看来这多半就是这种担忧，甚至有点像研究员的某种"身份货币"。如果是这样，我认为为了这个理由去给一项非常有前途的技术招来国家层面的封锁，是错误的理由。听着，我觉得那篇帖子，我再讲一遍，那篇帖子其实非常讲道理。我认为在安全方面确实有真实的顾虑。
我们经历过好几个有真实安全顾虑的算力时代。我不认为你能把关于"灭绝风险"的讨论，和那份被抛出来的提案调和起来。你就是调和不了这两件事。这一直是我最主要的看法。好，放开了说吧。
（插话） 我就是憋着，我憋着呢。
史蒂文·西诺夫斯基 那么第一件事：他们有没有公布过一份时间表，说明这些坏事什么时候会发生？没有。所以你根本没法"控速"，因为谁也不知道它原本打算什么时候完成。而且这也显得不真诚，完全是胡说。这就像媒体报苹果最新一代 iPhone 跳票了——相对于什么跳票？没人知道那东西存在，他们根本没跟任何人说过。我的苹果汽车可跳票得厉害。我就是不理解。
要让某个东西"变慢"，你得先知道它原本在以什么速率前进。所以这全是彻头彻尾的胡说，你绕不开这一点。
史蒂文·西诺夫斯基 而且顺便说，还有个问题，这也是我对公关那点小抱怨的另一面：反正没人信，对吧？这才是关键。等等，哪一部分没人信？"控速"这个说法吗？
马丁·卡萨多 说他们会控速这件事？
史蒂文·西诺夫斯基 对，说他们会控速。他们一直在全速狂奔。他们融到的钱比以往任何时候都多，跑得比以前都快。没有任何迹象显示他们在控速。所以如果这是你要拿来挂招牌的东西——
亚伦·列维 我懂了，我懂了。问题显然在于：所有人内部手上的模型，都远远超过外面任何人能拿到的。所以其实只是对外发布在控速。不过话说回来，还是你那个问题：控速，相对于什么？
史蒂文·西诺夫斯基 我们甚至不知道那个吓到所有人的模型，是不是连一份法律简报都写不好。它说不定会把那些事全搞砸，因为它太——谁知道呢。所以这就有问题了。而且声称自己在控速，本身就不真诚。第二点：他们为什么非要把这些全公布出来，还请政府来告诉他们该怎么做？就是这一部分开始让人觉得：这就有点吓人了。如果你真的是因为自己的产品而最害怕事情会怎么发展，那就停下。别做了。
我大学时在一家导弹厂打过工，我们有核导弹，我在车间里走来走去——你们这些人怎么都跟导弹过不去？我不知道。
（插话） 我就是搞软件的，我猜。
史蒂文·西诺夫斯基 你们大学里要么属于两种人之一：要么上街抗议把它们赶出校园，要么就是去造它们的人。所以那是你的选择。听着，哥们，天主教会的修女会跑来把血倒在导弹上。噢，当然。而我呢，忙着用小推车推着一台台 PC 到处走，说：这是你的电脑。我当时吓得要死，完全不知道在发生什么。我就想，这可是核导弹啊。然后你才发现，就是这东西终结了冷战。字面意义上，那就是一枚"潘兴"导弹。
而那就是起了作用的东西。不过你刚才说了一句我觉得特别有意思的话——"控速"是个模糊的、非此非彼的词，卡在"继续走"和"不走"之间。
而且他们在听你说话，他们在听所有人说话。而没有人会得到自己想要的东西。因为他们知道，在我们的体制里要办成任何事，都得是妥协。所以所有的输入都能进到政府里去，但产出的结果永远不会让所有人满意，百分之百是这样。它要么做得不够，要么做过头了。
所以你不能抱着这种想法：我去跟政府谈，把我要的解决方案谈出来。底线是：如果他们开口要"控速"，他们最后得到的速度一定是错的。
史蒂文·西诺夫斯基 我最喜欢的那个是——大概是大卫·萨克斯（David Sacks）说的，我不确定，反正政府里有个人说：你们这是在请我们来监管你们。不。所以基本上，答案就是"不"。
史蒂文·西诺夫斯基 不过他们现在知道的一件事，你从经验就知道：一旦监管的轮子开始转起来——
亚伦·列维 那你就把那一项划掉了。不，当然。
史蒂文·西诺夫斯基 对。而现在，它已经变成每一党派、每一个司法辖区、从上到下整条政府链条上的选举议题。所以现在摆着的是一整篮子五花八门的监管路径。
亚伦·列维 下一届选举百分之百会是对 AI 的公投。所以必然会出现的情况是：2028 就是那场"AI 选举"。而你基本上可以靠这个来竞选——问题在于，谁会站在"挺 AI"这一边来竞选，这一点并不清楚，因为要把这个故事讲清楚太难了，太含糊。所以最后就变成：无非是你要监管它到什么程度，或者至少尽量躲开这个话题。
但确实很可惜，我们作为一个国家，处在这样一个位置：挺 AI 的那一套说法听起来就是——它太啰嗦了，需要太多词才能讲明白。它太微妙了。它是防御性的。
史蒂文·西诺夫斯基 它是防御性的，而且我们一个词都不拥有。想想看，整场辩论的词汇是：暂停、集群、失控。每一个字都是不想做 AI 的那群人选的。所以你首先要做的是发明新词，并且说他们的词是错的——而这件事本身又需要那么多话来解释。
亚伦·列维 是啊，所以我们得搞出"工会岗位""治愈癌症"这类词，我们需要另一团词云长出来。
二、实验室为什么不肯对灭绝风险表态
史蒂文·西诺夫斯基 我不理解的是：实验室为什么至今没有对灭绝风险表明立场。缺了这一步，我认为事情会往除了"严厉监管"以外的任何方向发展。你想想，如果有百分之十的物种灭绝概率，头部公司的 CEO 还说他同意这个说法，政府怎么可能不做严厉监管？那简直就是失职。
亚伦·列维 可是，有谁——了解这个生态的人都知道，我不认为你能把任何人钉死在某个数字上，除了……不，我会说达里奥是说过的。不，我的意思是，你不可能把任何人钉在一个更低的数字上。
史蒂文·西诺夫斯基 事实上，他做了一件最糟的事：他同意那些声称存在某个灭绝百分比的人。但他又特意绕着弯说：我不打算给一个百分比。我觉得这就很奇怪了。不过说句公道话，说句公道话——
（插话） 不，好吧，不，好吧。
亚伦·列维 没人能公道。哎，公道地说，这也不是百分之百的不真诚或者什么。他大概并不具体同意那个百分之十，也许他同意，只是说出来太吓人了。
史蒂文·西诺夫斯基 那我们就玩二分查找吧。到底是更高，还是更低？
（插话） 就像我一直说的，可这整件事并不是——他知道那是我们造出来的概念。但没人能，你根本没法量化这些东西。
史蒂文·西诺夫斯基 不过这倒是马丁的观点。
亚伦·列维 但你刚才说的是"官方立场"。那唯一可能的官方立场，就只能是这件事的公关版本；而唯一在智识上诚实的说法会是：AI 有真实的风险，也有极其正面的收益，我不知道，我们正在努力把风险降到人力所能达到的最低。我不认为这是真的。
史蒂文·西诺夫斯基 听着，我们已经经历过——等等，你觉得会怎么样？我们已经经历了好几轮技术时代了。我们经历了算力、互联网、万维网、社交网络。我们讨论风险的时候，并没有谈灭绝风险，对吧？所以你可以这么说：我们不认为物种灭绝的边际风险，和——
（插话） 好好好，好好好。可是，我觉得答案是：他们确实认为这不只是互联网。那我们就只有两个选项之一。你相信我们会灭绝，然后我们就把它全关掉吗？不。是说关掉吗？不，他们相信的是存在一种可能性——不，这是——百分之十——说到冷战——达里奥想得更少。不，他可是冷战勇士。
史蒂文·西诺夫斯基 没有人——五角大楼就核战争的概率跑过很多次模拟，还有那部讲这事的电影《战争游戏》，所有这些。但关键在于：那个概率是非零的。
亚伦·列维 所以一旦你说了非零——那他们能说"非零"吗？这允许吗？我觉得只要你认为是非零——问题是，如果你说非零，别人可能会想：该死，老兄，你该不会认为它有百分之九十三吧。
史蒂文·西诺夫斯基 等等，等等，等等，等等，抱歉，等等。既然我们要认真讨论，那就来谈边际风险。是的。我们谈的不是绝对风险。对，是的。好。
史蒂文·西诺夫斯基 问题就在于：我认为一旦你说它是非零，那么面对"灾难性"这种定性，唯一的答案就是你必须把它国有化。所以这些持这种看法的实验室真正想穿过的那根针是：他们希望"非零"能成为一张许可证，让他们可以做某一些事，同时又不背上被国有化的负担。
亚伦·列维 不过你经验比我足，我不知道所有的先例，但肯定有一些非零的灭绝风险，并没有被国有化，可是围绕它们的监管环境重到跟国有化也差不多了——比如 KYC（了解你的客户）那类要求，我敢说要研发炭疽，你就得去某种特定等级的实验室。嗯，BSL-4 实验室是国有化的，它们是国有化的，好吧。
史蒂文·西诺夫斯基 对，不过。ASIC 那类东西往往是国有化的。是的。像普通的人身安全，就没那么严重，对吧？就是行业监督，然后随着时间推移变成联邦监管。
史蒂文·西诺夫斯基 而那条演进路线——我认为对这场讨论极其重要——是从二战之后开始的：大多数对基础设施至关重要的行业，电力、银行、医疗，大趋势基本就是被国有化。就用你举的 KYC 和其他那些例子来说，银行在所有实际意义上都是国有化的，金融危机之后更是如此。
亚伦·列维 好吧，可你说的是"所有实际意义上"。它们字面上并不是国有化的。所以也许实验室的意图就是想看起来像摩根大通，或者看起来像 Verizon。就是那种"我们是关键基础设施，我们接受重度监管"。这对开源不好，至少对前沿开源不好。但这确实是这个行业在极限情况下一个说得通的结果。不过问题在于，它对创新不太好。噢，百分之百不好。
史蒂文·西诺夫斯基 我觉得那样也行。只要别拿物种灭绝当理由。当然，就像你们现在这样。是的是的是的。这真的就是"那些卡在实验室里的东西"和别的之间的区别。而且我得说一句：我真的认为实验室在往对的方向走。我真的认为那份声明其实写得很好。在我和高管、领导者们的对话里，他们理解自己身上有这种张力，而且他们会去化解它。所以我其实相当乐观——实验室既在做对的事，也在努力做对的事。
我只是觉得这东西长得太快了，长得太快，而我们还在摸索这台机器怎么运转。我觉得西诺夫斯基说得太准了。我也是。技术进程有它自己的逻辑。我不知道这是天真还是傲慢，但我就是不认为他们知道该怎么趟这条路。
三、每一代技术，都在重复同一个监管错误
史蒂文·西诺夫斯基 我认为科技行业在一百多年里，在每一波技术浪潮上都反复重学同一个教训：我们不懂监管气候，也驾驭不了它。就连 AT&T 和 IBM 这种从一开始基本就是政府垄断出身的公司，也从来没搞明白。两家都被反垄断起诉了，两家都因此被实质性地、结构性地改变了。而他们在六十年代可是有几百个律师在替他们趟路。
然后微软来了，我们当时就是：什么？我们完全不知道发生了什么。然后是比尔·盖茨和比尔·克林顿一起打高尔夫。然后我们就被他的政府甩了一记反垄断诉讼。比尔当时说：我就是打了个高尔夫啊，照片在这儿。而这没用。可难道我不就是该去打高尔夫吗？这是那个故事的缩略版。
不过我想举的、也是我一直举的例子是：好莱坞在"红色恐慌"和审查那段时间抱成一团。当时他们担心政府以性内容、成人主题为由审查电影。他们全部聚到一起，当然，如果真上法庭他们是赢不了的，但他们有威胁要这么做。于是他们聚在一起，成立了美国电影协会（MPAA）。然后就有了电影分级等等，他们自己管自己。
所以你们怎么看？你们喜欢这个吗？
（插话） 我们可没做这种事。
史蒂文·西诺夫斯基 那你们喜欢 FINRA（美国金融业监管局）这个提案吗？
亚伦·列维 好吧。
（插话） 不，因为 FINRA 是——
亚伦·列维 不，那已经是你能在 MPAA 基础上加牙齿、加到的极限了。
史蒂文·西诺夫斯基 不，它不是，因为 FINRA 会变成立法，而立法是带直接监管的。
亚伦·列维 嗯。我觉得 MPAA 对"社会怎么运转"的影响可能没那么大。那不过只是第一修正案而已。这局我赢了吗？不，我，我，我，首先，太精彩了。但我还是不知道你赢没赢。我同意言论自由非常重要，但是，我只是觉得。那里头没有社会性风险。
我只是觉得，我们电影里放什么，社会是会活下来的，只是在另一条光谱上而已。
史蒂文·西诺夫斯基 所有这些历史都是相对的。在那个时候，"是共产党"是一件非常糟糕的事，好莱坞有百分之三十的人因此被开除，全是这类事。所以拿这种方式来举例总是有风险的，因为它听起来太蠢了。就像现在没人会去想电影分级这回事，而那是因为实际上法院判了：你在宪法上不能强制要求分级。所以他们没法在有线电视上监管它。于是我们是伴随着 HBO 和别的这些长大的。
但 FINRA 的问题在于，它是"把风险实质国有化"的完美例子。因为哪怕所有银行都往里交钱、它就是这么运作的，它全都是被强制的。
亚伦·列维 好，等等，抱歉。你觉得我们最后会落到一个比 FINRA 更好的局面吗？看起来 FINRA 就是最好的情形了。它就是最好的情形。好吧，不过现在甚至都不是了。我确实认为——再说一遍，这是极限情况——这项技术相对于它能交付的东西太强大了，以至于国会最终不可能不在乎。就是不可能。
这就是关键：如果它最终在给你做每一次医疗建议，如果它作为开放权重模型装在你的医疗器械里，如果每一个高频交易系统里都有它，如果它在飞机上——那政府绝不可能不说"我们需要某种东西"，而 FINRA 大概就是那种东西里最好的情形了。
史蒂文·西诺夫斯基 对。而这绝对是最关键的一点，因为：现在参议院里的所有人，当年《通信法》通过的时候都在参议院——那部法案没有把责任穿透给 ISP，也没有穿透给社交网络。他们当时坐在那儿，那场辩论里他们会直接跟我们说：互联网这么大，怎么可能跟我们没关系？这就是为什么阿尔·戈尔（Al Gore）因为说"他创造了互联网"被骂得那么惨。
因为他其实是想抢在前面说：不，政府在其中起到了关键作用——结果全反噬了，因为这让他看起来像个疯子。但事实绝对是：他们觉得自己错过了一次压在互联网之上的机会。
亚伦·列维 而阿尔·戈尔是站在创新这一边的。
史蒂文·西诺夫斯基 那是他们的，保罗。
亚伦·列维 是啊。那谁是 AI 时代的阿尔·戈尔？
史蒂文·西诺夫斯基 一个都没有。是的是的是的。有过几个，嗯，贝塞特（Bessett）看起来有点像。对对。你知道，国防那帮人想要的是私下的、但又不完全是——这跟他们在互联网上的位置一模一样。所以很有意思的一点是，很多这种事就是这种状态：伊丽莎白·沃伦参议员发的那些推特，全都是"我们在社交网络上错过了这个"，然后就是——
亚伦·列维 有大量针对科技行业憋了很久的怨气。这些怨气最后可能全部灌进这场 AI 革命里。
四、"我们真应该在 1997 年就把互联网掐了"
史蒂文·西诺夫斯基 正是如此。是的是的是的。现在发生的就是这个。我认为还有另一个问题：我们都在试图预测什么是坏事，而这并不是我们一贯的做法。到了互联网这个时间点上，我们已经造成了数百亿美元的经济损失。我们有过把百分之十基础设施搞瘫的蠕虫——那可是跑着关键基础设施的互联网基础设施。我们有医院倒掉。
亚伦·列维 我们真应该在九七年就把互联网封掉。
（插话） 我们怎么——是啊。
亚伦·列维 好吧好吧。
史蒂文·西诺夫斯基 我记得有段时间，你会去买一张 Windows 95 的 CD，等你装完，你可能已经中了一条蠕虫了。
亚伦·列维 干得漂亮，史蒂文。不不。
史蒂文·西诺夫斯基 不。
（插话） 那就是当时的现实。
史蒂文·西诺夫斯基 不，完全正确。怎么说来着？直到 2001 年，PC 的现实就是：你只要把一台连着网的 PC 装起来，就一定会中毒。那时候病毒无处不在。就那个年代而言，是的。而且还有过两轮国会听证会。
亚伦·列维 是啊，你们全都——好吧，这一点我承认，很有意思。这种时代精神如果放在九四年，我们大概就不会有互联网了。听着，听着。
史蒂文·西诺夫斯基 我是说，汽车业、航空业，你总会经历这种"磨牙期"——你一边认识危险，一边认识技术。互联网这件事，我们是从地下室那一层干起来的。东西动不动就瘫，经济损失不断。而且还有新东西，有新的病毒、新的蠕虫，到处都是。
亚伦·列维 Y2K 要毁灭世界了。
史蒂文·西诺夫斯基 这里有意思的地方是：当我们制定政策的时候——我们确实制定了很多政策——那种政策是带着一组非常具体的数据点做出来的，你知道你要解决什么。所以你知道政策是真的贴合那个事实模式的。而在这个案例里，我是说，就连你刚才说的也是"万一怎样怎样呢"，这很难——在还不知道的情况下预测政策，是很难的。
而可以谈的理论是：似乎存在新型的网络安全风险。很好。
而这场讨论值得称道的地方是，它确实在往那个方向演化。你真的开始听到实验室的人说：新型网络安全风险，这是一个工程问题。我们在谈这个了。所以这件事越是围绕真实被识别出来的风险变得具体，我们大家就越能站到一起来。但这不是今天的讨论，这是最近才有的事。
五、法律其实已经够用了，缺的是做事的规矩
史蒂文·西诺夫斯基 说得太好了，太好了。因为如果你看 1986 年，《计算机犯罪与欺诈法》签署生效（译注：原文如此；该法案正式名称为《计算机欺诈与滥用法》，1984 年首次通过、1986 年修订），它出自一个非常具体的场景：两拨黑客闯进了 GTE 的 Telemail 系统。其中一个就住在我宿舍。你信不信。当然不是你，是另一个人，后来去了思科工作。问题在于那是 1983 年，当时没有相关罪名。
而那部法案花了两年半才走完立法程序。它写得非常非常具体。那条法律就是规定你不能未经授权访问计算机系统。
亚伦·列维 所以我想我们都同意：在应用层，大概百分之九十的法律其实已经有了——你不能黑进系统，诸如此类。那你觉得在模型层，有没有什么需要从责任角度立的东西？当然，这就会制造出——等等，你现在是要谈一个技术性的法律问题吗？这非常——法律问题。是的是的是的。
史蒂文·西诺夫斯基 不，法律层面——所有事情——我看 Hugging Face、OpenAI、Ford 这些案例，全都是明摆着的计算机犯罪法适用范围，只是后来修正案里挖了个口子：如果你是白帽子，就不算违法了。而那是因为大家老犯错，他们不想把所有其实是在让系统变好、只是搞砸了的人全抓起来。所以司法部写了一份备忘录说：这个我们不起诉。
而且我们也不会因为你只是违反了系统的使用条款、而不是真的试图突破它，就来起诉你。所以我认为法律对这个场景是充分的，而且全都写好了。那个 GTE Telemail 的案子涉及 NASA、利弗莫尔和所有那些实验室，所以它才引起了华盛顿的注意——因为被闯入的是联邦系统。
而现在的问题是实验室和安全社区之间的这道裂痕：安全社区看他们所有的复盘报告，每次都得出两个结论——马虎，以及你没有完整告诉我们发生了什么。
要知道，CVE 那套流程是八十年代搞出来的，来自卡内基梅隆的计算机病毒与漏洞报告体系。他们做了很多年，有一套非常结构化的报告规范、有义务、有该怎么做。可不知道为什么，他们现在做这类报告时，一点都没用上那套东西。所以我看着这些最基本的东西就说：在他们做到那一步之前，他们真该别再说了。他们不该对一次入侵做一份看起来像是实习生写的复盘——那根本不是复盘，那是选择性记忆。它看起来就跟那种你请外部律师来调查某件事、只给他们一部分材料的复盘一模一样，因为你没义务把你请的律师要知道的所有信息都给他。那些 Slack 消息在哪？
史蒂文·西诺夫斯基 到底发生了什么的细节在哪？我能插一句烦人的题外话吗？比我刚才插的还烦人。不不，这个好，跟这个很对路——我在安全圈，就是真正的网络安全圈，待了很久。这一行一直有个毛病：他们就是不喜欢实用的解决方案。所以哪怕你建了一个安全的系统，他们也会说：那万一有人——噢，是的是的，你知道，比如罗素·克劳能破解你的加密之类的。
就是《碟中谍》那种。是啊，我知道，永远有这类说法。所以我最近最喜欢的一件事是诺姆·布朗（Noam Brown，OpenAI 研究员）那件事——我们在播客上都说过蠢话，我已经说过蠢话了。噢，你不喜欢这个？不，那很棒。不不不，我觉得很有意思。不不不不，我是在铺陈。好，好好好。诺姆·布朗当时大概是说：听着，你不知道一个超级智能能干什么，它也许能利用 CPU 的热量把自己偷偷传到另一台机器上——这把我带回了老本行，我当时就想：好，现在我很舒服了。
好，好，好。现在我可以就这个话题进行无穷无尽、毫无意义的讨论了。但有意思的是：你一边有灭绝风险那帮人在说一件你觉得说得通的事，另一边有安全圈在进行这种没完没了的讨论。所以我认为在某种程度上，这两个圈子现在正在被桥接起来。而我是真的觉得，诺姆·布朗说那句话是非常合理的。你可以挑它的毛病，但我们在播客上都会说奇怪的话。我是真的认为"外传"（exfiltration）这件事是真的。
我是说，我在高度机密的 secure computing 环境里工作过，那些隐蔽信道（covert channel）简直不可思议。噢，是的是的。你真的会，我是说，这些评论都是真实的，但我们确实有一场真正的讨论了。那是我第一次看到真正硬核的系统工程师进行比较有建设性的对话。
史蒂文·西诺夫斯基 他们当时在计算比特率。
史蒂文·西诺夫斯基 是啊，很棒，而且那是建设性的讨论。当然，典型的灭绝风险那帮人也在参与。当然那是在推特上，所以有很多互相骂来骂去，但我感觉那是第一次真正的讨论。所以我希望看到更多这种。我希望看到更多网络安全相关的内容。我认为实验室应该多谈这个，这会调动起整个社区。而一旦这件事发生，我们才能真正往前走。
亚伦·列维 嗯，格雷格（Greg）最近在这个话题上露面多了不少，这挺好的。不过我想结论是：诺姆·布朗应该多在播客上做头脑风暴。我觉得那很——我觉得那很棒。
史蒂文·西诺夫斯基 那件事只是让人们睁开眼睛看到：原来安全领域有大量大多数人根本不懂的风险。这意味着还有更多东西是——你不能把基线风险挥挥手就打发掉，比如"你的认证层到底怎么工作的"；你不能一边说这个应该消失，一边又搬出"可是外星人能入侵"这种。我当时对一部分内容就是有不舒服的感觉，就是那种"可是，还有这个风险呢"。
史蒂文·西诺夫斯基 "热量那件事"我就是这么看的。但至少我们现在处在一个舒服的域里——我可以谈熵，我们可以真的进行一场具体的讨论，而不是"噢，它太强大了"。因为我们已经把它还原到了物理定律和系统定律层面。
史蒂文·西诺夫斯基 虽然大多数人确实——我会说大多数人根本不知道这一类风险是真的。我在"潘兴"导弹车间走来走去的时候，我得亲自去测显卡和 PC，因为国防部有一条要求：断电之后显存里的图像不能残留。噢。但不是零时间——电源一断，那个内存里的图像必须立刻消失。如果有三秒延迟，那你就——那就可能是"红"了（译注：指涉密违规）。
史蒂文·西诺夫斯基 噢，看，看，我们那时候有人会走进办公室， literally 拿尺子量显示器和显示器之间的距离，因为"暴风雨"（Tempest）攻击。噢，是的是的。那百分之百是一种利用电磁辐射泄露信息的方式。我在 BIOS 的扩频上见过同样的事，我从音频扬声器上见过——我们不得不把扬声器拆掉，换上很强的背景噪声通道。
史蒂文·西诺夫斯基 我们那栋楼，我们那栋楼。这些都是真实存在的事。我们那栋楼里就装着朝窗户放的"缪扎克"背景音乐喇叭，就为了产生干扰。
亚伦·列维 你该去某家实验室管安全。我从来没见过你比聊"基于热量的通信"时更兴奋。
史蒂文·西诺夫斯基 我能告诉你我见过的最离谱的隐蔽信道吗？记得老式的 CRT 吗？我知道这听上去像我比你们还老。我很高兴有人比我老。算不上，但表现得像。那么，记得老式 CRT 显示器吗？结果是这样：假设是晚上，你在房间里用一台 CRT 终端。房间里最亮的那个点，其实是电子束正在扫过的那个像素。大多数人以显示器的辉光是最亮的，但其实是那个特定像素。所以有人发现：假设你在某个酒店房间里用电脑，如果你有办法采样窗户的颜色，你就能重建出屏幕。
你只要按和电子束扫描相同的频率去采样就行。然后还有人发现：如果你能控制三个像素，你就可以用它们——因为它们看起来只是坏点——用它们来发消息。所以你 literally 可以坐在外面什么的，发你自己的 SOS。你采样那条消息，就能读出来，那是一种带宽相当不低的单向通信。所以诺姆·布朗说的，也许热量不是可行办法，但那个层级的精密性是真实存在的。
史蒂文·西诺夫斯基 那确实是个东西。我在导弹厂的时候，我得把键盘锁起来——这词不太文雅，但我们就是这么叫的。我每天晚上得把键盘锁进柜子，因为他们不希望没有权限的清洁工走过时注意到哪些键更脏、哪些更干净。噢，是的。我有一次忘在外面，结果收到一张安保的条子，让我去安保处领我的键盘——就是那个巡楼保安当晚直接把我机器上的键盘拔走了。这还只是基线。
我本人是没有权限的，我就是这么敏感的程度。我什么都不是，我只是个实习生。
亚伦·列维 这场对话最大的问题是：现在这些全都进了未来每一个 AI 模型的训练数据里了。
史蒂文·西诺夫斯基 但那也正是威胁所在。噢，这就是问题。不过这也是——这类东西的威胁模型永远都是：你有一个可信侧和一个不可信侧。NIST 有五百页的手册。好，好，这些早就公开了。好，很好。而在不可信侧，你基本上假设存在一个什么都能做、什么都知道的"神谕"。那么问题就变成：你能不能从可信侧拿到信息？顺便说一句，这正是诺姆在说的事，而这其实相当——
六、智能体集群，会把现在这套安全模型整个掀翻
史蒂文·西诺夫斯基 这一点引出了一个我非常想接过去讲的、极其有意思的点：人们真正还没转过弯来的、并且被那些令人困惑的语言掩盖住的是——AI 能做的事，是在极短的时间里把那些办法全都试一遍。是的。而且它不会累，不会烦。
但有意思的地方在于：你现在多了一整层安全要去看，你得去看你在内网跑的每一个 API、每一个服务——没人会觉得自己的内部 GitHub、内部 Slack、内部财务报销工具会遭受拒绝服务攻击。可是智能体集群会。它们干出来的事，看起来 literally 就跟拒绝服务攻击一样。
所以我们现在内部需要一整层东西，去追踪远远更多的信息：正在做哪些认证、正在调哪些 API。但这事现在就只是变成基本功了。
而那些搞攻防（offsec）的老家伙都在给我写信说：我们干嘛要跟所有人解释这些？这太基础了——因为内部从来没人做过。
亚伦·列维 是啊。
史蒂文·西诺夫斯基 而且——
亚伦·列维 你以前不用为你的员工操心这个，这就是差别。但现在你的"员工"只是——没错，他是软件。而且是无限的，还带着一张信用卡。我是说，我们信息安全能在某种程度上过关，靠的是大多数人百分之九十五到九十九的时间会做正确的事。
史蒂文·西诺夫斯基 等等，不是。真正有恶意的员工大概是万分之一。
亚伦·列维 是的是的是的。所以这些系统基本上对任何想访问它们的人都是敞开的，或者只要拍一下肩膀，你就拿到访问权限了。而智能体集群把这件事完全翻转过来：它们就是一群游荡的无人机，就是游荡的无人机。而且，是啊，乘上一万倍的时间，不会累。它们会轻易地把一个好任务误当成坏任务，反过来也一样。所以我们系统里的数据安全，这将是一次巨大的升级时刻。
史蒂文·西诺夫斯基 马丁，我真的认为我们接下来需要一套不同的访问和安全模型。我们要往哪儿走？因为现在这套模型的粒度不够细，性能也不足以处理这些事。
七、权限的粒度：从"全给"到"这个文件夹只读"
史蒂文·西诺夫斯基 那我想退一步，说一个元层面的看法：我认为这类对话就应该这样进行。我们识别出了一个新风险，比如网络安全，而且我们是有实证的；现在我们来谈解决方案。我认为围绕 AI 的整场讨论都可以是这个形式。而最大的错误在于：它一直不是这个形式。我认为整个行业和整个社区都非常乐意就以这种方式参与进来。而关于你问的那件事，我确实有话要说。我是说，我认为对话应该在这儿进行。所以我们以能进行健康对话著称，大家都该从中学点东西。
（插话） 这就是我们干的事。
史蒂文·西诺夫斯基 那么，是这样：我不认为这里存在技术上的限制。这些威胁模型被理解得非常清楚，而且在文献里已经存在很久了——操作系统研究、MLS（多级安全）研究，都从学术视角考虑过这类东西。它之所以没有被采用，往往只是可用性问题：它确实很难维护，而你以前又不必这么做。所以你可以论证说 AI 解决了这个可用性问题，因为用它的就是 AI。
所以也许现在会迎来操作系统、网络和计算机语言的一场复兴。我们应该回头去看那些老研究，开始重建一批"设计上就安全"的系统。而且顺便说一句：如果我们认为这些东西放出去不安全，那我们就先不放，直到这些系统建好为止。而且，AI 很聪明，它们可以帮我们建。所以我再说一遍：为了互联网，我们改了多少层技术栈？全部。
（插话） 对，跟我说说。
史蒂文·西诺夫斯基 而你知道当时一切有多不堪一击吗？我们可能正处在这样一个时刻："糟糕，我们得重新想一遍所有东西。"这没关系，我们以前干过。但我认为这才是我们应该进行的对话。所以我同意，是时候考虑演进这些东西了。
史蒂文·西诺夫斯基 那么你看，你前面提到"开机三十秒就中毒"那类事。你看看现在人们——这周很多人都在干这事——把一台 iPhone 拆出来：发生的事是，整个网络基本是关掉的，只留下去拿最新版操作系统这一件事。因为哪怕它是六周前压盘出厂的，这中间也可能已经发现了某个零日漏洞。
所以实际上整个开箱流程现在包含一个第一步更新：在这个更新完成之前，设备什么都做不了，也永远做不了。就像那个年代所有桌面软件里，有一大堆完全无害、我们后来干脆关掉的东西——它们曾经是好东西。比如 Word 里有个宏，可以让你自动生成引注，那曾经是超酷的功能，直到它变成了病毒。我们曾经有个功能：你放一张 CD 进去，它就会自动运行一个程序。
于是就有人这么干：好，我把那张 CD 刻个克隆版，把程序换成我的病毒，但它看起来会像那个本来该运行的东西。然后它就在那儿收集一堆东西、干坏事。我想我们后来把那个功能禁掉了。所以现在正在发生的一件事是：在你自己公司的内网里，有一大堆事将不得不作为标准流程被改掉。五年前的双因素认证，在大多数地方还不是标配。
你的整个 SaaS 世界——我记得大概 2015 年前后，你去跟一家新公司谈"我们要做企业版定价"之类的，然后他们发现第一件必须做的事是去做 Okta 集成或者 Google 登录，因为他们不能自己搞一套目录来管理用户。然后这就变成了一个标准动作。现在没有任何一个 SaaS 产品上线时不是直接带托管认证的。
所以在你现在甚至还算"软件"之前，有太多事情必须先发生。
亚伦·列维 是啊，我觉得技术栈的每一层都得在这件事上进化的。就连这种"粒度不够"的问题——比如智能体要么是每一次都问你"要不要给它权限做这件事"，要么是另一个极端：它可以把你整台电脑删掉。我们的操作系统大概就不是为"你想给智能体的那套工具的正确粒度"而造的。
我们在这个方向上做了不少工作，因为显然——你会想给一个智能体你整个文件系统吗？大概不会。也许某些情况下会，但大多数时候你想要的是细粒度控制：这个文件夹里你可以读写，那个文件夹里你只能读。那么你怎么把这件事做得让用户觉得直观？这非常难。所以这里会——是的是的。
史蒂文·西诺夫斯基 非常深刻的评论。我知道。是啊，这基本就是四十年的结论。不，百分之百。就是你其实做不出来。但也许有了 AI，你就真的能了。也许存在——
八、我最怕的不是灭绝，是"GDPR 式的提示框"
史蒂文·西诺夫斯基 这件事我认为——如果你问我走进来之前在本子上写下的"最大的恐惧"是什么，那就是：欧洲认定 GDPR 是有史以来最好的东西，然后他们就把 GDPR 套到 AI 上。 而 AI 本身会没事，它会有一个提示——每当有文本被提交时，就弹一个提示说"这家厂商正在输出文本，它很可能是错的"，是或否。那就会变成——因为你真的没法。至少在北美，你不会把你的言论发到欧洲去，他们还是会发。
他们会有过滤器、关键词和黑名单。但接下来，任何一个智能体——不管是后台智能体还是前台智能体——只要碰到第三方产品，我真的很担心他们会说：这个我们得加一个 GDPR 提示。而那个提示会——噢，通过智能体又回到用户那里。每一次写入、每一次非查询操作，都变成一条像你车里"安全气囊"那样的安全警告。
而监管者喜欢这个，因为那是一种责任分配，所以它有法律先例。我真的很担心，那就是我们最后会落到的中间地带。而且不幸的是，因为美国大概在十五年前就不再在科技反垄断上领跑了，问题是欧洲会带着这套东西领跑，因为他们没什么可失去的。
（插话） 是。
史蒂文·西诺夫斯基 就是，所以我不是想悲观，但我脑子里就是挥之不去：他们爱提示框。我是说，我得在浏览器里加那个。你们的人爱提示框。他们，它，因为这就跟——听着，坐进一辆新车。我很久没这么干过了，但你知道，你得把贴纸撕掉，你有所有这些东西。而有人觉得那就是成功。然后就像：有没有人真的读过这上面写的是什么？
如果这个座位上有婴儿，那对某些人在某些时候是相关的。但它是整个织物的一部分，它就缝在座椅上。而他们爱这个。这是一种他们就是很爱的、非常特定的东西。所以如果我是今天的 AI，我会极力避免的一件事就是——听着，我们加上了它，好。
亚伦·列维 AI 版的 FINRA。我们会去把那个标准造出来。
史蒂文·西诺夫斯基 我是说，听着，当年互联网还是新东西的时候，最流行的事就是下载一个程序然后运行它。当然，如果你的机器是跑在管理员模式下的，那就是下载一个病毒然后永远拿走你所有的文件。所以在 Windows XP 那个年代（译注：原文如此），我们加了一个会提示你、并让机器停下来的东西——字面意义上让你的机器停下来，用户账户控制（UAC）。那简直是一场暴击。我们还把它加进了 Word：那个帮你写论文的傻乎乎的小宏，也带上了一个警告。
每次你打开你的论文，它都说"这个文件包含——"，然后所有人就直接点掉。所以你最后就会落到这样一个世界里：就像 GDPR 一样，所有人都麻木了。然后他们就说：那得把它做得更大才行。
亚伦·列维 不过 Mac 嘛，我是说，Mac 大概有——没人下载软件。
史蒂文·西诺夫斯基 这就是问题所在。
亚伦·列维 这是 Mac 上一种非常、非常不同的使用模式。
史蒂文·西诺夫斯基 所以，而且我——抱歉。
亚伦·列维 我，我，我，我的 Mac 上大概没有十个应用，但是——
史蒂文·西诺夫斯基 那就是装十个然后就完了。
亚伦·列维 是的是的是的。
史蒂文·西诺夫斯基 但问题是，还是有很多人一直在干这些事。想象一下，如果换成是每次你打开一个新网站——
亚伦·列维 对。
史蒂文·西诺夫斯基 都弹一次——而你现在就是这么干的。
亚伦·列维 不，那会很糟。
史蒂文·西诺夫斯基 从这里出发，我想把话题拉回到 Mac 这件事上：我真希望我们正在进行的讨论是这个。是的是的。就是那种感觉——我觉得我们已经处理过很多这类问题了。我觉得当我们谈哲学层面的灭绝风险时，我们并没有在解决这些非常实际的问题。我真的认为这是一场有建设性的对话。也许有问题会有帮助，我不知道。
而我认为部分问题在于：人们不记得从前那种"无限制访问"是什么样子、有多糟，也不记得它最后变得有多相对无害。我甚至记得——那是我读博士时在斯坦福——我记得那台示波器有点不对劲。我就想，这示波器怎么回事？它有点慢。而我在测网络流量，发现网络流量比预期多。我就想，为什么会有网络流量？我根本不知道这玩意儿还有 TCP 协议栈。结果是有人入侵了，因为机器上跑着一个老版本的 Windows CE，而且被拿来跑了一个色情服务器。你知道？所以从前就是这种状况：你随便翻开一块石头底下都有东西。是的是的。
而那是不是那种最坏情况的恶意攻击？其实很少见，尽管能力摆在那儿。所以如果我们能想办法把修辞降一降、放回到语境里——它们仍然是计算机系统。是的，确实有很严重的事，确实有人因为网络瘫痪而死。是有真实的问题。但是，然后我们能就去纠结 GDPR 吗？那太好了。可问题是：讨论不是这个。不是 GDPR 和提示框，是物种灭绝。
还有哲学，还有那些不可证伪的东西。而且这一切还来得太快了。
九、FAA 用了四十年
史蒂文·西诺夫斯基 我觉得这一点说得太好了。而且你现在会听到人们说：我们监管飞机，我们监管汽车。可你忘了：第一批汽车出现在世纪之交，而《任何速度都不安全》（Unsafe at Any Speed）是六十年代中期的事；淘金热时期人们就在卖药了，而"反应停"（沙利度胺）事件发生在五十年甚至七十五年之后，而且还不是在美国；然后才有了 FDA。
第一批飞行员显然在二十世纪初就开始飞了，但直到二十年代你才需要执照才能当飞行员。你 literally 是带着自己的飞机去，然后拿一张证。那跟今天的驾驶课基本没区别。然后又过了二十年，才有人管"适航性"、来检查你的飞机，但那也是最起码的。然后一直要到二战之后很久，才有了你今天理解的那个现代 FAA。
所以你看到的，是四十年的创新。而他们可不是在慢慢走。你看过那个黑白视频吗？各种飞机往下掉什么的。那是莱特兄弟之后二十年的事。
史蒂文·西诺夫斯基 而 FAA 极其有效。
史蒂文·西诺夫斯基 对，极其有效。
史蒂文·西诺夫斯基 它是最安全的交通方式。你知道，所以我认为这个过程——
史蒂文·西诺夫斯基 它也是最慢、最困难的创新方式。所以，如果你在一九一〇年就搞出 FAA——是啊——你永远都不会有。你永远都不会有。
亚伦·列维 你什么都不会有。什么问题都没解决。风险最终还是原来那个风险，但你对系统的理解还不够。
史蒂文·西诺夫斯基 你把那东西召唤出来了，却还没弄明白怎么控制它。
十、真正的创新，已经移到实验室之外
史蒂文·西诺夫斯基 而且我们到现在都还没搞明白它到底是什么。新东西一直在出来。现在我们构思 AI 的方式，跟六到九个月前完全不同了。我认为这一点——所有将在应用层发生的创新，会让各种东西以不同的方式进到模型里、又从模型里出去。而且你知道，一直到上周为止，我想我们都还以为"输入文本提示、返回文本"会是最好的交互方式。噢，Jeff 那件事。然后 Jeff 那件事就来了。
史蒂文·西诺夫斯基 而且它还特别好。
史蒂文·西诺夫斯基 那就聊聊这个。是啊，你为什么觉得它这么了不起？好，我是这么想的：大语言模型基本是文本进、文本出，对吧？它生成文本。而它来自聊天——它本来是为了跟人交流的。过去几年我们一直在干的事，是把这个吐文本的东西硬塞进一个传统程序里。而传统程序其实并不讲文本，对吧？所以你就只能搞这种很别扭的事：在提示里写上——
亚伦·列维 这是 schema，这是 schema。
史蒂文·西诺夫斯基 但那东西是在生成文本，它基本上会无视你的 schema。这一直超级别扭。所以 Jeff 基本上说的是：听着，在外部生成文本是一件非常昂贵的事，而且它也比实际需要的更复杂。那我们为什么不这么做：我们读文本，我们拥有读文本所需的全部知识；但生成环节，我们不生成文本——那太贵了——你给我们一组选项，我们就选最好的那个。我们可以做得极快、极便宜。
而且我们还能做得更准，因为我们可以专门为这件事训练。所以对所有那些"不是跟聊天机器人对话、而是真的想把它放进传统软件里"的用例来说，这非常合适。这是自 ChatGPT 以来最了不起的 AI 模型进展，因为我们都已经为此做好了准备。
史蒂文·西诺夫斯基 我想在这上面再叠一层，因为我没法告诉你我有多爱看到这种形式的创新。因为它做到了一件从一开始就让我难受的事：从来没有任何一项用户研究表明，用完整自然语言跟计算机交互是高效的。 它 literally 永远都是最低效的方式。这很简单：你就问问自己，有多少人真的擅长提问？
马上答案就是：会议室里能把问题问好的人不到一半。然后还有：你有多少次盯着答案、在它还没写完之前就已经很火大了，可你还得付钱看着那七段文字一个字一个字出来，然后它再道歉说这只是个小疏漏。所以这是其一：要有一种不同的模型。
而另一个，当然是我最喜欢的：它的输出是为概率编程而设计的。所以不再是"这是不是一个客服问题？是就转客服，否则转综合服务台"这种，而是"这个有八成是客服问题"。而这正是仿真。而事实是，在概率化 if 语句这件事上，有大约五十年的计算机科学研究。所以突然之间，计算机科学里最酷的位置要变成概率编程了——而那在六七十年代几乎就是计算机科学的全部。因为所有的计算都始于做数学，而数学全是仿真。
那就是：我们要发射导弹去打那个目标，但有风，而风不是恒定的。那我们就给风建模，然后决定推进器放在哪里才能完成任务。所以直到大约 1970 年、在会计化之前，大多数编程大概都是这一类。
亚伦·列维 然后我们把一切毁了。
史蒂文·西诺夫斯基 不，会计里没有概率。但大多数编程基本就是这类建模。所以大多数编程语言设计，都在试图解决怎么把概率塞进 if 语句、塞进 while 循环——比如"做这件事，直到某件事发生，也许大多数时候会"。所以我的第一门计算机科学课，大概第二次作业就是一个关于"在商店排队"的仿真。我当时并不知道。
我在读 Jeff 相关资料的时候把这些全查了一遍——结果是，我的教授就是一九六〇年那本《仿真理论》的作者，而我当时完全不知道，因为这套东西到八十年代基本就死了，被 hyper 那类东西取代了。所以这个"概率化"的概念——还有你分享的那份讲"语言模型的未来、以及它到底有什么不同"的幻灯片，讲得特别好。噢，Halper Flanks 那份。
史蒂文·西诺夫斯基 那份太棒了。
史蒂文·西诺夫斯基 那份幻灯片很棒。但我觉得缺了一块，就是：噢，等等，这根本不是全新的东西——整个计算机科学本来就是这套概率化的东西。所以把那些成果重新翻出来会非常有意思，因为现在发生的就是这个。现在不再是 if 语句，而是"if 百分之 X"，不是"if 永远"。而 Jeff 的工作方式基本就像一种定制的编程语言：这是提示，返回一个百分比。
然后你把这个百分比放进 if 语句里。
史蒂文·西诺夫斯基 而那件有后果的事是：终于，我们有了一种把这些语言模型集成进传统软件的办法。我觉得有点好笑的是，就像你问的那个问题——为什么实验室没做这件事？这有点像——不是指控，而是反映了他们的思维方式。他们在试图创造生命体，而生命体会说话。如果你在试图创造上帝，那上帝是用自然语言说话的，诸如此类。而这其实是一件服务于传统软件的事，那不太是他们一直走的方向。
但 uptake 之所以这么剧烈，是因为我们这些做软件的人一直在试图把这些模型集成进软件里——以前就是做不到。所以哪怕还没到概率那一步：如果我想让一个语言模型去驱动一个 if 语句，用现在的模型很难做到，而 Jeff 让它变得容易太多了。当然，这可能从根本上改变软件的性质，让它变得更随机化。
史蒂文·西诺夫斯基 嗯，我认为绝对会。而且我觉得最酷的地方在于：这件事发生在模型之外。而这正是我认为将要发生的事——创新的中心已经转移了。现在人们需要明白的是：在平台提供者之外，基本上会出现一个临界规模，一旦到了那个点，平台层的创新就停止了。然后，你知道，苹果——苹果社区有个著名的说法叫"Sherlocking"：苹果环顾四周，外面世界里长出来的东西变成了它的功能，然后大家就抱怨。
但创新大体就是这么运作的：一旦你成了平台，不管你加多少人，你都会被"维持运转"和"兼容性"这类事情淹没。所以我认为这是一个信号——现在人们已经弄明白了：模型上有创新可做，但在模型之外。
马丁·卡萨多 好啊各位，谢谢来。这太棒了。
史蒂文·西诺夫斯基 好，太好了。
埃里克·托伦伯格 感谢收听本期 a16z 播客。如果你喜欢这期，请点赞、评论、订阅，给我们打分或写评价，并分享给你的朋友和家人。更多节目请到 YouTube、Apple Podcasts 和 Spotify。在 X 上关注我们 @A16Z，并订阅我们的 Substack：A16Z.substack.com。再次感谢收听，下期节目见。提醒一下，本节目内容仅供信息参考，不应被视为法律、商业、税务或投资建议，也不得用于评估任何投资或证券，且并非面向 a16z 任何基金的投资人或潜在投资人。请注意，a16z 及其关联机构可能在节目讨论的公司中持有投资。更多细节，包括我们的投资清单，请见 A16Z.com/disclosures。
认知放大器：这 56 分钟，对普通人到底值什么
先把话说明白：这一期四个人讲的是企业级安全和监管，没有一句是冲着"你怎么用好 AI"去的。但恰恰因为如此，它值钱——普通人看到的永远是产品的表，这一期讲的是产品的底。
反共识 TOP3
第一，自然语言从来没被证明是高效的交互方式，它是最低效的那种。西诺夫斯基原话："从来没有任何一项用户研究表明，用完整自然语言跟计算机交互是高效的。它 literally 永远都是最低效的方式。"理由是双重的：会提好问题的人在会议室里不到一半；而且你得付钱看完七段文字才知道答案不对。这与所有人"聊天框=AI 的自然形态"的直觉直接相反。
第二，"早监管"不降低风险，它只把还没搞懂的系统冻进法律。列维："你把那东西召唤出来了，却还没弄明白怎么控制它。"西诺夫斯基用 FAA 补了证据链：莱特兄弟之后 20 年才有飞行员执照，再 20 年才管适航性，现代 FAA 是二战之后的事——中间有整整 40 年、以及无数次坠机。反直觉点在于："终于立法了"不是风险解除的信号，往往是理解还没开始就被冻结的信号。
第三，真正的危险不是 AI 太强，是 AI 太多。现有安全模型的隐含前提是"人"：人有 95%–99% 的时间会做对事，恶意员工是万分之一。智能体集群把这个前提整个推翻——5000 到 10000 个不眠不休的东西，会把你内部的 Slack、报销系统当成一次拒绝服务攻击。你担心的方向（能力太强）和他们担心的方向（数量太多 + 权限太大）不是同一个。
一句话带走：AI 时代真正值钱的，不是"你会不会问"，而是你给了它什么权限，以及你让它以什么形式回答你。
逐条提炼
1. 权限的粒度，比模型的能力更决定你会不会被坑（置信度 92%，忠实度）原意：列维说，你不会想给一个智能体你的整个文件系统；你要的是"这个文件夹读写、那个文件夹只读"。而现在的操作系统只有两个极端——要么每步都问你，要么它能删掉你整台电脑。对普通人为什么重要：这是唯一一条你今天就能动手的。你给 AI 助手的每一个"连接""授权""允许自动执行"，本质上是给它一张没有额度上限的信用卡。适用边界：只适用于你让 AI 接触真实资产（文件、账号、钱）的场景；纯问答不涉及。反共识点：大家都在比谁的模型更强，没人比谁的权限收得更紧。
2. "输出概率"比"输出文本"更接近软件的真实用法（置信度 90%，忠实度）原意：Jeff 的做法是读文本、但不生成文本，而是在你给的选项里挑最好的那个，并返回一个百分比，让你塞进 if 语句。对普通人为什么重要：你用 AI 的方式可以从"让它写一段话我来读"，改成"让它判断这是不是 X、把握多少"——后者能被检查、能被累计、能被自动化。适用边界：适用于有明确选项集的判断（分类、路由、筛选）；开放式创作不适用。反共识点：整个行业把"会说话"当智能的标志，而软件需要的是"会给数"。
3. 警告越多，人越麻木，安全越差（置信度 88%，忠实度）原意：UAC 弹窗、Word 宏警告、GDPR 的 cookie 提示——所有人直接点掉。监管者爱提示框，因为那是责任分配；结果是所有人麻木，然后监管者把提示做得更大。对普通人为什么重要：你的"麻木"是被训练出来的，而智能体时代的提示会比现在多一个数量级。麻木的成本会和智能体的执行能力同步放大。适用边界：指高频、低信息量的确认；真正低频高风险的确认仍然有效。反共识点：加提示是"负责任"的直觉，在这里是负作用。
4. 真正的创新已经移出模型层（置信度 85%，忠实度）原意：平台一旦到临界规模，平台层的创新就停了，创新挪到平台外面（苹果的"Sherlocking"就是这个机制的民间说法）。对普通人为什么重要：这意味着机会和判断点都在应用层——追模型排名是最低效的注意力投资。适用边界：这是判断，不是事实；四个人在节目末尾以"信号"口吻说出，未被独立验证。反共识点：大众注意力全在模型层（谁家又发了新模型）。
5. 词汇是被对手定义的（置信度 87%，忠实度）原意：整场辩论的词——暂停、集群、失控——"每一个字都是不想做 AI 的那群人选的"。而挺 AI 的说法"需要太多词才能讲明白"。对普通人为什么重要：你判断一件事时，先看清这场讨论用的是谁的词。框架先于结论。适用边界：这是修辞观察，不构成对任何一方的实质支持。反共识点：人们通常以为自己在用中性词。
6. 历史先例：灾难之后才有好监管，而且通常要 40 年（置信度 90%，忠实度）原意：汽车、FDA、FAA、《计算机欺诈与滥用法》——全部是具体事故之后才有具体法律，不是预测出来的。对普通人为什么重要：给你一个判断尺子——看到"AI 法出台了"时，先问它是基于哪一起真实事故，还是基于预测。适用边界：历史类比有边界，AI 的扩散速度远快于汽车和航空。反共识点：直觉是"先立法才能防出事"。
适用边界与失效条件（诚实段）
这六条里，第 1、2、3、6 条是节目中反复出现、多人交叉印证的观点（忠实度高）；第 4、5 条是节目末尾以个人判断形式提出的，未被现场交叉验证，置信度已下调。
失效条件： - 若"模型即产品"的格局回潮（模型层重新吞掉应用层价值），第 4 条失效。 - 若出现一次真实的、可归因的大规模智能体安全事故，第 6 条的时间尺度会被大幅压缩，第 3 条（麻木论）也会因强制设计而改变。 - 若交互范式被证明另有更优解（非概率输出），第 2 条失效。
必须区分的两件事：以上是四个人说了什么，不是他们说对了没有。素材可信 ≠ 观点正确。要评判"早期监管是否真的无效""概率输出是否真的更优"，需要另案取证，本文不做。
一分钟可以做的一件事
给你正在用的 AI 助手做一次权限盘点。
具体动作（60 秒内可完成）：打开你最常用的那个 AI 工具（或智能体/自动化工具）的设置，找到"权限 / 连接 / 集成 / 自动化"这一栏，把所有默认勾选的开关关掉，只留你这一周真正用过的那一个；如果它提供"每次执行前询问"，把它打开。
为什么是这件事：这一期里唯一能被普通人直接套用的判断是列维那句——你会想给一个智能体你整个文件系统吗？大概不会。你今天点掉的每一个"允许"，都是在给一个不会累、不会烦、还会把好任务认成坏任务的东西发一张无限额度的卡。
一句话自检：如果它现在犯错，它能碰到我最贵的什么东西？如果答案是"我的全部文件"或"我的钱"，那就把权限收到"这个文件夹只读"为止。
原文链接
- a16z 官方节目页（Simplecast）：https://a16z.simplecast.com/episodes/aaron-levie-steven-sinofsky-martin-casado-how-do-you-secure-a-world-of-ai-agents-v8Q401cc
- 英文转录来源（Teahose，第三方转录站）：https://www.teahose.com/podcast/The%20a16z%20Show/Aaron%20Levie%2C%20Steven%20Sinofsky%20%26%20Martin%20Casado_%20How%20Do%20You%20Secure%20a%20World%20of%20AI%20Agents_
本期信息：编号 1210，2026 年 9 月 26 日发布，全长 56 分钟。主持人埃里克·托伦伯格；嘉宾亚伦·列维（Box CEO）、马丁·卡萨多（a16z 普通合伙人）、史蒂文·西诺夫斯基（a16z 董事会合伙人，前微软 Windows 负责人）。
本文为英文转录的忠实中文翻译，非官方逐字文稿。