造 AI 最猛的那个人,现在最认真地想怎么叫停它

这周看到一句话，我盯着屏幕想了挺久。

说这话的人不是哪个 AI 悲观派，是萨提亚·纳德拉，微软的 CEO，全世界把 AI 铺得最猛的公司之一的掌舵人。他周六早上在 X 上发了篇长文，核心就一句，超级智能需要一个紧急刹车。

你品品这个画面。最早踩油门的人，现在转过头，特别认真地研究这台车的刹车该怎么装。

我第一反应是，这是不是说明 AI 真要出大事了，连纳德拉都慌了。

后来把他那篇东西读完，我发现不是。他讲的其实是一个特别朴素的工程常识。

你不会因为打算撞车才给汽车装刹车。你装刹车，是因为速度本身需要可控性。电梯有急停，核电站有紧急停堆，飞机有断油开关，没有谁用这些东西是因为天天出事故，恰恰是因为它们太重要、太快、一旦出事代价太大。

那 AI 凭什么例外。

一个已经能替你写代码、回邮件、订机票、甚至调用工具去操作系统的东西，居然长期处在一个「要么全信、要么别用」的状态，这才是反常的。纳德拉想补上的，就是这块。

他真正想拆开的，是模型和线束

纳德拉那段话里有个说法，我觉得是整篇的关键，普通读者容易一眼滑过去。

他说，要把模型，和编排它工作的线束，分离开。

这俩是什么关系。我打个比方。模型是那个会想、会说话的大脑。线束，英文叫 harness，是套在大脑外面、决定它能碰什么、能动哪些按钮、按什么顺序动手的那套东西。

我们现在用 AI，常常是大脑和手长在一块的黑箱里。它一边想，一边就把事做了，你既不知道它为什么这么决定，也没法做到「只让它想、先别动」。

纳德拉的意思是，得把这两层拆开。会想的归会想的，能动手的归能动手的，中间那道闸门单独拎出来，外置，让人能看见、能控制。

他还提了两个特别具体的要求。一个是，AI 每做一个有意义的动作，都得留下防篡改、人类能读懂的证据，换句话说，它干了什么要留痕，而且这痕它自己改不掉。另一个是，必须有一个被授权的人，能在任务跑到一半的时候，把它暂停或者整个关掉。

你看，这已经不是在聊模型聪不聪明了，是在聊怎么让一个又快又有力的系统，变得可以被人盯住。

最狠的是「假设它已经被攻破」

整篇里真正戳到我的，是这一句。

他说，我们必须假设一个模型已经被攻破，从一开始就把它限制住。把它想成一个紧急刹车。

这句话背后，是安全思路的一次彻底掉头。

过去我们对系统的默认态度是，先相信它，等出了事再去查。你看，它平时不是挺好用的吗，那就先放权。可这套逻辑在 AI 这儿特别危险，因为它不是那种会冒出报错、会蓝屏的传统软件，它出错的方式是一本正经地胡说八道，而且语气永远那么笃定。

这一周就有个活生生的例子。一个 AI 模型对着一桩没破的案子，煞有介事地给警方递了条线索，后来一查，纯属它编的。整个过程里它没有任何恶意，它甚至不知道自己在害人，可一个幻觉差点冤枉一个真人。

你拿旧思路看，它平时都好好的，凭什么防它。可一旦换成纳德拉这套零信任的思路，事情就通了。我默认你会错、会被诱导、会给出似是而非的东西，所以你每一个动作都得留证，我随时能叫停。这不是对 AI 的不信任，这是对任何高权限系统本该有的工程素养。

可刹车也是一种权力

想明白该装刹车，还不等于问题解决了。我顺着他这套方案往下琢磨，又冒出几个新问号。

第一个问题是，谁来踩这个刹车。

能在任务中途关停模型的人，手里握的是一种很实在的权力。理论上它是安全阀，实际上呢，平台公司会不会为了不出任何岔子，把刹车调得过分灵敏，模型稍微说点出格的、有用的、真的有洞察的话，就被提前掐断。安全和能力之间，这根绳子往哪边偏，全在那个「授权的人」一念之间。

第二个问题是，普通人的刹车在哪。

纳德拉讲的多半是企业级的控制架构，离我们日常用 AI 有点远。但我觉得，真正的刹车有一半得装在自己脑子里。

我给自己定了个特别简单的分法，就看一件事，AI 给我的到底是建议，还是它已经替我动手了。

它跟我说「这段代码可以这么优化」，这是建议，我看看、核核，采纳不采纳在我。可要是它直接连上我的账户，把代码合进去、把订单下掉、把消息发出去了，这就是行动。建议我可以放松点听，行动我必须多停一秒，问一句它凭什么、证据呢、能不能撤回。

油门和刹车，本来就该一起发明

我越来越觉得，对 AI 这件事，成熟不是从惊叹开始的，是从想清楚怎么停开始的。

前面这两年，全行业都在比谁的模型更大、更快、更会说。陶哲轩在发愁人类的理解跟不上它产出的速度，Anthropic 承认自己控制不住自家的 agent、开始砍掉内部评估，一个 AI 还跑去给警方报假案。把这些事串起来你会发现，纳德拉这篇东西不是孤例，它是一个信号，造得最快的那批人，开始集体转头研究刹车了。

这其实是个好迹象。一项技术真正进入成年，往往不是它能力多吓人的那一刻，而是人们开始认真讨论，万一它不听话了怎么办。

汽车被发明出来十几年后，人们才补齐了红绿灯、安全带和刹车。我希望 AI 这一回，油门和刹车能一块儿长出来。

至于我自己，那声谢谢我还是会跟 AI 说，但它要是哪天想替我做什么决定，我脑子里那个急停按钮，一直都在。