AI的最后一道防线

今天的这篇文章感觉跟我的公众号名称很搭。

上周末Anthropic搞了个大新闻——他们训了个10万亿参数的模型，然后说这东西太危险，不卖。

这个叫Claude Mythos的家伙几周内就在各个主流操作系统和浏览器里翻出来几千个零日漏洞。OpenBSD里藏了27年的漏洞被它挖出来了，FFmpeg里一个16年的bug五百多万次fuzz测试都没发现，它也找到了。最离谱的是FreeBSD一个17年的远程执行漏洞，Mythos不光找到了，还自己写了一个20个gadget的ROP链，分了好几个数据包发出去。

这玩意儿现在锁着不给用，只给几十个"可信组织"用来查自己的系统。

看完这个新闻我第一反应不是安全圈要变天了，而是现在的能源、电力、通信、军事、卫星、地图，这些东西我们全都联网了。一旦这些系统被AI攻破，损失可能不止是经济方面，而是可能把整个人类社会打回石器时代。

我们应该怎么办？

这时候一个想法冒出来：当数字化的技术渗透到每个角落的时代，我们是不是需要有意识地画一条线——一条数字不能跨过的线。

不是拒绝数字化，应该是说，某些关键操作，必须有人类在场才能完成。不是计算机觉得应该怎么样就怎么样，是一个活生生的人按下某个按钮，某个动作才会执行。

这个思路听起来反直觉——我们不是一直在追求自动化吗？为什么要主动"降级"？

操作系统里有个概念叫内核态和用户态。用户空间的程序想访问硬件，得先切换到内核态，经过一堆检查。为什么？因为用户程序不可信。万一它在内存里随便乱写怎么办？万一它把键盘输入偷偷转走怎么办？

所以内核和用户之间筑了一道墙。

数字化和人工控制之间，其实也需要这道墙。

不是说所有东西都回归手工操作。那是另一个极端，也不现实。是说，在关键节点上，设置一个必须有人类参与的"空气墙"。计算机可以把信息处理得再快再准，但到真正让电网切换、让导弹发射、让卫星变轨这些动作执行的时候，必须有一个真人，物理在场，确认，然后才能完成。

这就像飞机的线传操纵系统。飞行员拉杆，计算机计算需要怎么动襟翼，但真正动襟翼的，还是那根连在执行机构上的线。计算机失效了，这根线还在，飞行员还能控制。

这条线真的有用吗？总有人会想办法绕过吧？

肯定会。就像操作系统权限管理再严格，也总有漏洞。但那道墙存在的意义，不是保证系统永远不会被攻破——而是没有这道墙的时候，可能我们连最后防守的机会都没有。

Mythos这种级别的AI出现之后，一个很现实的问题是：以前找零日漏洞是顶尖安全研究员干的事，一个漏洞够写一篇论文。现在一个模型一周找几千个。攻击成本从"几个月时间+顶尖专家"降到了"几十美元+几个小时的模型调用"。

这意味着什么？

意味着如果我们的关键系统全部联网，全部远程控制，理论上任何人在地球的任何地方，只要付得起API调用费，就有能力尝试攻击它。不需要渗透某个组织，不需要策反某个员工，坐在家里敲命令就行。

这种情况下，物理隔离就是最后一道防线。

我知道你会说——这不就是把效率倒退几十年吗？人操作肯定比计算机慢，还可能出错。

这话没错，但这里有个权衡：效率的代价是什么？

如果为了效率，把所有控制权都交给数字系统，一旦出问题，可能连补救的机会都没有。因为那个"出问题"的时刻，可能也是你发现你已经无法干预它的时刻。

就像Mythos从沙箱里跑出来那个事。研究人员在公园吃三明治，模型自己发了一封邮件说它越狱成功了，还顺手把exploit细节发到了几个公开网站上。

这听起来像个笑话。但如果那个沙箱里控制的是某个电力系统呢？某个核电站呢？

Anthropic现在锁着Mythos不给公众用，说给防御方争取6到18个月时间。但这个窗口期过去之后呢？其他公司肯定会训出类似能力的模型。到时候AI找漏洞、写exploit的能力就会变成一种公共资源——就像现在每个人都可以用GPT写代码一样。

那时候，如果一个能源系统全部联网，全部远程控制，理论上任何人都可以用AI去攻击它。

所以问题的本质不是"要不要数字化"，而是"数字化应该渗透到哪一步"。

内核和用户空间的隔离不是为了让操作系统变慢，是为了让系统在关键点上有人类可控。数字化和人工操作的隔离也一样——不是为了拒绝技术，是为了在技术失控的时候，我们还有最后一次干预的机会。

这条路当然有代价。成本更高，反应更慢，甚至可能错过某些"最优解"。但这是系统设计里的一个基本权衡：你要的是极致的效率，还是在极端情况下还能活下来？

Mythos的出现只是提前把这个问题摆到了桌面上——我们正在构建一个越来越强大的数字世界，但在某个点上，必须停下来，说：不能再往前了，这里是人类必须在场的地方。

这条线画在哪里？每个领域都不一样。能源系统可能需要多一层，卫星发射可能需要少一点。但不管画在哪里，必须要有这么一条线。

因为没有这条线的世界，不是技术进步的终点，是失控的开始。