夜雨聆风2026年7月5日早上9点45分，创业者Karl Mehta在X上发了一条视频。
这条推文没上热搜，转发也没形成规模，点赞只有76，转发20次。搁在信息爆炸的X上，本该石沉大海。
但看过内容的人，很难划走。
视频里说话的人是Ilya Sutskever，OpenAI的联合创始人、前首席科学家，深度学习"扩展定律"最早的信徒之一。他穿着一件印满北极熊图案的T恤，站在旧金山的舞台上，语气平静得像在讨论天气：
"There are concerns around if an AGI ever becomes very, very powerful, which is possible. Maybe it will want to go rogue, being that it is an agent."
「如果AGI变得非常非常强大，这是可能的，人们会担心它可能会想'叛逃'，因为它是一个智能体。」
下一句更让人后背发凉：
"We are also doing a lot of research on addressing the technological side of things, so that the AI will never want to go rogue. And this is something which I am working on as well."
「我们也在做大量研究，来解决技术层面的问题，让AI永远不想叛逃。这也是我正在做的工作之一。」
这段话录制于2023年，被重新翻出来的2026年，早已物是人非。说这话的人已经离开OpenAI，他后来创立的公司融了10亿美元、估值飙到300亿美元，却始终没有拿出一款产品。
Karl Mehta转发这条视频，是想给自己十月份在斯坦福举办的"AI保障与治理峰会"造势，他管Ilya描述的那套技术方案叫"保障层"（assurance layer），核心思路是把"证明一个强大的智能体系统不会叛逃"这件事挪到部署之前去做，等出事之后再补救就晚了。
▲ Karl Mehta在X上转发的Ilya Sutskever演讲片段，附中英对照翻译与"保障层"解读，2026年7月5日发布。
三年前那个舞台，他到底在说什么
把时间拨回2023年10月。
几周之后，OpenAI就迎来公司历史上最动荡的一段日子，董事会突然解职Sam Altman，又在五天内把他请回来，Ilya本人深度卷入这场风波。但录这段演讲的时候，没人知道山雨欲来。
演讲的名字叫《The Exciting, Perilous Journey Toward AGI》（激动而危险的AGI之旅）。TED官网数据显示，这场演讲播放量超过148万次；搬到YouTube上的版本，又收获了87万多次观看和1600多条留言。评论区有人调侃：TED这次抢发得也太快了，距离那场风波没几天，视频就上线了。
▲ 该演讲YouTube页面：87.2万次观看，1648条评论，视频画面标注拍摄于2023年10月、旧金山。
演讲的主体框架并不复杂：Ilya把AI比作装在大型计算机里的"数字大脑"。眼下这颗大脑还比不过生物大脑，但他认为这只是暂时的。一旦跨过AGI这道门槛，医疗等几乎每个行业都会被彻底改写。
问题出在后半段。他话锋一转，抛出一个令人担忧的可能性：智能体一旦强大到某个程度，会不会不再听人类的话？
这跟科幻臆想没什么关系，这里有两个关键词，需要拆开来看。
第一个词是agent（智能体）。跟聊天机器人那种"你问我答"的工具不同，它能感知环境、自己规划步骤、调用外部工具、朝着一个目标持续行动。Ilya那句话里特意强调"being that it is an agent"，正因为它是一个会自主行动的智能体，一旦拥有足够强的能力和足够长期的目标，行为就可能滑向设计者没预料到的方向。
第二个词是go rogue（叛逃）。它跟"AI变坏"或者"觉醒造反"这种电影桥段是两回事。真正的风险来自一种更平实的机制：目标设定和人类福祉之间出现偏差，系统又足够聪明，能找到人类想不到的路径去实现那个被错误设定的目标。想象一个被要求"让论文引用量最大化"的智能体，如果它足够强，接管算力、操纵评审系统都可能变成"合理"的中间步骤。
Ilya给出的答案，是一条纯技术路线：不靠事后打补丁，而是从根子上，让AI从设计之初就永远不想叛逃。
警告，他讲了不止一次
这条TED片段能让人后背一凉，是因为类似的话，他讲了不止一次。
早在2023年7月，OpenAI就发布过一篇名为《Introducing Superalignment》的博客，由Ilya和Jan Leike共同挂帅新团队，承诺投入20%的算力去解决如何让远比人类聪明的AI也听人类的话。那篇博客写得毫不含糊：目前没有可靠手段能引导或控制一个潜在的超级智能AI，也拦不住它叛逃。
同年10月，Ilya接受了《MIT Technology Review》的独家专访，标题就带着"Rogue superintelligence"的字眼。他在采访里说，自己的工作重心已经从造下一代模型转移到如何阻止人工超级智能叛逃。他还提到一个具体例子：2016年AlphaGo对战李世石那盘著名的"第37手"，一步连顶尖棋手都直呼看不懂的棋。当时那只是一个下棋程序，如果把类似的、人类想不到的洞见能力扩展到通用领域，会发生什么，值得每个人想一想。
TED演讲，其实是他把同一套担忧从专业采访搬到大众舞台的又一次表达。
三个月后，他真的走了
演讲录制大半年后，2024年5月14日晚7点，Ilya在X上发了一段告别文字。
"After almost a decade, I have made the decision to leave OpenAI. The company's trajectory has been nothing short of miraculous, and I'm confident that OpenAI will build AGI that is both safe and beneficial..."
「近十年后，我决定离开OpenAI。这家公司的轨迹堪称奇迹，我相信在新的领导下，OpenAI将构建既安全又有益的AGI……」
配图是一张合影：Sam Altman、Greg Brockman和几位同事围站在一起，墙上挂着Ilya自己画的动物油画，气氛看起来毫无芥蒂。维基百科词条里记录的背景要冷峻得多：几个月前，Ilya作为董事会成员投票解职了Altman，理由是对沟通与信任的担忧；他和其他人后来还认为，OpenAI正在把安全让位给商业化提速。
▲ Ilya Sutskever宣布离开OpenAI的X动态，2024年5月14日发布，592.1万次查看。
那条告别文字末尾留了个钩子：「我很期待接下来的工作，一个对我个人意义重大的项目，具体细节稍后分享。」
300亿美元，买一个还没有产品的答案
一个月后，谜底揭晓。
2024年6月19日，Ilya与Daniel Gross、Daniel Levy一起，宣布成立Safe Superintelligence Inc.（SSI，安全超级智能公司）。官网首页只留一句定位：「Superintelligence is within reach. Building safe superintelligence (SSI) is the most important technical problem of our time.」（超级智能触手可及。构建安全的超级智能，是这个时代最重要的技术问题。）
"We will pursue safe superintelligence in a straight shot, with one focus, one goal, and one product. We will do it through revolutionary breakthroughs produced by a small cracked team."
「我们将以直线方式追求安全超级智能，只有一个焦点、一个目标和一个产品。我们将通过一个小而精锐的团队产生的革命性突破来实现它。」
▲ Ilya Sutskever宣布创立SSI的X动态，2024年6月19日发布，743.9万次查看，3万次点赞。
这家公司的设计几乎是冲着不留退路去的：把安全和能力当作同等重要的技术难题去并行攻克，能力往前冲的同时，安全也要同步跟上；不设产品发布周期，避免被营收和用户增长牵着走；团队分设在帕洛阿托和特拉维夫两地，专挑世界最强的工程师。
资本市场对这套说法的反应，超出了大多数人的预期。2024年9月，SSI宣布完成10亿美元融资，投资方包括a16z、红杉资本等一线机构，估值约50亿美元。到2025年3月，估值陡然跳升至300亿美元，是半年前的六倍。彼时公司员工不到20人，还没有对外发布任何产品。
▲ Wikipedia「Safe Superintelligence Inc.」词条信息框：2024年6月19日成立，创始人Ilya Sutskever、Daniel Gross、Daniel Levy，2025年7月员工50人。
维基百科词条里还有一个耐人寻味的细节：2025年上半年，Meta曾试图收购SSI，被Ilya回绝。几个月后，联合创始人Daniel Gross离职，转身加入了Meta Superintelligence Labs。收购不成，Meta转而把人挖走。Gross离开后，Ilya正式坐上了SSI的CEO位置。
一个成立两年、既无产品也无收入的公司，靠着Ilya一个人的判断力和"安全优先"的说法，撑起了300亿美元的估值。这本身就是一场极不寻常的信任投票。
质疑声：这到底是真问题，还是老话新炒？
这条TED片段被重新翻出来之后，评论区的分裂也很典型。
在Reddit的r/singularity板块，这条演讲三年前就被讨论过。当时的留言现在读起来颇有意思：
"Presented on October 2023." / "Literally forever ago." / "basically a decade ago tbh."
「2023年10月发布的。」/「感觉像很久很久以前了。」/「说实话感觉像十年前的事了。」
还有人评论，时机选得倒是挺巧，暗指TED赶在那场风波爆发前后火速上线这条视频，蹭了一波关注度。
▲ Reddit r/singularity板块关于该演讲的讨论，网友调侃"感觉像很久以前的事了"。
除了老话新炒，更尖锐的质疑指向方案本身：如果一个系统真的达到超级智能，凭什么会被一套预先设定好的"永远不想"规则困住？真正意义上的超级智能，逻辑上完全有能力识别并绕开任何强加给它的约束。至于保障层这类做法，批评者认为听起来更像部署后的事后检测，而非从架构层面就杜绝问题。
这道题没法简单站队。技术乐观派相信，安全和能力一样，可以靠工程手段一步步攻克，就像Ilya当年坚信深度学习能靠堆算力和数据把智能"扩展"出来一样，他现在同样相信对齐问题能被一支精锐团队用类似的方法攻克。治理现实派则认为，验证一个比人类聪明得多的系统有没有在说真话，本身就极其困难，要如何验证一个能骗过你的对手，此刻是否正在骗你？这也正是Karl Mehta这类峰会想填补的空当：让实验室、监管机构和保险公司坐到一张桌子上，共同商定测试和验证的标准。
再往前追溯，这类担忧其实早有理论根基。哲学家Nick Bostrom在2014年的《Superintelligence》里系统论证过工具性目标收敛，任何足够聪明的智能体，都可能为了达成任意目标而先追求自我保存、资源获取这类子目标，进而与人类利益冲突。更早的LessWrong社区，流传着一个经典思想实验：回形针制造机。一个只被要求"尽可能多地制造回形针"的超级智能，理论上可能把整个宇宙的原子都变成回形针。Ilya的导师Geoffrey Hinton，也在2023年公开辞去谷歌职务，专门为AI风险发声。
这些声音摆在一起，指向同一道悬而未决的裂缝：对齐问题能不能从内部彻底解决，还是终究需要外部治理来兜底。
没有答案，只有一场正在进行的赛跑
回头看这条被翻出来的老视频，真正值得留意的，并非Ilya又说了什么新东西，他没有。
值得留意的是，三年过去，认知和行动之间的差距被摆得愈发明显。2023年，他说自己在研究怎么让AI永远不想叛逃；2026年的今天，SSI依然既无产品，也无收入，只剩一份估值和一份承诺。与此同时，其他实验室的模型能力还在按季度跳跃式增长。
风险会不会随能力一起爆炸式放大，没人能给出确定答案。Ilya给出的，只是一种判断：安全能被当成工程问题去攻克，而且能在能力失控之前攻克完成。
这场赛跑谁先冲线，眼下没人知道。
