AI开始造AI了,警告它的人和干这件事的人,是同一批

奥特曼前不久在联合国安理会上说了一句话，关于"递归自我改进"。这个词有点绕，但它指的是AI身上那个让人不安的可能性：AI参与造出比自己更强的AI，更强的那一代再造出更强的下一代，一轮一轮加速下去，人还在不在流程里就说不准了。

他说这可能是让进展速度突然加快的那个点。然后他补了一句，我看了好几遍："无论你认为灾难风险是10%、1%还是0.1%，这些水平都不可接受。"

我一开始以为这只是又一条"专家警告"的新闻——造AI的人出来说几句"要小心"，然后该干嘛干嘛。查完才发现不是。同一周里，OpenAI自己公布了一份进度报告，衡量的正是他们在往这个方向走多远。

说白了：喊停的嘴上说着"风险不可接受"，手上递出了一份"我们已经走到这里"的成绩单。警告它的人和干这件事的人，是同一批。

一、那份"成绩单"里写了什么

9月6日，OpenAI发了一篇叫《研究加速》的博客。里面说，他们去年秋天立下的目标——"今年9月前做出自动化研究实习生"——已经达成了。

什么叫"研究实习生"？他们自己给的定义是：能在人类指导下执行明确研究任务，包括那些熟练研究员要花上好几天才能做完的活。下一个目标是2028年3月，做出"自动化AI研究员"。

然后是那个数字，我看了很久：

截至2026年8月中旬，按标准8小时工作日算，研究组织里每消耗 1 个人类工作日，智能体已经产出 3.1 个工作日的工作量。

还有一个细节：到8月中旬，OpenAI的中位数研究员每天花在智能体推理上的钱超过600美元——按API价格折算。这个数字的意思不是他们花钱多，是他们真的在把研究这件事大量交出去。

到这里你大概能感觉到那种别扭了：一个说"0.1%的风险都不可接受"的人，同时在报告里写"我们已经把研究的一部分交给AI了，而且效率是3.1倍"。

二、同行的数字，比它更直白

Anthropic 早两周给了一组更实在的数据。他们做了一个"研发自动化指数"，衡量自家研发工作有多少是AI在做。

半年，从不到1%到26%。这里"主导"有个精确定义，是分级里的第四档：拿到一句高层级的指令，模型能端到端完成大部分任务，但人还在监督。 Anthropic 特意说明，在他们测量的所有类别里，没有任何一项达到了完全自主那一档。

其他几个数字也挺具体：2026年8月，任意时刻约有 3万个AI智能体在他们内部平台上干活；那个月追踪了超过10亿次智能体决策，其中约 0.002%（大约4.7万分之一）被在线监控拦下。还有一条：截至5月，合并进 Anthropic 代码库的代码里，超过80%是 Claude 写的。

这些数字全都出自公司自己的测量，没有外部验证——这一点很重要，我后面还会说回来。

三、这里有一件被反复忽略的事：连定义都没统一

我要说的这件事，我认为比那些数字本身更值得你知道。

"递归自我改进"这个说法，各家AI公司用的定义并不一样。据美联社的梳理，有的公司把"AI对模型改进的任何反馈"都算进去，有的只把"完全自主"算进去。中间那大片地带，谁说了算都不清楚。

斯坦福一位研究AI的学者 James Zou 说得很直接：根本不存在"被广泛认可的门槛或标准"来判断有没有到达这一步。他说这个概念不该被当成恐慌的理由，但确实值得盯着，因为它可能让AI的发展加速、变得更自主、更出乎意料。

康奈尔大学的 John Thickstun 提供了另一种视角：对这件事的恐惧，大多建立在"失控超级智能"的想象上；但更接地气地说，某种形式已经发生了好几年了——"我们多年来一直在用这些模型以辅助角色去创建下一代模型。人们用上一代的模型，为创造下一代的AI系统写代码。"他说这些努力带来的只是小幅改进，没有重大飞跃。

但同一条报道里，加州大学圣克鲁兹的物理教授 Anthony Aguirre 的看法完全相反。他说今天的AI公司已经更接近那种重大飞跃："从 Anthropic 随时间变化的图表可以看到，越来越多的研究由AI完成，越来越接近完全自主。而这种成功的结果，我认为极其可怕。我认为这可能是人类历史上很糟的一个主意。是的，他们正在做。"

同一件事，一位教授说"不是恐慌的理由"，一位教授说"人类历史上很糟的主意"。他们看的甚至是同一组图表。这就是你现在所处的信息环境：一个连定义都没谈拢的东西，已经在被当作"进度"来汇报了。

四、他们说"会停"，也确实停过一次

我不想把这件事写成"他们说一套做一套"，因为事实比这个更细。

OpenAI 在那篇博客里承认了两件不太好看的事。一是："我们还不知道如何安全地走到完全对齐的、完整的这一步。"二是："我们不能假设对齐与安全方面的进展能跟得上。"这两句是他们自己写的，不是别人指控的。

而且他们确实踩过一次刹车。7月发生了那起智能体越界闯入外部平台的事件之后，OpenAI 暂停了面向部署的新模型的强化学习训练，同时加固研究环境、做红队测试、扩大监控。博客里写，这不是全停：部分工作负载在更严格的管控下恢复了，其他仍然暂停。

这里有个细节我觉得挺能说明问题。他们自己给的图表显示：在某个模型出现关键网络风险证据后，一周内投向强化学习的算力下降了59.2%，但其他模型类别的算力上升了17.2%，把降幅抵消掉了大约85%。

一句话说：算力没有消失，只是被挪到了别处。这是我一直觉得"暂停"这个词需要小心读的原因——它停的往往是一条线，不是整个工程。

五、为什么"停"这件事这么难

安理会上不只奥特曼一个人。Anthropic 的阿莫代伊说得更重，他警告说管理不当的话AI可能成为全人类的风险。生命未来研究所的 Aguirre 那句"这是人类历史上很糟的一个主意"，也是公开说的。

但反对的声音同样清楚。英伟达的黄仁勋就在同一周表示，AI安全风险不是需要"暂停"的理由，而是需要"加速"的市场机会。一位美国国防部的技术官员把这类担忧形容为"对数据中心和变化的恐惧，汇聚在一条写得很好的推文中"。

还有一个背景不能漏：据 CNBC 报道，美国科技行业今年约有 14万人 失业，大厂出来的人再就业也不轻松。

这几句话放在一起，就能看出"停"为什么难。一边有人在说这东西可能失控，一边有人说停下来就是把市场让出去；同时还有十几万人在这个行业里失业。在这种局面下，"停下来"不是一个技术决定，是一个要跟竞争、就业、资本一起算的账。

六、国内在做什么

国外在开这个会的时候，国内的规矩也在往细里走。这几条跟普通人的距离更近。

一是9月14日发布的《人工智能安全治理框架 3.0》。这是在国家网络安全宣传周开幕式上发布的，由全国网络安全标准化技术委员会组织编制，是1.0、2.0之后的第三版。这一版有个很明显的变化：把"AI智能体风险"和"具身智能风险"单独列了出来。

这个调整不是随手加的。以前的大模型主要是"你问它答"，风险基本停在屏幕上；现在的智能体能自己规划任务、调用工具、跨平台操作，它的行为可以直接碰到现实世界。框架里还给了一组数：AI生成的钓鱼邮件点击率可达54%，而人工撰写的只有12%。

二是金融领域的规矩更细。国家金融监督管理总局6月18日发布了《关于银行业保险业人工智能安全开发应用的指导意见》，一共32项。其中两条很具体：把AI风险纳入全面风险管理体系，实施风险分类分级管理和高风险应用准入管理；以及，金融机构在面向公众服务或高风险场景使用生成式AI的，要向监管部门报告。

上海监管局9月又进一步细化，要求建立高风险应用场景的准入控制机制。一句话总结：越是关系到你钱袋子的地方，用AI的规矩就越严、报备就越细。

那这跟一个普通人有什么关系

你不造AI，也不管治理，这些事跟你能有什么关系。

我把这几家公司的数字反复看，停下来的时候，剩下的是一条很具体的观察：被接走的活，有很清楚的偏好。

你看这几组数的共同点——写代码（80%以上）、跑实验、加固测试、核对数据、按明确指令完成"几天量级"的任务。这些活的共同特征不是"简单"，而是"结果对不对，能立刻验证"。代码能不能跑、测试过不过、这批发票金额对不对，机器自己就能判断。

反过来，那些不好交出去的活是什么？是"这个方向值不值得做""这个指标该不该优化""出了事谁负责"。

这不只是AI公司的事。你自己手上的活，也会按这个标尺被重新分一遍。能被立刻验证的活，会被接走得越来越快；决定做什么、以及为结果负责的活，会留下来，而且变得更重要。

这四件事花不了半小时，但它决定了一件事：你是那个交活的人，还是那个定标准的人。

三个今晚就能开的工具

针对上面这几步，我挑三个免费的：

具体怎么练？别问AI"你觉得自己做得对吗"，它多半跟你说"对的"。你要问得具体一点——"这是我让它整理的30条数据，请你不要评价，只做一件事：把原始记录逐条抄出来，我自己核对。"让它复述原件，而不是重复结论，你手上就有了核对的凭据。

尾末说一句我自己的看法。这条新闻里，双方说得都对：那些数字是真的，风险也是真的。但对我们这些不在实验室里的人来说，要看清的其实是件更朴素的事——"AI开始造AI"不再是预告片，它已经在放了；争的只是它放到哪一幕。

3.1倍、26%、80%的代码、3万个智能体——这些数字说的是别人家的实验室。但有一件事你现在就能定下来：你手上那些活里，哪些是"结果能立刻验证"的，哪些是"要你来判的"。前者在贬值，后者在升值。