戳上方 启元洞见 ☞点击右上角...☞设为星标⭐


6月上旬,全球人工智能领域在短短数天内传出两则引人关注的消息。6月4日,美国人工智能初创公司Anthropic发布研究报告“When AI Builds Itself”,首次系统讨论了“递归自我改进”(Recursive Self-Improvement)的潜在风险,并呼吁全球领先的人工智能实验室提前建立一种“可验证、可协调的暂停机制”(Coordinated Pause Mechanism),以应对未来可能出现的失控风险。Anthropic认为,虽然真正意义上的人工智能自我改进尚未实现,但其到来的时间可能比许多机构预期得更早。

6月4日,Anthropic发布研究报告“When AI Builds Itself”
仅4天后的6月8日,OpenAI宣布已向美国证券交易委员会(SEC)秘密提交S-1文件,正式启动IPO进程。同时,联合创始人萨姆·奥特曼(Sam Altman)发表价值观长文,再次强调确保通用人工智能(AGI)造福全人类的愿景,并提出将人工智能作为普惠基础设施服务社会的长期计划。


6月8日,OpenAI秘密递交S-1文件。同时,联合创始人萨姆·奥特曼发表长文“Built to benefit everyone: our plan”
当前,人工智能能力持续突破、资本持续涌入,关于“是否应该继续加速”的讨论正变得前所未有地激烈。
随着人工智能越来越接近自主研发下一代人工智能时,究竟谁来决定它前进的速度?
又是什么力量,让这些在舆论和学术层面呼吁建立“安全减速机制”的行业巨头,在商业竞争和资本市场上全力踩下加速板?
Anthropic呼吁“全球暂停”,却又加速商业化与军事化
过去的几年,人工智能产业的关注重点已发生明显变化。2022年底ChatGPT发布时,全球首先关注的是能力突破本身。大模型展现出的语言理解、内容生成和推理能力,迅速改变了公众对于人工智能的认知。那时最常见的问题是:模型还能做什么?参数还能扩大多少?缩放定律(Scaling Law)是否仍然有效?到了2023年,讨论开始出现转向。同年3月,著名安全机构生命未来研究所(Future of Life Institute)发布公开信“Pause Giant AI Experiments”,呼吁暂停训练比GPT-4更强大的模型至少6个月。包括埃隆·马斯克(Elon Musk)、图灵奖得主约书亚·本吉奥(Yoshua Bengio)等人在内的众多研究者和企业家参与联署。自此,“人工智能安全”(AI Safety)逐渐从学术讨论进入公众视野。随后两年间,从英国的人工智能安全峰会到各国人工智能监管框架建设,越来越多的讨论开始围绕风险评估、模型对齐和治理机制展开。

2023年3月,生命未来研究所发布公开信“Pause Giant AI Experiments”
而2026年出现的新问题不仅仅是“人工智能会不会带来风险”,而是“人工智能是否开始参与自身的发展过程?”根据Anthropic团队的描述,未来人工智能技术可能进入一种“递归自我改进”的循环,即人工智能系统帮助研发更先进的人工智能,而新模型又进一步提升研发效率,进而创造下一代更强大的系统。随着这一过程不断重复,技术进步速度可能呈现出持续加速的趋势。
事实上,这种趋势已出现早期迹象。Anthropic披露的数据显示,目前Claude大模型已经参与了该公司绝大部分的软件开发流程,人工智能生成代码在合并代码中的占比已超过80%。研究人员指出,当这一比例超过80%的阈值后,人类研发人员将逐渐失去在行级别(Line-by-line)全面审计源码逻辑的物理可能。传统的人工智能安全治理主要依赖“出厂前黑盒测试”等静态手段,而一旦进入运行期(Test-Time)以微秒级的硅基速度自发迭代的阶段,人类反馈强化学习等传统对齐手段在数学逻辑和拦截时效上将面临系统性失效。
针对这一风险,Anthropic提出,全球领先人工智能实验室应当提前建立一种“协调且可验证的暂停机制”,如果未来某些前沿模型开始展现出超出社会治理能力的自我改进速度,那么各主要实验室应能够依据预先约定的标准同步减速甚至暂停研发,而不是在危机发生后临时协商应对方案。路透社分析指出,这种思路与冷战时期核军控体系中建立的国际核查机制存在某种相似性,其关键在于“暂停”是否能够被所有参与方共同验证和执行。

4月17日,Anthropic首席执行官达里奥·阿莫迪被拍到现身白宫
这一高调的安全倡议却在硅谷内部甚至全球引发了广泛争议。据《华尔街日报》等媒体报道,Anthropic在呼吁建立“核军控式”安全机制的同时,其自身的资本扩张与商业化步伐却并未放缓:
估值急剧攀升:发布该报告前不久,Anthropic也向SEC提交了秘密S-1文件。在最近完成的一笔650亿美元融资中,该公司估值已达到9000亿美元,较去年同期增长逾15倍,正与OpenAI、SpaceX等公司展开上市竞速。
基础设施扩张:Anthropic已先后与谷歌、博通、亚马逊等巨头签下数千亿美元的算力合作协议,并向SpaceX租赁了每年租金达15亿美元的数据中心园区。
国家安全业务:尽管与美国国防部存在司法纠纷,Anthropic仍在协助美国国家安全局(NSA)部署其Mythos大模型用于进攻性网络作战,并派驻工程师进行定制化优化。
对此,白宫前加密货币和人工智能事务主管戴维·萨克斯(David Sacks)公开批评称,Anthropic的政策倡议本质上是一种“监管俘获”手段,意在通过提高合规门槛来限制开源人工智能及其他竞争对手的发展。Meta前副总裁兼首席人工智能科学家杨立昆(Yann LeCun)也持怀疑态度,他认为基于大语言模型的系统智能水平极低,当前宣传的生存风险和“自我改进”可能性在很大程度上被夸大了。
宾夕法尼亚大学沃顿商学院教授伊桑·莫利克(Ethan Mollick)认为,作为一个估值接近万亿美元的实体,Anthropic内部存在着追求商业利益的营销团队、专注于模型迭代的研发骨干,以及忧心人类未来的研究者。这种多重复合身份的冲突,使得外界对其“安全至上”的口号产生了实质性的怀疑。
悄然修改的使命:OpenAI重组后的资本与财务压力

与Anthropic类似,处于IPO前夜的OpenAI同样面临着安全承诺与商业现实的拉扯。
此前据《财富》杂志报道,在OpenAI重组为营利性公共利益公司(PBC)后,其向美国国税局(IRS)提交的最新免税申报表格(Form 990)显示,其使命宣言中去掉了此前一直存在的“安全(safely)”字眼,修改为纯粹的“确保通用人工智能造福全人类”。
塔夫茨大学弗莱彻学院教授阿尔诺·埃布拉希姆(Alnoor Ebrahim)分析称,这一改动表明,在引入不受利润上限限制的私人投资者进入董事会后,OpenAI正将商业盈利置于比产品安全更高的优先级上。在重组完成后,非营利性质的OpenAI基金会仅保留26%的股份,而微软持有27%,其余47%由员工及其他私人投资者持有。
这一重组背后,是前沿大模型开发对资金近乎无底洞般的需求。据多方财务数据估算,尽管OpenAI的年化收入已达到约200亿美元,但其研发、数据中心建设及高性能芯片采购的开支更为巨大。预计在2026年,OpenAI的GAAP(公认会计准则)亏损将达到140亿至250亿美元。
萨姆·奥特曼在S-1草案提交后发表的长文中,将人工智能与20世纪20年代的美国农村电气化相类比,强调人工智能应当向每个人开放,成为推动长期繁荣的普惠工具。但分析人士指出,在巨额亏损的现实引力下,IPO已不再仅仅是一项融资安排,而是大模型竞赛进入“算力、能源与资本”消耗战后的必然结果。

彭博社数据显示,若OpenAI估值达到1万亿美元,其将成为全球第14大公司
一旦走向公开上市,两家企业作为上市公司的法定义务(Fiduciary Duty)将彻底转变。面对季度财报表现及数百亿美元投入的资本回报率(ROI)压力,董事会和管理层是否能够仅仅因为内部测试中表现出“过快的自我改进迹象”,就宣布与竞争对手同步“减速或暂停研发”,在现行证券法体系下都将面临极大的法律与财务阻力。
技术无形性与地缘政治的“囚徒困境”
若将视野放大,人工智能治理正逐渐脱离单纯的企业伦理范畴,开始成为地缘政治博弈的一部分。Anthropic在报告中承认,如果只有部分国家或企业选择减速,而其他参与者继续推进,那么“暂停机制”本身将失去意义。这意味着人工智能安全问题天然具有国际协调属性,与核能、生物技术等领域的全球治理存在相似之处。
而分析人士指出,与核能等传统领域相比,人工智能自进化带来的全球治理面临着更深刻的地缘政治“囚徒困境”:首先,核武器的削减和暂停是物理可验证的。离心机提炼、弹头总装以及导弹发射井的建设,依赖于巨大的物理空间和较长的工业周期,地缘对手可以通过卫星和跨境核查进行有效评估。而人工智能的递归自我改进完全发生于数据中心深处的高维向量空间与软件代码库中。这种无实体的特点,意味着建立“可验证的暂停机制”在技术层面的透明度要求,几乎需要各国相互让渡绝对的技术主权与数据安全主权。
在国际政治信任度赤字的现实下,任何一个主权主体在面临基础设施化的人工智能竞争时,都会担忧自身的主动减速,会成为竞争对手在技术主权上实现超越的窗口期。
结语
2026年已然过半,如果需要为这半年的人工智能产业寻找一个关键词,那或许是“平衡”。过去几年,人工智能行业主要的推动力是技术突破。而今天,资本力量与治理力量正在同步走向舞台中央。Anthropic关于递归自我改进的讨论,代表着治理逻辑正试图向技术前沿延伸;而前沿人工智能公司的IPO进程,则代表着资本逻辑正进一步嵌入AGI竞争之中。
当前,人工智能的发展已不仅仅是实验室里的科研问题,更同时受到技术可行性、资本扩张速度和地缘治理边界这三种力量的共同塑造。在人工智能系统逐步开始参与下一代人工智能研发的背景下,人类社会如何与这种加速趋势共存,正成为当前行业最重要的时代背景。
(本文内容系“启元洞见”公众号原创,转载时请务必标明来源及作者)
相关阅读
1.【AI未来青年说】Anthropic分析近万条对话:AI时代,难的不再是“描述”,而是“判断”
2.【AI未来青年说】AI时代的快与慢:个体与时代的时差之辩
免责声明:文章内容系作者个人观点,如有任何异议,欢迎联系我们!图片来源于网络,如有侵权请联系删除。
作者 | Renx
编辑 | Renx
审校 | Zoie

END
关于我们
洞察真知、提出卓见。聚焦科技领域事关长远全局和未来发展的战略性问题,开展跨学科跨领域的系统性研究,孕育一批客观公正、有深度的高质量成果和能够经得起历史与实践检验的独立见解。

点击名片 关注我们

点亮“赞”和“在看”,“分享”好友一起看
夜雨聆风