夜雨聆风前些天Anthropic发表了一篇重要报告：《递归自我改进》（Recursive Self-Improvement, RSI）（图1）
这篇文章科技含量十分之高，也十分的劲爆。想想我们十多年前看的科幻片，机器人统治人类，他具有自我意识并能够自我更新迭代升级的时代。从科幻片变成了现实，以后AI统治人类的时代或许到来。
Anthropic文章中提出的观点和数据十分震撼，并呼吁人类一起适当踩踩刹车，建立像《中程核力量条约》一样的体系，避免AI无序进化导致最终的机器统治人类时代的到来。
他的观点早先一度登上过微博热搜，却被网友冷嘲热讽。愚蠢的网友们连这篇经典的技术文章全文都没有看过一遍，对其中的观点缺乏最基本的了解。哈哈，愚蠢的人类啊。
文章中梳理了从AI诞生到目前甚至未来的发展路径，如图2所示。由人类创造出大预言模型chatbot，再到智能体agent（去年），再到今明两年的AIworkers，以及一个庞大的AIworkers（AI生产大队）集群。
技术的迭代是相当迅速的，从21公司初创，到23年正式出现聊天机器人，再到今天的
编码代理和自主代理，AI智能体可以自己运行代码并将大量工作委托给其他智能体，已经初具一个AI WORKERS的集群的雏形。未来的AI智能体可能更加强大，甚至能够自行构建和训练新的AI大模型。如果实现这一点，AI的版本迭代和升级进化将由自我完成。（图3）
从图4可以看出，AI从23-24年所谓的人工智障，只在22%比人类方面做得好。再到现在26年的64%，一个无比强大的智能体已经形成，而且还在不断进化。正如文章中所提到的，"人类目前的比较优势，仍然在于能够看到更大的图景，以及跳出当下任务的局限进行思考。"也就是人类的优势在于用更宏观更全局的角度来思考问题，而不是所谓的执行任务层面。质疑任务本身是否合理、预判长远后果、跨领域联想、基于价值观权衡取舍，这是当前AI甚至未来难以替代的认知层级。
文章当中还提出了一些其他观点：如人类社会构建的根基在于相互协作（人情往来），当你自己有所需求却不能独自解决，往往会请求身边的同伴，这样就欠下了所谓的“人情债”。而现在当你独自不能解决这些问题，反而能够请求AI的帮助。用AI帮你完成任务解决问题，没有任何麻烦。这也就意味着AI正在摧毁我们人与人直接社会连接和合作的基石。
同样，AI的技术发展如此迅速，也给人们带来了哲学思考。AI将一切都自动化了，比我做得更好更快。我存在的意义是什么？这是工具理性时代的异化——人成了系统的附庸，既享受其便利，又恐惧其吞噬，最终在系统崩溃时才发现自己的无知。
文章认为在AI时代中未来可能会出现三种情况：（图6-7
1.趋势停滞，能力扩散。当前模型能力不再提升，但广泛扩散到全球经济。即使如此，100 人公司也能干 1000 人的活。
2.复合效率增益持续（最可能）。AI 开发大幅自动化，人类保留方向设定权。组织效率指数级提升，但 Amdahl 定律下，人类审查成为新瓶颈。
3.3. 完全递归自我改进 AI 能自主设计下一代 AI，人类退居监督/验证角色。进度由算力/电力决定，可能快速颠覆所有科学领域。对齐问题（Alignment Problem）成为生死线。
文章最后呼吁大家踩踩刹车，整一个全球协调和全球安全机制出来。就如同中美两国的人工智能协调小组和对话小组也正在筹建，适时放缓或暂停研发。搞一个像冷战时期美苏不再核军备竞赛毁灭地球那样的《中程核力量条约》一样的体制，建立战略互信，真不要整出个AI统治全人类或者毁灭全人类的最终结果来。（图8）
文章原文链接：https://www.anthropic.com/institute/recursive-self-improvement
