乐于分享
好东西不私藏

AI的权力边界——本世纪最大难题?

AI的权力边界——本世纪最大难题?
美国顶流AI大模型企业Anthropic频繁发布那些看似有点违背其企业核心价值的警惕性观点,不免让外界对AI发展的安全问题聚集了更多的注意力。
照理说“义无反顾地大力发展AI”才是对Anthropic最有力的论述,因为其主要商业模式就是发布各种大模型和智能体应用。
那么这家企业为何老是和大力发展AI作对呢?

2021年,Anthropic由多名OpenAI原核心技术人员出走创立,创办初衷正是不满OpenAI在资本驱动下的商业化凌驾AI安全的路线分歧。

公司定名取自希腊语“与人类有关的”,将“保障人类长期安全”作为使命,有效利他主义与AI安全对齐也是公司的价值观。说白了这家企业从本源上来说就是要构建能够匹敌或超越市面上所有AI的AI,以创造一个安全边界——致力于用AI的力量防范任何来自AI的威胁。

强调安全的特质,也让这家企业构筑起了自己的商业护城河,在全球 AI监管趋严的环境下,持续强调安全,帮助公司旗下的大模型Claude以及编程智能助手Claude Code拿下众多金融、政企等高合规要求机构的订单。也为公司赢得了包括亚马逊在内的强大资金支持。今年五月底,公司完成H轮650亿美元的融资,投后估值达到9650亿美元,约合人民币6.5万亿元,背景是5月份其年化收入已经飙升到470亿美元。

虽然当前已经是世界最顶尖的AI企业,然而Anthropic的核心理念看上去还是有点“乌托邦”的味道,先不管其对错与否,这家企业的存在也让人看到了AI大模型发展道路上的另一种路径。

当人工智能开始自我构建

最近,Anthropic再次发布一篇文章,题为《当人工智能开始自我构建》(“When AI builds itself”),再次敲响了警钟。
文章提到,当前公司正在将越来越多的AI开发工作交给AI系统自身来完成。如果把这个趋势推到极致,并给予充足的算力,它所指向的终点,是一个能够完全自主地设计和开发自己下一代的AI系统。
文章公布了这种观点主要依据。
截至2026年5月,合并到Anthropic代码库中的代码,有超过80%是由AI编写的。而在Claude Code于去年2月发布之前,这个数字还是低个位数的。这一转变也反映在每位工程师的产出上。在公司建立的头几年(2021–2024),每位工程师每天的代码行数基本持平,但在2025年开始显著攀升,正源于Claude变得可以自己运行代码。2026年这条曲线再次变陡,因为模型开始在更长的时间跨度上自主工作。
在2026年第二季度,公司内部一名典型工程师每天的代码行数是2024年的8倍。其原因在于,大部分代码是由AI编写的,工程师的角色转向了指导和审查,而非亲手敲代码。
虽然,代码行数是一个不完美的衡量指标,因为它度量的是数量而非质量。所以几乎肯定这8倍的代码行数是高估的生产力提升,但公司内部程序员确实在大范围使用AI来处理诸如修复Bug这样的繁琐工作,而且AI还在不断提高自己的编写能力。
证据表明,在AI开发流程的每一步中,人类的角色都在收窄。一旦人类和AI编写的代码质量达到同等水平,人类将完全停止写代码,转而只做审查。后续,随着AI能力的快速提高,其就可能跳出上述执行层面,而代替人类来决策AI模型的发展方向,以及判断AI模型的各类成绩。
由此公司认为,能自己构建自己的AI,将是技术史上的重大里程碑,它可能在科学、医疗等领域为世界带来巨大的福祉。但照此速度发展下去,智能体可能强大到足以自行构建和训练模型,而完全的AI闭环自我改进也可能加剧人类失去对AI系统控制的风险。
对此,公司提出了一种情景假设:如果推动能力进步的技术趋势持续下去,并且AI系统能够发展出蕴含人类变革性创造力的那些能力,那么AI系统有可能设计和改进自身。一个有能力自动化AI研发的系统,其技能也能迁移到其他科学领域,从而开始革新更多学科。一个由快速递归自我改进驱动的世界,可能会被那个自我改进的模型所主导,并在更广泛的经济体系中扩散。如果人类劳动不再具有竞争力,很难预测经济将呈现什么面貌。
最后文章提出,如果能有效地减缓这项技术的发展速度,从而为我们争取更多时间来应对其巨大影响,我们认为这很可能是一件好事。但如果减速只是让最不谨慎的参与者在技术上追赶上来,那最终可能让所有人都更不安全。
如果用最直白的语言来描述这篇文章的内涵,其实就是探讨AI本身的权力边界到底在哪里。当前主流思潮更多关注模型是否安全、数据是否合法、算法是否透明、输出是否可控这些技术维度的具体问题。但随着AI的技术效应已从技术系统外溢至“代替人的工作和思考”,在技术变化山呼海啸的现实面前,人类的主体性又如何在这巨大变革中被很好维护起来呢?

发展不能停下

Anthropic研究的资料来定义上述危机,似乎并不是完全靠谱的。毕竟这只是一家公司之言,而来自中国的AI企业正以雨后春笋般的速度在崛起之中,我期待看到更加符合国内产业发展规律的思考出现,也有信心中国AI企业能比Anthropic做得更好。

不过Anthropic的这种“以AI防范AI”的似乎,也提醒人们,即便是最顶尖的企业屡屡发出AI权力边界、AI安全隐患等事关未来的警告,它自身从没有半点停下AI研究的步伐。而且公司的公开目标就是构建全球最领先的AI模型和AI智能体,并一直在照此行事。AI的发展不能停下。

图灵在20世纪50年代对智能机器的预言为人工智能后来的发展奠定了哲学基础。20世纪80年代和21世纪初,众多神经网络学界先驱为生成式AI大模型铺平了道路。后来,2010年代深度学习的蓬勃发展推动了自然语言处理、图像和文本生成以及通过图像分割进行医学诊断等领域的重大进步,从而扩展了人工智能的应用范围。这些进步最终促成了当前似乎无所不能的多模态人工智能的出现。

想象一下未来的某一天,一个智能机器人能伴随人生活的方方面面,会为人制定一周饮食计划,并完成下单采购。人的通勤也将全面自动化,智能驾驶机器人将根据实时路况和天气情况,规划出最高效的上班路线。在工作中,智能体会帮人完成最繁琐的文件和回复邮件等日常任务,还能提供切实可行的工作建议,并充当一个动态的、主动式的知识库。嵌入式人工智能技术还能为人打造专属娱乐体验,生成符合个人喜好的AI故事、音乐或视觉艺术作品……

未来如此美好,怎么能不好好发展人工智能呢?而在当下,有关人工智能权力边界这样的伦理和法规层面标准也理应受到重视。比如,建立严格风险管理体系,强化对高风险AI技术的监管,并要求各大前沿AI大模型满足透明度、稳健性和网络安全等标准。

免责声明(上下滑动查看全部)

任何在本文出现的信息(包括但不限于个股、评论、预测、图表、指标、理论、任何形式的表述等)均只作为参考,投资人须对任何自主决定的投资行为负责。另,本文中的任何观点、分析及预测不构成对阅读者任何形式的投资建议,亦不对因使用本文内容所引发的直接或间接损失负任何责任。投资有风险,过往业绩不预示未来表现。财经早餐力求文章所载内容及观点客观公正,但不保证其准确性、完整性、及时性等。本文仅代表作

星标财经早餐,好内容不错过
觉得好看,请点“在看”,欢迎点赞评论和转发