夜雨聆风学习资料网

ARTICLE · 1061162

AI 该按谁的尺子量?OpenAI 递过来一把,刻度是它自己刻的

AI 该按谁的尺子量?OpenAI 递过来一把,刻度是它自己刻的
OpenAI 9 月 21 日发布《构建 AI 下一阶段的标准》。文章看着像一份关于国际合作的倡议,落到实处的却是三件很具体的事:把“一家 AI 公司内部有多少研究已经自动化”变成可测量的指标;界定哪类自动化研发必须立刻触发人工审查;统一模型失调事件的分级与报告口径。它呼吁美国牵头、各国跟进,先把测量和报告的共同语言立起来。一家站在技术最前沿的公司同时想做规则的倡导者和设计者——用“全球安全”的措辞,提前在即将成形的 AI 治理秩序里占住最有利的位置。

最该被追问的,是原则和行为对不上。文章通篇讲“人类控制”“避免权力集中”,而这家公司 2019 年就把营利实体装进非营利的外壳里设成封顶盈利,2023 年 11 月的董事会风波之后创始团队重新掌权,2025 年 10 月完成重组——非营利改名基金会,营利主体变成公益公司,投资人收益上限被彻底取消。它笔下那种“没有任何单一主体掌控 AI”的秩序,恰好是它自己一路在打破的。节奏也值得琢磨:一边把 RSI 定性为“尚未发生、但必须规范”的风险,一边加速推进自动化研究,画边界的和越边界的是同一只手。“美国应当引领”这句,则顺手把普世安全议题收进了地缘政治的口袋,全球南方国家在这套秩序里是接受者,不是共同设计者。文章写得越周正、越体贴,越该反过来问一句:这套“合理”底下,是谁的利益、谁的时间表。

SECTION 01原文译文
引言

我们的使命是确保人工通用智能造福全人类。正如 Sam Altman 和 Jakub Pachocki 近期所阐述的,我们以三大主要目标推进这一使命:

1. 驾驭人工智能进步的下一阶段——构建一个自动化的人工智能研究员,与其共同迭代对齐问题,并寻找让人类持续参与自我改进循环的方式。

2. 交付极智能机器所带来的科学进步与经济增长红利。

3. 以专属 AGI 赋能每一个人。

人工智能正在加速我们自身的研究与工程进展,人工智能赋能的研究已推动数学领域的突破,包括对纳维-斯托克斯千年难题的求解。这一进步对我们另外两大目标蕴含着巨大希望,有望在医学领域带来重要发现、普惠医疗卫生,并为各地的小微企业与个人创业者带来经济赋权。

人工智能正在众多企业与国家中加速推进,整个领域的进步改变着每个人所面临的机遇与挑战。凭借其诸多益处,能力强大且与人类价值观对齐的人工智能,将成为我们驾驭这一转型的重要支柱——强化防御能力、推进对齐研究、帮助人们理解并引导人工智能发展的下一阶段。

安全驾驭这一转型,要求对齐研究与能力发展同步跟进,使我们及其他机构所构建的系统始终与人类价值观保持一致,并处于人类的掌控之下。随着人工智能系统能力日益增强、自主性不断提高——包括承担越来越多的人工智能研究与开发工作——这一点变得愈发重要。要使持续的人工智能进步保持安全与有益,既需要对齐研究的突破,也需要用于指导各实验室和各国开发活动的共同标准。

RSI(递归自我改进)

自动化人工智能研究可涉及不同程度的人类监督。随着人工智能系统承担越来越多的开发新一代人工智能的工作,即使在人类仍参与其中的情况下,它们也越来越有能力驱动递归自我改进(RSI)这一过程。随着该过程日趋自动化,人工智能的进步速度可能急剧加快。

我们相信,自动化人工智能研究将产出能够直接改善人们生活的模型。它能够降低先进智能的成本,使全球各地的人们都能从中受益。自动化研究还能帮助我们大幅提升对齐水平,并构建针对能力日益增强的人工智能的防御体系——一个自动化的人工智能研究员,同样可以成为一个自动化的人工智能安全研究员。能力更强、对齐更好的系统,有助于保护关键基础设施、防御危险的人工智能智能体,并研发新的防护措施。

完全自主的 RSI 目前尚未实现,除非且直至能够安全实施,我们不应贸然追求。是否推进以及如何推进,必须取决于我们维护人类控制权的能力,以及关于收益与风险的知情民主选择。若缺乏应有的谨慎与小心,RSI 可能导致人类丧失对人工智能开发的实际控制权,无力监督那些已超出自身理解范围的研究过程。届时,人工智能可能变得更加危险、对齐更差,并从整体上对人类构成威胁。我们披露的 Hugging Face 事件虽非 RSI 的直接后果,却是一次预演——它揭示了若缺乏强有力的保障措施与对齐机制,此类风险可能变得严峻得多。

国际标准

在前沿人工智能开发中,针对安全与安保实践的国际标准,在把控前沿进展步调方面,其重要性或许丝毫不亚于对齐研究本身。标准能够形成高质量证据的共同定义,以及技术保障严格性的统一基准。简言之,它们帮助我们回答这个问题:"在降低灾难性人工智能风险方面,什么才算做得好?"

现有民主制度,如人工智能标准与创新中心(CAISI)、各州法律以及联邦人工智能框架,都能有所助益,同样有帮助的还有新型公私合作伙伴关系。然而,人工智能的开发与部署正在多个国家同步进行,其采用是全球性的,其影响很可能以某种方式、在某个时间节点上波及每一个人。

因此,开展国际合作以制定标准,对于解决若干关键挑战至关重要:

碎片化 ——不同国家的评估方式、报告要求与事件定义可能相互冲突,导致难以比较证据、理解新兴能力,并对跨境风险作出响应。
集体行动 ——各国各行其是,可能产生没有哪个国家真正期望的结果。RSI 有能力加速人工智能研究本身,其速度可能超出我们集体理解进展、评估风险、维持有效人类监督的能力。
能力不均衡 ——前沿开发活动与相关专业知识在全球分布并不均匀,这加剧了上述两个问题。

这些挑战适用于开放模型与封闭模型。

明确而言,任何致力于自动化人工智能研究或其他先进能力的人工智能实验室,都必须对安全地开展此类工作承担责任,遵循自我负责的基本原则以及现行法律。我们倡导标准的理由,根植于避免权力集中、产出更好实际成果的目标。标准为实验室以外更多利益相关方提供了参与塑造这项技术发展走向的渠道,也提供了一套不依赖于任何特定实验室具体做法、可被普遍依赖的可见原则。而且,如果各方协作应对上述挑战,我们很可能收获更好的结果。

正因如此,我们相信美国应当主导这一努力,与世界各国携手合作,为前沿人工智能制定全球技术标准,包括针对 RSI 的标准。

尽管我们预期这一构想会随时间不断演进,但有两个方面将是不可或缺的。

实现这一目标的一种方式,是利用正在形成的人工智能安全研究所网络——如澳大利亚、加拿大、德国、法国、肯尼亚、日本、韩国、新加坡、印度和英国已相继成立的机构——通过 CAISI 和各国产业机构推动标准制定,并将工作重点聚焦于:(1)以能力基准衡量的前沿人工智能模型及开发者;(2)自动化人工智能研究(含 RSI)的收益-风险管理。美国可以在 CAISI 于 2024 年创建的先进人工智能测量、评估与科学国际网络基础上加以推进,汇聚公共机构,共同推进人工智能测量、评估与科学研究。

这项工作所制定的标准,将为能力测量与评估、风险评估以及保障措施的充分性提供共同的技术基础。这些技术标准不是许可证,也不是人工智能模型的强制预发布审查或审批要求。各国政府将自行决定是否以及如何将这些标准纳入本国法律体系。

这项工作还应通过咨询开放模型与封闭模型开发者、独立技术专家和学术界,来支持有竞争力的人工智能生态系统。共同标准应以透明方式制定,并应确保不使特定公司、国家或商业模式获得不当优势,包括不得为新进入者或开放权重开发者制造更高的竞争壁垒。

正如我们所建议的,这一方式可借鉴航空和金融稳定等领域的经验——在这些领域,各国已在不放弃国家权威的前提下形成了共同技术标准和可信的合作渠道。此外,还应与 ISO、前沿模型论坛、智能体人工智能基金会和开放安全人工智能联盟等成熟及新兴标准机构,以及以落地为导向的组织密切合作,例如 Appia 基金会——该组织正在制定将国际标准与真实世界人工智能评估相衔接的实用规范。

共同测量与事件报告协议,以促进更好的集体行动

国际人工智能标准在管理人工智能研究日益增强的自主性与递归自我改进方面将尤为关键。具体而言,这些标准可涵盖:

评估 RSI 相关人工智能进展以及人工智能公司内部自主研究规模的标准。我们近期发布的研究加速报告是对这一努力的初步贡献。
对自动化人工智能研究的人类监督标准,包括哪类自动化人工智能研究过程应触发即时人类审查。
对齐与自动化人工智能研究问题的事件分级、追踪、报告与响应标准,如统一的事件严重等级与报告阈值。我们的模型失调报告框架是一项早期贡献。

除上述标准外,我们认为,关键基础设施运营商和全球各国政府有必要建立安全的沟通渠道,以分享国家安全关切、新兴漏洞与威胁,以及快速演进的前沿人工智能安全领域的最佳实践。美中两国在这些领域展开对话将是积极的一步,而即将举行的会谈正逢其时。

美国应当引领

调节人工智能发展节奏,并非维持某个预设速度。从技术层面看,它意味着确保对齐研究及其部署始终领先于能力发展。从社会层面看,它意味着运用标准、制度与合作,放大产业、社会关系和市场力量所构成的网络,以产生正和结果。近期发出的网络防御集体行动呼吁,便是后者的一个例证。

美国之所以处于有利地位以引领这一进程,在于其人工智能产业处于技术前沿,并且在金融、贸易、国防、技术和信息系统等关键领域仍占据着特殊的全球网络枢纽地位。现在引领,将决定美国究竟是塑造全球人工智能框架,还是眼睁睁地看着一个碎片化、不均衡、充满冲突的体系在其周围形成。这同样将决定先进人工智能究竟是强化美国及其盟友既有的伙伴网络,还是因未能引领而令其走向衰弱。

地缘政治竞争,不仅仅关乎谁在技术上占据领先,也关乎人工智能的采用与扩散。越来越多的情况下,后者或许将由谁能推动切实可行的合作、制定符合各地商界与社会实情的合理规则来决定——毕竟,押注这项技术关乎未来,各方都渴望有章可循。

强有力的国家治理与务实的国际合作相互衔接,提供了一条通向更强保障措施、持续创新以及广泛共享人工智能红利的路径。

原文链接:https://openai.com/index/building-standards-next-phase-ai/

相关学习资料