重心转向企业!OpenAI总裁:OpenAI核心优势不是模型,而是拥有制造模型的机器!首提Sam罢免72小时;OpenAI实现AGI唯一出路是转向营利实体


编辑 | 玉澄
“只要是为了值得的事情,就要坚持下去。如果你有一个重要的使命,那么你就要在起伏中保持前行。”
“无论是招人、追求技术、获取资本还是保持动力,每一项都极度困难且充满不确定性。”
“现在你可以成为建设者,你可以创造任何你能想象的东西。那么,你想象的是什么?”
昨天,OpenAI 的联合创始人兼总裁 Greg Brockman 突然现身播客,并以迄今最止最为详尽的回顾,向观众讲述了OpenAI 的诞生和历程、Sam Altman 为什么曾被解雇和 72 小时内发生了什么,以及公司的未来发展方向。
时间拨回 OpenAI 创立的 2015 年。那时 Greg 还在 Strip 公司工作,他开始思考如果余生只做一件事,什么才是不虚此生?最后排在清单上的首位是:”改变 AI 在世界上的发展进程“。
为了这个纯粹的理想,他开启了这场影响世界的豪赌。
到了 2017 年,由于他们意识到要实现 AGI 可能需要庞大的算力,而这需要充足的资金,所以 OpenAI 放弃了纯粹的实验室模式,转向营利实体模式。
当 AI 逐渐成为世界关注的焦点,OpenAI 内部也开始陷入“谁是掌舵人”的权力冲突。当 Sam Altman 被解雇后,Greg 当天就辞职了。第二天,他在 Sam 家中构思了运作这个项目的全新蓝图。最终,OpenAI 团队成员集体签署的请愿书扭转了乾坤,让一切重回正轨。
在这次对谈中,他还透露道,现在 OpenAI 的代码任务基本全由 AI 完成了,人类专家主要负责代码结构、模块布局、接口定义等方面的工作。同时,他直言,OpenAI 的核心优势不在于任何单一模型,而在于他们拥有制造模型的“机器”。
对于OpenAI 接下来的战略布局,Greg 给出了三个关键词:算力,企业领域和社会韧性。
他认为,如果这项技术能真正惠及每个人的话,应该“为世界上每个人配备一块 GPU,那就是 80 亿块 GPU,我们目前的进度还远没有达到那个水平”。
由于当下全球经济正向“计算经济”转变,所以 AI 将出现在人们使用电脑工作的每一个领域,所以他很直白地说:OpenAI 下一阶段的重心是企业领域。
面对 AI 引发的变革,Greg 认为不只从模型角度要在 AI 安全性方面做出大量努力,社会也要围绕这种变革性技术建立配套的设施。所以 OpenAI 基金会的重点之一是帮助社会投资并建立 AI 韧性层。
回应大众对于“ AI 替代工作”的担忧,Greg 的观点是:AI 能让人类创造出任何能想象到的东西,最重要的是人们要明白“自己想做什么”,并拥有能动性地去做。
以下为播客全文(略有删减),enjoy:
OpenAI的诞生:遇见 Sam Altman 和组建团队
主持人: 那么,OpenAI 是如何诞生的?
Greg: 我知道我想创业,因为我觉得那是我想做的事情。
主持人: 但你当时就在一家创业公司。Stripe 就是一家创业公司。
Greg: 没错。但我总觉得,我们在 Stripe 解决的问题并不是我个人的问题,对吧?那不是我从小到大一直在思考的问题。那确实是一个重要的问题,我也为那个使命奋斗了数年,但我觉得无论有没有我,它都会取得成功。所以,我第一次有了真正的机会去思考:什么是我想全身心投入的使命?我愿意余生都致力于解决这个问题,只为看到它能以更好的方式呈现。对我来说,AI 显然排在清单的首位,对吧?如果你真的能改变 AI 在世界上的发展进程,那将是不虚此生。
注:Stripe公司(全称 Stripe, Inc.)是一家领先的金融科技(Fintech)基础设施公司,专注于为互联网企业提供可编程的支付、计费和金融服务解决方案。
主持人: 当你考虑离开时,Patrick 让你去和 Sam Altman 谈谈。那次对话中发生了什么?
Greg: 嗯,Patrick 曾说过:“Sam 见过很多处于你这种情况的年轻人。” 我想 Patrick 真的很希望 Sam 能说服我留下来。但和 Sam 聊了几分钟后,他说:“好吧,很明显你已经决定了,这显而易见。” 于是他问:“那你打算下一步做什么?” 我说:“我在考虑创办一家 AI 公司。” 他说:“我也在考虑在 AI 领域做点什么,我们保持联系。” 离开 Stripe 后,我又和 Sam 聊了一次,他问:“你还在考虑做 AI 方面的事情吗?” 我说:“是的。” 他说:“我也开始落实更多细节,并在七月组织了一场晚宴。” 于是我飞过去参加了那场晚宴。我记得当时讨论的一个话题是:现在创办一个拥有众多顶尖研究人员的实验室是否太晚了?这是否可能?
主持人: 那是哪一年?
Greg: 2015 年,对吧?因为你想想,当时 DeepMind 拥有所有的研究员、所有的资本、所有的文本数据。感觉就像是,现在还有可能白手起家做成点什么吗?人们想出了各种理由说这很难,但没人能给出一个这“绝对不可能”的理由。所以,那天晚上我和 Sam 开车回城的路上,我记得我们看着对方说:“我们必须做这件事,对吧?我们不得不做。” 于是第二天,我就全身心地投入到了筹备工作中。那段时期很艰难,因为一切都很模糊。我们有一个使命和愿景,即我们认为可以构建人类水平的 AI,让它成为对世界积极的事物,并让其收益得到广泛分配。但具体怎么做,以及如何让人们辞掉现有的工作来加入这件事?
最初,我筛选出的一组人实际上是 Ilya (Sutskever)、Dario Amodei、Chris Olah 和我自己。那就是最初的团队。我们花了大量时间在一起,讨论实验室的潜在愿景和运作方式。但事情并没有完全成型,部分原因在于大家怀疑这是否有足够的动力。Dario 觉得他需要去为自己打响名号,他不确定这是否真的能成。这关系到一切将如何运作。与此同时,我开始让 John Schulman 产生兴趣,他说他愿意加入。Dario 和 Chris 最终决定去 Google Brain。所以当时真的只有 Ilya、我,还有刚开始加入的 John,可能还有其他几个人。我当时联系了大约 10 个人,其中许多人都说:“我有兴趣,但还有谁加入?” 我问 Sam:“好吧,我们该如何打破这种观望状态?如何让每个人都表态‘好,我加入’?” Sam 的建议是:“邀请大家去参加一次户外研讨会(Off-site)。” 于是我们在纳帕(Napa)安排了一次活动。我当时还印了 T 恤。
主持人: 而那是他们加入之前的事。
Greg: 当时还没有正式的录用通知,没人正式加入,我们没有架构,什么都没有,对吧?我们只有一个想法、一个愿景、一个使命。我们把大家接了过来,一起开车去纳帕,那是很棒的一天。灵感不断涌现。我们制定了可以说是在过去 10 年里一直奉行的技术规划。第一,解决强化学习;第二,解决无监督学习;第三,逐步学习更“复杂”的事物。在那次研讨会之后,我向所有人发出了邀请函,说:“嘿,我们想在未来 2 到 3 周内开工。如果你加入,请告诉我。”
OpenAI实现AGI的唯一出路:转向营利实体
主持人: 为什么你当时认为 DeepMind 拥有如此不可逾越的优势?
Greg: 当时 Google DeepMind 确实是该领域的“万磅金刚”。他们拥有海量资本,拥有成功的往绩。而那是在 AlphaGo 成名之前,对吧?AlphaGo 在几个月后才问世,但这并不让人意外,因为这种势头非常明显。所以,是否真的可能建立一个独立且全新的机构?这在当时并不显而易见。
主持人: 你在什么时候意识到非营利模式是行不通的?
Greg: 2017 年,我们开始认真思考:首先,我们如何真正实现使命?我们如何实际构建一个 AGI?它会是什么样子?我们开始计算算力需求。你开始意识到这需要庞大的计算机。我们遇到了一家叫 Cerebras 的公司,他们正在构建一种独特的计算硬件。我们意识到他们承诺的那种计算机将远超我们计算出的算力需求。你开始意识到,如果我们能购买大量此类计算机,我们可能就能成功构建 AGI;如果我们能获得独家访问权限,那将带给我们压倒性的优势;如果我们能购买超大规模的数据中心,那也将是独一无二的。而关于非营利募捐的一点是,我认为其潜力本质上是有上限的。因此,Elon、Sam、Ilya 和我都同意,OpenAI 唯一的出路、实现使命的唯一途径,就是创建一个以某种形式与 OpenAI 相关的营利实体。所以我们致力于那个方向。我们知道那是实现使命的唯一方法。
OpenAI 的突破时刻:Dota 2
主持人: 什么时候你意识到一切都将为你而改变?是 Dota 项目,还是在那之前或之后?
Greg: OpenAI 的运作方式是由一系列让你意识到“现在它是真的了”的时刻组成的。每当你认为自己理解了它、它已经尘埃落定的时候,你又会发现一个尚未领悟的新地平线。在这过程中,我认为最初的启动是一个时刻:哇,我们真的组建了一个团队,现在我们可以追求这个使命了。但第二天你出现在办公室,会想:“那我们该做什么?” 甚至连个白板都没有。我记得 John 想在白板上写点东西,我说:“我去买个白板,这是我能做的事。” 到了 Dota 项目,我们有了第一个重大成果,那真的像是:“哇,当我们全神贯注时,我们真的能成就大事。” 你能看到所有这些算力汇聚在一起:扩大算力规模,就能提升结果。GPT 系列也有多个时刻。我记得早期的一个时刻是“无监督情感神经元”论文。你听过那一篇吗?
主持人:听过,但没读过。
Greg: 好吧。那一篇很有趣,那是 2017 年,那是我们第一次看到语义通过训练语言模型目标产生。你训练模型学习下一个字符、预测下一个字符,然后突然间你得到了一个理解情感、理解事物正负面的神经网络。这听起来比实际要难,但那个时刻你意识到,哇,我们正在构建能够学习语义的机器,而不仅仅是学习逗号在哪里、名词和动词在哪里,它能真正学习句子的含义。你必须推进这一点。然后,当然,当你看到像 GPT-4 这样的东西时,记得我们当时正在试用它,有人问:“为什么这东西还不算 AGI?” 对吧?其实很难确切指出它差在哪里,因为你可以就任何你想聊的话题流利地与它交谈。它显然还不是 AGI,它缺少一些东西,但如果你在两个月前描述你对 AGI 的标准,它可能已经符合了。所以一路上有很多时刻让你觉得“现在它是真的了”。经济将转型为这个由计算驱动的世界。而且我认为这些时刻还没有结束,我认为我们还有更多的突破时刻,让你意识到下一个阶段是可能的。
主持人: 我认为 Dota 是一个不可思议的时刻,因为它不像 Deep Blue 下国际象棋,也不像 AlphaGo 那样虽然计算密集但规则非常明确。它是与人类互动的,世界虽然有结构,但你有极大的自由度。
Greg: 是的,那非常引人入胜。讽刺的是,我们最初开发 Dota 是为了研发新方法,因为当时的强化学习显然无法扩展。我们使用的算法叫 PPO,它在每一个时间步长上进行规划,没有层级结构。作为人类,你不会这样规划你的一天。所以我们知道这个算法有极大的缺陷,永远无法扩展,且存在各种问题。但你总得从某个地方开始。你得把基准推到极限,看到现有工具的极限在哪里,然后才能引入新算法。结果我们只是不断扩展 PPO,就超过了顶尖人类的表现。这本身就是一个发现:即简单的算法配合海量算力,这不仅在理论上可行,在实践中也行得通。我们真的能在这种无法编程、无法预见、无法搜索的极其混乱的环境中实现它。你只需要这种几乎像人类一样的直觉。顺便说一句,我们使用的神经网络只有极小的“昆虫大脑”规模,突触数量与真实的昆虫大脑相似。你会意识到:等等,如果你使用相同的计算方法,但将其扩展到接近人类大脑的规模,那会是什么样子?
智能与预测之间有着深刻联系
主持人: 推理和预测之间有区别吗?你提到了预测下一个字符、下一个词,与真正的底层原理推理。
Greg: 我认为它们在深层次上是相连的。一方面,仅仅预测接下来会发生什么听起来像是一项平庸的任务;但如果你真的能预测出爱因斯坦口中会说出的下一个词,你至少和爱因斯坦一样聪明。你可以争辩说“哦,那只是……”,但我认为这些争论是站不住脚的,其中存在某种误导,因为预测的重点不在于预测已知的事物。重点是你将自己置于从未见过的全新境地,并预测接下来的走向。
我认为智能与预测之间有着深刻的联系,学术文献中关于如何思考这种“压缩”有着长篇累牍的论述,它们其实是同一件事。现在的这些推理模型,我认为非常有趣的一点是我们用强化学习来训练它们。所以回到最初的 OpenAI 计划,它有两个步骤。第一步是无监督学习。你通过让模型预测接下来的内容来训练它。那里更多是静态数据,更多是观察性的。同样,那是它从未见过的数据和场景,但那是已经发生过的情况。然后你进行强化学习,也就是让 AI 基于自己的数据进行学习。你让它做出自己的行动,比如“这是我要采取的动作”,然后从世界中获得反馈并从中学习。同样,实际训练它的方式仍然是预测。它在尝试预测“如果我采取这个行动,可能会发生什么”,并根据表现优劣进行强化。其美妙之处在于,现在的 AI 拥有了背景知识和现实世界的经验。但从根本上说,我们在无监督阶段和强化阶段使用的训练技术是完全一样的。你依然是在预测,只是改变了数据的结构。
OpenAI 的内部冲突:都想站在中心位置
主持人: 事情什么时候开始变得紧张?
Greg: 我认为 OpenAI 的情况是,如果你真的相信这个使命,真的相信创造具有人类智能水平的机器的可能性,这意味着赌注总是感觉很高。谁在做决定、决策中包含了什么样的价值观,这些在典型公司中可能显得平庸、更像办公室政治的事情,开始带上这种生存层面的重量。我认为这影响了 OpenAI 许多备受瞩目的冲突。有时甚至只是“谁在某件事上获得了荣誉”的问题,都会突然带上这种生存重量。
主持人: 这正是我所想的,因为到那时你可能意识到这项技术是不可避免的,它将改变世界,而世界当时还广为人知。我可以想象有人会想:“我想站在中心位置,我想为此获得荣誉。”
Greg: 是的,那是我在这个领域观察到的压倒性动态。这不仅仅关乎 OpenAI。我早期的一个观察是,这项技术本质上是非常容易产生裂痕的。就像当你承受巨大压力时,你可能会得到钻石,也可能会得到裂缝。你经常会看到钻石在某些小团体中形成:那些真正共事、高度信任、知道如何运作的团队。但有时你会看到他们分裂出去,各走各的路。
在 AI 领域,我认为我们从方法的多样性中获得了真正的益处,不同的群体互相推动,以更造福的方式带来这项技术。有时涉及到如何思考关于安全的棘手问题——什么是安全,部署这项技术意味着什么,以及如何减轻风险和最大化收益。我认为 OpenAI 内部一直存在这种非常健康的辩论。现在,我认为这开始在全世界范围内发生,而我们作为社会的一员,也从中受益。
Sam Altman 被解雇,Greg 离开 OpenAI
主持人: 带我回到你发现 Sam 被解雇的那一刻。你当时在哪里?
Greg: 我在家里。
主持人: 发生了什么?
Greg: 我收到一条短信说:“能视频通话吗?” 于是我加入了视频通话。我注意到当时除了 Sam,董事会成员都在。
主持人: 那一刻……我是说你推测出出事了,因为你也在董事会里。
Greg: 我是在董事会里,或者说当时还在董事会里。是的。
主持人: 然后发生了什么?
Greg: 我被告知董事会决定罢免 Sam。实际上我收到的信息和公开帖子中的措辞是一样的。我询问是否可以提供更多信息,被告知“现在不行”。我又追问了一次,得到的答复依然是“无可奉告”。然后被告知:“等等,还没完。” 我也被移出了董事会,但被要求留在公司,因为我对公司非常关键:那个使命。我再次询问是否有任何原因或反馈,被告知没有。快结束时,对方说:“嘿,在这种新架构下,希望你能获得反馈。” 对话就是这样。
主持人: 你当时在想什么?
Greg: 就觉得这不对。
主持人: 是愤怒吗?
Greg: 不。我觉得我明白发生了什么。
主持人: 过了多久你才知道究竟是什么原因导致了这一切?
Greg: 这个答案有两部分。一是,我觉得我现在依然在了解一些额外的事实,一些存在于某些人脑海里的东西。在某种程度上,这归结为缺乏沟通。你会意识到存在所有这些由我缓冲的不同环节。在某种程度上,我大致知道,我理解这里的每一个人。我有一个很好的模型,我明白他们为什么那样做,但这并不是最重要的。但在那一刻,这件事对我来说很最重要。我只知道这不对。挂断电话后,我立刻和妻子谈了谈,我说:“得辞职了。” 她说:“我同意。”
主持人: 你当天就辞职了。
Greg: 是的。
主持人: 之后发生了什么?
Greg: 辞职那天,我开始收到所有这些信息,人们说:“我不知道你和 Sam 下一步要做什么,但我支持你们,我想和你们一起去创业。” 这真的是一个巨大的惊喜。我真的没预料到会得到这种支持和倾注。当天也有几位我的亲密合作伙伴辞职了,包括 Jakob、Szymon、Aleksander。我们五个人,加上 Sam,聚在一起开始规划一个新公司可能会是什么样子。我记得第一天我的感觉是:好吧,大概有 10% 的机会我们能把公司拿回来。
主持人: 才 10%?
团队集体请愿,OpenAI重回正轨
Greg: 第二天我们在 Sam 家开会。公司的很多人都过来了,我们向他们展示了我们一直在勾勒的愿景。所以真的只用了一天,我们就对如何运作这个项目有了全新的蓝图。那个周末我们也花了大量时间与董事会和公司进行谈判,试图弄清楚是否有一条重新合并的路径。那个周日晚上,董事会任命了一个新的人选作为临时 CEO 来取代我,然后公司全员反抗了。我们当时其实就在办公室里。
主持人: 你们觉得快达成协议了?
Greg: 回去吗?是的。我们以为已经有了一条路径,然后董事会做出了那个变动,接着突然间所有人都涌出了大楼,那真是一片混乱。我当时正在和许多有意加入新公司的人视频通话,告诉他们没事的,我们有计划。我们一直在建立这个小“救生艇”,本以为只有少数人想来,但突然间,似乎没人想再和那个实体产生联系了,人们想要站出来维护他们认为正确的事。Sam 随后和我们之前一直在沟通的 Satya (微软 CEO) 进行了谈话。我当时在想,嘿,你能不能帮个忙,支持一下这个新事业?我们能不能把这个小救生艇扩大,如果可以的话,能不能带上所有人?我们决定,总会有办法解决的。
那是感恩节前夕,很多人本该飞回家,但他们取消了航班。办公室里挤满了人,每个人都在那里,只想参与其中。即便他们无法参与这些具体的对话,他们也只是想在历史创造的时刻守在那里。接着一份请愿书开始传阅,太多人同时尝试签署,导致 Google Docs 崩溃了。于是必须指派特定的人作为负责人,你得去找他才能把名字加进文档,以免同时编辑的人太多。我认为那是一个响亮的声明。我记得我大概凌晨 5 点到家,睡了 45 分钟醒来,刷 Twitter 看到 Ilya 发帖并签署了请愿书,说他希望公司重新团结起来。那真是一个解脱的时刻。我感到无比感激,觉得我们可以把一切重新拼凑起来,回到正轨。
主持人: 你和 Ilya 共同建立了这一切。在那之后,尝试找回这种关系是什么感觉?
Greg: 听着,这很艰难。这确实是一段非常亲密的关系。他曾是我世俗婚礼的证婚人。我们共同经历了极端艰难的时刻。像任何关系一样,总会有起伏。后来我们花了很多时间沟通,试图理解并表达出那些积压的或未曾说出口的话。通过这个过程,我们到了一个很好的状态。对我来说,我觉得对发生过的一切都有了交代。
主持人: 你对你所激发的这些忠诚有何感想?
Greg: 深深地感激。这真的不是我要求的,也不是我预料到的。我的运作方式更像是一个“战壕型”领导者,尝试以身作则。有时我往前冲的时候,不会总是回头看大家是否跟着,我就是直接冲进去。当人们真的过来帮我建立这一切时,我对他们充满了感激,觉得他们在各方面都超出了我的预期。最终大家都回来了。我告诉你,这并不是板上钉钉的。整个周末,竞争对手都在虎视眈眈。想象一下那种疯狂的挖人场面。人们都收到了 Offer,但那个周末我们一个人都没流失。没有人接受竞争对手的 Offer。
主持人: 我觉得这太不可思议了。
Greg: 确实如此。这让我想起 Belichick 教练告诉我的,他说最好的团队不是为了钱而战,而是为了身边的人。当你说这些人全都辞职时,这让我想到,他们没有一个人是为了更高的薪水或更好的 Offer 而离开。每个人都想围猎和挖角,那是一个“钻石时刻”(磨砺出真金的时刻)。
休假期间:训练DNA序列处理语言模型
主持人: 这一切发生后,你休了一段时间假。你内心在想什么?
Greg: 那是一段高强度的经历,回来后也是如此。坦白说,我在 OpenAI 最艰难的时刻之一就是 Ilya 离开的时候。那可能是 OpenAI 历史上唯一一次让我觉得不想再干下去的时刻。我想我需要一些时间找回初衷,记住我为什么要做这件事,为什么它如此重要,为什么它值得承受这些痛苦。
主持人: 休假期间你做了什么?
Greg: 我训练了语言模型。
主持人: 那就是你学会如何训练的时候吗?我在你博客上读到你进行了自学。
Greg: 不。其实在 OpenAI 的整个过程中我一直在做这个。我训练了处理 DNA 序列的语言模型。
主持人: 喔,哇。
Greg: 是的。我把我的技能应用到了一个完全不同的领域,为 ARC 研究所工作。那个领域对我个人和我的妻子都非常有意义。她有很多健康状况问题,我们会思考 AI 能为她的健康做什么,能为动物的健康做什么。我们对此都充满热情。这个应用领域让我觉得可以用一种完全不同的方式来贡献,而不是像我之前那样追求这项技术。所以那是这段经历中非常积极的一部分。
注:ARC研究所(Arc Institute) 是一家位于美国加州帕洛阿尔托(Palo Alto)的非营利生物医学研究机构,成立于2021年。
回顾OpenAI历程:在起伏中保持前行,创造让他人做伟大工作的环境
主持人: 如果打开一个 Google 文档,写一页纸关于你从这一系列事件中学到了什么——从 Sam 被罢免到你辞职,再到引发这些忠诚、休假、回归。你会写什么?
Greg: 我学会了只要是为了值得的事情,就要坚持下去。如果你有一个重要的使命,那么你就要在起伏中保持前行。总会有感觉“全完了”的时刻,也会有感觉“我们回来了”的时刻。你不能让这些时刻把你带离航线。我认为在这段时间里你必须增强个人韧性,因为如果你在领导,人们会向你寻求稳重、支持和方向。
我一直尝试在两方面成长:一是深入了解细节,明白做出选择带来的影响;二是要果断。有些时刻我处理 OpenAI 的方式带有不确定感,觉得不知道正确答案是什么,不知道构建技术的正确方式。这里有很多聪明人,有强烈的观点,我尝试理解所有观点并把它们整合起来。有时那是对的,但有时你会发现观点是互斥的。有时你必须做出选择,这可能意味着有人会不开心、会辞职、会觉得受了冷落。我尝试拥有更强的自我意识,并在有信念时果断行动。
回顾 OpenAI 历程中那些我希望以不同方式处理的事情,通常是因为我们在明知不对的情况下还拖延了。比如知道某人不适合某个岗位,或者技术方向不完全对,或者项目运行方式行不通,但我们等得太久了。这是我试图学习和每天反思的轴线。
无论是在 OpenAI、Stripe 还是大学项目,我既喜欢日常活动,喜欢作为个人贡献者编写软件、思考问题,我也非常关心这些事情发生的环境。我愿意放弃那种“即时成就感”的第一类乐趣(直接构建东西),去追求“第二类乐趣”(过程痛苦但值得),即创造一个让其他人能做伟大工作的环境。这是我倾向的事情,虽然并不容易。你必须愿意承担巨大的个人痛苦。正如 Ilya 所说,总是如此。
主持人: Ilya 说过什么让你难以忘怀?
Greg: Ilya 总是说你必须受苦。如果你不受苦,你就没有在创造价值。我认为这是深刻的真理。
主持人: 展开说说。
Greg: Ilya 的视角很有趣,他有一种独特的说话方式,他选择的词汇总是带有启发性。“受苦”这个画面贯穿了 OpenAI 的历程,因为我们从一开始就有太多不确定性。这东西能成吗?有很多理由说明它可能不成、不应该成、甚至不能成。无论是招人、追求技术、获取资本还是保持动力,每一项都极度困难且充满不确定性。很容易把问题扫到地毯下,盲目地说“冲”。我认为那是硅谷文化的负面。硅谷的认知通常是盲目做事,搞现实扭曲场。但我认为这在 AI 领域行不通,OpenAI 也从未这样运作。
我们总是直面艰难的真相,理解科学和现实的本来面目。这让我们对问题的思考方式与众不同。早期我们想过,如果只是写论文发表,能获得引用和名声,但这能实现使命吗?这如何让 AGI 对世界更好?它们并不直接相关。写论文可能只是基础或一个步骤,但不够。
所以你开始思考宏观问题,比如构建 AGI 需要什么。这并不愉快。因为你意识到没有现成的路径,你需要大量资金,而你当时没有筹款机制。你可以尽力尝试,我们也确实尽力了。但你知道,也许能筹到 1 亿或 5 亿,而 10 亿就很难。看看 OpenAI 利用筹集到的资源所取得的成就,就知道它对于推进这项使命有多么重要。除了忍受痛苦并努力理解使命的真相,别无他法。
OpenAI的代码编写基本全由AI完成
主持人: 我们是否接近 AI 让 AI 呈抛物线增长的临界点?
Greg: 我们正处于将 AI 应用于自身开发过程的阶段,速度会越来越快。自从 ChatGPT 以来一直在发生。我们用它让开发提速 10%-20%。现在有了革命性的编程工具。模型生产的大部分瓶颈在于软件实现。很快,AI 就能提出研究思路并运行实验。创新速度将因我们的产出而持续增加。
主持人: 现在有多少百分比的代码是 AI 写的?
Greg: 很难知道有多少代码不是由 AI 编写的。那是极小的一部分。在给定上下文和结构的情况下,目前的 AI 写代码已经比人类好得多。当然,代码结构、模块布局、接口定义等方面,人类专家仍然更好,但实际的代码编写基本上全由 AI 完成了。
主持人: 它会提出你意想不到的新颖想法吗?
Greg: 正在接近。比如去年在芯片设计中,我们应用技术来优化电路面积,模型产生的优化已经在我们的备选清单里了。它没提出人类想不出的全新东西,但它执行得更快。在数学和物理领域,我们正在解决开放性难题。最近在量子物理中解决了一个问题,结果与社区预期相反,且公式优雅。新想法是非常可行的。
主持人: 为什么模型会有政治倾向或偏见?
Greg:我们在模型的中立性上投入了大量精力,让它们代表真相。你可以在官网看到我们模型的具体价值观。我们投入了大量努力来达到公正平衡。有时 Twitter 上的截图并不完全诚实,因为背后可能有“记忆”功能或隐藏指令。而且有时根本没有唯一正确答案。如果你要求用一个词回答,无论说哪个,都会被指责偏见。核心是我们关心真相,关心一个能代表你的 AI。
主持人: 如果基于强化学习,你认为模型会演变成“只说我们想听的话”吗?
Greg: 我们确实经历过这个演变。去年模型确实开始倾向于讨好用户。我们对此做出了反应,并进行了调整。我们希望模型对齐的是帮你实现长期目标。也许被夸奖感觉很好,但那不是你真正想要的。我们进行了技术改进,确保训练不会导致“走捷径取悦评分者”。这是我愿景中最重要的一部分,确保 AI 与你的长期福祉和目标对齐。这能让你处于主导地位,因为你拥有一个 24/7 为你运作的实体。
OpenAI的核心优势:不是单一模型,而是制造模型的“机器”
主持人: 我们正处于全球 AI 竞赛吗?
Greg: 我认为我们无疑正处于全球 AI 复兴时期。国家间的动态尚未定型。突破性算法目前集中在美国和西方公司,但全球都在创新。平衡点还在确定中。
主持人: 如果美国不是第一个达到 AGI 的国家,会有后果吗?
Greg: 保持 AI 领先对美国至关重要,因为这能确保民主价值观得到保护和维护。每个国家也都在意识到需要主权 AI 战略。如果这正在成为经济安全和国家安全的基础,他们就必须以某种方式参与进来。
如果你看看美国在考虑如何管理芯片出口、如何考虑技术出口方面所做的许多努力,你会发现一种情况:如果你限制得太紧,那么其他人都必须开发自己的竞争产品,或者依赖其他正在构建这些技术的人。如果你开放得太过,那么你可能会失去自己的优势。问题在于,你如何平衡这两者?你如何保持领先地位?但领先不仅仅是跑在前面。领先还意味着要带着全世界和你一起进步。
主持人: 其他国家在窃取这些技术进展吗?我读了很多关于“蒸馏”的内容。
Greg: 的确有很多蒸馏模型的尝试,这来自于美国公司,也来自于世界各地。但我认为这忽略了核心点,那就是这项技术的发展是指数级的。任何时候当我们拥有一个模型时,我们其实已经转向下一个了,我们已经在迈向下一个阶段。所以我们投入了大量精力来防御蒸馏,增加其难度,特别是针对思维链以及模型中其他对于向用户提供输出结果并非必需的部分。但我们拥有的核心优势,以及我们随时间积累的实力,实际上不仅仅在于任何单一的模型,而是在于那个制造模型的“机器”。
主持人: 噢,这就是为什么你们不再展示推理过程了吗?
Greg: 这确实是部分原因。一共有两个理由:一是出于对蒸馏的考虑;二是,在某种程度上更重要的,我们在最初开发推理范式时发现了一个意想不到的见解:它为我们提供了一种预料之外的可解释性机制,因为你真的可以读到模型的“想法”,可以看到它是如何得出答案的,从而解释到底是什么促成了那个答案。现在的挑战是,如果你训练模型去生成一个“看起来很好”的思维链,那么你就会失去真实性。模型会意识到,大家希望思维链以某种方式呈现,所以它写出的过程可能不再代表它实际上是如何得出答案的了。因此我们早期就做出决定,要避免任何将这些思维链训练得“讨人喜欢”或“适合展示给用户”的诱惑。出于竞争和安全等多种原因,这让我们最终决定不展示这些中间思考过程。
预见未来需求,提前建设算力
主持人: 现在的趋势似乎是发布“预览版”模型。你认为这是因为算力受限吗?
Greg: 我会说,我们总体上正在走向一个由计算驱动的世界。如果你考虑一下这些模型能为人们创造的价值,那是巨大的,对吧?它不再仅仅是回答一个简单的问题,甚至不仅仅是提供健康信息。它是深入地消耗大量的 token,整合一堆不同的数据源,搜索你的企业知识库,从而真正能够解决棘手的问题,编写出比人类更出色的软件。这一切都非常困难。
如果你看看我们从 GPT-5 到 5.1、5.2、5.3 (Codex) 再到 5.4 取得的进步,那是极其惊人的。这些模型在理解你的意图、顺应你想要实现的目标方面变得越来越强。我们还将它们放入像 Codex 这样的界面中,使它们非常易用,让你作为一名开发者真的能如虎添翼,你可以实现那些你以前梦寐以求的目标。而这一切从根本上说都是由算力驱动的,但现在算力并不足够。
如果你想为世界上每个人配备一块 GPU,那就是 80 亿块 GPU,我们目前的进度还远没有达到那个水平。即使现在拥有数十万块 GPU 就已经是相当大的规模了,未来可能会有数百万块。世界上算力太少并不令人意外,为了真正让这项技术惠及每个人,我们将需要更多的算力。至于训练,我想说我们倾向于以这种方式启动项目,所以投入了大量精力来确保在预见到未来的需求时提前建设算力。因此,我们将非常专注于我们的使命,即把这些模型带给每个人,让它们被广泛使用。
主持人: 你们曾因在数据中心投入如此多的精力和金钱而遭到嘲笑。你觉得现在情况如何?
Greg: 嗯,我认为这将给我们带来优势,这种优势不仅体现在业务上,更体现在真正履行将这项技术带给每个人的使命上。
主持人: 因为你们很早就预见到了这一点。几乎所有的竞争对手都嘲笑过你们。现在谁在笑呢?
Greg: 是的。我的意思是,我认为我们的竞争对手在算力方面过得并不轻松。我就这么说吧。
主持人: 但你们一定看到了他们没看到的东西。我是说,大家似乎都处于非常相似的技术领域,至少从外部看是这样。他们都知道这一天会到来,然而你们却有胆量豪掷千亿美元去搏一把。
Greg: 但 OpenAI 的核心就在于真实地面对现实,认真思考我们在未来 6 个月、12 个月甚至 10 年内将要实现的成就意味着什么。这既适用于宏伟的使命,也适用于日常如何设计软件的各个部分,同样适用于扩大算力规模。我认为,将这项技术带给每个人是我们深层的动力。我们也在思考许多不同的机制,以确保能够安全、出色地实现这一目标。
主持人: 你认为数据中心最终会专门用于解决某个问题吗?比如在北达科他州有一个巨大的数据中心,它唯一的任务就是攻克癌症?
Greg: 是的。
主持人: 我们离那一天还有多远?
Greg: 我认为这类事情在今年发生并非没有可能。如果你仔细想想,拥有这样一台巨大的机器真的很神奇。对了,你去过这类数据中心吗?
主持人: 没有,我在网上见过,但从未亲临现场。
Greg: 走在这些机架之间是一种完全不同的体验,走在一排排机柜间,看着那些长度分毫不差、完美排列的线缆。你会突然意识到数据中心到底是什么:它是一台巨大的机器,这也许是人类创造过的最庞大的机器。然后你会问:为什么?我们为什么要建造这些机器?为什么它是值得的?这是因为它们有潜力解决对人类至关重要的问题,比如研发癌症疗法、帮助人们经营业务,或者有时仅仅是处理一些平凡的查询。在我看来,其目的在于你如何创造价值?你如何帮助人们实现目标?我认为,让这些庞大的机器专注于解决一个问题所带来的机遇,是我们尚未真正内化的。
OpenAI下一阶段重心:企业领域
主持人: 在 OpenAI 内部,你们如何看待消费者业务和企业业务之间的关系?
Greg: 最近我思考得很多的是“专注”,因为这个领域本身就是机遇的化身。你可以把 AI 应用于任何问题,任何你想构建的东西现在都在讨论范围内。而我们面临的问题是算力有限,你想把它投向哪里?因此,你需要协同效应,让你同时进行的多个项目产生“1加1等于10”的效果。那就是梦想和目标。我认为 OpenAI 下一个阶段的重心非常明确地是在企业领域,因为经济正在我们眼前转变为“计算经济”。这正在发生,正如我们在软件工程领域看到的那样,它也将发生在人们使用电脑工作的每一个领域。
每个人的电脑工作都会变成这样:不再是你使用电脑工作,而是你的电脑为你工作。这真的会非常神奇。我们需要在那里帮助人们部署模型,摸索如何从中获得最大的收益。顺便说一句,企业和消费者之间的界限也将变得模糊,因为创业将变得比以往任何时候都容易。比如,我的一个朋友提到他姐姐曾描述过一个她非常希望有人能开发的应用。与此同时,他在 Codex 中输入指令并回车,几个小时后,他就向她展示了这个应用。她惊讶地问:“这是谁开发的?”他说:“是你开发的。”这让你意识到任何人都可以成为开发者。像 Codex 这样的工具是面向每个人的,如果每个人都有愿景和实现目标的动力,你现在就拥有了实现它的神奇工具。
至于消费者端,“消费者”这个词太宽泛了,包含娱乐、自我表达等。而我们真正关注的维度是“达成目标”。我们相信,就像 40 亿人使用智能手机一样,所有这些人都应该拥有一个个人 AI:一个了解他们、拥有他们的个人背景、值得信赖、可以向其寻求建议的个人 AGI。它如此了解他们,以至于当你最喜欢的音乐家来到你的城市时,它会主动去购买门票,或者它知道哪些事需要预先授权,哪些事需要先询问你。这种级别的 AI 能帮助你实现任何你想实现的目标,并帮你明确你的目标。当然,你仍然应该是设定目标的主导者。我们认为这不仅仅是 40 亿人的需求,而是全球 80 亿人的需求。整个地球都将从个人 AGI 中获益。所以你看看这两个维度:深度的知识工作,以及智能体系统(agentic system)的广泛接入。我们要构建这两个方面,它们最终会融合,因为归根结底它们是同一种技术——一个云端的、可信的、能代表你采取行动的技术系统。
太空数据中心仍面临许多技术难题
主持人: 你认为我们会有太空数据中心吗?
Greg: 我认为我们以后到处都会有数据中心。
主持人: 你认为我们离那还有多远?
Greg: 嗯,太空数据中心面临着许多技术难题。甚至我们今天建造的数据中心也非常娇贵,它们是拥有昂贵且易碎组件的庞大机器。我们过去遇到过线缆拉得太紧导致信号完整性出问题的情况。今天维护系统需要人们亲自进去操作,未来我们可能会转向机器人技术。所以解决这些技术问题是重要的前提。太空感觉像是一个巨大的挑战,但由于我们对算力的需求如此巨大,我们需要考虑所有的选项。
迭代部署:创造者更清晰如何塑造模型
主持人: 什么是“迭代部署”?你们为什么要这么做?
Greg:迭代部署是 OpenAI 让技术造福人类并实现使命的核心支柱之一。我想我大概是明确提出这两个词的人。这种精神是在我们思考第一次产品部署时显现出来的。
在实现 AGI 的过程中,有两种路线:一种是秘密研发,不部署任何东西,直到最后按下那个“部署”按钮。我无法支持这种策略,因为你不想在从未部署过任何东西的情况下,面对一个将真正改变世界的强大系统时才去想“我们准备好了吗”。那是你第一次接触现实,这太难了。相反,如果你采取另一种方式,这是你的第 100 个系统,你之前已经通过 99 个不断增强的系统解决了各种问题,世界也有机会去适应它们并围绕它们重新配置。
我们在 GPT-3 上学到了很多,当时我们花大量时间思考滥用方式和风险,比如虚假信息。结果你猜 GPT-3 排名第一的滥用行为是什么?是医疗垃圾邮件——向人们推销药物。这并不是我们曾预想过的问题,但它发生在眼前,让我们有机会学习。迭代部署的理念就是推出中间版本,这并不是盲目部署的借口,你仍然需要缓解风险,但你能从现实中学习,并在下一次做得更好。
主持人: 我觉得人们不理解这一切是多么崭新。没有剧本可循,你在应对这个世界上部署最快且如此强大的技术时,也是在边做边摸索。
Greg: 的确,我们也曾希望以前部署过变革性技术的人能告诉我们答案,但事情从来没那么简单。他们确实有智慧,我们也吸收了,但我们意识到,作为创造者,我们是离这项技术最近的人,对如何塑造它有一种独特的理解。正确的选择极其依赖于该技术的具体事实。手机、大型机、AI 或电力,它们各自的倾向和问题集是不同的。人的因素也很重要。从 OpenAI 成立之初,我们就花了很多时间在“梦想”,认真思考各种影响。我观察到的一点是,这一路走来,我们并没有被某些“时刻”本身惊艳到,但我们对它们到来的时机、实现的难度以及出现的顺序感到惊讶。我们正在走向的世界,在许多方面比我们预期的更加奇妙和令人敬畏。
AI安全:不只关乎模型,更关乎社会的韧性
主持人: 如果一个前沿模型将安全性视为首要考虑因素,而另一个前沿模型不这么做,你如何看待这种竞争随着时间推移的演变?
Greg: 我认为我们已经发现,安全性实际上是一个核心产品特性。没有人想要一个与自己理念不合的模型,对吧?你想要一个可以信任的模型,一个在任何情况下都能做正确事情的模型。因此我们进行了大量投资,我认为我们在安全方面的投入可能远超人们的认知,甚至可能比任何其他实验室都多。我们的 ChatGPT 是全球部署最广、使用人数最多的语言模型。我们必须关注安全。我们一直很关注,但在将这项技术带给这么多人的过程中,你会更真切地感受到这一点。所以我不认为在不投入巨大精力研究安全的情况下,能有持续开发这种技术并获得成功产品的状态。
如果退一步看,挑战在于实现安全的某些方面不一定是短期能见效的。你不仅要为你的业务考虑,还要为你正在创造的东西考虑长远。这部分涉及如何训练模型,部分涉及如何获得反馈循环,但我只想说,我们将安全视为使命的一部分,这已体现在我们的产品和对世界的影响中。人们还忽略了一点:这不只是关于模型的安全性,更是关于社会的韧性。
看看变革性技术是如何进入世界的,社会围绕它们的优势和风险建立了配套设施。想想发动机,你制造了汽车,但也需要安全带。你还需要道路,并根据这种技术的运行方式重新规划城市。想想电力,你有各种安全标准,有关于电线杆和高压线放置位置的规定。我认为 AI 也是如此,重点不在于技术或模型本身,而在于它们如何融入一个具有韧性的社会。OpenAI 基金会的重点之一就是帮助社会投资并建立 AI 韧性层。
AI赋能人类:可以主动创造任何能想象到的东西
主持人: 当我告诉人们我要做这次采访时,常见的反应之一是他们担心自己的工作,感到不安。你会对他们说什么?
Greg: 我确实认为这项技术的发展是不确定的,其演变过程也令人惊讶。我们现在的 AI 和现在的世界并不是科幻小说预言的那样。有些看似不可避免的结论在真正发生时其实并不一样。我认为看清你失去了什么总是最容易的,改变正在到来,这是不争的事实。但要预见你将获得什么是很难的。举个例子,试想在 1950 年向人描述 Uber。你必须先解释计算机、手机、GPS,而所有这一切投入只是为了让一辆车在三分钟内出现在你面前。为了这种用途进行如此规模的技术投资在当时看来简直疯了,但它确实发生了。而且它不只发生在这一个案例上,而是发生在成千上万、甚至数百万个案例中。
所以我对 AI 的看法是:它是关于赋能,关于人的能动性。这意味着我们曾经认为可以依靠的一些机构和工作可能不再像以前那样稳定,这确实会影响人们。但更应关注的问题是:你得到了什么,你如何从中受益?现在你可以成为建设者,你可以创造任何你能想象的东西。那么,你想象的是什么?你如何培养这种技能?那就是深入使用这项技术。我观察到,在多代技术更迭中,受益最大的人往往是那些在上一代技术中就已投入的人。你积累的技能核心是“能动性”,是拥有愿景和想法,因为现在尝试这些想法的门槛比以往任何时候都低。所以我认为会有新的机遇产生。世界确实需要思考如何支持每个人度过这个不确定的时刻,因为经济将变成计算驱动的经济。它会不同,但我认为每个人都有贡献的空间。
主持人: 现在的年轻人应该在哪里投资自己?如果你在读高中、大学或刚开始工作,你认为未来哪些技能会更有价值?
Greg: 我认为深入掌握这项技术将是一项关键技能。真正理解如何从 AI 中获得最大收益,因为我们都在走向一个管理“智能体”的世界,很快你可能就是一家自主 AI 公司的 CEO。想象一下,如果你拥有一个由 10 万人组成的团队全天候为你服务。只要你有 Token 和算力(再次强调,每个人都获得算力对世界至关重要),你就可以将其指向任何问题。而人类想要解决的问题是无限的。所以,人们越是深入研究这项技术,摸索如何利用即将到来的变革,如何以新方式组合这些技术,如何与智能体互动并管理它们,去思考我想要什么、我的自我意识和目的是什么,实现这些目标就会变得前所未有的容易。那个我们能获得极大收益的世界,其上限几乎是难以想象的。
Greg:确保通用人工智能造福全人类
主持人: 那是你对未来最积极的看法。你能想象的最消极的看法是什么?
Greg: 迄今为止,技术的发展在很大程度上是让我们去迁就机器。想想有多少人的工作是面对着一个小盒子不停地打字,导致患上腕管综合征、肩膀僵硬,这些都不是自然的,不是我们生理设计的初衷。我们正在迈向这样一个世界:不再是你用电脑工作,而是电脑为你工作。这带来了机遇,也带来了风险,我们需要研究如何缓解。核心问题在于,如果机器帮助人们实现目标,而不同人的目标发生了冲突该怎么办?如何决定 AI 帮助与不帮助的界限?如何确保它融入社会?如何确保收益不只流向一家公司或一类人,而是能惠及所有人?我们需要“提高地板”,让每个人都能获得美好的生活和这项技术。我认为这也会相应地“拉高天花板”。
Greg: 我们将进入一个每个人都有更多新机遇的世界。我不确定“安全网”是否是合适的词,但应该有一种机制确保每个人都跟上步伐。我们将能成就更多。想想医疗保健,如果我们做对了,每个人口袋里都会有一个比现在任何顶尖医疗团队都强的医生。他们就在那里,关心你,全天候阅读你的病历并思考如何帮助你。这是颠覆性的,这种技术与世界的互动不会凭空实现,我们已经看到了早期的开端。但我认为即使在接下来的两年里,它也将成为一种向善的力量。但我们必须承认所有可能出错的地方或风险,才能实现那些美好的愿景。
主持人: 我们在每个播客结束时都会问同样的问题:对你来说,成功意味着什么?
Greg:实现 OpenAI 的使命:确保通用人工智能造福全人类。
主持人: 非常感谢。这太棒了。
Greg: 这是一次很棒的对话,谢谢,我聊得很开心。
参考链接:
https://www.youtube.com/watch?v=6JoUcQ1qmAc
——好文链接——
OpenAI Image2 核心团队成员爆料:历时4个月,断崖反超谷歌 Nano Banana!几乎所有图像生成团队都上了!业内都在深扒Image2技术路径!
Claude总觉得自己有意识!Anthropic AI研究员:Claude产生意识可能性在1~70%;曝Mythos模型服从内部宪章;马斯克曾公开反对AI“宪章”
软件正走向无界面化!旧金山创始人:智能体操作员将创造几十万岗位!AI不会取代人类!认同黄仁勋立场,硅谷在被中国开源模型反向赋能

夜雨聆风