乐于分享
好东西不私藏

谁在决定AI的默认审美 | Google DeepMind三位核心研发人员对谈圆桌实录

谁在决定AI的默认审美 | Google DeepMind三位核心研发人员对谈圆桌实录

71日,AI Engineer World's Fair 2026大会期间,三位来自Google DeepMind的核心研发人员:视频大模型技术负责人Dimitris、主导Gemini强化学习与Omni推理方向的Shane Gu(顾世翔)、生成式媒体产品负责人Nicole与《Latent Space》播客主持人进行了一场深度圆桌对话。本次圆桌对话围绕谷歌Nano Banana 2 LightGemini Omni Flash API两项新发布展开,就视频与图像生成模型、音视频联合生成、世界模型、强化学习机制、模型评估体系以及前沿部署工程师(FDE)商业化落地等议题进行了系统探讨。

关于本次发布,Nicole表示,Nano Banana 2 Light是该系列中速度最快、成本最低的图像模型,表现已超越初代Nano Banana,足以替代大多数用户过去在生成与编辑中使用的初代产品;Gemini Omni Flash API首次向开发者开放视频生成与编辑功能,定价与Veo 3.1 Fast保持一致。Dimitris指出,他用Nano Banana将一份英文说明书拍照后直接翻译成罗马尼亚语,同时保持原有排版不变,效果与原版几乎一致,他认为该能力可延伸至视频文本渲染、翻译、国际化及配音等场景。

关于视频AI Agent与统一模型的路线之争,Shane认为,语言之所以是极具价值的中间表示,是因为在语言上设定条件相当于在事物生成的因果信息上设定条件,这有助于缓解机器学习中虚假相关性难以判定的问题;他并援引团队此前发表的论文《视频模型是零样本学习器和推理器》,指出视频模型已具备类似机器人视觉的物理直觉,本身即是一种尚未被充分承认的世界模型。关于模型架构的终局,Dimitris指出,尽管长远看不同模态模型可能走向统一,但未来六个月内团队仍将保留执行不同任务的多个专业模型,因为工程、研究与产品之间存在现实权衡;Nicole表示,Gemini Omni的命名意在暗示未来输入输出端将实现完全多模态,但在通往这一目标的过程中,垂直专业模型仍有大量有价值的应用场景。

关于视频模型与AGI的关系,Shane认为,若要打造能够媲美人类的AGI而非单纯依靠算力堆砌的系统,视频这一世界模型基座是绝对不可或缺的。关于音视频联合生成,Dimitris指出,Veo 3是首个实现音视频联合生成的模型,其依据在于说话行为背后存在统一的潜在因果生成过程,而非先生成像素再让音频跟随;他表示,此前先生成画面再拼接音频的做法效果很差,将音视频置于单一生成模型中是正确选择。关于理解与生成的统一,Dimitris指出,目前罕有前沿模型能同时擅长视频的理解与生成,这是一个尚待解决的挑战。

关于语言表达的局限,Shane认为,音频、气味、味觉与肤色等信息难以被语言精确描述,原因在于这些感官与生存本能紧密相连,人类对其差异极为敏感却缺乏足够的词汇储备;Nicole表示,视觉美学同样存在这一局限,语言常常成为描述风格与审美偏好的制约因素。

关于优化目标与人类偏好的关系,Dimitris指出,团队曾用Omni根据真实视频的文字描述重新生成对应视频,结果人类评估者大幅偏爱AI生成版本,但他强调这并不代表AI生成内容更真实或更有用,很可能只是模型的优化方式恰好触发了人类大脑偏好某种视觉效果的机制,因此他认为人类偏好并非决定优化目标的可靠风向标。

关于提示工程,Shane表示,四年前业界曾普遍预测提示工程将会消失,但他当时即持相反观点,并认为提示工程是用户在拥有AI控制权时表达具体意图的核心手段,不应被放弃。关于默认审美风格,Dimitris指出,团队默认审美风格存在信息密度过高的问题,如同用力过猛的学生试图把所有信息塞进一张图中;Shane补充指出,东亚地区信息图表的设计密度显著高于其他地区。关于模型异常行为,Dimitris表示,团队曾发现模型总是倾向于在手部画出婚戒,且原因不明,怀疑属于奖励机制破解的典型表现。

关于模型评估方法,Nicole指出,涉及文本渲染等可通过光学字符识别进行客观评估的任务较易实现自动化评分,但涉及审美判断的任务仍高度依赖人工评估,团队会对数千个项目进行大规模人工评审,并在模型表现接近时通过并排对比人工决策;她并表示,模型可能在人工评估切片中表现优异,却仍会严重破坏某个用户的实际工作流,因此团队高度依赖抢先体验项目中高审美素养用户的反馈。Shane认为,超越审美偏好判断,针对AI生成视频的检测与理解本身是一项极其重要且应被持续自动化的智能任务。

关于数据需求,Dimitris指出,团队并不缺乏随机网络视频数据,而是渴求更专业化的高质量拍摄素材及具身智能相关数据;Nicole表示,真正难以获取的是人类完成营销活动等复杂创意任务过程中的实际任务轨迹,这类隐性数据极难凭空制造。关于隐性知识,Shane认为,互联网上的绝大多数内容仅是人类内在思考过程的最终输出,真正驱动创作的思考轨迹深藏于对话与灵感之中,难以被记录和提取;Nicole则指出,这正是当前大语言模型生成的小说类内容容易陷入千篇一律、难以引发情感共鸣的根本原因。

关于前沿部署工程师的角色定位,Shane表示,该角色远不止于销售,其核心价值在于将客户在实际使用中沉淀的洞见反哺至模型研发的最上游环节;Nicole则以室内设计图案等比例缩放、虚拟试戴耳环比例适配等具体案例指出,一线用户反馈对研发团队具有难以替代的价值,因为团队本身并不在业务一线使用模型执行这些具体任务。

发布回顾:Nano Banana 2 Light 与 Omni Flash API 首发

主持人:我想我们已经开始直播了,欢迎线上和现场的观众朋友们。我们通常会在主舞台演讲的间隙,利用这段时间深入探讨一些特别重要但没有专门发布仪式的议题。今天我们非常荣幸请到了研发Omni、Veo 以及 Nano Banana 这几款全球顶尖生成式模型的幕后团队。Dimitris,你目前是视频模型的核心研发人员。

Dimitris: 没错。

主持人:Shane,你现在主要负责 Omni 的逻辑推理,以及 Gemini 在强化学习方向的一系列工作。

Shane:正是如此。

主持人:还有Nicole,你负责其余的生成式媒体模型,包括 Nano Banana,以及这周刚发布的所有新内容。

Nicole:没错,我们刚刚发布了一些API。

主持人:对于我们这些不在前沿实验室工作的人来说,这已经是我们能接触到的最前沿的技术了。既然你们最了解情况,而且刚忙完发布,我们就来回顾一下,这周到底发布了什么?大家应该去体验些什么?

Nicole:昨天我们迎来了两个重要发布。首先是Nano Banana 2 Light 的上线,这是 Nano Banana 系列中速度最快、成本最低的图像模型。它的表现甚至超越了初代 Nano Banana。对大多数人来说,这个模型完全可以替代大家过去在生成和编辑中钟爱的初代产品,而且它的输出质量已经非常逼近更大规模的主力前沿模型了。

这真的很令人兴奋。如果你看过一些演示或者大家尝试过的案例,就会发现3秒的延迟极大地释放了创意构思和迭代的潜能。这非常有趣,该模型的生成质量已经达到了极高水准,你既可以用它进行快速迭代,甚至可以直接将部分输出结果作为生产级的成品使用。这非常棒。

第二个发布,是我们终于推出了在 I/O 大会上预告过的 Gemini Omni Flash API。感谢大家的耐心等待。这是我们首次向开发者开放这些 API,主要提供备受期待的视频生成和编辑功能。在定价上,我们与 Veo 3.1 Fast 保持一致。因此我们希望以极具吸引力的价格,为大家提供顶级的质量。

主持人:这确实不可思议。当初你们首次发布Omni 时,还和今天未能到场的 Logan 一起录了期播客。你们在视频里加了树懒、拉面等各种有趣的元素。我其实特别想在我们自己的视频里也这么玩,只是之前苦于没有 API,因为我必须把整个流程自动化。非常感谢你们推出 API。

Nicole:那可是我最喜欢的应用场景。大家都该去试试。我生成了一只猫,可能是所有动物里最无聊的了。如果大家不知道我们在说什么,绝对应该去搜一下,非常有意思。那是团队里的Foefer 做的。

主持人:想要找灵感,想知道这模型能做什么,Foefer 绝对是你最该关注的人。

Nicole:没错,他在这方面简直是个天才,那些作品都是他做的。

主持人:在深入聊Omni 之前,我想先探讨一点。我们在视频里加入了猫和树懒,这非常酷也非常有趣。但能不能启发一下大家,除了这些演示之外,更实用的主力应用场景有哪些?

Nicole:显然这个模型的主打功能有两大核心。其一是支持任何形式的输入并输出视频。未来正如我们之前预告过的,我们还希望推出其他的输出模态。就目前而言,这意味着你可以把一组图片当作故事板,配上一段包含角色目标口音的参考音频,然后就能生成一段完整的视频。这直接打通了制作微电影或YouTube 短视频的诸多环节,帮助创作者更轻松地生成内容。

另一大核心功能是视频编辑。这也是我们非常看好的一点,我们大大降低了门槛。现在你可以使用自然语言对视频进行添加或删除元素的编辑。除了有趣的树懒案例,我们也考虑到了诸多消费者场景。比如你拍了一段背景嘈杂的海滩度假视频想要消除噪音,过去你可能束手无策,因为你没有专业工具,或者根本不知道该用什么,现在这就成了一个非常实用的场景。

我们已经看到很多人用它来创作营销广告,随着 API 的发布,我非常期待看到更多这样的应用。因为我们在第一方产品中无法预见所有的玩法,所以我期待开发者通过 API 去探索。这只是目前浮现出的一些高频应用。还有人用它来制作教育材料。这让人非常兴奋,我们都曾憧憬过未来的教育形态,一切都可以根据个人的知识水平和偏好风格进行个性化定制。这正是朝着这个方向迈出的一步。

Dimitris: 我昨天刚用了Nano Banana。我父母过来玩,这里有个非常有趣的场景。我在亚马逊上买了个小物件,但说明书全是英文的,上面还有很多图解。我拍了张照片对模型说,把这个翻译成罗马尼亚语,同时保持其他排版不变。结果非常惊艳!它看起来和原版一模一样,而且翻译完美,起码八九不离十。显然它底层调用的是 Gemini 来完成翻译工作。

你完全可以把这种应用场景延伸到视频上。Omni 的文本渲染能力非常超前。你可以想象在文本渲染、翻译、国际化等方面有大量真正对各色人群有用的场景。通过更广泛的权限,你还可以给视频重新配音等。这里有非常多值得探索的潜在应用。

主持人:我在播客中最受启发的对话之一,是和这些前沿领域的研究人员交流。我曾和XAI 视频团队也就是 Grok 视频团队的 Ethan 聊过,他认为未来的趋势不再仅仅是单一模型,而是更多的视频 AI Agent。我不知道这个说法是否能引起你们的共鸣,显然这对强化学习非常相关。他的观点主要是放弃试图在一次生成中完成所有任务。你们也有同感吗,还是说这仍然是一个未定论的研究方向?

Shane:最让我兴奋的是符号化的基础模型与这种视频基础模型真正协同工作的时候。如果你回顾图像生成和视频生成的早期发展,很大程度上是在大语言模型能够提供非常详细的字幕描述时起步的,比如从Stable Diffusion 或者 DALL-E 2 时期开始。因此语言本质上是一种极具价值的表示方式。一方面它是通用的,另一方面从技术角度来看,我的一个假设是机器学习中一个极其困难的问题是虚假相关性。你无法确定一个具有预测能力的特征到底是不是真正的因果因素。解决这个问题有两种途径。其一是通过因果图上的所有干预手段获取极其多样化的训练数据,其二是你在因果信息上进行条件设定。而在语言上设定条件就如同在世界的因果信息上设定条件。

主持人:这是指提示词还是一个概念,或者是别的什么?

Shane:没错。如果你观察一下自己是如何描述一段视频或一张图片的,你会发现这与我们描述事物生成背后的因果关系非常接近。这极大地赋予了模型丰富的泛化能力,并造就了一个优秀的模型。

另外,八个月前我们发表了一篇关于评估的论文,题为《视频模型是零样本学习器和推理器》。那是一篇非常有趣的论文,后来 Nano Banana 团队跟进发表了《Vision Banana》论文,基本上就是用 Nano Banana 来实现这一想法。核心观点是,视频模型是一个处理时空信息的极其优秀的基础模型。对于传统的计算机视觉任务,很多都可以通过零样本解决,当你向它输入一些视觉测试题时,虽然还有改进空间,但它已经能解题了。它甚至具备了像机器人视觉那样出色的物理直觉,就像一个世界模型。

我认为关键在于将视觉推理与文本推理紧密结合在一起。当然,到底是通过统一的单一模型来实现,还是通过这种 AI Agent 编排来实现,我认为这会是一个渐进演变的过程。我设想最终所有东西都会融合进一个单一模型中。但就目前而言,如果你能将优秀的视频理解、图像理解能力,借助 Omni 赋予 Gemini 类似 AI Agent 的运作方式,你能做的事情还有很多。事实上我们的团队正在这方面进行大量的探索。

主持人:这信息量很大。我越来越想知道的一个问题是,对于你们来说,最终的发展趋势是否会指向一个统一的产品?目前你们发布了多个模型,Omni 这个名字本身似乎就暗示了最终所有的细分模型都会消失,一切都会整合进 Omni 中。这是你们的计划吗?

Dimitris: 我不知道。长远来看可能是,但目前在工程、研究和产品之间存在着不同的权衡。就像那个叫什么来着,Nano Banana Light?我不太记产品名。

Nicole:Nano Banana 2 Light。

Dimitris: 对,Nano Banana 2 Light。它服务于一个特定的细分市场。而且它大概率不能直接塞进能生成 4K 30秒视频的模型里,它们在代码检查点上就不同,训练方式可能也截然不同。所以这取决于你把目光放多长远。五年后它们会变成同一个模型吗?很有可能。但在未来六个月里,我们肯定还会保留执行不同任务的多个模型。因为从实用主义的权衡来看,我们有必要保持模型的多样性。

Nicole:我赞同这个观点。说到这一点,我们之所以给它命名为Gemini Omni,确实是为了暗示 Gemini 在未来会实现输入和输出端的完全多模态。这绝对是一个发展方向。我们很可能会看到 Omni 在未来具备生成和编辑图像等各项能力。但 Dimitris 说的很对,在通往那个未来的道路上,这些更垂直、更专业的模型仍然有大量极其有价值的应用场景。所以我们会继续研发这些模型,因为它们满足了当下的特定需求,而这种需求可能在一年后就不复存在了。

Dimitris: 这里还涉及到一个研究课题,即不同模态之间究竟存在多少迁移潜力。你可能认为代码编写和视频生成之间存在某种关联迁移,但我估计大多数人并不这么想。你既可以尝试去挖掘其中的联系,也可能觉得为了同时学习这两个任务而把它们强行凑在一起纯粹是浪费资源。

所以这是一个非常有趣的问题。很明显图像和视频之间存在一定程度的迁移,差异并不大,同时学习输出视频和音频也是有价值的,因为视听联合本来就是事物的自然规律。但还有一些模态间的交叉则不是那么显而易见,比如 3D 表示和代码编写。因此探索这些不同的领域边界是非常有价值的,我们正在围绕用户对这些模型的实际应用需求积极进行相关探索。

主持人:有个出乎意料但又没有得到充分解答的问题是,什么才是正确的中间表示?比如字幕描述,XAI 团队用字幕描述,Omni 团队也用字幕描述。我能理解字幕在图像上的作用机制,也明白你可以将其延伸到视频中并在时间轴上进行引导。但这种方式感觉非常低效,我觉得应该有更优的方案。也许是代码?显然很多视频是通过代码生成的,比如 FFmpeg、Matplotlib,还有 3Blue1Brown 用的那个 Manim,也许代码才是最佳的表示方式。对此有什么假设吗?是用代码更好,还是仅仅用英语就足够了?

Shane:Gemini 团队,我们在强化学习 AI Agent 和代码编写方面投入了大量精力。我们肯定在探索代码表示,将其作为一种更好的表示方式。

主持人:但你认为我们最终直接输出二进制文件,也就是全都是1 和 0 的概率有多大?

Shane:我觉得这跟语言是不是正确的表示方式的讨论很相似。比如一位教授曾问过这样一个问题,为什么思维链必须用自然语言?能不能只用连续Token,也就是任意数量的额外计算?一方面,自适应算力显然能带来更好的结果。但让思维链真正发挥作用的原因在于,四年前我写了《大型语言模型是零样本推理器》和关于自我提升的论文,所以我很早就知道这一点。现在的有效方案是,预训练可以遵循 Scaling law 进行大规模扩展,从而学习到海量的智能。虽然在强化学习的 Scaling 上也有很多进展,但提取这些信息仍然需要极其庞大的计算量。你肯定希望能充分利用预训练模型中的智能。所以通过将推理过程与自然语言绑定,你实际上是在直接利用预训练阶段积累的智能来完成任务。如果你去掉了这种约束,你就失去了这个优势。现在我感觉,不仅在文本领域,在多模态领域取得的许多进展,也是被文本是一种极佳的表示方式这一理念所驱动的。

Dimitris: 没错,文本是一个非常理想的底层基座。对我来说原因更简单,文本是我们人类交流的方式。从根本上讲,如果你在打造需要人类交互的产品,哪怕只是个文本界面,我们也会以某种方式使用文本。当然不是所有场景都用文本,所以默认使用文本是很自然的。显然这也存在争议,一些强化学习的原教旨主义者会认为,我们不在乎聊天机器人这种东西,那都只是额外的计算量。这没问题,但我个人对此持保留意见。

主持人:强化学习至上主义者,我想知道谁符合这个描述。

Shane:David Silver。

主持人:原来如此,他们刚刚离职去开启自己的事业了。我对更好的表示方法非常感兴趣,因为我们今天在世界博览会上策划的主题之一就是世界模型。你提到了世界模型这个词,但它的定义并不是特别明确。我认为大家都在向某种理想化的版本收敛。

Shane:当然,现在一切都被称为世界模型。

Dimitris: 这其实没太大用处。

Shane:我刚在ICLR 的世界模型研讨会上做了一场主题演讲。我非常推荐大家去看看 Jitendra Malik 的定义,他是加州大学伯克利分校元老级的计算机视觉教授,他对世界模型的阐述非常精彩。另外还可以参考 Schmidhuber 在 1990 年是如何定义世界模型的,当时主要还只是基于模型。对我而言,世界模型基本上就是基于模型的强化学习中的那个模型,我觉得这样描述就足够了。当然李飞飞也写过一篇很好的博客文章,详细拆解了视觉智能。

主持人:这部分对话我们就先聊到这里,但我确实认为,将语言作为传递所有信息的狭窄通道仍然是一种有损压缩。

Shane:我们并不是那个意思。我们主要是说视频模型需要和语言模型结合起来。单靠语言是不够的,所以我们认为视频是一个非常具有互补性的基础模型。目前很多人觉得Veo 和 Omni 只是在生成漂亮的视频,但我认为我们的愿景远不止于此。它是一个绝对不可或缺且当前缺失的基础模型。如果你想打造出能够媲美人类的 AGI,而不仅仅是一个单纯依靠算力堆砌出来的 AI,你就必须拥有它。

主持人:另一件事是你提到了视觉方面,我很好奇在你们的研究生涯中,这种发展轨迹在多大程度上是平行的。很多做视觉研究的人已经跨界成为了研究世界模型的人,也有很多人转向了生成式视频和图像领域。这难道仅仅是把图像到文本反向操作,变成文本到图像这么简单吗?扩散过程实际上就是这样吗?我观察到我交谈过的研究人员的职业路径以及研究方向的整体趋势,想听听你们对此的看法。

Dimitris: 我肯定是经历了这样的转变。我很早以前就开始做计算机视觉、目标检测和识别等工作。那是一个相对简单的问题,而生成任务则困难得多。这是一种完全不同类型的映射关系,逆映射并不像直接反转函数那么简单。从猫这个词生成一张猫的图像,存在着更多的歧义性。

主持人:在某种程度上这也是一个闭环,因为你的视觉工作创造了合成标签,然后整个过程得以延续。

Dimitris: 确实如此。我正在尝试验证我关于这个领域如何发展以及职业生涯如何随之演进的理论。

Nicole:随着我们在理解端变得更好,生成端也变得更强了。这完全是一个相辅相成、自我提升的过程。这个理论绝对有其道理。我确实和很多做图像理解的人合作过,他们后来转做图像生成,然后其中一些人又转向了视频领域,因为那是下一个目标,有更多的维度可以探索。我很好奇你个人的经历。

Shane:我强烈建议从理解和识别开始入手,因为那本质上就是判别器,这会引导出更好的生成效果,而两者之间的桥梁基本上就是强化学习。我的经历是,最初在生成模型领域做算法研究,做一些类似MNIST 的生成任务。随后我转向了强化学习和机器人技术。六年前我领导了一个关于机器人灵巧性操作的登月项目。当时还很早,但现在我看到大家都在做这个。四年前我意识到符号化 AGI 的发展速度将远超物理 AGI,所以我决定投身于大语言模型等领域。最近在与 Dumi 及 Omni 团队的合作中,我非常享受这个过程。

Shane:对于研究人员,我强烈建议去探索或至少去了解各个社区的顶尖学者在关注什么,以及他们是如何思考问题的。当我审视视频模型时,它让我想起了早期的语言模型。最初的语言模型只是一个创意演示,比如在GPT-2 和 LSTM 时代,你试图用它像写小说一样创作故事。随后指令微调真正让它作为聊天机器人具备了可用性。但在聊天机器人阶段,它仍然存在大量幻觉,指令遵循能力也不够好,因此你无法用它进行推理。当它在预训练和后训练中的推理能力变得足够好时,Test-time Scaling 和强化学习才真正推动了许多顶尖模型的爆发。

Shane:我认为现在的视频模型正如我们提到的,是一个互补的基础模型,我可以想象它会遵循类似的路径。它在指令遵循方面会有很大的提升,也会大幅减少幻觉,最终达到成为一个非常可靠的世界模型的程度。这样我们就可以将视频时空模拟与文本模拟混合起来,以解决任意的AGI 问题。

Dimitris: 此外,我认为文本模型与图像或视频模型之间的区别仍然在于,我们尚未在多媒体领域真正统一理解与生成。不进入细节讨论的话,这当然取决于你在哪个层面上思考这个问题,但总的来说,据我所知,目前并没有多少前沿模型能够同时擅长视频的理解和生成。这是一个有趣的挑战。我并不是说我们必须要这么做,但理解和生成显然是一体两面的。所以它们理应在某些层面存在于同一个模型中,尽管我们目前并不总是这样做。

主持人:你也提到了音频。

Dimitris: 没错。

主持人:它和视频一样难吗,还是在本质上有所不同?如果是这样,表现在哪些方面?三年前一个有趣的方向是人们使用扩散模型来处理音频,比如Riffusion 方法,不知道你们有没有关注过。我觉得非常有趣的是,像音频这种我们感知的模态,尽管在感知上与视频截然不同,但实际上对机器而言完全一样,它们看不出任何区别。

Dimitris: 我认为在技术层面上确实存在一些差异,但相对较小。从我的角度来看,音频真正进入我的视野是在我们发布Veo 3 的时候。我相信这是第一个实现音视频联合生成的模型。

主持人:就是演示切金条的那个。

Dimitris: 切金条之类的演示。那是第一个实现音视频联合生成的模型。也有其他模型在底层通过AI Agent 的拼凑修补来实现联合,但这个模型真正做到了同时生成所有内容。我们之所以这样做并且认为这是一个正确的选择,是因为从机器学习的角度来看,存在一个统一的潜在因果生成过程。有某种内在机制生成了你说话的过程,并不是说先生成像素,然后音频再由某个其他过程产生。嘴唇的动作必须与音频同步。

Dimitris: 这解决了以前模型中存在的很多问题,或者说解决了人们以前生成视频的方式中存在的问题。以前的做法是先生成像素,然后在上面修补一些东西,让嘴唇跟随生成的音频移动,效果非常差。在Veo 3 之后,人们的反应是,你的模型里怎么可能没有音频,这根本说不通,既然有了视频就必须有音频。将它们置于一个单一的生成模型中是绝对正确的选择。

Shane:还有一件事我想听听你们的看法,我发现音频与图像和视频的一个区别在于,音频信息很难被语言化。TTS 之类的技术已经很成熟了,但除此之外,比如你如何用语言描述音乐,如何描述一个人的语调和音高?我觉得用语言表达是远远不够的。有趣的是,在另外两件事上你也看到了同样的现象,那就是味觉和嗅觉。另一个有趣的现象是肤色,用来描述肤色的语言其实非常有限。原因在于我们对肤色的微小差异极其敏感,因为这实质上向我们传递了一种生存信息,即这个人会伤害我还是可以成为朋友。

Shane:我觉得嗅觉、味觉、肤色和声音都与原始的生存本能紧密相连,以至于我们的感官系统极为敏感,难以用语言精准描述。我问过一位专业的品酒师,他说他会用约会时描述伴侣的语言来描述味道,因为没有足够的词汇来形容。我很好奇你们是否有同感。

Nicole:在某种程度上视觉信息也是如此。当你考虑某种特定的风格或美学时,有些人确实拥有更发达的视觉品味或美学鉴赏力。当你试图描述任何我们通过感官信息体验到的事物时,语言往往会成为一个限制因素。呼应你刚才的观点,这正是我们投资世界模型、大力推进感知和生成端研究的原因,因为这构成了我们人类感知和探索世界的重要方式。这也是具身AI 探索世界的重要方式。语言已经让我们走得很远,也可能让我们走得更远,但在许多这些领域中它让人感觉受到了限制。我确实不知道该如何描述气味和味道。Dumi 你有什么想法。

Dimitris: 我觉得我还没有对此进行过非常深入的思考,所以关于音频我没有一个很好的答案。我在想Omni 在音频方面有哪些不足,但我发现这些都是可以通过更多或更好的数据来解决的问题。我不确定我们是否已经把前沿推进到了触及人类进化极限的程度。

主持人:他感受到了标注的局限性,这也正是我想要表达的。

Shane:确实如此。

主持人:世界上有大量的信息,这基本上解释了我们为什么要做世界建模。你刚才提到,你只需要输入sref 76 这样的参考参数,然后这就成了你的输出。

Nicole:我猜也许我无法用语言描述这种感觉,但这正是提供这些参考参数的意义所在。即使只是描述一个人说话的方式、他们的语调和韵律等,有些术语甚至连我以前都不知道是什么意思。

Dimitris: 比如韵律,还有语流顿挫。

Nicole:没错。有一整套词汇,如果你不深入某个领域,你甚至不知道它是什么意思,大多数人类领域都是如此。有时这也是个问题,如果我们没有在使用大语言模型时关注这些方面,它们在这些领域可能也会存在盲区。然后我们在生成端就会感受到这种缺失,因为我们从根本上依赖语言模型对世界的理解来进行后续表示。这一切又回到了关于语言作为媒介的问题上。但正如Dumi 所说,其中一些可能只是我们的重点不在那里,我们还没有尽最大努力去推进。当我们这样做时,我们就会发现真正的上限在哪里。

主持人:作为一名播客,我经常思考声音的问题。我会提出几点供大家讨论,看看是否能给你们带来一些启发。我将原始音频大致分为三个领域,分别是音乐、人声和音效,这几乎涵盖了所有内容。我们即使只关注人声而忽略其他两个领域,比如房间的声音,大房间和小房间的混响,面对面交谈、在车里或者通过电话交谈的区别。所有这些都是可以被标注的,但我们的体验却截然不同。我经常觉得AI 视频的一个破绽就是它具有工作室级别的音质,因为它是在录音室里录制的,这受限于你们的训练数据。最有趣的一点其实是,当我试图说服那些对世界模型的必要性持怀疑态度的人时,我会说即使是音频你也需要世界模型。比如我现在离你远了一点,所以我的声音应该听起来更轻柔或更分散。视频模型需要捕捉到这一点,因为如果它们想要提供沉浸式的音视频体验就必须做到这一点。

Shane:我非常喜欢这个关于是否是工作室音质的例子。在某种程度上,我们没有足够的语言来真正描述这种混响或环境噪音。我们的描述还不够精准。我认为拥有信息相对丰富的标注非常重要的原因在于,我们依赖自然语言作为一种表示。但如果你没有足够的表示能力,那就意味着在给定语言条件的情况下,生成过程具有极强的多模态属性。如果我们能从非常早期的变分自编码器研究中学到什么的话,那个核心理念就是我们希望在潜在表示中捕捉大部分的随机性,然后给定Z 生成 X 的过程应该是确定性的。

主持人:我希望在这个领域能取得更多进展,我相信你们正在努力。

Nicole:甚至面部表情也是如此。这呼应了你刚才关于我们对某些事物极其敏感的观点。我认为你也可以从人们的面部表情中轻易识别出大量的AI 内容。

主持人:确实。

Nicole:我们尽量不去制造这种情况,但皮肤纹理等这些能让现实生活中的事物看起来真实的细节依然是挑战。我可以通过你点头的方式或者微表情的变化,来判断你对我所说的话的反应。我认为我们还没有完全跨越那道鸿沟,尽管我们已经比一年前好太多了。

主持人:毫无疑问。

Nicole:但是在很多我们作为人类极其敏感的细节上,还有非常大的提升空间。不过我认为图像领域可能已经做到了,因为有很多图像看起来真的与现实毫无区别,我根本无法分辨它们是否是AI 生成的。

Dimitris: 它们甚至比现实更完美。

Nicole:那是另一个层面的问题了。

Dimitris: 不,我是说比我在度假时拍的照片还要好。我们团队之前做过一个有趣的实验,试图验证我们能否生成比真实视频更好的视频。你只需提取真实视频的字幕。

Nicole:对,只需描述它。

Dimitris: 尝试描述一段真实的视频,然后用Omni 生成同等版本的视频,接着进行人工评估。结果发现人类在很大程度上更偏爱 AI 生成的视频,而且优势非常明显。

主持人:因为这是强化学习的过程。这是强化学习过程在起作用。

Dimitris: 这完全取决于你如何去合理化它。它未必是强化学习过程的功劳。我并不是说这是一个好结果,我只是说我们在优化方式上可能触发了人类大脑中的某种机制,让人觉得很多视频看起来就是更好。如果深入考究,它们实际上并不一定更有用,但如果你只是把一段随机的优兔视频和它生成的版本并排对比,它看起来就是更好,因为它更清晰,或者拥有更高的HDR。肤色也更好。再说一次,它不是更真实,也不一定能解决你的问题,但它看起来就是更好。

Shane:我觉得这也取决于人们的敏感度。我在日本出生长大,我了解的一点是,他们对建筑和食物等极其敏感。我和那里的一位漫画家交流过,他对图像生成AI 感到非常反感。他提到的一点就是视线。仅仅是视线上的微小差异,就让他觉得令人毛骨悚然、极不自然。

主持人:比如说,如果你觉得画面看起来有一点点不对劲。

Shane:就像是看起来太假了,所以我认为这确实取决于敏锐度。

Dimitris: 我想表达的是,在决定优化目标时,人类的偏好并不是一个特别可靠的风向标。如果你只是去问大家是否喜欢这个,你得到的结果未必是你真正想要的。

Shane:让我补充一点,四年前有一场关于提示工程是否会消失的争论,一些业内大佬说它会消失,但我当时的观点是它不该消失。因为当你对AI 有控制权时,进行提示工程,也就是下达具体指令,是你控制输出的唯一方式。而让你能够进行提示工程的,恰恰是那种敏锐度。诚然,也许现在 AI 可以做大量的自动提示,也能生成还算过得去的内容,但永远不要满足于 AI 自动生成的内容,要不断微调你的敏锐度,并始终通过提示去探索差异。

Nicole:就这一点而言,我认为未经训练的普通人眼光与专业人士之间存在着巨大的鸿沟。我把自己也归为普通人,虽然我有一些审美感知,而且做这行久了也有自己的偏好。你刚才举了漫画家的例子,那是经过几十年技艺打磨的人。无论是做设计还是建筑,任何从事这些行业的人都具备截然不同的专业水准,能察觉到普通人看不到的细节。但Dimitris 说得对,如果你在大街上随便找十个人做调查,他们大概率会更喜欢那种过度平滑、色彩非常饱和的风格。

主持人:这就是所谓的照片墙滤镜。

Nicole:没错,就是这样。所以这也带来了一个问题,如果你不给出具体提示,默认的审美风格应该是什么样。但回到Shane 刚才的观点,我们一直努力提升这些模型的一项能力就是指令遵循,这样,当你希望模型生成不同的效果时,你能够做到,无论是通过语言还是参考图,因为有时候语言的局限性太大了。这些模型在这方面确实在不断进步,但还有很长的路要走。

主持人:作为一名产品总监,你会因为要为全世界设定默认风格而感到压力吗,我的意思是,会有这种感觉吗?

Nicole:也许我应该有这种压力,我不知道,我还没想过这个问题。

主持人:你懂的,总得有人来设定一个默认值,默认值必须存在。

Dimitris: 实际上,我们确实考虑过这个问题。举个例子,如果大家看看纳米香蕉生成的内容,当纳米香蕉专业版发布时,曾出现过纳米香蕉信息图表的大爆发。

主持人:我试过,确实如此。

Dimitris: 许多神经信息处理系统大会的论文里到处都是,很多论文都用了它生成的信息图表。

主持人:你们能用你们的水印技术跑一下,看看有多少是用它生成的吗?

Dimitris: 我们应该能做到,虽然还没这么干过。但我看到,也许这也是我算法的偏差,但它们真的是无处不在。这其实让人挺头疼的,因为我觉得我们默认的审美风格有点太杂乱了。我觉得模型就像个用力过猛的学生,它刚学到点东西,就会觉得,我知道关于这个概念的所有信息,让我把它们全塞进同一张图里吧。

Shane:在东亚特定地区的信息图表设计中,那种高密度风格的信息密度是这个的五倍。

Dimitris: 或者也许是其他原因。

主持人:等等,等等。你的意思是,同样的提示,同样的内容,如果是特定东亚语言的版本,信息密度会更高?这确实很有意思,因为那是当地的风格。

Shane:有些风格非常公文格式,甚至有一个专门的词来形容它。

Dimitris: 不过在开发全能版模型时,我们确实一起经历了整个过程,在最后阶段,我们做了一堆测试,比如我们做了一些调整,那么我们更偏好哪种风格,是更柔和一点,还是饱和度更高一点。

Nicole:我们当时对饱和度进行了大量的讨论。

Dimitris: 当时讨论了很多,我觉得Nicole 只是留下了心理阴影,所以选择性遗忘了。但她全程参与了这个过程,就是决定我们到底更偏好哪种调色板。这并不是你需要做出妥协的地方,正是因为最终做决定的是我们自己。说实话,最终拍板的就是模型团队。大家可以合理地提出质疑,我们真的是做这件事的最佳人选吗,还是说我们应该和一个具有真正创意视角、更像艺术总监的人合作,我们在这个问题上确实反复讨论过。

主持人:我们有受信任的测试人员。

Nicole:我们确实有提供大量反馈的受信任测试人员,而且我们非常重视这些反馈。

主持人:顺便说一句,他们组织得非常好,有定期的周会之类的,非常棒。

Nicole:洛根的团队做了很多这方面的工作,所以要向今天没能到场的洛根致敬。我们在谷歌内部也有很多人,比如Foefer,每次我们发布新的模型权重检查点时,他们都会给我们提供海量的反馈。有时他们会发现我们没注意到的问题,我们可能觉得这个优化看起来还行,然后他们就会跑回来说,你们干了什么,你们把我的草地全毁了,现在的细节全糊了。

Dimitris: Mickey 最近刚好注意到,这在现在也不是什么超级机密了,我们的模型总是倾向于在手上画婚戒。这确实非常奇怪,我以前从来没注意过。但他看到了,而且有一个专门的反馈频道供他发布这些,他就问为什么每只手上都有婚戒。当时我的反应是这太奇怪了,听起来非常像典型的奖励机制破解,但你知道,这往往是我们在开发过程中未必能注意到的问题。

主持人:这是强化学习的假象还是其他原因。

Shane:我不知道,毕竟偏好空间非常大,然后模型可能就偏向了那一点。虚假相关性、奖励机制破解,它可能以很多诡异的方式发生。

Dimitris: 确实如此。

主持人:这又引出了另一个话题,就像我说的,我尽量用主舞台的机会做些介绍或衔接。我们有专门的评估环节,我们请到了字节跳动旗下的Character AI 和优酷的海外母公司平台 YouTube 来分享他们是如何评估视频的。你们是如何评估视频的,除了依靠 Foefer 之外。毕竟不是所有人都有一个 Foefer,而且,我觉得需要有一些更定量的方法。

Shane:我的意思是,你通过改进双子座模型来提升视频的评估能力。

Nicole:这绝对是一种方法,其实这非常难。让自动评分器去评估视频里的东西非常困难,特别是涉及审美之类的层面。有些东西会稍微客观一点,特别是当我们讨论图像以及评估信息图表的文本渲染时,那其实还好。因为你可以用光学字符识别把文字提取出来,然后你可以判断这个字母错了。如果渲染文本里错了一个字母,整个图就完全没用了。所以根据我们的发现,这类东西更容易用自动评分器评估。但我们很大程度上仍然依赖人工审查,所以我们做了大量的人工评估。

Dimitris: 极其大量的人工评估。

Nicole:每次Shane 就会提出新的想法,每次我们有了新模型,我们想做更多事情,想加入更多能力,然后我们就不得不运行更多的评估。到最后,如果有两个模型表现得非常接近,我们就得把它们生成的输出并排放在一起看,借此来做决定。有时候我们十个人坐在一个会议室里,就盯着并排播放的视频看,然后讨论你更喜欢这个,还是更喜欢那个。

主持人:确实令人惊叹。

Shane:实际上,当你加入的能力越多,评估就真的越复杂。即便是单个能力,比如视频编辑,它几乎是一种具备AGI 完备性的能力,想想视频编辑以及带音频的编辑。

主持人:剪辑师听到这个肯定会很高兴。

Shane:我的意思是,这是生成式媒体中最难的问题。

Dimitris: 我不知道它是不是最难的,但绝对名列前茅。就评估的复杂性而言,自由形式的视频编辑是你可以做任何事。我在这上面花了很多钱,真的很难,请帮帮我。比如添加某些元素,我们并没有一个叫作“添加一只树懒”的评估项。

Nicole:我们现在应该加上了。

Dimitris: 我们现在确实应该加,但类似这样的事情,评估起来并不容易。

主持人:我只是对你们使用的样本量感到惊讶。为了测试你们模型的整个功能覆盖面,你们仍然依赖于数百个数量级的人工测试。

Nicole:并不是这样,我们做的工作远不止这些。

Dimitris: 对的。

Nicole:我们对数千个项目进行大量的人工评估。我觉得这里还有一个因素,我们可以讨论像线上实验这样的东西,在这个更大规模的层面上,你能捕捉到那些更微小差异的信号。然后是自动评分器,这绝对是一个方向。我觉得它在大语言模型领域是一个非常明确的方向,但在媒体模型领域还处于非常早期的起步阶段。而且,有时你仍然需要依赖人工判断。我们确实非常依赖那些有着极高审美素养的人,以及那些在日常工作流中频繁使用这些模型的人提供的反馈。因为一个模型可能在某些人工评估切片中表现极佳,但却会严重破坏某个人的实际工作流。这就是为什么我们要开展抢先体验项目并试图获取反馈,尽量在更广泛地发布之前将其融入进模型里。感觉Shane 刚才谈到这个的时候,从他的表情看他有个犀利的观点。

Shane:每一类人类的工作都应该逐步通过自动化分摊成本。有趣的是,视频理解,尤其是针对AI 生成视频的检测,是一项极其有趣的视觉任务。其中一部分是审美或视觉质量,但在某些情况下,它在语义上是不合逻辑的。比如,你拿电影里的一个经典场景试图去重建它。模型能生成出一些画面,但在某一点上一些语义信息是不合理的,它实际上是前后不一致的。那么 AI 能检测出这一点吗?所以当我评估 AI 视频时,我当时就觉得,我觉得自己好聪明,AI 还是落后的。但我们应该投入大量精力。我认为,超越纯粹的审美或偏好,视频理解是一项极其重要的智能任务。我们应该始终努力去自动化替代人工标注。

主持人:你们需要什么数据?和我聊过的很多人实际上都很想见见你们,他们是带着善意来的。他们有大量的视频数据,他们有游戏数据,他们有真实世界的视频数据,他们有图像,他们有标注员。你们想要什么?

Dimitris: 你这是在提供赞助吗?

主持人:我感觉这就相当于你们在应对各种请求,我们完全理解。我相信你们肯定会收到很多推介,也会有很多人想和你们交流。我认为真正的问题在于如何从海量噪音中筛选出有价值的信号。因此建立一个清晰的对接标准非常关键,比如明确告诉大家如果你能提供A、B 和 C,我们就会感兴趣。

Dimitris: 这个问题话里有话。我不确定是否有一个简单的答案。我认为我们确实已经拥有了大量数据。但在公开场合谈论这个有些敏感。

主持人:我不想给你惹麻烦。

Dimitris: 但我想说的是,很难在不透露我们项目进展和未来方向的情况下去讨论这件事。总的来说我们确实需要高质量数据,这也不是什么秘密,我们大可以直截了当地说。

主持人:具身智能数据吗?

Dimitris: 当然。我们已经公开宣布过在机器人领域有一些合作。因为我们在谷歌DeepMind 有一个机器人团队,他们一直对这类数据非常感兴趣。具体到 Omni 模型而言,我们对高质量数据非常渴望。这类数据不一定是随机的 YouTube 视频,而应该是一些更专业的拍摄素材。这些都是我们一直在积极寻找的资源。

Nicole:我觉得探讨一些AI Agent 相关的工作可能会更容易回答这个问题,也就是人们试图完成的实际任务。无论是由我们自己还是供应商来做,这类数据实际上都很难凭空制造。比如你在策划一场营销活动,实际的过程究竟是怎样的?你是从拿到新产品的照片开始,想把它做成视频广告,接着再把它转化成一系列能够适配不同平台推广格式的素材吗?从上一步到下一步,你在这个过程中经历的任务轨迹到底是什么?这些数据非常有用但获取难度极大。因为我们并不总是有合适的第一方平台界面让用户真正去执行这些操作。即使与外部供应商合作,他们可能同样没有这样的产品触点。大量此类信息其实都散落在人们日常执行任务的真实场景中。如果有人找到了获取这些数据的解决办法,请务必联系我们。

Shane:包括每一个思维链,每一个思维链都至关重要。

主持人:也许还有中国实验室正在使用的数据。

Shane:没错。

主持人:作为一个媒体人,我知道有许多播客创作者和营销部门的从业者都非常乐意成为你们的数据源。你们甚至可以在我头上戴个脑机接口,直接和我们交流并观察我的工作流程。因为大家总是有做不完的工作,而这些工作在某种程度上需要转变成一种标品。显然对于真正高质量的内容,你可以像工匠一样精雕细琢,甚至对标好莱坞的标准,但实际上现实中大量的工作都属于流水线化的标品,完全可以通过AI 模型来模拟,我们也希望你们能够去实现这一点。

Nicole:正如Dimitris 所指出的,我们也非常渴望获得高质量的数据,我们确实极其看重数据质量。

主持人:你们既想要高质量也想要标品化,两方面都想兼顾。

Shane:感谢你的主动推介。

主持人:我还特意安排了一个数据质量的专场。我认为大家都想了解在AI 领域如何进一步提高标准。这在很大程度上需要教育市场、教育研究人员、工程师以及创始人,明确告诉他们这就是我们未来的发展方向。现有的大量数据其实都是垃圾数据,大家不要再制造那些低质内容了,而应该把精力放在真正有价值的地方。我觉得业界是会听取这些建议的。

Nicole:但就这一点而言,这其中其实蕴含着很多难以标准化的手艺和繁琐的流程。即使是刚才提到的营销活动的例子,你也不可能在五分钟内就轻松搞定。你需要经历一个完整的设计过程,不断进行迭代,最终选择这个方案而不是另一个方案,可能仅仅是因为某些特定原因让你更偏爱它。比如海报上人物的眼神注视方向刚好对了。我们其实并不清楚这些微妙的细节,因为我们都不是营销总监,而AI 同样也不懂这些人类的隐性偏好。

Shane:甚至对于自然语言,我也是同样的观点。我常说99% 的信息都存在于人的大脑中。你只能通过积极的对话并与他们建立深厚的联系才能提取出这些信息。因此互联网上的绝大多数内容,其实都仅仅是这些人类内在思考的最终输出结果。

主持人:完全同意。

Shane:但这背后的思考轨迹到底是什么,这个人是怎么产生写这篇论文的灵感的,起点在哪里,灵感源于何处,又是哪些对话激发了这一切,这些过程都深藏在人们的内心深处。所以即便是语言领域也是如此,我认为创意领域也是完全相通的。这其中存在大量难以言传的隐性知识。

Nicole:这就像写小说一样。一部小说之所以能打动你,通常是因为你在故事架构、情节走向或者角色身上感受到了一种强烈的个人共鸣。如果你去读今天大语言模型生成的绝大多数内容,就会发现它们往往会陷入一些默认的行文模式,语言开始让人感觉千篇一律,所有的场景描写听起来都极其相似。读者会很快意识到这没什么意思,因为根本无法与之产生情感共鸣。这再次证明了人类专业知识的独特价值。

Shane:最近一个很好的趋势是,谷歌云和谷歌DeepMind 开始在前沿部署工程师岗位上投入大量资源。我也看到了一些针对创意和生成式媒体领域的招聘动作。我认为这些都是非常务实的努力,因为我们已经意识到仅仅依靠公开数据能做的事情存在上限,但通过与实际应用场景的合作模式,我们可以提供更好的模型和产品,并获取真实世界的业务反馈。

主持人:我们在这里也首次设立了前沿部署工程师的专场讨论。现在几乎每个AI 实验室都在宣布相关的计划,这进展真的很疯狂。我非常热衷推动的一件事,之前在认知公司时我也曾大力倡导过,那就是不应仅仅把前沿部署工程师视为销售和解决方案提供者,而是要让他们也深度参与到模型评估工作中,成为专业的评估员。

Shane:前沿部署工程师绝不仅仅是销售,他们的职责范畴要比销售宽广得多。

主持人:那你怎么定义前沿部署工程师呢,因为我确实会不由自主地把他们和销售联系起来,比如你为客户定制的解决方案越多,就越像销售行为。

Shane:我将后训练定义为从预训练阶段到最终用户体验之间的所有环节,这中间的一切流程都属于后训练。对我而言,前沿部署工程师这个概念最初起源于帕兰提尔等公司,所以行业的历史背景可能有所不同。但核心不仅在于与客户合作并确保他们知道如何有效使用模型,更重要的是从中提炼出能让研发和客户双方都受益的深刻洞见。客户可以在使用模型的过程中建立大量的Harness工程,而我们则可以借此在非常上游的研发环节进行针对性改进。因此,如何将客户的真实反馈有效地反哺到模型的开发过程中,这正是我想赋予前沿部署工程师的核心角色。

Nicole:补充一点,如果业界同仁想和我们团队甚至直接和我交流,在不占用大家太多时间的前提下,我们其实非常乐意,因为与正在使用我们AI 模型的人沟通并了解他们遇到的实际痛点,对我们来说具有巨大的帮助。毕竟这也是大家试图用模型解决的真实世界任务。比如我会和一些使用我们图像模型做室内设计的设计师交流,他们会反馈说自己真的很想采用某个特定图案,但需要把它等比例缩放应用到十种不同尺寸的地毯上,而且有时候地毯尺寸非常特殊,此时模型在复制图案时就完全失败了。或者他们会遇到虚拟试戴耳环的场景,耳环有特定的比例,用户的头部也有特定的比例大小。如果真的要做虚拟试戴,这些物理比例关系必须非常合理,而模型恰恰在处理这些真实世界里发生的诸多细节上屡屡翻车。所以这些来自一线的反馈对我们极具价值,因为我们研发团队本身并不在业务一线使用模型做这些具体任务,也就很难察觉到这些应用盲区。

Shane:结合你刚才提到的营销活动的例子,企业往往有品牌语言这样的视觉规范概念。可能就是一堆图像或者设计文档在传达某些理念,但这给模型处理带来了相当模棱两可的问题。到底什么是宜家的品牌语言,难道仅仅是蓝色和黄色的简单组合吗,那显然不足以构成一个品牌的全部。

Nicole:更细致来说,具体是哪一种色调的蓝色呢。

Shane:各大品牌的要求都非常具体,他们确实极其在乎具体的颜色色调。它绝不能只是随机的蓝色配上随机的黄色,那样拼凑出来的就不会是宜家了。我这只是举个例子。但这正是我们在实际应用中面临的问题,解决这些品牌特定的微观需求不一定属于我们开发前沿模型的核心职责,但我们确实希望从根本上打造出人们能用来解决具体业务任务的实用产品,而不仅仅是停留在实验室里的研究产物。所以深刻理解用户在真实场景中真正关心什么是非常有必要的。

主持人:我相信很多人都非常感谢你们在AI 领域所做的开创性工作,当然未来也还有很长的路要走。哪怕只是在过去几年里,你们在 Nano Banana、Veo 和 Omni 模型上就已经取得了如此巨大的进展,我不知道你们还在酝酿哪些颠覆性的大招,但我们真的非常期待。之前当 Sora 沉寂的时候我是非常失望的,我认为除了让 AI 写代码之外,我们需要对生成式模型在多模态领域进行更广泛的探索,我觉得那是至关重要的方向。

Nicole:我们显然也非常看好这个探索方向。

主持人:虽然我们都热爱写代码,但生成式AI 的潜力远不止于此。非常感谢你们抽出时间参与交流,这次对话非常愉快,我已经迫不及待想看到你们团队接下来的最新进展了。

Nicole:感谢你的邀请,今天的探讨非常深入。

Dimitris: 谢谢大家。

| 文章来源:数字开物

• END• 

【专栏】精品再读

每一家公司都将转型为 Agent 公司 | 黄仁勋最新GTC演讲实录
Fable 重塑了什么? | Anthropic 实验室负责人对话实录
如何管理自己的"Token 资本" | 微软CEO最新对话实录
AI Agent 对网络的使用量正在超越人类 | 谷歌DeepMind研究科学家对话实录