乐于分享
好东西不私藏

从TPU到AI Agent:谷歌大佬Jeff Dean是如何做技术大局预测的?

从TPU到AI Agent:谷歌大佬Jeff Dean是如何做技术大局预测的?

作为谷歌(Google)首席科学家,Jeff Dean曾一手打造了谷歌搜索的底层架构、TensorFlow框架TPU芯片,多次精准预判了科技发展的方向。在近期与Y Combinator的最新对话中,他深入拆解了自己如何用简单的“草稿纸计算(Napkin Math)”推演技术趋势,并对AI的下一步走向做出了关键预判。

 

图片来源:https://www.youtube.com

一、算出来的未来:两次改变谷歌命运的“草稿纸计算”

 ㅤ

在科技界,Jeff Dean最著名的招牌能力之一就是“草稿纸计算(Napkin Math)”。这并不是什么高深的数学运算,而是剥离繁杂的细节,用最基础的数量级估算去洞察技术趋势的本质。在他的职业生涯中,这种能力曾两次直接改变了谷歌的技术轨迹。

 ㅤ

1.2001年:把整个谷歌搜索“装进内存”

在2001年,谷歌搜索的索引数据还存储在传统的机械硬盘里,每次用户搜东西,服务器都要去硬盘里翻找数据。Jeff Dean和同事拿出草稿纸简单推算了一下内存价格和容量的演变趋势,他们发现:用不了多久,谷歌所有的搜索索引完全可以一次性全部“装进”计算机的内存(RAM)里

 ㅤ

从硬盘读取数据就像去远方的图书馆取书,而从内存读取数据就像把书直接放在手边。基于这个简单的推算,他们花了几天时间重新写了系统,彻底摒弃了硬盘。谷歌搜索因此变得快如闪电,一举确立了全球搜索领域的体验壁垒。

 ㅤ

2.2013年:算出来的TPU芯片

10载之后的2013年,谷歌的语音识别技术因为引入深度学习而取得了突破,识别准确率大幅提升。Jeff Dean再次拿起了草稿纸算账:如果语音识别变得好用,每位谷歌用户每天对着手机说3分钟话,谷歌需要多少服务器来处理这些语音数据?

 ㅤ

估算的结果让他大吃一惊——谷歌必须把当时现有的服务器数量翻倍,这会带来无法承受的巨大成本。

 ㅤ

为了解决这个即将到来的算力危机,谷歌没有选择盲目购买更多的传统CPU,而是决定自己研发专门用于人工智能计算的专用芯片。这就是TPU(张量处理单元)的由来。TPU抛弃了处理常规复杂任务的功能,专门针对AI需要的矩阵乘法进行极致优化,能效比传统芯片高出几十倍。在今天大语言模型爆发的时代,TPU依然是谷歌最核心的算力底座。

 ㅤ

二、2026年的硬核瓶颈:AI不仅拼算法,更在拼“能耗与运输”

 ㅤ

如果说2001年的突破在于“把数据放进内存”,2013年在于“研发AI专用芯片”,那么在2026年的今天,AI发展的关键突破口又在哪里?

 ㅤ

Jeff Dean指出,未来的核心焦点在于低成本、极低延迟的专用“推理硬件(Inference Hardware)”。在AI已经能够生成各种内容的今天,等待AI响应的时间依然太长,如果能将AI回答的延迟降低数十倍,将会彻底改变人们使用AI的方式。

 ㅤ

而在硬件设计的底层,存在着一个常被非技术人员忽视的巨大瓶颈——数据传输的能耗

我们可以做一个直观的比喻:

  •  ㅤ
    计算(做数学题):就像厨师在切菜,消耗的能量极少;
  •  ㅤ
    数据传输(把数据搬过来):就像把食材从几十公里外的农场运到厨房,消耗的能量极大。

在真实的AI芯片中,把数据从存储芯片搬运到计算核心所消耗的能量,是单纯做一次计算的1000倍

 ㅤ

这个巨大的能耗差距,深深地决定了当今所有AI算法的构建方式。例如,在训练AI时,工程师通常不会让AI一条一条地看数据,而是把成百上千条数据“打包”在一起进行处理(即“批处理”),本质上就是为了平摊那昂贵的数据运输成本。

 ㅤ

因此,未来的硬件竞争不再只是单纯比拼谁的计算速度更快,而是比拼谁能设计出数据移动更少、能耗更低的芯片结构,从而支撑起极度廉价且响应迅捷的AI服务。

 ㅤ

三、软件的下一步:长线Agent与“上下文工程”

 ㅤ

在软件与应用层面,AI的进化正在从“回答问题”向“执行长期复杂任务”跨越。

 ㅤ

1.能够连续运行数天的AI Agent

Jeff Dean认为,当前的AI模型已经达到了“初级程序员”的水平。大众目前对AI的普遍误区,是以为AI Agent(智能体)只能帮你处理一两个小时的简单任务。

 ㅤ

实际上,能力强悍的AI Agent已经可以连续运行数天甚至数周。例如,你可以给Agent下达一个宏大的工程指令——用一种安全性更高的新编程语言,把一个庞大的旧软件系统彻底重构一遍。Agent会自己在背景中一步步拆解任务、编写代码、测试纠错,直到交出完整的成品。

 ㅤ

2.转向“上下文工程(Context Engineering)”

过去几年,行业普遍认为只要把模型参数做得越来越大、喂的数据越来越多,AI就会越来越聪明。但Jeff Dean指出,现在的关注焦点已经发生了转移,转向了“上下文工程”。

简单来说,与其给AI喂一整座图书馆的杂乱知识(这会让AI记不清细节),不如在AI办事时,精准地把最相关的资料、记忆、工具和指令直接摆在它的案头。

为了防止AI Agent在连续工作几十个步骤后“走偏”或“脱轨”,开发者需要建立明确的控制机制:

  •  ㅤ
    编写清晰的技能指南(Skills):给AI提供详细的工作规范说明,就像给新人发一份精准的操作手册,确保它始终走在正确的路径上。
  •  ㅤ
    多AI协作与搜索:让多个AI同时尝试不同的解决方案,并安排另一个AI扮演“监工”或评估者的角色。系统会自动保留有希望的思路、淘汰走偏的尝试,从而大幅提升完成复杂任务的成功率。

 ㅤ

3.2027年的预测:自我改进的AI系统

对于2027年,Jeff Dean预判:人工智能系统将实现自动化的“自我改进”。未来的机器学习系统能够自己提出猜想、自动拆解子任务、运行自动化实验进行验证,并根据实验结果不断调整和优化自身架构。这种自动循环不仅会加速AI本身的进化,也会彻底改变所有科学研究的效率。

 ㅤ

四、预判未来的思维武器:打破常规的“思想实验”

 ㅤ

除了依靠硬核的数学推算,Jeff Dean能够屡屡预判技术大局、找到下一次颠覆性机会的另一个法宝,是 “思想实验”——去质疑那些被整个行业视为理所当然的底层常识

 ㅤ

1.挑战60年的芯片铁律

比如,过去60年里,整个芯片制造界都遵循着一个常识:晶体管必须完美无缺,绝对不能出错。但Jeff Dean抛出了一个反直觉的假设:如果我们故意用极度不可靠、每天可能会出错几十次的晶体管来构建系统呢?

 ㅤ

这并非无稽之谈。当年谷歌就是放弃了昂贵且绝对可靠的超级服务器,转而用廉价、经常坏掉的普通电脑,通过软件层的冗余备份,搭出了全球最稳定的分布式计算网络。如果在微观芯片层面也采用这种容错思路,很可能会造出能效极高、甚至类似于人类大脑神经网络(人类神经元传递信号同样是不稳定的)的颠覆性硬件。

 ㅤ

2.为科学验证按下“30万倍加速键”

这种打破常规的思路,也正在成为大模型时代重塑研发范式的利器。

 ㅤ

在传统的量子化学或材料科学中,科学家测试一个分子的特性,需要运行极其耗时的物理模拟器,跑一次可能要花一整夜。而Jeff Dean提出的破局思路是:用AI神经网络去“学习并逼近”这些模拟器。虽然AI给出的是近似答案,但它的运行速度比传统机器快了足足30万倍

 ㅤ

原本需要耗费半年算力才能完成的筛选,现在只需一顿午饭的时间。这种打破常规后带来的极致加速,不仅将颠覆医药和材料研发,也将让上文提到的“AI 自我改进与进化”在算力和时间上成为现实。

 ㅤ

五、通用大模型时代,小团队与人类的真正优势

 ㅤ

当谷歌这样的巨头在通用大模型领域疯狂卷算力和参数时,普通创业者和从业者还有机会吗?人类的核心价值又在哪里?

 ㅤ

1.小团队的专属生态位

Jeff Dean认为,谷歌等大厂的目标是打造无所不能的“通用底座”,但这恰恰留出了大量的垂直领域空白。2到3人的小团队完全可以在特定场景下胜过巨头。

 ㅤ

小团队的优势存在于两类场景:

  •  ㅤ
    拥有独特的私有数据:例如协助个人或特定企业处理内部工作流的产品,通用大模型默认无法接触到这些私有信息,拥有数据入口就拥有壁垒。
  •  ㅤ
    打造极致的专用工具:类似于预测蛋白质结构的AlphaFold,它不是一个能陪你聊天写诗的通用模型,但在单一专业领域做到了极致。在材料设计、特定行业工作流等领域,专注打造深度定制的专用系统依然充满机会。

 ㅤ

2.人类最稀缺的技能:品味(Taste)

当写代码、跑实验、做分析等具体工作都能交给AI Agent去执行时,人类开发者最核心的能力不再是具体的操作细节,而是“品味(Taste)”——即决定让AI去解决什么问题的高阶眼光。

 ㅤ

在未来,完美地解决一个无趣的问题毫无意义,选对真正有价值、有冲击力的关键问题才是胜负手。人类需要给出清晰的技术定义和业务规范,扮演好“决策者”与“指挥官”的角色。

 ㅤ

3.探索未来的终极问题

从长远来看,现在的大模型依然存在明显的局限。例如,当前的AI模型在训练时吸收的数据量,大约是一个人类到18岁时所接触数据量的1,000倍,但18岁的人类在很多复杂推理和适应能力上依然远超AI。

 ㅤ

如何打破这种“依靠海量数据堆叠”的暴力模式,开发出数据效率极高、且能够像人类一样从自身的行动中持续学习(Continual Learning)的新型算法,将是未来长达数十年里最值得探索的星辰大海。

 ㅤ

从2001年的内存搜索,到2013年的TPU,再到今天的AI Agent与能耗思考,Jeff Dean的技术预判从来不是靠空想,而是建立在对物理底层(能耗、带宽、数量级)的深刻理解之上。对于所有关注AI发展的读者来说,看清这些底层逻辑,或许就能在这个技术剧变的时间节点上,更好地理解我们身处的时代与未来的走向。

联系我们

关注 “AI钻研坊”微信公众号

获取更多资讯

~欢迎点赞转发