
2026年6月 · 阅读约9分钟 · AI 基础设施观察
我一直认为AI 的进化主要看模型。国内很多公司都在拼模型。
参数更大、回答更准、推理更强,似乎就是全部故事。
但最近看 NVIDIA Vera Rubin 这个平台,我越来越觉得,下一阶段 AI 的竞争,表面上看是智能,底层其实是基础设施。
因为当 AI 从"回答问题"变成"完成任务",它需要的就不再只是一张更强的显卡。
它需要一整套能支撑它观察、记忆、规划、调用工具、协调多个子任务的机器系统。
换句话说,过去我们是在造一个会说话的 AI。
接下来,我们是在造一支能工作的数字劳动力。
而这两件事,对硬件的要求完全不是一个量级。
第一代大模型给人的震撼,是它能回答。
你问一个问题,它生成一段文字。你给一段资料,它帮你总结。你让它写一封邮件,它能给你初稿。这已经很有用。
但 Agentic AI 的目标不是"回答得像人",而是"像一个人一样推进任务"。
它要观察环境,要拆解目标,要制定计划,要调用工具,要在过程中修正路线,必要时还要拉起几个子 agent 分工协作。
这时候,AI 面临的核心挑战就变了。
它不只是要快点生成 token,而是要有足够大的"工作记忆"。
什么叫工作记忆?你可以把它理解成一个人真正思考时用的那张桌子。桌子太小,你只能摊开一页纸。桌子够大,你才能同时摊开资料、计划表、草稿、参考案例、风险清单,然后把它们放在一起判断。
AI agent 也是一样。它要处理长上下文,要保留任务状态,要管理短期记忆和长期记忆,还要知道什么时候调用哪个工具。
所以我现在看 AI 基础设施,已经不只看"每秒能吐多少字"。我更关心:这套系统能不能支撑 AI 长时间、复杂、多步骤地思考和执行。
而这正是 Vera Rubin 这类平台真正想解决的问题。
Vera Rubin 最让我在意的一点,不是某一个芯片参数,而是它背后的设计思路:协同设计。
芯片、封装、内存、网络、供电、散热、机柜,不再是各自优化之后拼在一起。它们从一开始就被当成一个整体来设计。
这个平台集成了 6 万亿个晶体管,超过 130 万个组件,单块计算板上就有超过 18000 个组件。这个规模听上去很夸张,但它背后的信号更重要:
传统服务器的拼装逻辑,已经顶不住下一代 AI 的需求了。
我们已经撞上了"内存墙"和"功耗墙"。AI 不是单纯缺算力,它缺的是算力、内存、带宽、网络和能源之间的整体效率。
这也是为什么 NVIDIA 要把 TSMC、Micron、SK Hynix、Samsung、Foxconn、Quanta 这些供应链角色都卷进来。不是因为名单好看。而是因为AI 工厂时代,单点突破不够了。
你只能让芯片更强,却让内存跟不上;不能只让算力更密,却让散热崩掉;不能只让模型更大,却让网络成为瓶颈。
到这个阶段,数据中心不再只是"放服务器的地方"。数据中心本身就是计算机。
谁能把整座机器协调起来,谁才真正拥有下一阶段 AI 的底座。
我们都知道AI很耗电,新闻里到处都在播放美国在建造电厂的新闻。
但你一看 Vera Rubin 的物理设计,我们也会发现,它是个超级巨兽:
它需要液冷母排承载超过 5000 安培的电流。这个量级已经不是传统机房里插几根线、吹吹风扇能解决的问题。
过去互联网产品的想象,是代码改变世界。但 agent 时代的 AI,某种程度上又把我们带回了工业时代:电力、散热、材料、封装、制造、供应链,全都重新变成核心变量。
这也是很多人容易忽略的地方。他们以为 AI 的竞争只发生在模型公司之间。但实际上,真正的大竞争还会发生在电力系统、先进封装、HBM 内存、液冷方案、网络交换、光通信和数据中心工程里。
模型当然重要。但没有底层工厂,agent 就只是一个会规划、但动不了手的聪明助手。
Vera Rubin 还有一个很有意思的设计,是双引擎思路。
一边是偏高吞吐的系统,用来处理大规模数据理解、长上下文和复杂规划。另一边是偏低延迟的系统,用来支撑快速响应、工具触发和环境变化处理。
慢思考高吞吐引擎:大规模数据理解、长上下文、复杂规划——让 agent 能"想得深"。
快反应低延迟引擎:快速响应、工具触发、环境变化处理——让 agent 能"动得快"。
这件事放在人身上很好理解。一个真正能干活的人,不能只有深度思考。如果他每次做决定都要沉思半小时,他在真实业务里没法用。但他也不能只会快速反应。如果他反应很快,却没有整体判断,就只能处理碎片任务,承担不了复杂目标。
AI agent 也是一样。它既要有"慢思考"的能力,能把复杂问题拆开、推演、规划。也要有"快反应"的能力,能在环境变化时迅速调用工具、调整步骤、执行动作。
所以基础设施不能只追求一个指标。不是延迟越低就赢,也不是吞吐越高就够。真正难的是平衡:让 AI 既能想得深,又能动得快。
这对企业场景尤其关键。因为企业不需要一个只会展示推理过程的 AI。企业需要的是:它真的能把流程往前推。
如果只看发布会,我们很容易被一个个模型能力吸引。今天谁推理更强,明天谁上下文更长,后天谁视频生成更逼真。这些当然值得关注。
但作为一个看基础设施的人,我更愿意盯住另一个问题:这些能力要大规模、低成本、稳定地跑起来,靠什么?
答案不会只是一行模型名称。它背后是一整套系统工程。
Vera Rubin 这类平台真正代表的,不只是 NVIDIA 又推出了一代新硬件,而是AI 产业正在进入一个更重、更深、更工业化的阶段。
过去的 AI 像一个图书馆管理员。你问它,它帮你找答案。未来的 AI 更像一个建筑师,甚至像一支施工队。它不仅知道什么是对的,还要能把事情一步一步做出来。
但建筑师和施工队都需要工地。AI 的工地,就是这些由芯片、内存、网络、电力和散热共同组成的 AI 工厂。
我对 Vera Rubin 的理解:不是"又一个更强的超级计算平台"。而是一个信号——AI 正在从内容工具,变成生产系统。从会说话,走向会工作。从模型能力竞争,走向基础设施能力竞争。
你可能会问,这些离我是不是太远了?几万安培、液冷母排、HBM4、CoWoS、NVLink、以太网交换机,这些听起来都是产业链上游的事。
但我觉得,它们恰恰和每个准备使用 AI 的人有关。
因为基础设施决定了 AI 能进入什么样的场景。
如果 AI 只能回答问题,它改变的是写作、搜索、客服、总结这些轻任务。但如果 AI 能持续观察、规划、调用工具、执行流程,它改变的就是销售、研发、财务、供应链、医疗、制造、运营这些真实工作系统。
到那时,我们要学的就不只是"怎么提问"。而是怎么把一个目标拆成 AI 可以执行的流程。怎么设计人和 agent 的协作边界。怎么判断哪些任务适合自动化,哪些任务必须保留人工决策。怎么把 AI 从一个聊天窗口,接进真正的业务链条。
这才是下一阶段更重要的能力。
我现在反复提醒自己的一句话:不要只看 AI 说得像不像人,要看它能不能进入系统,持续把事做成。真正改变世界的,往往不是那个最会表达的界面,而是界面背后那套沉默运转的机器。
如果你也在观察 AI 的下一步,别只盯着模型排行榜。
可以从一个更底层的问题开始:
当 AI 不再只是回答,而是真的开始工作,我们的组织、流程和个人能力,要怎么重新设计?
夜雨聆风