乐于分享
好东西不私藏

AI PC元年:端侧算力拐点到来

AI PC元年:端侧算力拐点到来
今天在台北举办的英伟达GTC大会,老黄除了宣布Vera Rubin的量产,还发布了一颗全新的芯片“RTX Spark”
配文:A new era of PC(全新纪元)说这个重要性不亚于当年手机被重新发明成智能手机

一颗什么芯片,值得如此重视

RTX Spark,是英伟达第一颗面向消费级Windows PC的自研处理器
架构可以简单理解为:联发科ARM CPU + 英伟达Blackwell GPU + 台积电3nm,封装成一颗SoC,搭配海力士的128GB LPDDR5X 内存
最高算力250-400TOPS(INT8精度)
在此之前算力天花板最高只有几十 
苹果M4的NPU是38 TOPS,高通骁龙X Elite是45 TOPS,英特尔Lunar Lake是48 TOPS
相比之下这是数量级的跨越。可以在本地全量运行1200亿参数的大模型,100万token上下文,推理速度约32 tokens/秒
云端AI明明更强,为什么要退回本地?因为有几个问题,需要本地才能解决

为什么必须是本地

第一是速度。Agent要拆任务、执行、判断结果、再执行下一步,循环很多次。每一步都要跑一趟云端,即使单次延迟只有几百毫秒,但是叠起来就是十几秒。本地算力足够之后,这些中间步骤全部在本机瞬间完成,体验是完全不同的两件事
第二是合规壁垒。公司内部的合同、商业机密、医院的病历、银行的客户数据——这些东西不是不想上云,是法规不让。数据一旦离开本地设备,合规就破了。
本地化之后,这些最有价值、也最敏感的场景,才真正能用上AI
第三是成本结构。用云端API跑深度Agent任务,每个月随随便便几百到上千美元,最近有家公司,因为没给员工设置使用上限,一个月跑了 5 亿美元的API账单。 
本地跑是买断逻辑,跑多少次都不多花一分钱。成本归零之后,那些以前"太贵、不值得"的场景,就全部值得用AI了
第四是能真正了解你。云端 AI 无法深入了解你个人的习惯和资料。本地化常驻在设备上,AI 能够记录你的文档、邮件、使用习惯以及个性特征,从而变成一个非常懂你的 AI 帮手,而不是像在云端那样,做什么都要重新开始

这不只是一台电脑的故事

RTX Spark验证了一个可复制的范式:把数据中心级推理能力,压缩进低功耗端侧设备
这个范式成立之后,就会向所有终端平移——原本很多因为算力不足而无法落地的一些端侧 AI 使用场景,将迎来大规模的爆发
像AI眼镜的实时翻译问答,人形机器人实时动作决策推理,自动驾驶的路况判断,产线AI融合进工业生成等等
黄仁勋今天还公布了升级路线图:下一代Vera CPU + Rubin GPU,再下一代Rosa + Feynman
端侧算力可预见的越来越强大,那么AI将进一步实物化走进我们的生活
从手机到电脑到眼镜等等消费端的电子产品,都会AI化,这会是一个巨大的换机潮开始
除了主板,GPU,内存,这些硬件提供商,品牌整机销售端算是新增巨大利好,比如戴尔,联想,华硕等等

最被低估的收税人

在看不见的地方有一家公司叫做ARM Holdings:这是AI时代的底层卖铲人,卖的是CPU架构使用费。
因其架构的低功耗,以及适用于推理,大多数AI芯片都使用了ARM架构
要用:先给一次性授权费,然后每一个芯片单独再交税,这个生意也太舒服了
比如RTX Spark用ARM v9架构,每颗芯片销售额约1.7%-2%归ARM
现在的机器人、眼镜、汽车的芯片都是用ARM架构,全部收税,汽车版税率还是手机的数倍。
ARM FY26全年版税收入26.1亿美元,同比增长21%——而这还只是v8向v9迁移的早期阶段。
端侧AI全面爆发,ARM在几个地方同时收税,未来几年业绩可能都会超预期。
端侧 AI 的拐点这次真的来了
大家都在担心 AI 的泡沫,但是当这些 AI 能力融入到我们日常生活的使用设备时,才能直观感受到生产力的升级