夜雨聆风学习资料网

ARTICLE · 1185231

AI 进入生产线,算力和芯片要补哪几块短板?

AI 进入生产线,算力和芯片要补哪几块短板?

同一套模型换到另一种芯片上,软件可能就要重新适配算子与编译后端。

纸面上的算力并不自动变成能交付的业务结果。这是《屠龙之术》庄明浩在 AICC2026 人工智能计算大会听到的一道底层难题。

大会还谈到 Agent、长期记忆、可靠性评测和不同类型的智算系统。

把这些话题放进一条生产链,问题变得清楚:任务能跑起来吗,出了错能查吗,规模扩大后成本能承受吗?

模型会回答,只说明它能开始;系统能持续交付,才说明它进入生产。

01

先过第一关:芯片为什么还要一套软件

硬件性能上去了,开发者仍要能把模型和任务跑起来。不同芯片的算子、编译器、驱动、调度方式各异,适配成本可能吃掉纸面上的性能优势。

北京智源人工智能研究院副院长兼总工程师林永华在会上介绍的 FlagOS,瞄准的正是这一层“不兼容”:它用共享算子库与不同芯片的编译后端承接新模型。原本要由每家重复完成的适配工作,可以尝试变成可复用的工具链。

现场给出算子规模和适配时间等数据;它们是项目展示和目标,不能直接视为所有模型、所有芯片都已达成的生产结果。

所谓“万能插座”,不是一夜间让所有国产芯片完全等价,而是希望用更统一的接口和工具链,让新模型能更快找到可运行的硬件路径。

它需要真实开发者、真实模型和长期维护来检验。生态规模不足时,再好的单点芯片也难从试用走向采购。

一颗芯片的价值,要放进能不能被开发、部署、维护的整套生态里衡量。

“AI负载不会收敛,计算价格也不会只一种……生态是芯片真正发挥价值的最后一公里。” —— 林永华(北京智源人工智能研究院副院长兼总工程师)

02

需求从哪里来:Agent 把回答拉成任务链

软件和芯片先接上,才轮到问它们到底要承担什么任务。在聊天框里提一个问题,模型给出回答,用户可以立刻判断好坏。

Agent 要处理的是另一种工作:读上下文,调用工具,记住中间状态,根据反馈再走下一步。

如果一个环节失手,后面的步骤都可能偏离。

大会上反复出现一个式子:`Agent = Model + Harness`。

Model 提供推理和生成能力;Harness 是围绕它的上下文管理、工具连接、路由、记忆、权限、安全和可观测性。

这个式子不是数学定理,而是现场对工程现实的一种压缩说法。

一个客服 Agent 也许要先核对订单,再查询政策,最后修改工单。

前两步都对,最后一步若调用了错误权限,用户只会看到一个错误的结果。

把这条链写出来,便能理解为何企业关心日志、回滚和责任边界,而不是只看模型一轮问答的正确率。

生产级智能体的瓶颈,常在模型外侧那圈“让它能工作”的系统。

任务链变长,也意味着 Token 用量不只随用户数增加。一个任务会分成多个子步骤,每一步可能读写更多上下文,再由多个 Agent 协作完成。

IDC 与浪潮信息在会上给出的增长预测,反映了这种需求预期;

它仍是模型估算,不等于已经发生的消耗量。

庄明浩把需求端的变化概括为从“内容生成”到“任务执行”。企业买的不是一次看起来聪明的回答,而是一个在权限、审计和成本约束下按时完成任务的系统。

用同一套聊天演示衡量两者,容易高估落地速度。

任务越长,系统越需要把权限、状态和错误路径交代清楚。

03

能跑起来以后,怎样才算可靠

概率模型可以给出流畅答案,生产环境却要问更多问题:它为什么这么做?

这个动作是否越权?出错后能否定位、回滚、复现?面对不同人和不同时间的数据,结果还能不能稳定?

同济大学郑庆华院士把问题说成资源有限、必须按时输出、环境又持续变化的三重约束。

单靠增加数据和算力,很难保证系统在这三种条件同时出现时还能学习、推理和纠偏。

他从人脑的稀疏激活与记忆机制得到启发,提出“机器记忆智能”:让知识与经验能跨任务持续发挥作用。

这是一条研究路线,不等于已在商业系统复刻人脑。

可靠性并非模型外面贴一层安全标签,而是从数据到决策都要能被检查。

工信部电子五所蒋培行在会上提出的可靠 AI 评测体系,把讨论从单个模型分数推向全链路:评测先追问数据和知识来源、模型输出、工具调用的过程轨迹。系统部署以及真实场景中的结果,也应留下可追溯、可评估的痕迹。

它还要求把总拥有成本(TCO)与投资回报率(ROI)放进生产评估,而不是只比较静态跑分。

金融、医疗或工业的出错代价不同,不能只用一张总榜覆盖。

可靠性的证据,应沿着任务轨迹留下,而不是只停在模型分数。

一个 Agent 即使在基准测试里表现优秀,仍可能在权限切换、边界输入或持续运行时遇到问题。

庄明浩的梳理提醒我们,智能走向生产,最先被要求补齐的常是稳定性和治理能力,而不是再多一点演示上的惊喜。

04

最后还要问:算得起吗

需求不同,机器的优化目标也不同。大会上浪潮信息提出“能力型智算”和“容量型智算”的双轨:前者追求复杂任务的能力上限,后者关注大规模、可负担地供应智能。

它类似同一条生产线既要有做难题的设备,也要有把日常任务稳定做完的设备。

如果只堆最昂贵的芯片,简单任务的单位成本难以下降;如果只追求便宜吞吐,复杂推理又可能被延迟和精度限制。

模型路由、任务拆分、缓存和调度,因而与硬件本身一样重要。

把任务送到合适的系统,和提高单颗芯片性能一样影响成本。

因此,芯片之间的较量也不只是峰值算力。内存能装下多长上下文,卡与卡之间能多快通信,同一机房可以怎样调度,以及停机时能否快速恢复,都会变成每次任务的实际成本。

生产环境里的一点延迟或故障,乘以每天大量请求,影响就不再只是实验室里的小数点。

生产阶段的算力竞争,既看最强能做什么,也看普通任务能否负担得起。

另一个讨论焦点是“存算一体”。传统系统中,数据往返存储器与计算单元要付出时间和能耗。

让计算更靠近数据,理论上能减少搬运,特别适合某些高频、重复的运算。

清华大学吴华强团队展示的存算一体方案,是把计算放进存储阵列,尽量在数据所在之处完成运算,以减少往返搬运。

团队展示了成熟制程节点下的性能进展,提供了不同于继续追最先进制程的一条路;

具体 TOPS 对比仍应按其测试负载与精度条件理解。

但它不是万能捷径。精度要求、可编程性、芯片制造和系统集成,都会限制适用场景。

把厂商展示的性能结果外推到所有模型、所有任务,都超出了会议材料能证明的范围。

值得关注的,是它在明确工作负载下能否带来稳定、可复验的效率收益。

架构创新能否成立,要回到具体负载、能耗和可复验的结果。

庄明浩最后用金字塔收束现场:底层是器件和系统,中间是软件与服务,上层是可靠评测和业务交付。某一层单独跃进,不能自动让整座塔变稳。

这就是“进入生产阶段”最朴素的含义。模型、算力、芯片会继续进步,但真正交付的是端到端的任务结果。

大会上的数字与路线图值得跟踪;它们的边界和成本,也应留在同一张图里。

【从第 0 分钟,走向第 1 分钟】

文字可以把几层约束讲清,节目里还有庄明浩对厂商主张的具体追问与限定,能帮助我们把技术方向同已经实现的结果分开。

《AI进入生产阶段之后,智能、算力、芯片会走向哪里?》,收录于《屠龙之术》,预计 41 分钟

点击左下方阅读原文,听完这场来自 AICC2026 现场的完整梳理。

接着读

把芯片放回产业链,看设计、制造与客户需求怎样相互约束。

从失芯疯回归理性:聊聊芯片半导体的产业逻辑

从系统短板往回找,看看构建者怎样挑出值得解决的问题。

Jeff Dean 的 1% 法则:AI 越会干活,构建者越要选对问题

相关学习资料