政务 AI 的算力账,从买设备转向算词元

过去两年各地比的是谁的机房先建起来。今年账单换了算法，重心从买了多少张卡，挪到了这批卡能产出多少有效词元、每个词元多少钱。

先建起来的算力，正在变成孤岛

很多单位并不缺算力，缺的是能统一调度的算力。智算池、信创池以及各处自购的推理卡，分散在不同时期与不同项目里建设，彼此不通。结果是白天在线业务不够用，晚上大批资源闲置，整体利用率掉在 30% 到 40% 这个区间里（行业报告常见区间），新上一个应用还得重新走一遍采购流程。

这是建设期留下来的老问题。那时候比谁先把机器装上，现在要比谁能把装上的机器用起来。现在政务 AI 开始往深水区走，智能问答、公文写作这些场景，加上问数与工单分派，同时运转起来，才算真正进入运营期，孤岛问题也就藏不住了。

从买设备到买词元

中国信通院在一份关于智算基础设施的报告中指出，词元工厂正在成为智算基础设施的新形态，产业竞争的重心从峰值算力最大化转向每瓦词元产出最大化。不再按卡数算能力，按单位能耗、单位成本能吐出多少有效词元来算。

落地案例已经出现。据公开消息，有运营商在宁波建成日产百亿级词元工厂，上线一个多月已服务上千家企业和十余个园区；广东湛江也落地了面向政务场景的"国模加国芯"词元工厂。这两项均为项目方自报数据。政务侧之所以愿意走这条路，原因很直接：一是成本能按量计量，花多少看得见；二是数据不出域、模型在本地跑，这是采购方普遍看重的一条合规前提。

同一份报告还提到，存储带宽与内存容量正取代峰值算力成为首要瓶颈，异构协同成为降低词元生成成本的核心路径。这对政务单位的意义是，选型时不要再只盯着峰值算力这个参数，长上下文、高并发问答这类典型政务负载，卡的是显存和带宽。

调度比扩容更划算

存量盘活是被反复验证的一条路线。底层把 GPU、NPU 统一接入做成异构算力池，上层按任务切片，再按量计量与优先级调度，模式从"谁采购谁占用"变成"算力跟着业务走"。据某国产算力厂商公开的政务云案例，这条路不需要新建集群，重点是把已有的池子打通。

训推一体是另一条思路。报告给出的另一组数是，通过统一调度把训练和推理放在同一资源池里，资源利用率可以从行业普遍的 30% 到 40% 提升到 80% 以上，该提升幅度属报告口径，未见第三方实测。峰谷调度同理，白天优先保障在线业务的低时延与高并发，夜间低谷自动承接训练与批量任务。

模型可以换，接口不能乱

还有一件容易被忽略的事。各系统单独对接模型，版本耦合很重，换一次模型就要改一遍业务。更合理的做法是把 AI 能力封装成标准化服务，把所有模型都封在同一个网关后面，业务侧只认一个地址和一把 Key，路由、会话、密钥校验都在平台侧做掉，配额和输入输出记账也一并接进去，模型升级只做名称映射，业务侧无感知切换。

这条要求在当下尤其现实。今天选的模型半年后未必还是最优解，如果每次替换都要动业务代码，那所谓的自主可控只是换了个依赖对象。判断一个政务 AI 底座成不成熟，就问一句：换模型需不需要改业务系统。

对采购方来说，验收标准也该跟着变。合同里不该只写"支持智能问答"，而该写清任务范围与成功条件，以及异常边界、人工接管条件和计费方式。

机器上架之后还有很长一段路。能不能把每一笔钱算到词元上，决定这套系统能开多久。

关于渚文科技

良渚文化为根，科技赋能为魂。我们汇聚AI智能体、算法、物联网、机器人应用等领域的资深专家，将技术创新与业务场景深度融合，提供从需求定制到运维迭代的全流程服务。

我们致力于为企业级客户提供自主决策、高效执行、全天候值守的AI落地及智能体解决方案，帮助企业实现降本增效提质、流程优化与服务升级。

我们专注于机器人智能管控与智慧巡检的技术研发和创新，融合丰富的AI视觉、声纹、温度识别算法，支持各类第三方载具和设备，帮助电力、工厂、化工、园区等场景实现基于机器狗、机器人、无人机以及多品类、多机协同的智能化、全方位智能化巡检作业。

📧 business@lzhuculture.com

🌐 www.lzhuculture.com

📞 15067133913（微信同号）

参考资料

• 中文科技资讯：中国信通院：词元工厂成为智算基础设施新形态，产业竞争转向"每瓦词元产出"：https://www.citnews.com.cn/news/222539
• 某国产算力厂商公开材料：政务云的下半场是内生的智能底座：https://www.sugon.com/cut?id=3037&nav_id=48
• 今日头条：以全栈系统工程推动国产 AI 从"可用"迈向"好用"：https://www.toutiao.com/article/7699741165616169487