AI 工具:0.1 美元和 94 词元每秒,好用的标准开始变了

同一个任务发给两个模型，经常会出现一种很尴尬的局面：一个十几秒出结果，另一个转了很久，最后提示上下文太长，让你拆开再放进去。

那一刻我忽然意识到，过去一年大家讨论 AI 好不好用，默认问的是它聪不聪明。现在这个问题开始失效了。

真正卡住工作流的位置越来越琐碎：价格贵不贵，速度等不等得起，界面要不要来回切换，输出能不能点回来源，本地机器能不能跑。模型能力还在往前走，但普通用户感知到的那部分，越来越多来自这些小接口。

Anthropic 刚发布的 Claude Haiku 5.5，就是一个很直接的例子。按照官方定价，100,000 token 以内的请求，输入是每百万 token 0.10 美元，输出是 0.50 美元；Anthropic 还称它比 Haiku 4.5 的平均运行成本低约 75%。如果你只是做批量分类、摘要、抽取、日常编程辅助，这类小模型的意义可能比旗舰模型更大。便宜到一定程度，你才敢把它放进定时任务、爬虫后处理、代码审查流水线里，而不是每跑一次都心疼一下。

这组数字里最有意思的不是便宜，而是它把“AI 可以随便用”这件事从口号变成了账。以前一个自动化任务每晚跑 1 万次，你会先算模型账单；现在这类任务的第一约束可能变成接口稳定性、上下文裁剪质量，以及失败之后怎么补偿。

价格之外，另一个变化来自界面。

OpenAI 同一天把 GPT-6 系列模型推给所有 ChatGPT 用户，同时推出了所谓智能用户界面。按官方介绍，它可以根据问题组合文本、图像和交互元素，回复里可以出现图表、按钮、表单，而不是每次都吐一大段文字。IT 之家举的例子是打麻将：AI 可以用可交互的视觉界面让你边试边学。

打麻将听起来像个玩具例子，但它指向的方向很实际。很多解释型任务，最合适的输出不是文章，而是一个能点的界面。比如排班、记账、配置比较、游戏规则、数学题的中间过程，用户需要的是“我改一个参数，结果跟着变”。如果每次都要先让 AI 写一段文字，再让用户在脑子里模拟变化，效率反而低。

这类体验会改变我们对工具的评价。一个模型即使答案能力相同，能不能把答案变成可操作对象，差距也会很大。就像同样一堆数据，放在表格里和放在三段话里，用户体验完全是两回事。

微软 Word Copilot 的更新就更具体了：回复会附带来源链接，用户可以点回原始网页或内部文档，检查上下文和准确性。这件事看起来小，实际解决的是 AI 进入办公文档的最后一公里。

以前用 AI 写材料，最麻烦的不是它写得慢，而是你要把每个事实拿出来重新查一遍。现在至少把“查证”这个动作放到了答案旁边。用户不用复制一段话去搜索，也不用在几十个浏览器标签里找回出处。对于写报告、做尽调、整理资料的人，引用链接比一句“我已经帮你总结好了”有用得多。

当然，引用只解决“出处在哪里”，不能保证“理解是否正确”。模型仍可能把原文里的限制条件漏掉，把两个相近概念混在一起，或者引用一个权威页面但得出一个不在页面里的结论。所以它降低的是查证成本，不是判断成本。用户还是得点进去看。

本地部署这条线也在往消费级硬件靠。

开源项目 Strata 给出的数据是：在 RTX 5070 12GB 显存、Ryzen 5 7600、64GB 内存的机器上，跑量化的 Qwen3.8-Flash-Next 125B 模型，2 比特版本生成速度为 94 词元每秒。它最低要求 12GB 显存、32GB 内存和 80GB 存储。实现方式不是把所有东西都塞进显存，而是把 MoE 专家放进系统内存，只把高频专家留在显存里，再用轻量模型做投机解码加速。

这类项目的价值不在“人人都该本地跑 125B”。对多数人来说，云端模型仍然更省心。但它改变了另一个问题：当数据不能上传、网络不稳定、成本不可控时，本地推理有没有一个可以接受的兜底方案。94 词元每秒不是魔法，可它已经接近“能打字一样看输出”的速度。再加上开源模型和量化工具，个人电脑不再是只能跑玩具模型的设备。

这几个发布放在一起看，AI 工具的好用正在被拆成四个更小的指标。

第一，单位成本。批量任务能不能便宜到不用犹豫。

第二，响应形态。答案是文字，还是能交互的对象。

第三，可信度入口。用户能不能一键回到原始材料。

第四，运行位置。云端之外有没有本地退路。

这四件事都不完全是模型智商问题，但它们决定模型能不能进入真实工作流。聪明但贵、聪明但慢、聪明但没法验证、聪明但必须联网，最后都会被用户绕开。

我自己的判断是，接下来一年最值得试的不是最贵模型，而是小模型加自动化。Claude Haiku 5.5 这类模型的价格，已经让“每次都请专家”和“重复任务交给便宜模型”有了分层空间。翻译、打标签、邮件初筛、日志摘要、测试用例扩充、文档格式统一，这些工作不一定需要旗舰模型，但一定需要成本可预测。

如果你手上正好有一批重复任务，可以先把 100 条样本拿出来，固定提示词和验收标准，分别跑便宜模型和主力模型。记录三类数字：一次通过率、每条成本、人工修正时间。小模型便宜 90%，但如果一次通过率从 85% 掉到 40%，总成本反而更高。反过来，如果质量差距只有 3%，账就很清楚。

写文档的人可以直接试 Word Copilot 的引用功能。别只看它列了多少来源，重点看两件事：来源是不是原始出处，而不是二道转述；引用位置是不是真的支撑结论。这个功能用顺了，AI 从“代笔”会慢慢变成“资料助手”。

想折腾本地模型的人，也可以先把 Strata 当实验，不要立刻替换主力工具。最低配置只是能跑，不代表体验完整。12GB 显存加 32GB 内存的家庭机器不少见，但 80GB 存储、系统内存带宽、量化带来的质量损失，都会影响实际效果。先跑日常问题，再测代码和长上下文，最后才考虑把敏感数据迁过去。

最难的其实是界面的变化。智能 UI 的想象空间很大，但它也很容易变成花活。判断一个交互式输出好不好，标准很简单：用户能不能改输入、能不能看到变化、能不能保存状态。如果只是把几段文字包进几个按钮，那不是新界面，只是更难复制的排版。

现在回头看开头那种十几秒出结果的情况，问题已经不是它比另一个聪明多少，而是它能不能被便宜地、稳定地、可验证地放进每天要做的事里。

如果今天只能选一个方向，我会先做小模型流水线。界面和本地推理可以先看，账要先算。