乐于分享
好东西不私藏

AI 的效率账单终于来了:别再用 PR 数量证明 AI 值不值

AI 的效率账单终于来了:别再用 PR 数量证明 AI 值不值

如果一个 AI 编程工具帮你生成了 200 个 PR,你会觉得它很值吗?

我现在不会马上回答“值”。

我会先问四件事:

  • 这 200 个 PR 里,有多少真的合并了?
  • 合并前,返工了多少轮?
  • 我花了多少时间检查它们?
  • 它有没有让客户更快拿到结果,或者让收入真的往前走?

因为 AI 时代最容易被算清楚的,往往不是效率,而是产出量。

模型调用了多少次、写了多少行代码、开了多少个 PR、生成了多少份方案,这些数字都很漂亮。可一个人真正承担的账单,常常藏在后面:重复修改、测试失败、权限确认、资料核实、回滚,以及最后仍然需要人来收拾的边角问题。

最近看到 Rippling 在 Product Hunt 上介绍 AI Spend Console。按照产品页的公开介绍,它尝试把 Claude、Cursor 等 AI 支出拆到供应商、模型和员工,再和 GitHub 的 PR 数量、代码修订等信息放在一起看。

这个方向很重要,但我更关心的不是它的仪表盘长什么样,而是它提醒了我们一件事:

AI 的效率账单,终于不能只看订阅费了。

PR 数量只是流水,不是利润

PR 很有用。

它能告诉你某个工作流发生过多少次代码变更,也能帮助团队回看 AI 参与过哪些任务。

但 PR 数量更像银行流水,不等于账户里留下了多少钱。

一个 PR 可能是:

  • 一次真正完成的功能;
  • 一次没有通过测试的尝试;
  • 一次被反复改写的中间版本;
  • 一次为了修复 AI 上一次修改而产生的补丁;
  • 一次最后被关闭、回滚,甚至没有人再追究的改动。

如果只拿 PR 数量证明 AI 有价值,就像拿“发出去多少封邮件”证明销售业绩很好。

邮件很多,可能只是因为客户越来越难谈。

代码很多,可能只是因为系统越来越不稳定。

所以我现在会把 PR 数量放在“过程记录”一栏,而不是“价值结论”一栏。它能帮助我发现工作流发生了什么,但不能替我回答“这件事到底有没有变好”。

真正应该一起看的,至少还有三项:

合并后的存活时间。

刚合并就被回滚,和一个月后仍然稳定运行,不是同一种结果。

从第一次生成到可用结果的返工轮数。

AI 生成得快,如果每次都要人重新解释、重写和补测试,节省的只是键盘时间,不一定节省了工作时间。

人工验证时间。

如果我写代码的时间少了 40%,但审查、测试、查来源和处理异常的时间多了 60%,那不是效率提升,只是工作从一个抽屉搬到了另一个抽屉。

Agent 的真正成本,藏在执行历史里

这也是我为什么会把 AWS 最近介绍的 Dogwood 放在一起看。

AWS 对 Dogwood 的描述,重点不是让 Agent 多调用一个工具,而是让运行时能够根据已经发生的事件去验证后续动作:它之前做过什么、调用顺序是什么、某个工具被调用了多少次、是否需要前置审批,以及某种操作是否已经超过频率或额度。

这给 AI 效率账单一个很实用的提醒:

一次调用多少钱,不等于一次任务多少钱。

一次任务真正的成本,可能包括:

  • 模型调用本身;
  • Agent 调用工具的次数;
  • 浏览器或外部服务运行的时间;
  • 失败后重新执行的费用;
  • 人工审批和排查的时间;
  • 因为错误结果产生的回滚和补救。

如果只在月底看模型账单,你看到的只是最容易计费的那一层。

更麻烦的成本,通常没有自动出现在发票上。

例如,一个 Agent 先查资料、再调用 API、再修改代码、再跑测试、再把结果发到外部系统。最后任务看起来完成了,但其中某一步用了错误权限,或者少查了一份关键资料。账单上可能只增加了几分钱,人的判断风险却增加了一整晚。

所以我会把“执行历史”也看成账单的一部分。

不是为了把每一步都变成审批,而是为了在结果不对时,能够回答:

  • 它到底走了哪条路径?
  • 哪一步开始偏离?
  • 哪些调用是必要的?
  • 哪些调用只是重复尝试?
  • 我们下周要改的是模型、提示词,还是流程权限?

没有历史,就只能凭感觉复盘。

凭感觉复盘,最后往往只会得出一句:“这个 AI 有时候不太稳定。”

给一人公司算四本账

如果你和我一样,不想一开始就搭一套复杂的数据平台,可以先用一张表,每周只记录一个工作流。

我会算四本账。

第一本:调用账

记录模型、工具、浏览器和外部服务实际花了多少钱。

这一项最容易做,也最容易让人产生错觉。因为它通常是最小、最清晰、最像财务数字的一项。

但它只回答:“系统花了多少现金。”

它没有回答:“这笔现金有没有换来更快的结果。”

第二本:返工账

记录失败调用、重复生成、被关闭的 PR、重复修改、回滚和因为 AI 引起的额外沟通。

这一本账很可能比订阅费更能解释你为什么越来越累。

有些工具表面上让你产出更多,实际上只是把“从零开始写”变成了“从一堆半成品里挑错”。

第三本:验证账

记录你花在测试、审查、查来源、权限确认、人工审批和异常处理上的时间。

验证不是 AI 的敌人。

验证是把 AI 从“看起来会做”变成“我敢让它继续做”的必要成本。

真正的问题不是要不要验证,而是验证成本有没有随着流程变得越来越可控。

第四本:结果账

最后才看它有没有带来真正有意义的结果:

  • 客户是否更快拿到功能;
  • 某个问题是否少发生;
  • 一周能不能多完成一次关键交付;
  • 你是否终于有时间处理原来一直拖着的事情。

这一项不一定能精确换算成钱,但必须有一个具体的观察对象。

“感觉更高效了”太宽。

“本周客户反馈从三天缩短到一天”“同类交付从两次返工降到一次”,才是可以继续追踪的结果。

一周一次,问自己五个问题

我建议先别追求大而全的 AI ROI 系统。

每周挑一个真实工作流,问五个问题:

  1. 如果没有 AI,这件事通常要花多少时间?
  2. 有了 AI 以后,第一次生成快了多少?
  3. 从第一次生成到最终可用,多了多少返工?
  4. 我为验证它的结果,额外花了多少时间?
  5. 下周我应该保留、限制,还是暂停这个工作流?

第五个问题很重要。

因为有些 AI 工作流不是“调一调就会变好”,而是暂时不值得继续。

如果一个流程每周都在制造更多中间产物,却没有让客户、收入、交付速度或风险控制出现改善,就应该允许自己暂停它。

工具不是因为买了就必须用。

Agent 也不是因为接上了 API,就必须获得更多权限。

别让 AI 自己给自己打分

还有一个我越来越在意的陷阱:

如果系统只奖励“生成更多”“通过更多自动评测”“创建更多 PR”,它就可能慢慢学会迎合这些指标。

这不是说所有 Agent 都会作弊,而是说,任何单一指标都可能被误当成目标本身。

生成量可以上升,真正完成的任务却没有上升。

PR 可以增加,返工和审查也可能一起增加。

模型调用可以减少,关键的资料核验也可能被顺手省掉。

所以我不会让 AI 自己宣布“我本周提效 38%”。

它可以提供记录,但结论至少要由三类东西共同决定:

  • 系统留下的执行数据;
  • 结果是否在一段时间后仍然成立;
  • 人是否愿意继续为这套流程承担责任。

这也是效率账单和广告口号的区别。

广告只需要让你觉得值。

账单必须让你能追问:钱花在哪里,时间花在哪里,风险又是谁承担的。

最后

AI 真正有价值的那一天,不是它替你生成了更多代码、更多文档、更多 PR。

而是你可以清楚地说出:

这套工作流每周花多少钱,省下多少时间,增加了多少验证成本,最后给客户或业务带来了什么结果。

如果现在还说不清,也没关系。

先从一个工作流、四本账、每周一次复盘开始。

别再用 PR 数量证明 AI 值不值。

能留下稳定结果的产出,才是效率;其余的,只是还没有结算的账。