ARTICLE · 1122024

AI Agent 工具调用老失败?先用这套 2 类错误测试法

发布时间：2026-10-04 11:18:02 最近访问：2026-10-04 11:18:02

👆点击MarkShuoAI> 点击右上角> 设为星标🌟嗨~我是MarkShuo阿里国际官方签约AI讲师，英伟达认证工程师，企业AI咨询顾问。专注商业AI智能体开发与教学以及企业咨询。关注我学会用AI降本增效赚钱

接上工具那一刻，才是麻烦的开始

你给 Agent 挂上搜索、数据库、日历三个工具，信心满满跑第一轮，结果该调搜索时它去查了数据库，参数里日期写成去年。你改提示词，再跑，这次选对工具了，参数又错。改了三轮，还是原地打转。

只在 App 里聊天可以关掉；想让它进电脑改文件、读表格、调 API，继续看。

这篇给你一张可落地的自查表：先按「2 类错误」分开定标，再用 5 步从生产流量建 golden 评测集，最后按 4 个触发条件做回归测试，附 3 个最容易踩的坑。

一、先把失败拆成两类，别混着调

工具调用失败只有两种：

• 工具选择错误：该用 A 工具却选了 B。搜索、数据库、日历摆在面前，它挑错了。• 参数错误：工具选对了，但参数填错。日期格式、ID、关键词范围出问题。

这两类错误根因完全不同。选错工具，往往是工具描述、系统提示、可选项太多导致；填错参数，往往是 schema 不清晰、示例不足、类型约束缺失。混在一起调，你永远不知道刚才那轮修改到底解决了哪一类。

先给每条失败打上标签，问题立刻从「玄学」变成「可计数」。

二、最小测试流程：四步跑出两个失败率

不用一上来搭平台，一张表格就能开始。

• 固定一组真实任务：从你日志里挑 10-20 条真实用户请求，别自己编。• 记录每步调用的工具名与参数：完整日志，包括输入、选中工具、参数、返回结果。• 按两类错误分别打标：每条失败标注「选错工具」或「参数错误」，两者都错的标两次。• 算出两个失败率：工具选择错误率 = 选错条数 / 总条数；参数错误率同理。

假设 20 条里 6 条选错、4 条参数错，两个数字一摆，你就知道该先动工具描述还是先改 schema。先知道病在哪，再决定吃什么药。

三、5 步从生产流量建 golden 评测集

自己编的测试集永远测不出真实失败。正确顺序是：

• 抽样生产流量：从日志抽真实请求，带脱敏。• 去重聚类：把相似任务合并，保留代表性样本。• 补预期输出：写明「该调哪个工具、参数应该长什么样」。• 首轮评估修正 rubric：跑一遍，看评分标准是否合理，不合理的改。• 提交 Git 接入 CI：用例集进版本库，每次改动自动跑。

从 20-50 条复审样本起步，别一开始就追求 1000 条。稳定后逐步扩到 100-1000 条。用 OpenRouter 切换模型时，同一套用例直接复用，对比才有意义。

四、回归测试触发条件清单

「好像变好了」不算通过。以下任一变更后，必须重跑锁定用例集：

• 提示词改了• 模型换了（含版本号变化）• 工具定义或 schema 改了• 检索设置改了（top_k、阈值等）

重跑之后，对照一份书面行为契约检查：哪些任务必须选对工具，哪些参数必须精确匹配。契约写清楚，通过与否就不再靠嘴说。

五、三条最容易踩的坑

• 只用合成数据：编出来的任务丢掉真实失败模式，测了个寂寞。• 用例集不进 Git：改了什么、谁改的、什么时候改的，全无记录，回归等于没做。• 没有书面契约：回归通过与否靠感觉，团队里三个人三种说法。

避开这三条，你的 Agent 工具调用才算从「碰运气」进入「可复跑」。

核心就一句：把工具选择错误和参数错误分开测，用生产流量建评测集，按触发条件做回归。

你卡在哪一步？是分不清两类错误，还是评测集建不起来？先做一步：从最近 20 条真实调用日志里抽 10 条，按「工具选择错误 / 参数错误」各打标一次，把你第一次测出来的两类错误比例留言告诉我。

关注我，后面会继续拆 Agent 落地里那些「看起来能跑、一上生产就崩」的具体环节。

🎯 🔥🔥🔥往期精选🔥🔥🔥