你是不是也这样:给 AI Agent 配了十几个 Skills,结果它反而比以前更容易出错?
Agent未识别到配置好的Skills
Agents调用Skills时灵时不灵
Agents调用Skills过程中并未完全按照预置流程走
...
这不是你的问题。这是整个行业都在踩的坑。
我花了两天读完 5 篇相关论文,包括斯坦福、UC Berkeley 等机构的研究,核心结论只有一句话:Skills 不是装上去就有用,怎么用比有没有用重要得多。

第一个意外:技能多了,准确率反而暴跌
直觉上,技能越多,Agent 越强。
但数据告诉我们相反的答案。
SkillsBench(86个任务 × 11个领域 × 7,308条轨迹)测出了这个规律:
• 技能库小于 50 个:显式触发准确率 98% • 技能库大于 50 个:准确率暴跌 -27%
也就是说:你辛辛苦苦建了一个包含 60 个技能的库,结果 Agent 的准确率反而比只有 5 个技能时低了近三成。
为什么?
因为大多数团队把 Skills 当成了"把提示词打包"——把一堆 prompt、文档、示例塞进一个技能包里,然后期待 Agent 自己判断什么时候该用哪个。
这不是技能。这是披着技能外衣的说明书。
真正的技能应该是一个契约——它要包含:什么任务该用它(适用条件)、按什么步骤执行(执行策略)、做到什么程度算成功(终止条件)。没有这三个要素,技能库越大,Agent 越迷路。
第二个意外:成功率最高的方案,恰恰是最多人嫌弃的
现在社区普遍觉得"显式触发"太 low——每次都要人告诉 Agent 用哪个技能,太麻烦。
但Agentic Skills in the Wild(真实环境测试,34,000个技能)给出了不一样的答案:
| 98% | |||
| 混合策略(先初筛再精选) | 92% | 89% | 最优平衡点 |
最有意思的是:技能库越大,模糊调用的"相对劣势"反而越小——因为显式触发在候选技能很多时,选对的概率也急剧下降。
结论:不是"让 AI 自己挑"比"人告诉它"更高级,而是要看场景。简单任务 → 显式触发。复杂任务 → 模糊调用。企业级应用 → 混合模式。
第三个意外:模型越大,越不能用同一种方式调用技能
这是Agent Skill Framework(测试从 1B 到 80B 不同规模的模型)最反直觉的发现:
< 12B 的小模型 → 显式调用(FSI) → 比模糊调用高 23%12B-30B 的中模型 → 模糊调用(ASI) → 步数减少 18%≥ 80B 的大模型 → 混合模式 → 性能最优,甚至媲美闭源 API类比一下:
• 小模型 = 初级员工,你得把每一步写清楚,否则他就乱来 • 中模型 = 资深员工,你可以给一个方向,他自己判断 • 大模型 = 技术负责人,方向和细节都可以交给它,但它需要灵活切换
不是越大越好,是越匹配越好。
很多团队用 GPT-4 或者 Claude 3.5 的 API 做 Agent 系统,默认让模型自己挑技能。但如果你用的是 7B 的本地部署模型,这个策略会让准确率直接腰斩。
第四个意外:你让模型自己生成的技能,基本上没用
这是我认为整篇文章最重要的一句话。
SkillsBench 论文原文:
"Self-generated Skills provide no benefit on average, showing that models cannot reliably author the procedural knowledge they benefit from consuming."
翻译:模型自己写的技能,平均来看没有任何帮助。模型不能可靠地写出它自己使用时能受益的程序性知识。
SoK: Agentic Skills(系统化知识归纳,200+文献)也验证了这个结论:
• 精心设计的技能 → 显著提升成功率 • 模型自主生成的技能 → 可能降低性能
为什么会这样?
因为大模型擅长的是"想到该怎么做",但不擅长的是"写对执行步骤"。写一个技能需要精确描述适用条件、执行策略、终止条件——这比生成一个回答难多了。
这意味着:如果你在做的方向是"让 AI 自己生成 Skill,自己用",这条路在实验室里听起来很美,在生产环境里会是一个灾难。
真正有效的做法:人工设计技能,模型负责执行。
三种调用模式,什么场景用什么

1. 显式调用(Explicit / FSI)
什么时候用:小模型(<12B)、简单任务、高风险场景(金融、医疗、法律合规)
特点:准确率最高(98%),但每次都需要人告诉 Agent 用哪个技能。
2. 模糊调用(Semantic / ASI)
什么时候用:中模型(12B-30B)、复杂多步任务、开放探索场景
特点:Agent 根据任务描述自己从技能库里匹配,召回率高(91%),但准确率次之(75%)。适合 Agent 需要自主判断的场景。
3. 混合模式(Hybrid)
什么时候用:大模型(≥80B)、企业级复杂场景、长任务(10步以上)
特点:先用语义匹配初筛,再用显式调用确认关键节点,兼顾准确率(92%)和召回率(89%)。COSPLAY 框架(8B 模型)用这种方式 reward 提升 25.1%。

高确定性场景(金融、医疗、法律合规)→ 显式调用,必须每一步可追溯
中等复杂度场景(软件工程、客服对话)→ 混合模式,准确率和灵活性兼顾
开放探索场景(科学研究、长周期任务)→ 模糊调用,给模型空间自己判断
特别要注意的长任务(10步以上):模糊调用比精确匹配高 +19%。如果你的 Agent 需要处理复杂的多步流程,不要试图穷举所有可能的路径,让模型有判断空间。
一个值得深思的反转
我们习惯了"工具越多越好"这个思路。
技能多了 → Agent 变强 → 自动化程度提高 → 效率提升。
但 5 篇论文指向了同一个反转:质量比数量重要得多。
• 超过 50 个技能后,性能开始下降 • 19% 的任务在加了技能后反而更差 • 模型自己生成的技能没有帮助
真正区分团队高下的,不是技能的数量,而是三个能力:
1. 技能设计能力:把一个工作流程打包成可复用契约,需要对业务的深度理解,不是靠 AI 能代替的
2. 技能管理能力:知道什么技能该显式调用、什么技能该模糊匹配,什么场景需要混合
3. 技能演进能力:技能库不是建完就完了,需要持续根据真实使用数据淘汰差的、改进弱的
这三个能力,每一项都需要人工投入,不能靠模型自学。
个人理解,欢迎拍砖
1、技能设计能力
在谈Skills如何设计前,可以重新审视自己的Skills,不管是自己的还是Copy的。 每一个 Skill 是否有明确的适用条件、执行策略和终止条件?如果你的技能设计只有一个 prompt 和一段描述,这不是一个技能,这是一份说明书。
Agent 技能调用的根本矛盾是「稳定性 vs 灵活性、「可控性 vs 泛化能力」的冲突 —— 没有单一模式能在所有维度(稳定、成本、泛化、长尾覆盖)达到最优,因此需要多模式动态组合,而非单一方案。
2、技能管理能力
Skills管理论文中明确提出了Skills层级,与我们目前所设计的Skills治理思路一直,需要分层管理、支持按场景对Skills编排和组合:

Skills Map构建四步法

3、根据你的模型规模/Agent应用场景选择调用策略。 如果你在用小于 12B 的本地部署模型做工业场景,别犹豫,直接用显式调用。Agent Skill Framework 的数据已经证明了,小模型判断力不够的时候,显式调用可以让准确率提升 23%。
4、把Skills当成代码来管理。 代码需要 code review,技能也需要。有人审核这个技能在什么场景下会出错、什么边界条件下会失效。ClawHavoc 事件(近 1,200 个恶意技能渗透主流市场)已经证明,技能供应链是可以被攻击的。
技能作为AI资产,未来应该是围绕企业AI资产构建一套完整的治理体系,但不是做底层能力,而是围绕企业数据构建AI Native所需的Runtime。
参考文献
1. SkillsBench: Towards Infallible Agentic Skills (ACL 2024) https://arxiv.org/abs/2602.12670
2. Agent Skill Framework: Perspectives on the Potential of Small Language Models in Industrial Environments(2026) 论文链接:https://arxiv.org/pdf/2602.16653v2.pdf 3. Inducing Programmatic Skills for Agentic Tasks(2025,OpenReview) https://openreview.net/forum?id=lsAY6fWsog
5. COSPLAY: Self-Evolving Skill Libraries for Autonomous Agents (ICML 2024) https://arxiv.org/pdf/2604.20987.pdf
一个AI瞎捣鼓的架构师,把团队转型过程中踩过的坑分享给你,欢迎大家评论区讨论
夜雨聆风