夜雨聆风学习资料网

ARTICLE · 996947

AI 晨讯|Agent使用技巧

AI 晨讯|Agent使用技巧

AGENT PLAYBOOK / 05

Agent 使用技巧 · 第 002 期

2026.09.01 每期 5 条 · 不重样
可直接抄进你的工作流

THIS ISSUE

上一期解决的是「怎么让它一次做对」,本期解决的是「做对之后怎么长期不退化」:给上下文做减法、把每次翻车变成一条 eval、把权限收进代理层、给不可逆动作留人工闸门、用模型路由把成本分层。

技 巧 01 SUBTRACT CONTEXT

01 上下文做减法:每条规则都要能说出「它防的是哪个错」

PostHog 的做法是逐行检查 AGENTS.md——说不出它防止什么失败,就删掉。原因是模型变强之后,早年那些「补充模型不知道的信息」正在变成噪声。Claude Code 的作者 Boris Cherny 更直接:建议每六个月删一次 CLAUDE.md 重写,Anthropic 自己也砍掉了 Claude Code 80% 的系统提示。可落地的一步:多数编码 Agent 内置 /doctor 命令,跑一遍会报冗余提示、失效设置与未使用插件,并估算可省 token(PostHog 站点仓库实测平均每次会话省约 6K token)。

值得关注 · 上下文工程的重点已经从「加信息」翻转成「减信息」。但 /doctor 只查冗余不查正确性——过期规则还得你自己扫一遍。

技 巧 02 EVALS AS REGRESSION

02 每次翻车都留一条 eval,改提示词前先有回归集

规则很简单:每当你为了修一个错而改上下文,就把当时的起因记成一条 eval——和修 bug 补单测是同一件事。金融场景的量化版本:由业务专家从真实工单提取 100—500 个高频、边界与异常样本,每条标注「测试问题 / 答案 / 必调用的 Tool / 必引用的知识点」,再用 Ragas、TruLens 做 LLM-as-a-Judge 自动回归。三个指标缺一不可:忠实度(是否自创知识库外的内容)、相关性(是否正面回答)、工具调用准确率(时机与参数结构对不对)。

值得关注 · 没有回归集,改提示词就是赌博——你分不清这次是真修好了,还是碰巧。

技 巧 03 ENFORCE, DON'T ASK

03 工具权限交给代理层,不写在提示词里

论文《Prompts Don't Protect》(arXiv:2605.18414)的结论很硬:提示词不是安全控制。工程上对应三条:① 通信入口部署轻量分类模型做语义防火墙,并对姓名、证件号等做「入模前脱敏、出网关后还原」;② 所有 Tool / MCP 调用强制透传终端用户身份,严禁配置静态「超级账号」,由底层系统按令牌做权限校验;③ 用 MCP 代理在架构层强制访问控制。

值得关注 · 提示词是「它答应不做」,代理是「它做不到」。安全必须落在后者。

技 巧 04 RED LIGHT / GREEN LIGHT

04 高危操作设「红绿灯」:Agent 只生成待执行,人确认后才放行

在流程编排里给动作分级:红灯(资金流转、核心参数修改、对外发送)Agent 只生成待执行动作并挂起流程,自动触发审批流,经有权限的人确认后指令才下达生产系统;绿灯(读取、生成草稿、本地计算)全自动放行。黄灯可选:先执行、事后通知并可回滚。

值得关注 · 不用为了安全把 Agent 关进笼子——只需把不可逆的那 5% 动作留给人,剩下 95% 它完全可以自己跑。

技 巧 05 MODEL ROUTING

05 建一张模型路由表:分类提取用小模型,难题才上旗舰

把任务按难度分层:意图分类、字段抽取、格式转换这类确定性高的活交给便宜快的小模型;复杂推理、长程规划才上旗舰。再叠两招——对高频且结果稳定的查询做缓存(如固定的产品介绍、政策释义);对长会话用上下文压缩层替代全量历史。配套记录每次调用的 token、耗时与结果是否可接受,两周回看一次路由表。

值得关注 · 大多数生产调用根本不需要旗舰模型。路由分层带来的成本下降,通常比换一个更便宜的模型大得多。

一句话收尾

这 5 条是一条完整的工程化路径:先给上下文减负(01)→ 再用 eval 锁住效果(02)→ 把权限收进架构(03)→ 给不可逆动作留闸门(04)→ 最后分层降本(05)。不用一次全上:先做 02,因为它决定了你后面每一次改动是否有依据。

本期技巧基于 2026-09-01 的公开资料整理,涉及工具与论文均为开源或公开可获取。技巧按主题去重,与第 001 期(复述计划 / 检查点 / 按需挂载工具 / 打印轨迹 / 固化技能)不重复。

相关学习资料