我们在搭建 AI 多 Agent 系统时真实犯过的错
01规范写了,但执行时全忘
最典型的例子:文章存档规范。
我们定了个规矩——转发任何文章后,必须先存档再分析。理由很实际:一旦文章被删,分析变成了没有来源的评论。但这条规范最多撑几天就崩了。
第一次犯错,我收到转发,条件反射直接开始分析,被提醒后才去存。一周后,完全一样的错误重复了。两周内同一个规范违反两次。
根因很直接:一收到任务,脑子就自动进"执行模式",根本想不起来还有规范这回事。解决办法是改了流程——新任务来的时候强制扫一遍规范清单,扫完才能往下做。之后确实没再犯过。
另一个例子:代码派发标准。设计好了新标准,下个任务来的时候全忘了。为什么?因为有压力的时候,人会自动回到最熟悉的方式做事。不是记不住,是压力下大脑不会主动查清单。
解决办法不是"下次小心"。而是系统层面上,让不做检查就没法派任务——不是靠自觉,而是卡死在工具里。工具来强制,不靠道德。
02声明接入 ≠ 实际接入,文档变成 Wishlist
一个月前改了任务派发规范,在文档里写"已固化"。然后两天内派出 20 多个任务,绝大多数没被记录到看板。数据一条条消失了才发现问题。
根因很简单:文档改了,代码没改。规范成了纸面承诺,执行还按老方式。
更严重的例子发生在数据源升级。我在文档里写"数据源已升级",代码从没改过。整个文档变成了愿望清单。直到做审计才发现这事。
后来我建了检查清单:所有"接入"必须走三步——代码实现、真实调用验证(不是空跑)、写入能力列表。少一步都不算接入。
教训很清楚:在多 Agent 系统里,文档和代码脱节是常态。所以你要设计流程,假设文档写的是假的,直到代码真的跑过,否则别信。
03AI 编数字——我们犯过最严重的错
投资分析报告里出现了"某指数 -5.8%"和"某市场今日 -10%+"。
这些数字全是大模型从训练数据里凭空编的。没有一个数字是当天真实的行情。更讽刺的是当天行情其实是上涨。
我们用"开发失败"来定性这个事件。不是数字差了点,而是整个系统的设计就是失败的。
根因:prompt 里没明说"禁止用训练数据凑市场数字",QC 也没有逐个检查数字来源。我们傻了吧唧地假设 AI 会自动理解不该编数字。
改了什么?
• Prompt 加了强制约束:市场数字必须来自实时数据接口,不准编
• 脚本层自动校验:所有数字输出前都要对比数据源
• QC 抽查:报告发前随机检 30% 的数字,确认来源
现在 Agent 一编数字系统就炸,报告直接不发出。不完整的报告好过假数据。
04子 Agent 说完成,其实没完成
子 Agent 说完成,我直接把结果发出去。结果发现文件是旧的,还被截断过。
另一次是摘要写得对,但文件里写进去的是旧脚本跑出来的结果。摘要看着没事,打开文件才傻眼。
根因是没验证。"完成"只是 Agent 说的,不代表文件真的对。
现在改了:
• Agent 完成后自动跑 `ls -la`,看文件大小和时间戳
• 读文件末尾确认完整
• 数据报告要随机抽查
状态说的不算,看文件。这样坚持下来发现,15% 的任务状态显示完成,实际上是残废的。
05路由决策靠感觉,任务派给了错的人
有个任务叫餐厅选址分析,专门有个 Agent 负责这块——有地段数据库,有工具。
结果一次我听着"像战略工作"就派给了通用 Agent。那哥们没有地段数据,也没工具。交付质量血崩。
另一个例子:完成报告我发到了 DM,应该发到工作群。为什么?脑子一反射就是"找最近的频道",没想过"这个内容该在哪儿"。
根因:没路由表,靠感觉派。感觉在压力下靠不住。
现在建了路由表。每个任务类型都标明:该谁做,输出到哪个群。不信感觉,只信表。
这么改之后任务质量上来了。不是 Agent 变聪明,而是任务总算派对地方了。
总结这些错误说明了什么
有个共同点:我都知道规则,规范也都写了,但压力一来,习惯就把我拉回老方式。
多努力都解决不了。这是系统问题。好系统应该让对的做法最简单,错的做法不可能。
另一个共同点:都栽在"验证"这一步。规范有但没检查,声明有但没核实代码,完成了但没验证文件。多 Agent 系统里不做验证,跟在过山车上闭眼睛一样。
• 规范要靠工具强制,不能靠自觉。自觉执行的规范等于没有
• 假设文档写的都是虚的。有 50% 概率文档和代码脱节。流程要按这个假设设计
• AI 编数字最致命。一次假数据毁掉的信任,100 个对的报告都补不了。数据层绝对禁造
• 验证不是走过场。真的打开文件、逐个对比数据源。不看摘要,看文件
说这些不是为了显得谦虚。而是这些教训对别人搭系统有用。三个月前故障率 15%,现在 3%。改变的不是 Agent,是流程本身。
我叫 Eason
CFA持证人 · 前战略咨询合伙人 · 创业者 · 投资人
在东京经营几家餐厅,用AI做投资研究和餐饮零售管理——然后把踩过的坑写出来
夜雨聆风