你的 AI Agent还是个黑箱吗 —— Langfuse 全链路可观测方案

凌晨两点，我盯着 Slack 上客服团队的消息，心跳加速。

我们的退款 Agent 在过去三小时里，给 47 个客户退了不该退的钱。总金额——12 万。原因不明。

我打开 Datadog，看到的是一片绿色——所有 API 调用都返回了 200，延迟正常，错误率为零。系统"一切正常"。但 Agent 明明在犯错。它在用一条根本不存在的"七天无理由退款政策"来处理投诉，而且态度特别好，回复特别快，客户特别满意。

问题是：我们公司没有七天无理由退款政策。

这一刻我才真正意识到：我们对 Agent 内部发生了什么，一无所知。

先说一个容易被忽略的事实：你的 Agent 不是一个 API 调用。

传统的监控工具——Datadog、New Relic、Prometheus——都是为请求-响应模型设计的。一个请求进来，处理，返回结果。你关心的是延迟、错误率、吞吐量。

但一个 Agent 的单次运行长什么样？

它可能先调用大模型理解用户意图，然后查询知识库拿到 3 条相关文档，接着判断需要调用退款 API，但在调用之前又去查了一下用户的历史订单，发现有争议，于是启动了第二轮推理，重新评估是否应该退款，最终还是决定退——因为它"记住"了一条训练数据里的退款政策。

这整个过程可能触发 15-20 次大模型调用、8 次工具调用、3 轮自我纠正。传统 APM 看到的只是最外层的一个 HTTP 200。

你需要的不是 trace，是完整的推理考古现场。

具体来说，三个核心问题传统工具答不了：

第一，推理链断在哪了？Agent 的每一步决策依赖前一步的输出。如果第三步用了错误的上下文，后面全部推理都是错的。但你只看到最终结果，不知道错误在哪一步引入。

第二，工具调用对不对？Agent 有权调用 API、查询数据库、发邮件。它调的对吗？传参正确吗？返回结果它理解对了吗？

第三，幻觉怎么追？大模型会编造信息——编造政策、编造数据、编造引用。如果你不记录每一步的输入输出，事后根本无法复现幻觉是怎么产生的。

我最终落地的方案是 Langfuse + ClickHouse，跑在 AWS 上。分工很清楚：

回到开头那个退款 Agent 的故事。如果当时有这套东西，我能在 Langfuse 面板上直接看到：那 47 次错误退款，Agent 在第三步"查询退款政策"时，从知识库检索到了一条过期文档（三个月前的促销临时政策），然后基于这条过期信息做出了退款决策。

20 分钟定位，而不是凌晨两点翻日志翻到早上六点。

部署比我想象的简单。

整个过程不到半小时。当然，如果你的 Agent 架构比较复杂（多 Agent 编排、自定义工具链），可能需要多花点时间配置 Span 的父子关系。但核心链路半小时内一定能跑通。

我知道你在想什么——"我已经有 Datadog 了"或者"LangSmith 不也能做吗"。

LangSmith 是 LangChain 官方的追踪工具，如果你全栈都用 LangChain，它确实开箱即用。但三个硬伤：

AI Agent 已经在替你的业务做决策了。退款、客服、代码审查、文档生成——每天成千上万次。

你可以选择继续当黑箱运营，等下一次凌晨两点被叫醒。

也可以花半小时，把 Agent 的每一步推理变得透明。