AI 产品评测方法论（Eval）

Eval 可以理解成“针对 LLM 应用的数据分析”：查看真实行为，在必要的地方建立指标，然后通过实验持续改善 #AI产品

#Eval 的本质不是“考试”，而是建立反馈信号。

传统开发：
发现 Bug
→ 修代码
→ Unit Test

AI 产品更像：
发现模型行为不符合预期
→ 理解为什么失败
→ 把这个失败定义清楚
→ 建立 Eval
→ 改 Prompt / Context / Tool
→ 检查失败率有没有下降

Eval ≠ Benchmark。

#Benchmark 更多是在问：GPT-5 和 Claude 谁数学更强？

而产品 Eval 问的是：
我的 AI 产品，在我的用户、我的数据、我的业务规则下，表现好不好？
这是非常关键的区别。

Eval 的核心逻辑：

Trace
真实发生了什么
↓
Open Coding
我发现什么不对
↓
Axial Coding
这些错误可以归成哪几类
↓
Failure Mode
最重要的问题到底是什么
↓
Evaluator
以后能不能自动发现它