ARTICLE · 1153212
AI的“考卷”:Benchmark是什么?
当你用AI助手写邮件、查资料、做表格时，可能遇到过这种情况：
它上一秒还聪明得惊人，下一秒就犯低级错误。你问它“今天天气怎么样”，它回答“今天适合吃火锅”；你让它提取合同里的金额，它给你编了一个不存在的数字。
更让人抓狂的是，你改了一句提示词，它在某个场景下变聪明了，却在另一个原本正常的场景里突然变傻了。你感觉自己不是在“开发产品”，而是在“打地鼠”——刚按下一个Bug，另一个Bug又冒出来。
为什么会这样？因为大模型是一个“概率黑盒”。它的输出不是确定性的，同一个问题，可能这次答对，下次答错。如果没有一套系统的方法去衡量它的表现，你就只能靠感觉去调，今天觉得它行了，明天又翻车。
这套系统的方法，就是Benchmark（评测集）。
一、什么是Benchmark？
简单说，Benchmark就是给AI出的标准化考卷。
它是一组预先定义好的测试用例，每个用例包含：
输入：用户可能会说的话（或任务）。
预期行为：AI应该给出什么样的回答，或者执行什么样的操作。
边界与防错：在特殊情况下，AI绝对不能做什么。
比如，一个客服AI的Benchmark可能包含：
输入：“我要退货。” → 预期：引导用户提供订单号，不能直接承诺退款。
输入：“你们的产品太烂了！” → 预期：先安抚情绪，再询问具体问题，不能反驳用户。
输入：“你们老板叫什么？” → 预期：拒绝回答，不能泄露隐私。
这套考卷的目的不是考倒AI，而是把主观的“感觉它还行”变成客观的“它通过了多少条测试”。
二、为什么没有Benchmark，产品就做不下去？
AI产品开发和传统软件开发有本质区别。
传统软件：输入A，返回B。逻辑是确定的。代码写好，测试通过，上线就完事。
AI产品：输入A，可能返回B、C、D、E，甚至返回一段乱码。你需要不断调整提示词（Prompt）、更换模型、接入外部数据（RAG），来让它的输出更稳定。
这个调整过程，如果没有Benchmark，就是打地鼠式开发。
你改了一句提示词，它在某个场景下变聪明了，但在另一个场景下可能反而变傻了。你永远不知道自己是前进了还是倒退了，只能凭感觉。
而有了Benchmark，你每次修改后，就把考卷跑一遍。通过率提高了，说明这次修改有效；通过率下降了，说明引入了新问题。
Benchmark就是产品迭代的北极星。它告诉你，及格线在哪里，现在的水平离及格线还有多远。
三、一个合格的Benchmark应该包含什么？
好的Benchmark不是随便写几条测试题，它需要覆盖多个维度。
1. 正常场景
最常见、最标准的用户输入。这是基础题，必须全部通过。
2. 边界场景
用户输入不完整、有错别字、或者说了很奇怪的指令。比如，用户只说“帮我记一下”，但没说记什么。AI应该反问，而不是瞎猜。
3. 防幻觉场景
AI最容易犯的错误就是“自信地胡说八道”。Benchmark必须包含一些“陷阱题”，测试AI是否会编造不存在的信息。比如，问它“公司去年的财报里，净利润增长率是多少？”如果它不知道，应该承认不知道，而不是编一个数字。
4. 防重复/防连坐场景
在多轮对话里，AI很容易犯两种错误：一是重复执行同一个操作（比如同一条记录被写入多次），二是“连坐”（因为A出了问题，就把B也跳过了）。Benchmark必须设计专门用例来防止这类逻辑漏洞。
5. 情感与语气场景
对于心理支持、客服等产品，AI的语气至关重要。用户表达负面情绪时，AI不能机械回复，也不能过度共情。这些场景需要写进Benchmark，反复测试。
四、Benchmark的常见类型
根据产品的不同，Benchmark的侧重点也不同。
1. 准确性测试
主要用于问答、翻译、摘要等任务。衡量AI回答的准确率、召回率等。
2. 工具调用测试
主要用于AI Agent。测试AI是否正确调用了外部接口，传参是否正确，是否处理了异常情况。
3. 安全测试
测试AI是否会输出有害内容、泄露隐私、越权操作。
4. 一致性测试
测试AI在多次交互中，是否保持同样的逻辑。比如，今天问它“什么是好咖啡”，明天问同一个问题，它的回答不应该自相矛盾。
五、怎么从零开始建Benchmark？
第一步：收集真实用例
从用户的实际对话中，提取那些让你抓狂的、翻车的、表现好的场景。每一条都值得变成一道考题。
第二步：写清楚预期行为
不要写“回答要友好”，要写“回答必须包含‘我理解你的感受’，且不能超过两句话”。越具体越好。
第三步：分类和分级
把用例分成“核心必过”和“边缘加分”。核心用例必须100%通过，边缘用例做到90%即可。
第四步：自动化跑分
成熟的团队会写脚本，自动把考题发给AI，自动对比预期结果。但对于个人开发者，手动跑一遍也有效。关键是每次修改后都跑，养成习惯。
第五步：持续更新
每当AI犯了一个新错误，就把它变成一道新考题。你的Benchmark会越来越厚，产品的稳定性也会越来越高。
六、Benchmark不只是测试，更是一种思维方式
在AI时代，产品经理和研发的核心工作正在发生变化。
过去，核心工作是写代码、画原型。
现在，核心工作是调Prompt、换模型、加RAG、建Benchmark。
Benchmark让你从“猜测AI行不行”变成“知道AI在哪些方面行，在哪些方面不行”。它把玄学变成了工程。
不要怕AI犯错。怕的是，你连它错在哪里、为什么错、下次还会不会错，都不知道。
给你的AI出一张考卷，把每一次翻车都变成考题，把每一次进步都变成通过率。当你能用一份Benchmark稳定地“考”过它时，它才算真正从实验室走向了你的产品。
长按二维码识别关注
往期回顾
