软件测试遇到会办事的 AI：结果对了，过程

查订单的 AI 最后把单号答对了，测试报告也绿了。可它没调只读接口，反而绕去抓网页、碰了不该碰的数据。

结果对，不等于过程干净。 对智能体来说，工具选错、参数越界都算失败。只让查订单的客服，就不该碰到退款接口。这种越权，结果再对也不能上线。

OpenAI 的案例里，评分 Agent 按 54 条细则逐项判分。每次失败都得附原因和修正证据，再补进测试集。他们做了 500 次评分，跟人类一致率是 88.6%。听着挺高，可这意味着每百次就有十几次得靠人工校准。

所以验收别只看总分。我直接甩你一张六维证据表：任务完成、答案质量、工具调用、流程遵守、执行轨迹、非功能代价，全得收齐。其中越权访问、数据外泄、不可逆副作用，这三样直接一票否决。

跑分时还得固定数据集、提示词和模型版本。高价值用例至少连跑三次，看通过率和波动。不然今天 80 分明天 76 分，你根本不知道是谁变了。