对话、工具型智能体与AI开发专项测试指南-01:通用的AI测试模型-需求如何测试

前言：

大家早上好！我是Liming！这是我们《对话、工具型智能体与AI开发专项测试指南》系列的第一篇。本文主要讲述AI测试思路应该如何会更好？以及几个测试纬度。如果有不同的观点欢迎评论区里留言，那我们开始吧～

测试模型输出，更多的是测试一个完整系统的过程：

用户输入---模型理解---规划推理---知识检索---工具调用或代码执行---状态管理---输出结果

AI测试的思路应该是什么样的呢？

1. AI系统的测试不应该是简单的测试“回答正确了，回答错误了”
2. 需要考虑：

   1. 理解错了但是执行正确；
   2. 工具选对了，但是参数写错了；
   3. 数据正确，但是推理过程存在异常；
   4. 推理正确，但是表述错误；
   5. 代码允许自身的安全风险；
   6. 多次轮询提问后，状态混乱；
   7. 正常输入下遇到攻击输入的越权操作；

以下是通用AI测试模型可以考虑测试的八个维度以及解释：

维度：任务正确性、事实准确性、推理合理性、指令遵循、稳定性、安全性、可靠性、可追溯性

维度解释如下：

1. 任务正确性：主要考虑是否能够完成用户真正要求的任务。需要明确识别用户意图；不编造不存在的意图；不会混淆意图并正确完成用户要求的任务；
2. 事实准确性：对于信息，时间，日期，数据，对象的处理正确性的校验；例如说“我想要知道明天的天气怎么样？”，模型应该明确基于当前对话日期去查询当前日期+1天的天气，并且对信息做处理，例如获取位置，来明确如上海明日天气的查询；还有些比较复杂的场景，例如“我想要去A地和B地旅游，我有5天假期时间，请你给我一个明确的旅游方案。”此处就对A地景区，B地景区之间是否混淆；
3. 推理合理性：主要测试结论是否有充分的一句，是否存在逻辑不连贯的情况。例如A基金最近很看好，最近换了基金经理，所以A基金涨是因为换了基金经理这样的情况；
4. 指令遵循：是否严格遵守格式、范围、限制和禁止内容；此处需要补充，指定部分的需求，可以也测试一下提示词的内容，部分情况下提示词本就互相矛盾也会导致输出结果变得不稳定；
5. 稳定性：主要测试同类输入、多次运行是否会出现比较严重的波动，这块我认为主要是在比如测试环境测的好好的，上了生产，一样的情况，变得不稳定甚至出现了从来没有遇到的异常输出情况；
6. 安全性：主要测试是否泄露信息，执行危险操作这类安全性测试，和以往安全测试类似，只是要基于测试对象是模型的角度来测试；
7. 可靠性：与以往测试类似，测试超时、重试、并发、异常处理是否可靠；
8. 可追溯性：这个主要测试是否能够定位到输入、模型的版本、工具调用，以及一些中间时刻的结果，日志等；

一些与以往测试不同点的分析：

传统测试一般需要考虑输出结果是否严格满足测试的预期结果，更像是一个唯一确定的值；大模型的验证更多是来验证输出是否满足一组约束。验证是否满足指定的必要信息、是否没有凭空捏造、是否满足一些严格要求、是否没有输出禁止内容、是否安全可靠。

1. 必须要满足的：
2. 1. 正确识别用户的意图
   3. 回答用户提出的问题（连续）
   5. 不编造未提供的信息（如模型并不知道你的生日，询问生日，应该如实回答）
   7. 不调用外部工具
   9. ……
3. 允许变化：
4. 1. 措辞
   2. 内容的输出前后顺序
   4. 宽松约束的部分
   6. ……
5. 禁止出现的：
6. 1. 虚构的数据
   3. 隐私数据
   5. 执行不允许执行的操作
   7. ……
   11. 以上就是本期的内容，下期将更新《智能报告类型需求-01:定义“报告质量”和“海量数据如何测试”》，让我们下期再见！
   15. 一些小小的解释提要：
   17. 《智能报告类型需求》主要是海量数据检索处理后涉及数据的计算，还有基于数据生成的报告文字描述这类内容。
       你可以了解到：数据计算，数据准确性，推理，文本输出这类ai测试指南。
       另外我也是基于金融类报告分析的，你也可以掌握到金融类需求如何测试。
       关注在：数据、计算、事实、结论、报告
       《对话、工具型智能体与AI开发专项测试指南》主要涉及对话类ai怎么测试，ai调用工具怎么测试，ai生成代码怎么测试。
       关注在：理解、规划、工具、参数、权限、执行
       每周三早上八点更新《智能报告类型需求》
       每周五早上八点更新《对话、工具型智能体与AI开发专项测试指南》