ARTICLE · 1255412
AI助手答错了怎么办?艾体宝TrueFoundry的AI质量管理实践
点击“蓝字”关注我们
【 全文共计 3186 字，预计阅读 8 分钟 】
重
点
速
览
一个售后知识助手上线了。模型调用正常，回答速度也能接受，但客服同事发现：它偶尔会把退货条件说错，甚至替公司承诺知识库里根本没有的服务。
技术团队查看监控，接口返回的是 HTTP 200，没有超时，也没有报错。问题已经影响业务，却没有体现在调用成功率里。
这正是企业评估 AI 应用时容易遇到的缺口：请求成功返回，只能说明一次调用完成了；这次回答能不能用，还需要另外判断。
本文结合艾体宝 TrueFoundry AI 网关与 Confident AI 评估平台的集成能力，从一个售后知识助手的例子出发，介绍怎样收集评估依据、定位错误，并把评估结果用于后续改进。
一、从一次答错的退货咨询说起
假设某企业的售后知识库规定：“商品签收后七天内，未拆封且符合品类要求的，可以申请无理由退货。”这里仅用一条假设的企业规则说明评估方法。
客户问：“商品已经拆封了，还能直接申请无理由退货吗？”
助手回答：“可以，七天内都支持无理由退货。”
这段回答没有乱码，语气自然，也确实在讨论退货。但它省略了“未拆封”和“符合品类要求”两个关键条件。如果客服直接转发给客户，后续就可能产生解释和处理成本。
面对这类问题，只看耗时和 Token 用量，无法判断错误发生在哪一步。至少要把三份材料放在一起：客户原问题、当时检索到的知识片段，以及助手的最终回答。
如果检索结果已经包含完整条件，排查重点应放在提示词和回答生成环节；如果检索只返回了“七天内可申请退货”，就需要检查文档切分、检索和上下文组装；如果返回的是旧版政策，还要追查知识库更新与版本管理。
这几种情况可能产生同一句错误回答，改进方法却完全不同。保留评估所需的证据，才能减少反复更换模型、修改提示词的盲目尝试。
二、把“回答不错”拆成可以检查的问题
评估指标的价值，在于把笼统的体验反馈变成具体的检查项。对于知识库问答，可以先从以下三个角度入手。
第一，回答是否切题
用户问的是“拆封后能否申请”，助手如果只介绍退货入口和物流流程，即使内容写得很完整，也没有正面回应问题。
这类检查通常称为回答相关性（Answer Relevancy）。它关注回答与问题的关系。切题的回答也可能包含错误，上面的“七天内都能退”就是一个例子。
第二，回答是否与检索依据一致
忠实度（Faithfulness）会将回答中的陈述与检索内容进行比较。在刚才的例子中，评估应关注助手是否改变了退货条件，是否增加了资料没有支持的承诺。
这类检查需要拿到检索上下文，衡量回答对所提供资料的忠实程度。资料的时效性和业务规则的准确性，则需要企业另外核实。模型完整复述旧政策，也可能给出不适用于当前业务的答案。
第三，回答是否满足本场景的处理要求
售后团队还可以给出自己的验收标准：缺少品类信息时先追问，存在例外时提示核实，无法判断时转交人工，让每种情况都有明确的处理要求。
这些标准需要业务人员参与制定。对于本来就需要补充信息的问题，合理追问可能比立即给出结论更符合预期。自动评分适合帮助筛选问题样本，具体错误仍需要结合业务规则复核。
三、艾体宝 TrueFoundry：连接模型调用与质量评估
当多个应用通过艾体宝 TrueFoundry AI 网关调用模型时，可以在网关侧集中收集调用记录，再对接 Confident AI，按配置的指标评估回答内容。我们建议将这两部分结合起来，让团队在分析耗时和用量的同时，也能查看回答质量。
双方通过 OpenTelemetry 对接。可以把它理解为一套通用的运行记录格式：一次请求的处理过程形成追踪记录，其中的模型调用等步骤分别带有输入、输出和耗时信息。
图 1：模型请求经过网关处理；追踪数据通过下方的异步通道发送至 Confident AI。蓝色为 TrueFoundry 组件，橙色为 Confident AI 组件。
接入时，在网关的 OTEL Config 中启用追踪导出，选择 HTTP 和 JSON，填入 Confident AI 的接收地址及项目密钥，再发送测试请求，确认记录能够到达。
这条集成链路采用异步评估：用户请求完成后，追踪记录导出，评估结果随后产生。应用先返回回答，评估在后台进行，用于持续发现问题、分析原因和支持后续改进。需要在回答发出前拦截内容的场景，应另外配置实时检查。
图 2：虚线上方是请求处理与回答返回，下方是异步导出和评估。评估结果随后附在追踪记录中。
记录到达以后，还需要在 Confident AI 中选择指标、配置评估任务和采样范围。这类线上追踪评估采用无需预写标准答案的指标，但仍需提供各指标要求的数据。例如，回答相关性需要问题和回答，忠实度还需要检索上下文。
在实施过程中，我们建议优先检查一项条件：评估数据应覆盖本次问题、回答，以及所选指标需要的业务依据。
检索内容即使已经拼接在提示词里，也需要检查它是否正确映射到评估所需的 retrieval_context 字段。文档版本、用户反馈，以及订单或工单最终是否处理成功，通常需要应用侧补充。要把应用与网关的步骤串成同一条追踪，还需正确传递追踪上下文。
四、先拿一个场景，把评估结果用起来
对于准备开展评估的团队，艾体宝建议先选择一个边界清楚、有人能判断对错的业务，例如售后政策问答。
第一步，请业务同事整理一小批代表性问题，覆盖正常咨询、缺少信息、规则例外和无法回答的情况。每道题注明必须说明的条件、允许的处理方式，以及不能作出的承诺，形成初始验收集。
第二步，检查数据是否齐全。除了问题与回答，还应关联当次实际使用的知识片段、文档版本、模型和提示词版本。先抽查几条完整记录，确认团队能够据此还原问题，再扩大采集范围。
第三步，选择少量指标开展评估。先观察相关性、忠实度与业务人工验收结果是否一致，并检查评分给出的理由。各业务的合格阈值应结合人工验收结果校准；涉及承诺、金额或重要条件的错误，应单独检查，避免被整体平均分掩盖。
第四步，把失败样本分配到具体的改进环节。可以用下面这张表作为复盘起点：
完成改进后，用同一批问题比较前后结果，并补充新发现的失败样本。再逐步对线上请求进行抽样，持续观察新问题。评估范围扩大时，也要计入评估模型调用、数据存储和人工复核的成本。
五、评估数据需要明确去向
回答质量分析通常需要读取问题和回答，有些指标还需要知识库片段。如果这些内容包含客户信息或内部资料，就要先决定哪些字段可以导出、是否需要脱敏，以及评估服务和底层评估模型部署在哪里。
艾体宝 TrueFoundry AI 网关的导出配置提供了 Exclude Request Data 选项，可控制是否导出请求和响应正文。开启排除后，需要根据剩余数据选择能够运行的评估指标，或通过其他获准的方式提供评估材料。
对企业来说，一个可以开始执行的动作，是选出近期最有代表性的几次错误回答，把原问题、检索依据和最终输出放到一起复盘。先明确什么算答对、什么情况应该追问，再逐步把这些检查接入持续评估。
通过艾体宝 TrueFoundry AI 网关统一模型调用和追踪入口，结合评估平台的分析能力及业务团队的验收标准，企业可以为每次模型、提示词和知识库调整积累可比较的依据。
如果你的团队正在建设知识库助手、智能客服或其他 AI 应用，欢迎与艾体宝交流具体场景，一起梳理模型接入、质量评估和数据管理的实施需求。
企业 AI 治理第二讲 | 模型与工具如何统一管起来？TrueFoundry AI 网关配置与实操
即将上线，欢迎预约
直播时间：
2026年10月29日（周四）15：00
“
TrueFoundry
TrueFoundry 是面向企业的生成式AI统一控制平面平台，依托AI网关整合多模型、MCP服务与智能体，通过统一接入、自动故障容灾、全链路可观测、安全防护与合规审计，化解企业AI系统碎片化难题，支持VPC及本地私有化部署，帮助企业管控AI成本与风险，让研发团队聚焦AI业务创新。
