ARTICLE · 1105318
这段AI客服回复,你敢直接发给客户吗?
“
客服承诺每一句“已经处理”,都应该有证据。
147AI
有一类 AI 回复,特别容易让人放松警惕。
不是那种一眼就胡说八道的,而是语气很稳,句子很顺,还顺手替你把下一步安排好了。
「当然可以,退款已经为你提交,预计 3 个工作日到账。」
看起来像不像一个训练有素的客服?
但这句话其实一次说了三件事,客户符合退款条件,退款动作已经提交,到账时间也已经确定。
只要其中一件没有证据,它就不只是礼貌回复,而是一项未经确认的承诺。

这也是我觉得 这个问题值得单独拿出来聊的原因。昨天我们说的是,AI 为什么会说得很肯定却答错,遇到回答要查来源、对条件、找遗漏。
到了客服场景,事情会再往前一步。
客户不是来参加阅读理解考试的。客户会按照这句话去退货、等退款、安排出行,或者把截图转给同事和朋友。回复一旦发出去,文字就开始影响现实动作了。
📌 本文看点
01
一句承诺的三项核验
02
回复发送前的四道关
03
保留判断条件再训练
DRAFT FIRST
先把回复留在内部
147AI
我最近在 X 上看到一个客服系统演示的转述,里面有个细节比「用了几个机器人」更值得看。

这个系统没有让机器人写完一句话就直接冲进客户对话框。它先读取工单,把准备发送的内容写成内部备注,接着核对政策和信息,最后才发给客户。
同一场演示里,一笔退款在 Stripe 里执行,另一笔因为不符合政策而拒绝。资料里没有答案时,机器人不猜,而是降低置信度,把问题交给人工。
但这个流程很适合拿来问自己一个问题,客服 AI 到底什么时候才有资格替公司说话?
FOUR CHECKS
一条回复,要过四层核验
147AI
很多团队检查 AI 客服,第一眼看的是语气。
是不是足够礼貌,像不像真人,句子够不够短,有没有把客户哄住。
这些当然有用。没有人喜欢一个冷冰冰、答非所问的客服。
可语气只是最上面那层。真正容易出事的,是语气下面藏着的三个动作。
客户问能不能退款,AI 先判断的是资格。订单有没有超过期限,商品是不是特殊品类,购买地区和套餐是否适用,这些条件缺一个,都不能凭感觉补上。
接着它要判断动作。退款是已经提交,还是只生成了一个待处理工单?工单有没有成功写入系统?有没有因为权限不足而停在草稿状态?「我已经为你处理」和「我已经为你提交人工申请」,听起来只差几个字,背后的状态完全不是一回事。
最后才是结果。三个工作日到账,是系统真实返回的预计时间,还是模型根据常见话术顺手编出来的?如果支付渠道、银行和订单状态都没有确认,客服就没有资格把时间说死。
所以,一条可以发给客户的回复,至少要过四层。
第一层是内部草稿。这句话要不要先给同事看?它是不是还在试探阶段?如果一段回复涉及退款、补偿、价格、合同、权限或交付时间,我更愿意把它当成草稿,而不是成品。
第二层是政策判断。客户的具体订单和当前规则是否匹配?不要只给模型一段「退款政策」就以为事情结束了。政策里常常还有购买日期、地区、产品版本、用户等级和例外条款。
第三层是系统动作。回复中写着「已退款」,系统里就应该找得到对应记录;写着「已升级」,工单就应该真的到了对应队列。没有动作记录,文字再像客服,也只是文字。
第四层才是客户回复。它要把已经确认的事实说清楚,也要把尚未确认的部分留出来。客户不需要看到内部 SOP,也不需要知道模型用了哪条提示词,但他需要知道下一步是什么、谁会处理、目前还缺什么信息。
这几层少一层,风险就会往客户身上转移。

RULES
规则要写到条件和动作
147AI

Intercom 的 Fin 官方帮助文档里有一个很实用的区分,沟通风格、补充上下文、转人工和复杂流程,不是同一个开关。
如果客户问退款,但没有说明购买日期,规则可以要求先追问日期。如果客户提到账单错误或多扣款,可以按配置转交人工。但对于必须精确执行的多步骤退款流程,文档建议使用专门的 Procedures,而不是只靠一段泛泛的 Guidance。
这点很关键。
「请专业、耐心、准确地服务客户」听着正确,却很难直接执行。真正能工作的规则往往长这样,客户询问退款且没有提供购买日期时,先询问购买日期;如果订单状态无法确认,不要承诺退款已经完成;如果客户符合某项人工处理条件,转交账单团队。
规则越接近具体条件和具体动作,越容易被检查,也越容易发现冲突。
文档还特别提醒过,规则之间可能互相打架。一条规则允许客服为某类账单问题提供补偿,另一条规则却要求所有账单错误立即转人工。两条话单独看都像合理建议,放在一起,客服就不知道该做什么。
这也是为什么我不太相信「把提示词再写得温柔一点」就能解决客服问题。
有时候问题不是模型不够聪明,而是公司自己没有把资格、权限和动作写清楚。模型只是把这团没有整理好的线,打了一个很像样的结。

VERIFY STATE
说处理了,还要查系统状态
147AI
还有一种更麻烦的情况,回复看着没有明显错误,但它并没有真的完成事情。

τ-bench 这项客服代理研究,测试的就不只是对话文字。研究让模型代理和模拟用户交互,并使用领域政策和 API 工具,最后把对话结束后的数据库状态与目标状态对照。
这相当于问,客服说「已经帮你改好了」之后,系统里的订单到底有没有改好。
论文里还用 pass^k 观察同一个任务重复多次时能不能持续成功。这个指标的想法很朴素,同一件事换一种说法再问几次,代理是不是每次都能按照规则走完,而不是偶尔碰巧成功一次。
我不打算拿论文里 2024 年的模型分数来代表今天的行业水平。那些数字对应特定任务和配置,不能直接外推。但它提醒了一个很容易被忽略的事实,客服的质量不只在于回答像不像人,还在于它能不能稳定地遵守规则,把动作做对。
回到实际工作里,我会把验收题拆成四类。
资料不够时,它会不会追问,而不是自作主张填上订单号、购买日期和套餐?
规则冲突时,它会不会停在冲突处,说明需要人工确认,而不是挑一条更顺的政策?
动作还没完成时,它会不会区分正在核对、已提交申请和已经完成?
超出权限时,它会不会把问题交给正确的人,而不是用一句「请耐心等待」把客户送回原地?
这些问题比「这句话读起来是否自然」更接近客服真正的质量。

HANDOFF
缺信息先问,超权限再转
147AI
当然,转人工也不是越多越好。
如果一个客服机器人遇到任何问题都说「我帮你联系人工」,客户会觉得它只是一个更慢的转接按钮,企业也失去了自动处理简单问题的价值。Intercom 的文档同样提醒,所有场景都主动提供转人工,可能降低自动解决率。
比较合理的做法,是把转人工和具体的证据缺口、权限缺口、风险等级绑在一起。普通的功能问答,可以直接回答;缺少关键字段,先问一个问题;涉及退款、补偿和合同的高风险动作,先核对或交人工;资料完全找不到时,明确告诉客户目前无法确认,并给出下一步。
这不是把 AI 变得胆小。
是把它从一个只负责生成句子的系统,变成一个知道自己当前处于什么状态的系统。
DISTILLATION
训练材料要留下判断条件
147AI
如果将来这些客服回复要拿去训练小模型,要求还会再提高。
训练材料不能只有一列「问题」和一列「标准答案」。还应该留下,为什么这个问题可以直接回答,为什么那个问题必须追问,哪条政策决定了拒绝,什么时候需要人工接管,系统动作完成后应该核对什么记录。
否则模型学到的很可能只是客服腔。
礼貌、完整、充满确定语气,却不知道确定从哪里来。
这正是客服蒸馏和普通问答蒸馏不太一样的地方。要蒸馏的不是一堆更像人的句子,而是一套在真实业务边界里做判断的顺序。

THE END
别急着替公司作承诺
147AI
所以,下一次你看到 AI 客服写出「当然可以」「已经处理」「预计三个工作日到账」,先别急着夸它会说话。
问三个问题就够了。
它依据的是哪条当前规则?
对应的系统动作真的发生了吗?
如果其中一项没有确认,它有没有把这件事说清楚?
客服 AI 最难学的,往往不是怎么说。
而是什么时候,别急着说。
资料说明
本文的 X 案例来自 @0xShoopy 对 GrokBot workshop 的公开转述,不是独立评测,也不是作者亲自测试。退款对话为演示场景,不对应真实客户事故。
参考资料包括 Intercom《Fin Guidance best practices》、Yao 等人的 τ-bench 论文、Anthropic《Building effective agents》以及 Moffatt v. Air Canada 案例分析。加拿大航空部分仅用于说明客服错误信息可能影响客户行动,不延伸为普遍法律结论。
我是 147AI
提供全球主流大模型 API 聚合服务
让 AI 开发更稳定、更简单、更可控
如果你觉得今天这篇有收获,欢迎点赞、转发、关注,我们下篇见
147AI