AI只做判断题,代码做决定

我这几天跟着Datawhale啃Jev Cookbook第二章《核心概念》，啃完最大的感受就一句话：

这玩意儿不是让你把脑子交给AI，而是让AI帮你干那些"一秒就能判断"的杂活，真正拍板的还是你自己。

你想啊，以前用AI，我们总爱问它："帮我分析这条工单，给个最佳处理方案。"这种问题又大又虚，AI给你一堆漂亮话，你敢直接照做吗？

一、大问题拆成小问题

第二章教我的第一件事，就是把这种大问题拆成一个个小问题，拆到"懂行的人拿到上下文后一秒钟就能判断"的程度。

比如退款申请，拆成三问：

❓ 用户要求退款了吗？

❓ 有没有重复扣款？

❓ 政策支持退款吗？

三个问题一次调用并行问，每个都只报一个概率。然后呢？然后代码上场：交易记录对不对用代码核对，概率够不够用阈值判断，最后决定是自动退款还是转人工。

模型负责回答"是或不是"，代码负责做决定。

这就是第二章从头到尾在讲的一件事。

二、三个最容易踩的坑

这里头我最想跟你掰扯的，是三个容易踩的坑：

坑一：把confidence当成"答案正确的概率"

不是的。confidence只是概率分布形状的一个摘要。有一次工单最高概率0.54，但置信度只有0.38，因为第二名0.43咬得很紧——模型其实很没把握。你把0.54当结论用，就上当了。

坑二：一个阈值打天下

查余额这种低风险操作，自动阈值0.5就行；批准转账这种高风险操作，得提到0.9。阈值不是调出来的，是跟着风险走的。

坑三：指望AI一次解决所有问题

一次请求问多个独立小问题，几乎不增加成本（实测5问762 tokens），但问题之间一旦有依赖，就必须分两轮：先读答案，再造第二轮问题。

三、给模型看证据，不是给答案

再聊一个有意思的：state和questions要分开。

state是给模型看的证据（消息、订单、政策），questions是让模型评的题。

证据给得全，判断才准——

📄 只给一句客户留言 → 模型回"信息不足"

📄 把订单和政策都补上 → 给出0.91的把握说"应该支持退款"

但注意：给的是证据，不是"正确答案"。原始数据里要是带着expected_label这种标签字段，一定记得用白名单过滤掉，别把答案泄给模型。

四、三种问法，各有用武之地

第二章还教了三种问法，别搞混了：

🔹 Choice——"这些选项选哪个"

场景：工单分类（billing / orders / account）

🔹 Score——"落在量表哪一级"

场景：严重程度打分（可以精确到1.43这种小数）

🔹 Noul——"是还是不是"

场景：要不要退款、是不是机器人

选哪种？如果两种都合适，选答案能被代码直接用上的那种。

五、代码掌舵，模型当传感器

最后一册把这一切攒成一个完整客服系统：

代码定控制流，模型只在小判断点上回答，按置信度分流，覆盖路径逐条核对、如实报告。

8条期望路径实测观察到6条，缺的2条老老实实标出来，不拿离线数据糊弄。

这一章学完，我对"AI编程"这四个字有了新的理解：不是AI替你编程，而是你学会用AI的判断力，去补强你代码里的决策点。判断标准、风险阈值、兜底路径，全都攥在你自己手里。

时代这趟列车，方向盘还是你的。

想上车的，点个赞，让我看看有多少人。

我是超哥，一个48岁还在折腾的AI学习者