AI 越强，越要想清楚谁说了算——Jev Cookbook 第三章“架构模式”学习笔记

老黄我又来了。

最近啃 Datawhale 的 Jev Cookbook，学到第三章“架构模式”，最大的感受是：AI 再聪明，也得有人给它立规矩。

这一章不讲怎么把提示词写得花哨，只讲一件事——模型的判断结果，怎么变成程序里真正能用的动作。学完这一章，我脑子里只剩一句话：让代码掌控制权，模型只负责它擅长的那部分判断。

下面把我学到的、踩过的、想明白的，原原本本讲给你听。

01 先搞清楚一个问题：AI 回答“是什么”，代码决定“怎么办”

这一章的主角叫 System One——可以理解成 AI 的“系统 1”。它和 ChatGPT 那种大模型一样懂自然语言，但它不写回复、不生成代码、不给推理过程，只干一件事：针对你问的问题，返回一个类型化的判断和概率。

它有三种“原语”，学起来不难：

• Choice（选择题）：这些选项里，是哪一个？返回选项 + 概率分布 + 置信度。
• Score（打分题）：落在量表的哪一级？返回期望分 + 置信度。
• Noul（是非题）：这是不是真的？直接返回 0 到 1 的“是”的概率。

怎么理解这一章？一句话：模型提供语义信号，代码负责权限、规则、顺序和副作用。判断结果怎么进程序、进了程序之后干什么，全由代码说了算。

02 四种架构模式，一个一个说清楚

这一章真正的主角是四种架构模式。我用大白话给你拆开：

① 推测性扇出：一次多问，按需取用

以前我写程序，逻辑是“先问类别，再按需追问”——一来一回，慢。推测性扇出反着来：把可能用到的问题一次性全部问出去，代码再挑当下分支需要的答案用，用不上的直接忽略。

Notebook 里有个实测：同样 5 个问题，一次批量调用 0.31 秒、623 tokens；拆成 5 次逐条调用要 1.77 秒、1939 tokens。逐条是批量的 5.6 倍耗时、3.1 倍 token。官方数据更夸张：13 个问题合成一次调用，比拆成 13 次便宜 12.2 倍、快 10 倍。

核心就一句：问题的全集由请求确定，答案的子集由代码按需取用。多问几个问题几乎免费，忽略一个答案没有任何成本。

② 置信度门控：阈值跟着风险走

答案告诉你“是什么”，置信度告诉你“要不要行动”。这一章最值钱的一个认知：阈值跟着操作的风险走，而不是一个全局数字。

Notebook 里的语音银行例子：查余额是低风险操作，置信度 0.6 就够直接执行；批准转账是高风险的，置信度不到 0.85 就要请用户确认；置信度低于 0.6，无论什么意图都转人工。

同一个 0.7 的置信度，对“播报余额”足够行动，对“转出钱”就必须再确认。记住这句，比背十遍阈值表都值。

③ 复合评分：拆成维度打分，权重留给代码

以前想让 AI 筛简历，我会直接让它“给这个人打个综合分”——结果用人标准全埋在提示词里，换个岗位就得重写。复合评分不这么干：先把“Python 功底”“团队管理”“系统设计”“泛用性”拆成四个独立维度分别打分，再用代码里的权重组合。

Notebook 用同一个批评分测了两套权重：按“资深 IC”岗位权重排，张伟第一；换成“工程经理”权重，李强第一。评分没变，只是权重变了，排名就反转。

换岗位 = 换一组权重，评分结果可以复用，不用重新调用模型。权重是业务政策，不是模型事实——这句话我抄在本子上了。

④ 意图路由：便宜的处理器先上

不是每个请求都值得用最贵的处理器。意图路由在处理器前面放一个快速廉价的分类器，把消息按意图分派：查订单这种固定流程走确定性代码（几乎零成本）；产品咨询、退货走带领域上下文的专家 LLM；复杂投诉、模型不确定的，直接转人工（最贵但最可靠）。

Notebook 里两条消息最有意思：一条愤怒投诉消息因为复杂度接近“需升级”，被抬到人工；一条乱码“。。。”因为意图置信度只有 0.2 左右，被低置信度门控兜底到人工。分类器可以便宜，但代价错配必须被拦住。

03 记住一句话：选择最大概率，不等于选择最优动作

这一章还有个反直觉的点，值得单独拎出来：模型给出概率分布后，直接选最大概率的类别，不一定是最优策略。因为不同错误的代价不一样。

书里的玩具例子：模型判断“有紧急问题”的概率只有 0.20。自动关闭这个动作，在问题真紧急时损失 100、不紧急时损失 0，期望损失是 20；转人工审核无论怎样都记 4。尽管“非紧急”是最大概率类别，最小期望损失的动作却是转人工。

所以真正设计系统时，要把拒绝、澄清、人工审核都当成可选动作，用验证数据和真实业务成本定阈值，而不是把 0.7 当成通用常数。

04 以后设计 AI 应用，我照着这四条检查

这一章最后给了四条“设计检查”，我把它们当成自己的验收清单：

• 固定规则锁进代码：权限、金额限制、安全联锁这些，写死在代码里，不靠模型记忆。模型会漂移，代码不会。
• 留好拒绝和升级路径：遇到无证据、低置信、超出选项范围的结果，要有拒绝或人工升级的出口，别硬猜。
• 先定义再加权：多维分数先定单位、尺度和权重来源；权重是业务政策，不是模型事实。
• 动作留痕：对自动动作记录输入版本、判断结果、使用的规则和动作结果，出了问题才好复盘。

05 想亲手跑一遍？我给你指条路

光看总结不够，建议把 Notebook 跑一遍。四个实验按顺序做：

1. 1. 推测性扇出：同一张工单打包 5 个问题，再和逐条调用对照，记录总往返、问题数、输入量、延迟和未使用答案。
2. 2. 置信度门控：对 4 条语音指令应用 0.6 / 0.85 双阈值，看看模型“自己承认不确定”是什么样。
3. 3. 复合评分：给 3 份简历打 4 个维度分，再用两套岗位权重排序，亲眼看排名反转。
4. 4. 意图路由：把 5 类消息分派给处理器，特别留意低置信度和未知意图的兜底路径。

环境要求不高：Python 3.10 以上，装 typesafe-sdk，去 console.typesafe.ai 拿一个 API Key 就能跑。跑完你会比看十篇解读都明白。

学这一章，我最大的收获不是会背四种模式，而是想明白了一件事：AI 负责判断，但判断之后怎么行动，必须由代码说了算。这就像开车——AI 是导航，方向盘始终握在代码手里。

AI 时代，会提问只是入门，会设计边界才是本事。这一章，值得你花一个晚上慢慢啃。