AI Agent · 单位 U44：多模型路由评测 · 成本-质量权衡（评测+审计进阶）

本段主题：评测与审计进阶（多模型路由评测、成本-质量权衡）。含路由离线评测、单位质量成本与帕累托前沿、级联 early-exit 评测、路由置信校准、预算约束质量最大化、在线路由 A/B 与分层标准化、缓存与边际成本、级联成功概率、预算影子价格、回测算力分配迁移。 合规声明：不含具体交易信号、投资建议、内幕信息；成本-质量方法用于工程优化，不用于规避合规。

题目编号：TRACK-03-U44-Q01

• 题型：笔试 ｜ 考点：多模型路由评测 / 路由离线评测 / 路由质量与成本
• 题干：一个路由器把请求分给强模型（质量 0.95、成本 10）或弱模型（质量 0.80、成本 1）。评测 1000 条，路由后 30% 给强模型。简化假设"路由选定模型后质量即该模型质量"。(a) 求整体质量；(b) 求平均成本；(c) 与"全用强模型"对比成本与质量。
• 假设与边界：路由比例 30% 已知；每条请求质量=被选模型的组内正确率；成本线性可加。边界：比例 0 或 1 时退化为单模型；质量/成本需同口径（同单位）。
• 解析：
• (a) 整体质量 = 0.3×0.95 + 0.7×0.80 = 0.285 + 0.56 = 0.845。
• (b) 平均成本 = 0.3×10 + 0.7×1 = 3 + 0.7 = 3.7。
• (c) 全用强模型：质量 0.95、成本 10。路由相较全强：成本降 (10−3.7)/10 = 63%，质量降 0.95−0.845 = 0.105（10.5pp）。
• 参考答案：(a) 0.845；(b) 3.7；(c) 路由省 63% 成本、质量降 10.5pp。
• 验算/自检：0.285+0.56=0.845 ✅；3+0.7=3.7 ✅；成本节省率 6.3/10=0.63 ✅。边界复算：30%→100% 时质量 0.95/成本 10；30%→0% 时质量 0.80/成本 1。
• 常见错误：质量沿用了"最优先验"而非加权；成本漏乘比例；把 30% 当"强模型失败比例"。
• 评分要点：加权质量与成本；与全强对比；边界退化。
• 追问/变形/还能这样考：若强模型只在路由置信度高时使用，如何评估"错路由"代价（把该弱模型答错的题分给弱模型）？质量与成本不同口径如何统一（归一化）？

题目编号：TRACK-03-U44-Q02

• 题型：笔试 ｜ 考点：成本-质量权衡 / 单位质量成本与帕累托 / 帕累托前沿与选择
• 题干：三候选方案（质量, 成本）：M1=(0.80, 1)、M2=(0.90, 4)、M3=(0.95, 10)。(a) 求各方案"质量/成本"与相邻方案的"边际成本换取的质量增益"；(b) 判定质量—成本帕累托前沿；(c) 给预算敏感场景的选择建议。
• 假设与边界：质量越高越好、成本越低越好；单模型方案；不考虑混合。边界：若某方案成本更高但质量更低→被支配剔除。
• 解析：
• (a) 质量/成本：M1=0.80/1=0.800；M2=0.90/4=0.225；M3=0.95/10=0.095。边际：M1→M2 增质量 0.10/增成本 3=0.0333/单位成本；M2→M3 增 0.05/增 6=0.00833/单位成本。
• (b) 三者成本递增、质量递增，互不支配（更高质需更高成本）→ 全部落在帕累托前沿。
• (c) 预算敏感 → 选 M1（性价比最高）；质量优先 → M3；平衡 → M2。
• 参考答案：(a) 0.800/0.225/0.095；边际 0.0333、0.00833；(b) 三点均在前沿；(c) 预算敏感选 M1。
• 验算/自检：0.80/1=0.80 ✅；(0.90−0.80)/(4−1)=0.10/3=0.0333 ✅；(0.95−0.90)/(10−4)=0.05/6=0.00833 ✅；单调性检验（成本↑则质量↑）成立 ✅。边界复算：若额外出现 M4=(0.85, 5)，则它被 M2=(0.90, 4) 双向支配（质量更低、成本更高），应剔除，前沿仍为 M1/M2/M3；注意只有"成本高且质量低"才被支配，单纯"成本更高"（如 M3）仍在前沿。
• 常见错误：只看质量/成本比而忽略绝对质量；把混合的线性插值当实际可达点；把"边际增益递减"误解为"应选最高质"。
• 评分要点：性价比数值；边际增益；前沿判定；场景化建议。
• 追问/变形/还能这样考：若允许按比例混合 M2/M3，前沿如何变化（连线可能优于纯单模型）？如何把"边际增益递减"用于设置预算上限？成本含延迟/风险时如何扩展为多维帕累托？

题目编号：TRACK-03-U44-Q03

• 题型：笔试 ｜ 考点：多模型路由评测 / 级联 early-exit 评测 / 阈值与成本曲线
• 题干：级联策略：先用弱模型（成本 c1=1）。弱模型"低置信"占比 r=0.4 的样本升级到强模型（额外成本 c2=8，故升级样本总成本 c1+c2=9；对于高置信样本弱模型正确率 0.95；升级样本强模型正确率 0.95）。(a) 求整体正确率；(b) 求平均成本；(c) 与"全用强模型（成本 8、正确率 0.95）"对比，并说明 r 的阈值含义。
• 假设与边界：置信划分先于升级决定；升级样本必付弱模型成本（级联特性）；各样本独立。边界：r=0→仅用弱模型；r=1→全部升级。
• 解析：
• (a) 整体正确率 = 高置信(1−r)×0.95 + 升级(r)×0.95 = 0.6×0.95 + 0.4×0.95 = 0.95。
• (b) 平均成本 = 高置信(0.6)×c1 + 升级(0.4)×(c1+c2) = 0.6×1 + 0.4×9 = 0.6 + 3.6 = 4.2。
• (c) 全强：成本 8、正确率 0.95。级联成本 4.2（省 (8−4.2)/8 = 47.5%）、正确率相同 0.95 → 更优。r 由"置信阈值"控制：提高阈值→r 增→成本升、可能正确率升。
• 参考答案：(a) 0.95；(b) 4.2；(c) 级联省 47.5% 成本且正确率持平；r 是关键旋钮。
• 验算/自检：0.6×0.95+0.4×0.95=0.95 ✅；0.6+3.6=4.2 ✅；节省率 3.8/8=0.475 ✅。边界复算：r=0→成本 1、正确率 0.95；r=1→成本 9、正确率 0.95。
• 常见错误：忘记升级样本还付弱模型成本（把它算成 8 而非 9）；把 r 当正确率；把高置信正确率与整体率混同。
• 评分要点：加权正确率；成本含两段（含弱模型）；与全强对比；阈值含义与边界。
• 追问/变形/还能这样考：若高置信正确率 0.90 < 强模型 0.95，求使级联正确率不低于全强的 r 阈值？如何画出"成本-正确率"曲线随 r 变化？级联的失败模式（弱模型误判为高置信）如何监控？

题目编号：TRACK-03-U44-Q04

• 题型：面试 ｜ 考点：多模型路由评测 / 路由置信校准 / 校准曲线与修复
• 题干：路由器用"弱模型置信度"决定是否升级，但置信度可能未校准（过度自信）。请说明如何评估与修复，给指标与失败模式。
• 假设与边界：无唯一答案，考察思路；有留出集可拟合校准；置信度为模型自报或分类器分数。
• 解析：
• 评估：可靠性图（置信度分箱 vs 实际正确率）、ECE（期望校准误差，Σ|acc−conf|×权重）、Brier 分数；看偏差方向。
• 修复：温度缩放、Platt 标定、等渗回归（在留出集拟合）；监控线上校准漂移。
• 失败模式：过度自信→错答不升级；欠自信→成本升高；分布漂移致校准失效；阈值在不同子群表现不同。
• 权衡：校准需额外留出数据；全局校准可能牺牲子群校准。
• 参考答案：要点=可靠性图/ECE/Brier 评估 + 温度缩放/Platt/等渗修复 + 漂移监控；对关键子群单独校准。
• 验算/自检：给 ECE 计算示例（分箱后 Σ|acc−conf|×n_i/n）；抽一个子群验证校准后再看升级比例与成本。
• 常见错误：只看 accuracy 不看校准；用训练集拟合校准（应用独立留出集）；忽略子群校准差异。
• 评分要点：校准指标；修复方法；失败模式；子群与漂移。
• 追问/变形/还能这样考：ECE 的缺陷（分箱敏感、不反映排序）如何缓解（自适应分箱/KS-cal）？校准与路由阈值如何联合优化（保正确率前提下降成本）？

题目编号：TRACK-03-U44-Q05

• 题型：面试 ｜ 考点：成本-质量权衡 / 预算约束质量最大化 / 分配方案
• 题干：有 5 类请求，每类数量与两种模型的（质量, 成本）已知，总预算固定。请设计"在预算下最大化整体质量"的分配算法（含整数/贪心/线性规划），给复杂度与最优性讨论。
• 假设与边界：无唯一答案，考察思路；每类选一个模型（离散）；质量可加权求和（线性）；预算为硬约束。
• 解析：
• 建模：每类选模型 → 离散选择/背包型整数规划（一般 NP-hard）。
• 若模型少：可用 LP 松弛 + 取整，或拉格朗日松弛——给定 λ（预算影子价格），每类选 q−λc 最大的模型；调 λ 使成本恰好用满预算。
• 贪心：按"每单位成本质量增益"排序逐步分配（近似，保证未必全局最优）。
• 复杂度：LP 多项式；整数背包伪多项式 O(nB)；贪心 O(n log n)。
• 参考答案：要点=整数规划建模 + 拉格朗日/贪心 + 复杂度；用 λ 搜索使成本=预算；报告近似性。
• 验算/自检：给 2 类小例验证贪心=最优或给出反例；检查预算约束与质量单调性。
• 常见错误：忽略离散性做连续松弛后不取整；不做 λ 搜索；只用贪心却声称最优。
• 评分要点：建模；算法（含 λ）；复杂度；最优性/近似性。
• 追问/变形/还能这样考：质量非加性（请求间交互）如何处理（分组/局部搜索）？预算可分期（在线上动态调整）如何做在线分配？如何将延迟作为第二约束（多维背包）？

题目编号：TRACK-03-U44-Q06

• 题型：面试 ｜ 考点：多模型路由评测 / 在线路由 A/B 与分层标准化 / 标准化指标
• 题干：上线新路由策略，用在线 A/B 评估。请说明如何分层、选指标、并处理"路由改变了流量构成"带来的辛普森悖论风险。
• 假设与边界：无唯一答案，考察思路；新策略会改变强弱模型的混合比例；请求难度可分层。
• 解析：
• 分层：按请求难度/类型/用户分桶随机化，保证组间可比。
• 指标：整体质量 + 分层质量 + 成本 + 延迟 + 护栏；成本必须一并看。
• 辛普森风险：新策略可能改变构成比例，导致整体指标被构成变化而非策略质量驱动。对策：报告分层结果 + 用基线构成对指标做"标准化/重加权"（direct standardization）。
• 增强：CUPED/协变量调整降方差；分桶一致性与序贯监控。
• 参考答案：要点=分层随机化 + 多维指标 + 分层与固定构成标准化 + 方差异质性检查；结论须在"固定构成"下复核。
• 验算/自检：给一个构成重加权计算示例（用基线权重对分层率加权得标准化率），验证与原始整体率的差异并解释来源。
• 常见错误：只看总体指标；不查构成变化；把"更多强模型"导致的质量上升当作策略改进。
• 评分要点：分层；指标；辛普森识别与标准化；调整方法。
• 追问/变形/还能这样考：如何检验"质量提升"是否只是"更多强模型"造成（分层 + 固定构成标准化）？构成变化本身若是产品策略意图，指标该如何定义？与 U42-Q03 分布加权的异同？

题目编号：TRACK-03-U44-Q07

• 题型：面试 ｜ 考点：成本-质量权衡 / 缓存复用与边际成本 / 成本模型
• 题干：Agent 大量重复请求可缓存（精确 + 语义缓存）。请设计缓存策略并建立成本模型，说明命中率对成本的影响与失效风险。
• 假设与边界：无唯一答案，考察思路；有确定性请求与高风险请求；数据/模型会更新。
• 解析：
• 缓存层级：精确 key（输入哈希）、语义缓存（嵌入近邻，需相似度阈值）、工具结果缓存（TTL/版本键）。
• 成本模型：有效成本 = 单次成本×(1−h) + 缓存维护成本，h=命中率。
• 失效风险：数据更新、模型换版 → 需版本键/TTL；语义缓存误命中 → 相似但不同答案 → 错误。
• 权衡：高 h 省成本但增误答；需监控误命中率。
• 参考答案：要点=分层缓存 + 版本键/TTL 失效 + 离线校验 + 成本模型；对高风险请求不缓存或强校验。
• 验算/自检：给示例——h=0.4、单次成本 100 → 有效成本≈100×0.6=60（省 40%）；再用版本键失效验证换版后旧缓存不被命中。
• 常见错误：无版本键导致陈旧缓存；语义阈值过松致误命中；缓存高副作用/高风险结果。
• 评分要点：分层缓存；成本模型；误命中控制；失效机制。
• 追问/变形/还能这样考：语义缓存如何避免"高风险请求被错误复用"（只缓存低风险/确定性结果）？命中率与准确率的权衡如何量化？缓存与级联如何协同降本？

题目编号：TRACK-03-U44-Q08

• 题型：逻辑概率 ｜ 考点：多模型路由评测 / 级联成功概率 / 端到端成功率
• 题干：级联：低置信占比 r=0.4 的样本升级到强模型。设弱模型在"高置信子集"成功率 p1h=0.85，强模型对"升级子集"成功率 p2=0.90，各样本独立。求整体成功率；若 p1h 提升到 0.90（其余不变），整体变化多少？
• 假设与边界：p1h、p2 为条件成功率；各样本独立；r 固定。边界：r=0→整体=p1h；r=1→整体=p2。
• 解析：
• 整体成功率 = (1−r)·p1h + r·p2 = 0.6×0.85 + 0.4×0.90 = 0.51 + 0.36 = 0.87。
• p1h 提到 0.90：整体 = 0.6×0.90 + 0.4×0.90 = 0.54 + 0.36 = 0.90，提升 0.03（3pp）。
• 参考答案：原整体 0.87；p1h→0.90 后整体 0.90，提升 3pp。
• 验算/自检：0.6×0.85+0.4×0.90=0.51+0.36=0.87 ✅；0.6×0.90+0.4×0.90=0.54+0.36=0.90 ✅。边界复算：r=0→p1h=0.85；r=1→p2=0.90。
• 常见错误：用弱模型总成功率（含低置信）直接乘；忽略 r；把 p1h 与 p2 混用。
• 评分要点：条件成功率加权；两次数值；边界退化。
• 追问/变形/还能这样考：若 r 同时下降（更多进入高置信），整体如何变（取决于 p1h vs p2 大小）？若弱模型误判"该升级却高置信"（漏升级率），如何修正公式？

题目编号：TRACK-03-U44-Q09

• 题型：逻辑概率 ｜ 考点：成本-质量权衡 / 预算影子价格 / λ 阈值
• 题干：两模型：弱 (q1=0.8, c1=1)、强 (q2=0.95, c2=9)。对每个请求可选其一。目标 max Σq − λΣc（λ 为预算影子价格）。求"选强模型当且仅当 λ 小于某值"的分界点，并说明 λ 与预算的对偶关系。
• 假设与边界：单请求独立比较；q、c 为常数；λ≥0。边界：λ=0→只看质量选强；λ→∞→只看成本选弱。
• 解析：
• 选强优于弱：q2−λc2 > q1−λc1 → (q2−q1) > λ(c2−c1) → 0.15 > λ×8 → λ < 0.01875。
• 即 λ<0.01875 选强，否则选弱。
• 对偶：λ 是预算的影子价格——预算越紧，λ 越大，越多请求选弱模型。
• 参考答案：分界 λ*=0.01875；λ<λ* 选强、λ>λ* 选弱；λ 随预算收紧而升高。
• 验算/自检：λ=0.01875 时两模型效用相等：0.8−0.01875×1=0.78125；0.95−0.01875×9=0.95−0.16875=0.78125 ✅。边界复算：λ=0→0.95>0.8 选强；λ=0.1→0.95−0.9=0.05<0.8−0.1=0.7 选弱。
• 常见错误：比较质量/成本比而非 λ 分界；忽略 λ 来自预算约束（端到端需搜索 λ 使成本=预算）；把 λ 当固定常数。
• 评分要点：分界点数值；效用相等验证；对偶含义；边界。
• 追问/变形/还能这样考：多模型时如何按 λ 阈值排序（凸包/下包络）？预算约束下如何二分搜索 λ 使成本用满？λ 与延迟约束如何联合定价？

题目编号：TRACK-03-U44-Q10

• 题型：扩展延伸 ｜ 考点：扩展延伸 / 跨赛道（路由×回测算力分配） / 资源分配交付物
• 题干：把"多模型路由的成本-质量权衡"迁移到"量化回测/实盘的计算资源分配"（跨 TRACK-04/05）。请给角色、约束、交付物，并说明可迁移的权衡框架。
• 假设与边界：无唯一答案，考察思路；回测算力有限；策略复杂度与收益非线性；需防前视与过拟合。
• 解析：
• 迁移映射：模型↔策略/因子复杂度；质量↔回测质量（样本外夏普/稳健性）；成本↔算力/延迟/交易成本。
• 框架：帕累托前沿、边际收益递减、预算约束下的 λ 定价、级联（先粗筛后精算）。
• 约束：回测有时序不可逆、前视风险；路由/资源调度需 point-in-time。
• 交付物：资源分配策略、成本模型、淘汰规则、不确定性与过拟合校正。
• 参考答案：要点=迁移映射 + 帕累托/边际/λ/级联框架 + 约束（前视/时序）+ 交付物；强调"精细回测更可信但慢，需与上线节奏平衡"。
• 验算/自检：给一个"粗筛→精算"的计算节省示例（如 1000 个候选先粗筛到 100 个再精算，计算量≈1000×t_粗 + 100×t_精，对比全精算 1000×t_精）。
• 常见错误：把回测当可无限重跑；忽略"回测做太多"带来的多重检验/过拟合成本；不做前视控制。
• 评分要点：迁移映射；权衡框架；约束；交付物。
• 追问/变形/还能这样考：为什么"回测做得多"不等于"更好"（多重检验 + 过拟合，收益递减甚至转负）？粗筛的假阴（淘汰了好策略）如何评估？资源分配如何与 U45 上线门禁衔接？