乐于分享
好东西不私藏

AI技能审查与冻结模式: 真正的MVP不是审出来的,是跑出来的

AI技能审查与冻结模式: 真正的MVP不是审出来的,是跑出来的

AI 协作实战 · 方法论分享

过去我一度以为,只要我不断切换产品、架构、测试的角色,反复去审,总能把一个技能优化到无懈可击。

但事实狠狠打了我的脸——之前一个没有审核问题的技能,今天审核的时候又写了一堆问题。什么情况?

真相只有一个:AI 技能是不存在"审查视角下的完美状态"的。

为什么会这样?

审查本质上也是一种"生成行为"

因为审查本质上也是一种"生成行为"

面对同一段自然语言,只要你换一个角色、换一个时间、换一种语境去问,大模型总能根据新的上下文"生"出新的改进点。

审查发现率,永远不会归零。

⚠️ 核心警示

千万不要再把"审查不出问题"当作检验标准。

那身份切换审查还有意义吗?

有,但必须重新定位它的价值

有,但必须重新定位它的价值。身份切换审查的唯一用途,是"上线前把关"

它的目标不是打造一个完美的技能文本,而是确保技能在交给执行环境之前,那些真正会导致错误的关键问题已经被处理掉了。

审完这轮,就可以尽快进入实战验证阶段,而不是继续停留在审查里打转。

怎么判断审查给出的问题该不该修?

ABC 分类法,一条硬杠杠

为了防止在审查时陷入无休止的扯皮,我划了一条硬杠杠——

只看这个问题是否会导致最终执行产出错误。

所有审查发现的问题,不做任何预先筛选,逐条走以下判定链(C 类天然兜底,无效建议最终都会落进 C 类被忽略):

1A 类 — 必须修

会导致确切错误产出的硬性错误。必须处理。

2B 类 — 酌情修

可能会引起 AI 理解歧义,但未必会实际出错的软伤。修复成本低就顺手修,成本高就先记录,留给实战去验证。

3C 类 — 一律不修

纯表述风格、排版美化、锦上添花的建议。改和不改,最终产出的结果一样,直接无视。

🎫 分类铁律:没有证据就降级

A 类的门票是"触发案例":必须写明输入什么、走到哪一步、会产出什么错误结果。写不出,降入 B 类。

B 类的门票是"两种解读及其产出差异":必须写明两种合理解读分别是什么、各自会产出什么不同结果。写不出,直接归 C。

只要给不出对应的证据,不管原报告标得再严重(高/中/低一概不采信),都按缺票降级处理。

送你一个"AI 判定专家"提示词

直接复制粘贴,即刻可用

上面说的文字逻辑,已经落地成可以直接复制粘贴发给 AI 的自动化判定提示词。把上一轮审查出来的问题清单贴上去,让它一次性帮你做完 A/B/C 归类:

📋 直接复制以下内容 ↓

你是一名技能文档(SKILL.md)审查结果判定专家

你的职责是【判定】,不是【审查】:只对下方给出的已有问题清单逐条分类,禁止自行发现新问题、禁止扩充问题清单。

前置处理:若问题清单本身无编号,请按顺序自动编号(P1、P2、P3…)后再进行判定。

对每条问题,按以下顺序执行判定:

【A 类判定】

不修改此内容,能否构造出一个具体输入案例,导致最终产出确凿错误?(如:编译失败、SQL报错、写错文件、数据错误、该中止未中止)

✅ 能 → 判为【A 类-必须修】,必须完整写出触发案例:输入是什么、走到哪一步、产出什么错误。❌ 写不出完整触发案例 → 进入 B 类判定。

【B 类判定】

此内容是否存在两种合理解读,且不同解读会导致最终产出不同?

✅ 是 → 判为【B 类-酌情修】,必须列出:两种解读分别是什么、各自产出什么不同结果,并给出建议修复方案(一句话即可)。❌ 列不出两种解读及其产出差异 → 归入 C 类。

【C 类判定】

纯表述优化、措辞润色、排版美化、补充背景、"建议更严谨"类。判为【C 类-一律不修】

判定铁律:

• 不采信原审查报告标注的严重度(高/中/低),只按上述判定链重判。

• 触发案例是 A 类的唯一门票:写不出"输入→步骤→错误结果"完整链条的,一律不得判 A。

• 两种解读及产出差异是 B 类的唯一门票:写不出的一律归 C。

• 拿不准时向下降级(A拿不准判B,B拿不准判C),宁可漏修,交给实战验证兜底。

输出格式(必须严格遵守):

编号 | 原问题摘要 | 判定 | 触发案例/解读差异(A/B必填,C填"无") | 建议方案(仅B类填写)

整体结论(必须回答):

• A 类问题数量:X 个(为 0 则写"无")

• B 类问题数量:X 个,其中建议顺手修 X 个、建议记录待实战验证 X 个

• 是否建议结束审查、进入实战验证:是 / 否(若否,说明卡在哪条 A 类)

待判定的问题清单如下:[在此粘贴你上一轮审查报告的问题列表]

切换身份审查走几轮合适?

标准 2 轮、上限 3 轮

既然明确了只是"上线前把关",审查轮次定为标准 2 轮、上限 3 轮,且必须明确切换身份。

4第 1 轮:完整四角色快筛

技能初稿完成后,让 AI 切换成产品、架构、开发、测试四个角色,各审视一遍。目标明确:只抓 A 类和低成本的 B 类,C 类直接跳过。

5第 2 轮:收敛性验证

不再是铺开找新问题,只做一件事:

验证第一轮修复有没有引入新问题?技能的核心硬约束(比如中止条件、强制输出格式)是否均已落实。

当本轮剩余的全是 C 类时,审查结束。

6第 3 轮:仅当第 2 轮仍发现 A 类时追加

修复后的最终验证。这是轮次上限,用完必须停。

💥 停手警告

如果第 3 轮还在发现 A 类问题,说明病根已不在措辞上,而是技能底层的流程结构设计出了毛病(分支太复杂、职责不清)。继续在文字上修修补补只会引发"震荡"——改了这里又坏了那里。唯一正确的解法是立刻停手,直接去重构技能底层逻辑,而不是在提示词上死磕。

什么样的结果算是真的可以了?

从"审查视角"切换到"执行视角"

敲黑板:审查通过,绝不等于验收通过。

我把"可以了"的标准,彻底从"审查视角"切换到了"执行视角"。必须同时满足以下三个条件:

7真实执行通过率达标

不再靠肉眼去审,而是找 3-5 个真实的、差异化的业务场景,让技能完整跑完整个流程。注意:跑通 ≠ 跑对——必须做到全程自动化跑通,且产出结果无需人工纠正,才算真正合格。流程不报错但生成内容是错的,同样不过关。

8修复不再引发"震荡"

如果在第二轮修复时,发现自己在推翻第一轮的决定,或者在方案之间来回拉扯打补丁,这就是边际收益归零的强烈信号。立刻停手。

9结构性硬约束已就位

可靠性不能靠"文字措辞有多优美"来保证,必须靠强制性的格式约束(比如输出必须包含"模块"、"路径"字段)。只要这些硬性骨架在,散文字句有点瑕疵也不影响结果。

从今天起,拥抱"冻结模式"

审查驱动 → 缺陷驱动

当上述三个条件全部满足,技能正式进入"冻结模式"

🧊 冻结模式的核心法则

技能的完美,不是审不出问题,而是连续真实执行不出问题。

从此以后,技能的维护从"审查驱动"切换为"缺陷驱动"

① 审查的唯一作用,是上线前清掉 A/B 类风险的一次性动作。

② 只有真实执行失败 + 找到了可复现的案例,才能触发"解冻"去修复。

③ 解冻修复后,必须回归跑一遍当初验收用的黄金案例(防止这次修复悄悄破坏已验证的能力),全部通过后重新冻结。

④ 其余时间,坚决保持冻结。

审查是手段,实战才是答案。与其在无休止的"再改改"里消耗热情,不如让它跑到真实场景里,用结果说话。

真正的 MVP,不是审出来的,是跑出来的。

共勉 

— END —