夜雨聆风PM的角色变了
以往的业务流程是：业务提需求，产品出方案、画图、评审，重点实现交给研发。
但在AI需求里，推进评审之前，很多事情要有明确结论：prompt 是什么？准确率能到多少？怎么验证效果？这些问题都需要在研发投入之前搞定。
PM的定位和边界在哪，得先想清楚。
图 1 / PM 角色变化对比
一、把"什么叫违规"界定清楚
怎么定义一个违规项、怎么定义触发了某个问题类型，是最耗费人力的一步。
以往靠人工"人肉"判断，虽然有规则框架，但实际靠的是业务人员的手感。现在要让AI来判断，第一件事就是把这个定义界定清楚。
这件事产品不太好直接做——我们再怎么贴近业务，也不是实际判责的人。所以规则定义由业务方出，但如何让业务方理解这件事并给出标准、清晰的规则，考验的是产品的基本功，需要多轮协作沟通才能达成。
拿着和业务确定好的规则，去用大模型调试，产出prompt，跑数。
二、数据集从哪来
数据集考验公司的基建能力。很多公司想搞AI，但AI的效果离不开训练和测试。如果获取数据的环节耗时，整个效果验证的节奏就被拖慢。
我们用获取到的沟通材料，拿第一版prompt去调试，看当前数据是否违规。
过程中，人的"手感"是重要的决策依据。比如这条数据AI判定错误，但人觉得是对的，我们需要看这类差异的占比。差异大，说明这版提示词不对。然后根据这些错误案例调整prompt里的规则和判断逻辑，继续迭代，直到这版数据集的人工结果和AI结果近乎一致。
人工判断分两层：第一层是产品自己判断，靠常识和对规则的理解；第二层是给业务方打标。最终决定AI评估质量好坏的是业务方，需要和他们的标注结果做对比。
三、三轮数据集，层层迭代
第一轮是"青铜数据集"，几十条数据，验证最基本的能力——AI能不能识别出最明显的违规？能不能把该通过的通过？这个小集上跑通了，才会往上走一步。
青铜没问题之后，继续扩展测试数据集，进入第二轮"白银数据集"，几百条数据，换一批新材料，用同样的prompt再跑一轮——相当于给AI换了一套试卷，看它对不那么典型、不那么明显的case处理得了不。同样让业务打标，用"人工和AI标注一致的数量÷种子数据集总量"来看准确率。这里要注意，不能只看整体一致率，还得按问题类型拆开看——有些类型准确率很高，有些类型可能一直在误判，整体数字看着没问题，具体到某个类型却不过关。
第三轮是"黄金数据集"，数据量再扩大，到这一步prompt已经非常精确。用这版prompt跑第三轮数据，同样让业务人工打标，验证在更大范围、更接近真实场景的数据上，准确率还能不能稳住。
三轮种子数据集迭代的目的，是拿到一版最佳prompt。每一轮过不过，不是数据自动告诉你的，是看完结果之后做的判断——这一版可以进下一步了，或者这一版还得再调。没有问题之后，才推进下一步——工程化落地。
图 2 / 三轮数据集迭代：青铜 → 白银 → 黄金
四、从模型侧到工程化
前面可以理解为模型侧的工作，现在要落地成线上工程，让这套规则应用到更多质检场景中去。
上线后，检验线上AI准确率和测试环境的准确度，看是否有合理偏差。不能说测试时91%，上线掉到50%，那中间某个环节一定有问题。
线上准确率怎么算？这涉及产品功能的设计规则。但这只是第一步。
五、线上人工校准
AI判定为错误时，人工需要进入复核，确认AI判的是不是真的错。因为在这个场景里，"错"意味着要扣罚业务，所以必须有人审核。
AI做执行，真正拥有权责、为这块业务担责的是人工。严重误判不能全推到AI身上——决策需要人来拍板。
线上这套复核流程，本身也是一个很好的打标注的池子，而且源源不断在更新。
六、准确率一定会下降
上线之后，准确率预期一定会降低。因为当被扣罚方发现某些表述有问题时，会想方设法避开、绕开规则。久而久之，成功率下降，准确率随之下降。
所以需要同步迭代prompt，和被质检材料保持共同进步的节奏，达到动态平衡。线上人工复核的结果就是最好的数据标注反馈——AI通过识别哪些case判错了，反过来优化自己的提示词。这就是"越用越聪明"的进化循环。
图 3 / 线上进化循环
图 4 / 准确率下降与迭代曲线：锯齿状的动态平衡
最后说一点感受
通过反复迭代和参与，我确实能感受到在AI浪潮下，产品和业务可做的事情非常多。但也容易让人陷入一种虚假的繁荣忙碌状态。
这种时候更应该清楚：最终指标是什么，要拿到的效果是什么。而不是"哇塞好厉害，可以干这个干那个"。
结果和目标要有更清晰的标准和更深层的解剖，这才是更考验产品能力的地方。
