夜雨聆风说句实话，写内容审核的 PRD 比写智能客服难多了。智能客服你只要定义清楚"什么答、什么不答、答不了怎么办"这三件事，大致方向就对了。但内容审核不一样——你定义"什么能发、什么不能发"的时候，面对的是一整个光谱：从"明显违规"到"有点风险"到"完全没事"，中间那条线怎么画，全看你的 PRD 写得有多细。
我之前带过一个内容审核的上线项目，信心满满地写了份 PRD，核心策略就一句话：“模型检测到违规内容直接拦截。” 结果上线第一天，用户上传的商品图因为包含"蓝色液体瓶装物"被模型判定为"易燃易爆品"——那是人家卖的进口沐浴露。运营部电话被打爆，客服群里骂声一片，我坐在工位上感觉整个公司的用户都在对我竖中指。
出了问题复盘，发现我犯的错跟大部分 AI 功能 PRD 一样：只写了"做什么"，没写"做到什么程度算对"、“做错了怎么办”、“边界在哪儿”。说白了，AI 功能的 PRD 不是在描述功能逻辑，而是在定义决策的尺度和容错机制。
所以我花了一段时间沉淀了一套专门针对内容审核功能的 PRD 模板。这篇文章就把我在每个模块踩的坑、试错的经验，以及最后沉淀下来的框架，全倒出来。
一、背景与目标——先算一笔账，再画一条线
跟智能客服 PRD 一样，背景部分别写"为保障平台内容安全，营造绿色网络环境"这种话。研发和业务方要看的是一笔账。我后来都是直接拍数据，比如这样：
当前平台日均用户上传内容约 50 万条，其中纯文本约 20 万条、图片约 30 万张。现有审核机制为"关键词命中 + 人工全量复审"，审核团队 15 人，日均审核上限约 5000 条/人，实际产能难以覆盖全量。当前漏放率约 3-5%，主要漏放集中在无关键词命中的变体内容。
上线 AI 审核系统后，目标：
机器自动处理（直接通过 + 直接拦截）覆盖 80% 以上内容量 机器审核准确率 ≥ 98%（拦截的内容确实违规） 机器审核召回率 ≥ 85%（违规内容中被机器拦住的比例） 人工复审量降至每日 ≤ 2 万条（从全量降到只审疑似待定的那部分）
有人可能会说，这些指标是技术指标，不应该产品经理来定义。我的经验是恰恰相反——准确率和召回率之间的取舍，本质上是一个商业决策。准确率高了漏放少了，但误伤多了，用户骂你；召回率高了误伤少了，但漏放风险大了，合规找你。PM 不拍板谁拍？当然也要说清楚：这些指标是 V1.0 基线，不是终态。随着业务发展和数据积累，指标会动态调整，PRD 里留一个"半年后重新评估"的备注。
二、用户与场景——受影响的不是一个人，是三拨人
内容审核这个功能，跟智能客服最大的区别是：受益者和被限制者是不同的人。你写 PRD 的时候得把三拨人的屁股都坐一遍。
场景一：审核员视角。 每天打开后台，5000 条待审内容排着队。真正的违规内容和正常内容混在一起，看得眼花。如果 AI 把大部分明显的都处理掉了，剩下送到她面前的都是"灰色地带"内容，那她工作效率反而高——因为注意力集中了。但如果 AI 把正常内容也大量标记为"疑似"推过来，那她就要先处理假警报，再去找真违规。这是在 PRD 里要设计好的，不是简单一句"AI 先审，人工兜底"就能交代的。
场景二：正常用户视角。 我发了一张旅行风景照，被系统提示"内容疑似违规，已限制展示"，我第一反应是懵逼，第二反应是骂平台。误伤的体验比漏放的伤害更大——因为漏放用户不知道，误伤用户是第一时间知道的。所以 PRD 里必须定义清楚"误伤后的申诉流程"以及"至少多少条投诉触发人工核查"。
场景三：钻空子的用户视角。 总有用户会想方设法绕过审核。“代购"写成"dai gou”、“发票"打成"fp”。PRD 里不能假装这些不存在，你得考虑变体识别和对抗性策略的迭代机制。
三、功能范围——先砍到骨头，再决定加什么
AI 内容审核的需求范围太容易扩散了。你知道市面上有多少种内容需要审吗？文本、图片、视频、音频、直播流、小程序链接……你要是把这些全写进 V1.0，明年这时候还在开发。
我的策略是写一份"做/不做"清单，而且写得特别细：
V1.0 必须做：
文本审核（单条文本 + 评论，支持中文，长度 ≤ 500 字） 图片审核（静态图片，JPG/PNG/WebP，≤ 5MB） 三级处置机制：自动通过 / 疑似待审 / 自动拦截 人工复审工作台：待审队列、历史记录、操作日志 申诉入口 + 自动召回重审
V1.0 明确不做：
视频审核（含短视频、直播流） 音频审核（语音转文字后再审） 多语种（仅支持中文，V1.0 不承诺英文/其他语种能力） 实时审核（仅支持异步审核，上传后 2 秒内返回结果） 对抗性变体自动识别（V1.0 仅支持基础关键词 + 模型打分，变体等 V2.0 数据积累后再做）
这个"不做"列表在评审会上起了大作用。业务方想让我加上视频审核，我说"第一版先验证文本和图片的策略准确性，视频内容复杂度比图片高一个量级，现在上等于让没学会走路的婴儿跑马拉松。视频审核放 V1.5。"
不过也要承认一个局限：有些场景确实是边界案例，比如"一个长微博包含图片也有文字"这种混排内容，V1.0 的做法是文本和图片分两条管线分别审，不做跨模态联合分析。这个取舍会让一些需要结合图文上下文的违规（比如文本说"这个好"但图片里是违规内容）被漏掉。PRD 里写清楚，不在 V1.0 承诺这个能力。
四、审核策略与规则引擎——这是内容审核 PRD 的心脏
这是最核心的模块，也是最容易写废的。如果你只写"采用 AI 模型对内容进行审核"，那跟没写一样。
我后来把审核策略拆成了三层，每一层都写清楚做什么、怎么判断、判断错了怎么办：
第一层：硬规则
关键词命中 + 正则匹配。这层跑得最快，覆盖率最窄。比如命中"发票代开"直接拦截，"色情"相关的高危词库。这层的优势是零误伤风险可控（因为规则是人写的，确定性强），劣势是容易被绕过。
边界说明：硬规则库要持续维护，我建议 PRD 里写清楚"规则更新由运营团队主导，产品审核，开发只负责部署"，否则会出现研发一边写代码一边还要想"这个算不算违规词"的尴尬情况。
第二层：模型打分
文本经过分类模型打分（违规概率 0-1），图片经过视觉模型打分。这层覆盖面最广，但决策不确定。所以我定义了一套置信度阈值体系，这也是整篇 PRD 里最重要的表格：
这里有一个容易忽略的点：文本和图片的阈值要不要一致？ 我的经验是不要。图片审核的不确定性比文本高得多，同一个阈值，文本审得刚刚好，图片可能会大量误伤。所以 PRD 里必须允许两个管线各自配置阈值。
第三层：组合策略
当文本和图片同时存在时（比如图文帖子），两条管线各自出分，取"最高违规信号"作为最终决策。比如文本得分 0.2（通过），图片得分 0.7（拦截），那最终就是拦截。
这个策略的问题是：如果图文各自单独看都没问题，但合在一起有问题呢？比如一条帖子配文是"看看我家猫"，图片却是违规的，这在 V1.0 里会漏掉。所以 PRD 要写明：V1.0 不做图文关联分析，跨模态联合走 V2.0。
五、数据与标注——别等模型训完了才想起数据
内容审核的模型好不好，90% 取决于训练数据质量。而数据问题恰恰是 PM 最容易甩锅给算法的——“你们自己弄训练集不就行了？” 不行，因为标注规范和正负样本比例是产品策略决定的。
我的 PRD 里专门有一节写数据需求：
初始数据集来源：
历史人工审核记录（过去 3 个月已标注的违规 / 正常内容） 运营整理的高危词库 + 变体列表 公开的开源审核数据集（如 COCO 安全过滤子集、中文违规文本库）
标注规范：
每条内容标注三个维度：是否违规、违规类型（色情/暴力/广告/欺诈/其他）、严重程度（高/中/低） 争议样本（两个标注人员结果不一致）标记为"不确定"，不作为训练数据，用作后续人工复审参考
正负样本比例：
初始训练集：违规样本约占 30%，正常样本约占 70% 对抗样本（正常内容但容易被误判为违规的边界案例）单独建一个验证集
不过这里要说一个现实问题：90% 的公司拿不到足够的高质量标注数据。历史审核记录往往存在标注不一致、漏标等质量问题。我的建议是 PRD 里写一个"先上关键词 + 规则引擎兜底，同步收集在线数据，3 个月后再上模型"的渐进方案。慢一点，但稳。
六、模型选型——不要追新，要追稳
内容审核场景跟聊天机器人不一样。审核错了是要出合规事故的，所以模型选型的优先级是：稳定性 > 召回率 > 延迟 > 成本。
PRD 里不需要写具体哪家模型的 API，但需要写清楚选型逻辑和评价维度：
- 文本审核
：采用基于 BERT 的微调分类模型（如 RoBERTa-wwm-ext），对中文违规文本有稳定表现。V1.0 不采用 LLM prompt 审核方案，因为延迟和成本不可控。 - 图片审核
：采用 CLIP 类多模态模型或专用安全过滤模型（如 NSFW detector），输出违规概率。 - 两个模型独立运行
，不互相依赖。即使图片模型挂了，文本审核还能继续跑。
选型理由得写在 PRD 里，不然评审会上的架构师会追问你"为什么不用 XXX 模型"，然后你来来回回解释半小时。
边界说明：LLM prompt 审核方案虽然灵活，但对于 V1.0 来说风险太高——你没法保证 GPT 每次的判断一致性。但可以作为一种"第二意见"用在边界案例上（比如模型得分在 0.4-0.6 这个灰色区间的内容，转 LLM 再判一次）。
七、异常与边界——所有你能想到的破事
这一节我跟第一篇 PRD 一样，开了个"破事清单"：
- 用户上传的内容超过模型支持的最大长度
：超过 500 字的文本，截取前 500 字 + 后 200 字分别审核，任意一段违规全量判定违规。 - 图片格式不被支持
：不支持 GIF（动图仅取第一帧）、不支持 > 5MB 图片（压缩后重试，再次失败则转人工）。 - 审核服务超时/不可用
：超时 3 秒未返回结果，走降级策略——默认标记为"疑似"（宁错拦不放过），待人工处理。 - 图片内容误伤高频品类
：医疗类内容（解剖图、X 光片）、文化类内容（艺术画作、雕塑）容易被误判为违规。建立白名单品类，降低这些品类的图片审核敏感度。 - 对抗性绕过
：用户使用同音字、拆字、拼音等方式绕过关键词。V1.0 只做基础变体（简繁转换、全角半角归一化），不做深度对抗检测。V2.0 根据数据再做。
还有一个容易漏的：用户对审核结果有异议怎么办？ 我加了申诉流程——用户提交人工复审申请后，系统自动把原始内容 + 审核日志 + 模型得分打包推给审核员，审核员二次判定。如果申诉通过，这个样本回注训练集，帮助模型改进。
八、验收标准——怎么证明它"够聪明"
AI 功能验收是最头疼的。你不能写"输入违规内容，系统拦截"——什么样的违规内容？拦截的标准是什么？
我的方案是建三个测试集：
测试集 A — 正样本（明确的违规内容）：1000 条，覆盖文本和图片。包含暴力、色情、广告、欺诈等各类型。验收要求：拦截率 ≥ 90%。
测试集 B — 负样本（明确的正常内容）：1000 条，覆盖正常用户生成内容。包含商品图、风景照、日常对话等。验收要求：误伤率 ≤ 2%。
测试集 C — 对抗样本（边界案例）：200 条，包含疑似违规但实际正常的内容 + 轻微变体的违规内容。验收要求：不要求全对，但需记录并标注"待优化"。
测试集由谁提供、何时冻结、更新频率，都要在 PRD 里定好。不同公司有不同分工，但"没人提供测试集"就是个大坑。
九、上线与监控——别一出场就全量
内容审核上线的风险比智能客服高得多。智能客服答错了，顶多被用户骂一句"智障客服"。审核审错了，可能是合规事故或者用户大规模投诉。
所以我建议上线分四步走，PRD 里必须写明：
第一阶段（第 1-2 周）：Shadow 模式 AI 审核全量跑，但只记日志不拦截。对比 AI 结果和人工审核结果，看偏差率。
第二阶段（第 3-4 周）：标记不拦截 AI 给每个内容打标签（通过/疑似/拦截），但在用户端什么都不做，只是把标签写入后台。人工抽检偏差。
第三阶段（第 5-6 周）：拦截高风险 + 中风险标记 只拦截置信度 > 0.9 的内容。中风险内容标记疑似，推入人工复审队列。低风险直接通过。
第四阶段（第 7-8 周）：全量开闸 目标阈值全部生效。但仍保留"一键回退"机制——如果上线后发现持续误伤某个品类，运维可以一键降级到第三阶段的策略。
监控指标方面，除了审核量和处置分布这些常规面板，我强推一个指标叫"误伤回滚率"——用户申诉后经人工验证确认为误伤的样本数 / 总审核数。这个指标超过 0.5% 就要触发告警和策略调整。
不过也要承认，这个四步走的方案有一个明显的局限：周期长。两个月才能全量开闸，对于一些需要快速上线应对监管的业务场景来说可能太慢了。如果遇到这种情况，可以压缩为两周 Shadow + 两周标记，但代价是风险更高。
总结：把模板推给你，自己填业务
第一篇 PRD 我写完的感受是"像经营一个新员工"，内容审核 PRD 更贴切的比喻是"像一个门卫培训手册"——他得知道哪些人一定不让进（硬规则）、哪些人看起来不对劲要请主管来判断（模型打分）、哪些人可以放行但留个记录（低风险通过）。不指望他第一天就万无一失，但至少有一套清晰的执行框架。
下面是我简化后的模板骨架，直接照着填：
《内容审核系统 V1.0 产品需求文档》模板骨架
1. 项目背景与目标
当前审核现状（量化） 上线核心指标（覆盖率、准确率、召回率、人工复审量） 版本范围与不做内容
2. 用户场景
审核员场景（效率 + 准确率） 正常用户场景（误伤体验 + 申诉流程） 钻空子用户场景（对抗策略基础）
3. 功能详情
审核流程架构图（上传 → 内容解析 → 双管线 → 规则引擎 → 三级处置） 置信度阈值与处置动作表（文本 / 图片独立配置） 人工复审工作台需求 申诉与召回机制 异常场景处理清单
4. 数据与标注需求
训练数据来源与规模 标注规范（违规类型 + 严重程度） 正负样本比例要求 冷启动方案
5. 模型选型策略
文本模型 / 图片模型选型逻辑 置信度阈值决策依据 降级与容灾方案
6. 评测与验收
三类测试集（正样本 / 负样本 / 对抗样本） 核心指标验收标准 争议样本处理机制
7. 上线与迭代
四阶段灰度策略 监控指标与告警阈值 误伤回滚率跟踪 V2.0 规划方向
写内容审核的 PRD 跟写普通功能 PRD 最大的区别在于：你是在定义一把尺子。这把尺子太松了，违规内容漏出去，合规找你；太紧了，正常用户全被误伤，运营找你。你只能在"刚刚好"和"知道不对时能快速调整"之间找平衡。
别指望第一版就是完美的，内容审核是一个持续对抗的过程——对抗变体、对抗新策略、对抗自己的模型退化。PRD 里留足迭代空间，比抠细节重要得多。
