声明：本文基于ISO/IEC 42001:2023标准框架及公开资料整理。具体条款请以ISO官方正式发布文本为准。

质量与文明 · ISO 42001 系列 · 第④篇

AI风险评估与控制——ISO 42001 落地第三步

AI不是没有风险——只是风险长得不一样

前两篇讲了：ISO 42001 是什么、怎么策划AI管理体系。

今天这篇，讲最核心、也最容易翻车的一环：AI风险评估与控制。

一、为什么AI风险"长的不一样"？

传统风险管理（ISO 31000）评估的是：

但AI风险有三个"不一样"：

正因为这三点，ISO 42001 要求：AI风险必须单独评估，不能混在传统风险管理里。

二、ISO 42001 风险评估四步法

按ISO 42001 Clause 6.1 的要求，AI风险评估分四步：

第一步：识别AI风险场景

不是泛泛地问"AI有什么风险"，而是按具体应用场景逐一识别：• 这个AI系统是做什么的？（客服/质检/风控/自动驾驶）• 它用的是什么数据？（个人隐私/商业机密/公开数据）• 它出错会造成什么后果？（经济损失/人身伤害/声誉损害）

第二步：评估风险等级

ISO 42001 推荐从两个维度评估：• 可能性：这个风险发生的概率有多高？• 严重程度：一旦发生，后果有多严重？两相结合，得出高/中/低三个风险等级。

第三步：确定风险接受准则

哪些风险可以接受？哪些必须处理？例如：客服聊天机器人答错→低风险，可接受；自动驾驶AI误判红灯→高风险，必须处理。

第四步：记录并持续监控

AI风险不是"评一次就完事"。ISO 42001 要求：至少每年重新评估一次，或当AI系统发生重大变更时立即重新评估。

三、AI风险分类（ISO 42001 框架）

按ISO 42001 的附录指引，AI风险可以分为四大类：

① 算法偏见与歧视

训练数据本身带有偏见→AI学会并放大这种偏见。典型案例：招聘AI对女性求职者打分更低（Amazon曾因此废弃招聘AI系统）。

② 数据隐私泄露

AI系统在训练或推理过程中，可能"记住"训练数据中的敏感信息，并在输出时泄露。对策：差分隐私（Differential Privacy）、数据脱敏、联邦学习。

③ 幻觉（Hallucination）

大语言模型（LLM）会"一本正经地胡说八道"——生成完全错误但看起来很可信的内容。对策：人工审核环节（Human-in-the-loop）、输出验证规则、RAG（检索增强生成）。

④ 误捕与错误决策

AI视觉检测系统把合格品判为不合格（误捕），或把不合格品判为合格（漏捕）。这是制造业AI应用最常见的风险场景。对策：人机协同判定、持续监控误捕率、设定合理的置信度阈值。

四、AI风险控制三大措施

ISO 42001 强调：风险控制不是单一措施，而是技术+流程+人员三层防御。

第一层：技术措施

• 输入验证：对输入数据进行格式检查、范围检查、异常检测• 输出验证：对AI输出设置合理性检查规则• 模型监控：实时监控模型性能漂移（Data Drift / Concept Drift）• 可解释性工具：SHAP/LIME等，让AI决策"可解释"

第二层：流程措施

• 人工审核节点：关键决策必须有人工确认环节• 变更管理：AI模型更新必须先评估风险，再上线• 事故响应流程：AI出错后，怎么止损、怎么复盘、怎么改进

第三层：人员措施

• AI素养培训：让使用AI的员工理解AI的能力和局限• 职责分离：AI开发人员不能兼任AI审核人员• 问责机制：AI决策出错，谁负责？必须提前明确

五、误捕案例深度剖析

案例背景：

某汽车零部件工厂，用AI视觉检测系统检查零件表面缺陷。系统训练数据来自3号生产线，准确率99.2%。

问题发生：

把同一套AI系统部署到1号生产线（不同光照条件、不同相机角度），误捕率飙升至23%——大量合格品被误判为不合格。

根因分析：

整改措施（对照ISO 42001）：

✅ 技术层：补充1号/2号线的训练数据，重新训练模型；部署前在所有产线做交叉验证

✅ 流程层：AI判"不合格"→进入"待人工复核"队列，由质量工程师确认后再报废

✅ 监控层：每天统计各产线AI误捕率，超过5%自动触发预警

六、与ISO 31000的区别

很多质量工程师问："我们已经有ISO 31000风险管理体系了，为什么还要按ISO 42001单独做AI风险评估？"

答案：ISO 31000是通用框架，不覆盖AI特有的风险类型。

实践建议：在企业里，把AI风险评估作为ISO 31000风险管理体系的一个专项附录，而不是另起炉灶。