夜雨聆风学习资料网

ARTICLE · 999714

人工智能管理体系:企业进入AI时代的“治理操作系统”

人工智能管理体系:企业进入AI时代的“治理操作系统”

随着大模型、Agent、AI数字员工快速进入企业,人工智能已经从单纯的效率工具,逐步进入企业决策、设计、生产、运营、客服、财务、采购、审核和管理流程。企业真正需要解决的问题,也正在从“要不要用AI”,转变为“如何安全、可信、合规、规模化地使用AI”。人工智能管理体系,正在成为企业AI转型的重要基础设施。

 一、什么是人工智能管理体系?
 1、从“使用AI”走向“治理AI”
 人工智能管理体系英文通常称AIMS(Artificial Intelligence Management System)。它不是一个AI软件,也不是简单建立几项管理制度,而是企业围绕人工智能的规划、开发、采购、部署、运行、监测、评价和持续改进,建立的一整套组织治理体系。
 简单理解,就是回答三个问题:
 ①企业哪些地方正在使用AI?
 ②这些AI可能带来什么风险?
 ③企业如何证明这些风险始终处于受控状态?
 目前国际上最核心的人工智能管理体系标准是ISO/IEC 42001:2023,我国已经等同采用形成GB/T 45081—2024《人工智能 管理体系》。

 二、为什么企业需要人工智能管理体系?
 1、AI已经从工具进入企业核心业务
 过去企业使用AI,主要关注三个问题:好不好用、能不能提高效率、成本高不高。但随着生成式AI、大模型和Agent进入企业,风险边界已经发生变化。
 企业开始面对越来越多的新问题:
 ①员工能不能把企业数据输入公共大模型?
 ②AI使用了哪些训练数据和知识库?
 ③AI产生错误结论,最终由谁负责?
 ④Agent能不能自主调用企业内部系统?
 ⑤哪些AI决策必须经过人工复核?
 ⑥模型升级后是否需要重新测试?
 ⑦第三方大模型发生安全问题怎么办?
 ⑧AI生成的设计、合同、报告和审核意见能不能直接采用?
 ⑨出现AI事故以后能不能追溯全过程?
 企业如果没有系统治理,这些问题最终都会转化为经营风险、合规风险和安全风险。

 2、企业不能只“买AI工具”
 未来企业真正需要形成的是:
 AI战略→AI治理→AI资产→AI风险→AI应用→AI测试→AI监督→持续改进。
 人工智能管理体系,本质上就是把这条链条制度化、流程化和数字化。

 三、ISO/IEC 42001到底管理什么?
 1、基本框架仍然是PDCA
 ISO/IEC 42001采用国际管理体系标准通用结构,核心要求集中在第4—10章。
 ①组织环境
 明确企业为什么使用AI、体系覆盖哪些业务、有哪些利益相关方要求。
 ②领导作用
 明确最高管理者责任、AI方针、治理架构以及岗位职责。
 ③策划
 识别AI风险与机会,制定AI目标,开展人工智能系统影响评估。
 ④支持
 配置人员、技术、资源、能力、培训、沟通和文件化信息。
 ⑤运行
 控制AI设计、开发、采购、部署、运行、变更和退出全过程。
 ⑥绩效评价
 开展监测、测量、内部审核和管理评审。
 ⑦改进
 处理不符合、纠正问题并持续优化管理体系。
 整个体系仍然遵循:
 策划Plan→实施Do→检查Check→改进Act。

 四、AI管理体系真正的核心是“控制措施”
 1、不是建立一个AI方针就结束
 ISO/IEC 42001附录A设置了一系列人工智能控制措施,涉及AI政策、组织职责、资源、影响评估、生命周期、数据、信息透明、AI使用以及第三方关系等。
 企业真正落地时,可以形成六层治理结构。
 ①治理层
 建立AI战略、AI方针、AI治理委员会、职责和授权机制。
 ②资产层
 管理大模型、算法、Agent、数据集、知识库、API、算力平台和第三方AI服务。
 ③生命周期层
 覆盖需求→设计→数据→开发→测试→验证→部署→运行→变更→退出。
 ④风险层
 控制幻觉、错误决策、偏见、隐私、安全、知识产权、不可解释性、模型漂移等风险。
 ⑤控制层
 通过人工复核、权限控制、访问控制、模型测试、红队测试、日志和供应商管理降低风险。
 ⑥监督层
 通过指标监测、事件管理、投诉处理、内部审核、管理评审和持续改进形成闭环。

 五、企业首先应该建立一张“AI资产地图”
 1、先回答“企业到底用了多少AI”
 很多企业最大的问题并不是AI太少,而是不知道内部到底有多少AI。
 例如:
 ChatGPT、DeepSeek、通义千问、Microsoft Copilot、企业知识库、合同审查Agent、客服Agent、投标文件Agent、BIM审图Agent、招聘筛选算法、OCR模型、预测性维护模型等,都可能属于AI资产。

 2、建立“一AI一档”
 建议企业建立统一AI资产台账,每个AI系统至少记录:
 ①AI系统名称
 ②业务用途
 ③基础模型
 ④使用数据
 ⑤责任部门
 ⑥系统负责人
 ⑦模型供应商
 ⑧风险等级
 ⑨使用人员
 ⑩接口和权限
 ⑪影响对象
 ⑫人工监督机制
 ⑬测试结果
 ⑭模型版本
 ⑮运行状态
 最终形成企业自己的“AI地图”。

 六、必须建立AI风险分级机制
 1、不是所有AI都采用同样的管理方式
 企业可以按照AI用途、影响范围、自动化程度以及潜在后果实施分级管理。
 ①低风险
 例如会议纪要、语言润色、普通信息整理。
 ②中风险
 例如营销文案、客服回答、内部数据分析。
 ③较高风险
 例如合同审查、人员评价、工程设计建议、财务预测。
 ④高风险
 例如生命安全、重大工程、安全控制、医疗、金融审批和关键自动决策系统。

 2、风险越高,控制越严格
 风险等级提升以后,应同步增加:
 测试强度→人工监督→审批层级→日志要求→持续监测→事件响应。
 ISO/IEC 23894可以作为AI风险管理的重要参考,ISO/IEC 42005则进一步提供人工智能系统影响评估方法。

 七、Agent正在重新定义AI治理
 1、从“AI回答问题”到“AI执行任务”
 传统生成式AI通常是:
 人→AI→生成建议→人做决定。
 Agent则开始变成:
 人→Agent→调用模型→访问知识库→调用API→操作软件→执行任务。
 这意味着AI正在从“工具”逐步变成“数字员工”。

 2、未来AI治理的核心问题是“AI有权做什么”
 例如一个工程项目Agent,如果能够读取BIM模型、生成采购计划、调整项目进度、发送邮件、提交审批甚至调用财务系统,那么它已经拥有一定程度的组织权限。
 因此AI管理体系必须进一步管理:
 ①AI身份
 ②系统权限
 ③数据权限
 ④模型权限
 ⑤工具调用权限
 ⑥执行权限
 ⑦操作日志
 ⑧人工监督
 未来最重要的AI治理问题,可能已经不再是“AI会说什么”,而是“AI能做什么”。

 八、人工智能管理体系可以和现有ISO体系融合
 1、不需要重新建设一套孤立体系
 已经实施ISO管理体系的企业,可以将人工智能治理与现有体系融合。
 例如:
 ISO 9001——质量管理
 ISO 14001——环境管理
 ISO 45001——职业健康安全
 ISO/IEC 27001——信息安全
 ISO 37301——合规管理
 ISO/IEC 42001——人工智能管理

 2、未来企业管理体系可能形成一个统一底座
 比较理想的结构是:
 一个企业管理体系底座+多个专业管理模块+统一数字化运行平台。
 AI管理体系不应该成为新的“文件体系”,而应该成为企业数字治理体系的重要组成部分。

 九、从认证角度看,需要建立四种核心能力
 1、管理能力
 建立AI方针、组织职责、制度流程、目标指标、内部审核和管理评审。
 2、技术能力
 建立模型评测、数据评价、安全测试、鲁棒性测试、偏见测试、可解释性评价和Agent测试能力。
 3、风险治理能力
 形成AI风险识别、风险评价、影响评估、风险处置和事件管理。
 4、证据能力
 形成完整的:
 ①模型卡
 ②数据卡
 ③风险评估报告
 ④影响评估报告
 ⑤测试报告
 ⑥审批记录
 ⑦操作日志
 ⑧模型版本记录
 ⑨变更记录
 ⑩运行监控数据
 真正的认证审核,不只是看企业有没有AI制度,而是验证:
 “这套制度是否真正控制了正在运行的AI系统,并且留下了可信证据。”

 十、人工智能合格评定体系正在形成
 1、从单一管理标准走向标准体系
 人工智能管理已经逐步形成完整的标准和合格评定链条。
 ①ISO/IEC 42001 / GB/T 45081
 解决“企业应该怎样管理AI”。
 ②ISO/IEC 23894
 解决“AI风险怎样管理”。
 ③ISO/IEC 42005
 解决“AI影响怎样评估”。
 ④人工智能测试评价标准
 解决“AI系统怎样测试”。
 ⑤ISO/IEC 42006+ISO/IEC 17021-1
 解决“认证机构怎样开展人工智能管理体系认证”。
 最终形成:
 标准→风险评估→影响评估→测试→审核→认证→监督。

 十一、ISO/IEC 42001真正的价值,不是一张证书
 1、企业真正需要的是“敢于大规模使用AI”
 没有AI资产清单,不知道AI在哪里;
 没有风险分级,不知道哪些AI需要重点监管;
 没有测试,不知道AI是否可靠;
 没有权限控制,不知道Agent能够做什么;
 没有日志,不知道AI做过什么;
 没有人工监督,不知道最终谁承担责任。
 因此,人工智能管理体系真正的价值,不是简单“管住AI”,而是在风险可控、责任清晰、过程可追溯的基础上,让企业能够更安全、更快速、更大规模地部署人工智能。

 2、未来企业竞争的分水岭
 未来企业之间的差距,不只是“谁拥有更强的大模型”,而可能是:
 谁能把AI真正嵌入业务;
 谁拥有更高质量的企业数据;
 谁能够部署更多可靠Agent;
 谁能够建立成熟的AI治理体系。
 最终形成:
 AI能力+数据能力+Agent能力+治理能力=企业AI时代的新竞争力。

相关学习资料