AI合规的钱,最终会流向能证明系统安全的人

2026年9月发布的《人工智能安全治理框架3.0》，列出了许多可以被检查、测试和留痕的要求：模型、应用和具体场景需要分层测评；智能体需要唯一身份、最小权限和人工审批；工具、插件和技能需要验证来源与完整性；文件操作、网络连接、技能调用和交易支付需要记录日志；模型、工具、权限或者安全策略发生重大变化后，需要重新评估和测试。

这些要求共同传递出一个信号：AI合规正在进入证据阶段。

隐私政策、供应商条款、内部制度和法律意见仍然需要存在。但企业采用AI越深入，越需要回答一个更直接的问题：你如何证明这套系统在真实业务中按照既定边界运行？

AI合规正在变成一个证明问题

生成式AI系统的行为受模型版本、提示词、知识库、上下文记忆、工具描述、账号权限和运行环境共同影响。供应商更新模型，企业替换插件，业务部门修改提示词，都可能改变系统行为。上线时通过的测试，无法自动覆盖三个月后的版本。

假设一家企业的合同助手把客户材料发送给了未经批准的外部模型。事故发生后，企业需要知道当时使用的模型版本、触发任务的用户、智能体调用的工具、数据发送前的审批状态，以及近期发生过哪些配置变更。缺少日志和版本记录，调查通常会停在“无法还原”。

一份《人工智能使用管理办法》可以规定员工应该怎样做，却无法单独证明系统实际做了什么。AI合规的有效性，越来越取决于企业能否留下持续、完整、可以复核的运行证据。

“安全”需要被拆成可以验证的声明

复杂AI系统无法获得覆盖所有场景的绝对安全证明。企业能够证明的，是一些范围清楚、条件明确的声明。例如：在指定版本和测试集下，系统不会自动向外部地址发送客户文件；付款、删除文件和修改权限必须经过人工确认；未列入白名单的工具无法被调用；每次工具调用都能追溯到用户、任务、版本和审批记录；模型更新后，高风险场景会重新测试。

每一项声明都需要相应证据，包括测试记录、配置快照、日志、审批记录、版本信息和异常处置材料。证明范围越明确，企业越容易判断剩余风险，也越容易在采购、审计和事故处理中分配责任。

欧盟《人工智能法》要求高风险AI系统建立持续迭代的风险管理体系，并对测试、技术文档、自动日志、质量管理和符合性评估作出安排。美国国家标准与技术研究院（NIST）的生成式AI风险管理框架，将部署前测试和事件披露列为重点，要求保留测试评估历史，并记录版本、变更和事故信息。英国政府将这类工作概括为AI assurance，可译为“人工智能可信保障”：通过审计、影响评估、性能测试、认证和符合性评估，为系统是否值得信任提供证据。

不同制度的法律效力和适用范围并不相同，但治理方向相近：风险需要被测量，控制措施需要被验证，关键行为需要可追溯，系统变化需要重新评估。

为什么这笔钱会持续发生

许多传统合规项目按照单次交付收费：完成一次评估，修订一套制度，出具一份意见。AI系统持续变化，会使相当一部分支出转化为经常性预算。

基础模型升级后需要复测，知识库更新后需要检查污染和失真，新增工具后需要验证权限与数据去向，业务范围扩大后需要补充场景测试。事故发生以后，企业还要复盘失败路径并更新测试集。每一次重要变化，都可能使旧证据失效。

因此，企业需要持续维护AI资产与版本清单，记录模型输出和智能体行为，在模型、提示词、知识库或工具发生变化后执行回归测试，并由独立人员复核证据质量。系统每更新一次，企业都要重新回答：原来的控制是否仍然有效？

持续复测由此具备了稳定的商业价值。能够把评估嵌入开发和发布流程的服务商，更容易进入企业的长期预算。英国政府关于AI可信保障生态的研究也判断，AI assurance可能发展为一项具有独立规模的经济活动，并需要法律、审计、风险管理和数据科学等专业共同参与。

这里真正稀缺的能力，是把抽象规则转换成风险场景、系统控制、测试方法和通过标准。“不得泄露客户信息”需要落实为数据识别、权限限制、外部工具白名单、人工审批和日志字段；“保持人工控制”需要落实为确认节点、中止机制、默认拒绝和审批记录。只解释规则的报告会越来越容易生成，把规则写进系统并拿出证据仍然需要专业判断。

钱会流向谁

一部分预算会流向模型评测平台和安全厂商。它们提供资产管理、运行监测、红队测试和自动回归测试，把原本分散的证据持续记录下来。

一部分预算会流向检测认证机构、会计师事务所及其他独立评估者。系统供应商很难只凭自己的测试获得充分信任，采购方、管理层和监管者会需要第三方复核。

还有一部分预算会流向熟悉具体业务的专业团队。通用测试可以发现提示注入、越权调用等共性风险，却很难判断一套反洗钱、合同审查、招聘或者工业控制系统在什么情况下会造成真实损害。行业知识决定了测什么，技术能力决定了怎样测，法律与审计能力决定了哪些证据足以支持结论。

律师事务所和合规咨询机构能否分到这笔钱，取决于它们能否进入系统层。仅提供原则性意见和制度模板，服务位置仍然停留在项目外围。能够设计验收条件、测试场景、日志要求、变更复测和事故还原机制的团队，可以参与采购、上线和持续运行，服务会更接近业务核心。

对中小型机构而言，机会更可能出现在垂直场景。围绕一个具体流程积累风险场景、测试数据、验收标准和事故案例，比笼统提供“AI合规全套服务”更容易形成可靠能力。通用模型掌握在大型厂商手中，业务边界和失败方式仍然分散在各个行业里。

安全证据需要回到实际场景

测试报告、日志和认证的价值，需要结合具体业务判断。模型能力、数据类型、操作权限和影响对象不同，适用的测试方法和通过标准也会有所差异。

NIST提醒，实验室基准与真实使用环境之间可能存在明显差距。通用考试成绩、零散的越狱测试或者少量演示，难以完整反映系统在具体业务中的可靠性。测试结果还需要进入管理流程：发现问题后调整系统，出现异常后及时分析，供应商更新后触发复测，已经识别的残余风险由相应负责人作出决定。这样形成的证据，才能持续支持采购、验收和运行管理。

验证强度还应当与风险相称。会议纪要工具和付款智能体造成的潜在损害不同，可以分别配置相应的评估资源。有限预算应优先投入可能影响人身权益、重要数据、资金和关键业务的场景。

《框架3.0》为企业开展上述工作提供了系统参考。随着行业标准、监管实践和企业采购要求继续细化，测试记录、运行日志、变更复测等材料将更广泛地进入AI项目的建设与验收过程。系统越复杂、更新越频繁、能够执行的操作越多，企业对专业验证能力的需求也会越强。

AI合规的钱，最终会流向能够回答三个问题的人：测什么，怎样测，怎样证明测试结果值得相信。

主要参考资料

1.全国网络安全标准化技术委员会：《人工智能安全治理框架3.0》，2026年9月。

2.欧盟：《人工智能法（Regulation (EU) 2024/1689，合并文本）》，重点参见第9、11、12、17、18、19及43条。

3.美国国家标准与技术研究院：《生成式人工智能风险管理框架（NIST AI 600-1）》，2024年7月发布，2026年4月更新网页信息。

4.英国数据伦理与创新中心：《构建有效AI可信保障生态的路线图》，2021年12月。