能被工具检测的 AI 风险,会更受重视吗?

AI进入实际业务后，企业开始用检测、评测、护栏和监控工具管理相关风险。这些工具可以反复测试提示词注入，扫描个人信息，评估回答是否有依据，比较不同群体的错误率，并记录线上异常。

工具让一部分风险更容易留下能够持续更新和比较的记录。问题也由此出现：更容易被工具检测和记录的风险，是否也更容易在企业内部得到持续关注？那些需要调查真实损失、人员影响、申诉和补救才能确认的风险，会不会因为缺少自动生成的指标，在审查和汇报材料中出现得更少？

我的判断是，工具不会决定一项风险本身有多重要，但会改变企业取得相关证据的成本和频率。如果AI风险审查主要依赖工具输出，审查材料可能更充分地呈现工具能够测量的部分，却不能完整反映各种风险的重要程度。

图：MIT AI风险库的7个风险领域与24个子领域。资料来源：MIT AI Risk Repository〔1〕。这是一张风险范围参考图，不代表影响大小、发生可能性或优先级。

工具首先改变的是记录方式。提示词注入测试可以记录攻击是否成功、护栏是否拦截；个人信息扫描可以统计命中次数；无依据回答评测可以形成分数；运行日志可以记录线上异常。模型或应用更新后，这些测试还可以重新执行，前后结果也可以相互比较。能够被工具检测的问题，因此更容易留下格式稳定、持续更新的记录。

这些工具在AI风险管理中不可缺少。没有测试、护栏和监控，许多交互异常只能依靠人工抽查发现，企业也很难持续统计问题发生的频率。工具提供的记录，使相关问题可以被反复测试、持续观察和事后复查。

不过，不同类型的风险获得的工具支持并不均匀。2026年8月7日公开的一篇论文分析了21个开源工具项目，涵盖模型评测、红队测试、运行时护栏，以及用于记录和追踪线上运行状况的可观测工具。为了比较这些工具实际能够做什么，研究者使用了一套包含32个子类的AI风险缓解与应对框架。这套框架不仅包括模型安全、内容安全、测试和监控，也包括治理监督、风险披露、用户申诉、系统限制、监管执法和损害补偿。研究结果显示，21个开源工具项目的能力主要集中在技术与运营措施；对治理监督、举报人保护、监管执法和损害补偿等制度安排，这些工具几乎不能提供任何直接支持。〔2〕

工具发现异常，只是风险审查的起点。它可以告诉负责审查的人，AI系统在哪里可能出现了问题，却未必能说明谁受到影响、造成了什么后果，以及问题是否已经得到处理。

MIT AI风险倡议维护着一个持续更新的AI风险库，用来汇集和分类整理已有研究与框架中提出的AI风险。隐私与安全是其中一个风险领域。与个人信息有关的风险包括两种具体情形：AI可能记住并泄露敏感个人信息，也可能在未经同意的情况下，根据已有信息推断出新的私人信息。现有工具可以扫描输入和输出中的个人信息，自动遮蔽相关内容并记录命中次数；提示词注入测试还可以检查护栏在受到攻击时是否失效。〔1〕

这些记录可以显示系统是否处理或输出了个人信息，却不能回答数据原本是否可以使用、模型是否推断出了新的敏感属性、泄露内容后来传给了谁，以及受影响者是否得到通知和补救。要查清这些问题，负责风险审查的人还要核对授权同意记录或其他合法性基础、访问日志、数据流调查、投诉和事件处置记录。

错误信息也一样。现有评测可以检查一段回答是否有依据、是否与参考资料一致，或者在模型更新后是否再次出现同类错误。但发现回答错误，并不能自然得知谁相信并采用了这段信息、据此作出了什么决定，又造成了多大损失。MIT风险库关注的还包括错误信息是否让人形成错误认识，并进一步造成身体、情绪或物质伤害。〔1〕

这些后果需要把模型运行记录与实际业务结果、投诉和损失记录结合起来才能确认。在前述论文分析的21个开源项目中，技术工具主要能够提供日志、报告等证据；真正决定并实施补偿和救济，仍要依靠工具之上的组织与监管机制。〔2〕

歧视风险也是一类常见的AI风险，一些工具可以比较不同群体的表现，或者检查输出是否带有偏见，但这种比较有一个前提：评测数据必须能够区分相关群体。即使指标显示不同群体之间存在差异，也不能据此判断这种差异是否影响了真实的筛选和资源分配，受到影响的人是否知道原因并能够提出申诉。这些问题仍要通过实际决策结果、影响评估和申诉记录来核对。〔1〕

工具可以帮助企业发现能够被检测的异常。要判断风险是否真正发生、影响了谁、后果有多大，以及应当怎样处置，还需要把技术记录与实际影响、投诉和处置材料结合起来。

前面几类风险至少还能从工具检测到的异常开始追查。另一些风险却不一定表现为一次模型错误，而是逐渐出现在人的判断、岗位安排和长期社会影响中。

例如，人们把关键决定交给AI后，可能逐渐失去独立判断和控制，这涉及过度依赖和自主性下降。系统日志或许能够记录AI被调用了多少次，工作人员是否修改或否决过AI的建议，却不能据此判断人在关键决定中是否仍有真正的否决权、是否有条件质疑系统，以及长期依赖是否削弱了人的能力。〔1〕

就业质量下降同样不会表现为一条异常输出。AI投入使用后，岗位是否减少、工作质量是否下降，不能从单条模型输出来判断。劳动者是否更加依赖系统和雇主，并在这种关系中处于更容易被剥削的位置，收益和成本又分别落在哪些群体身上，还要结合人员结构、工作量、收入、人员流动和劳动投诉等材料。MIT风险库把就业质量下降和不平等扩大列为明确风险，但这些变化很难像错误回答一样，由检测模型表现的工具持续留下格式统一的记录。〔1〕

为了了解这类风险怎样进入企业治理，另一篇同在2026年8月7日公开的论文访谈了25名AI风险分类法的开发者和使用者。所谓风险分类法，就是把不同类型的AI风险系统整理成一套清单或框架。受访者中，17人参与过分类法开发，8人主要将其用于AI风险与责任评估。研究者根据访谈材料认为，这些分类法与企业实际治理流程的结合仍然有限。受访者提到的使用方式，大多是分类法被引用、改写成内部清单或用于评估；至于它们是否进一步影响了产品决定，通常缺少可以核对的记录。〔3〕

受访者同时提到，能够立即影响业务和上线进度的风险，更容易进入企业内部讨论；长期社会影响往往要等到系统上线后才逐渐显现。在缺少直接证据时，内部决策者还可能把媒体关注和声誉影响，当作判断伤害严重程度的依据。这样一来，那些发生缓慢、影响分散，或者主要由较少获得公共关注的群体承担的伤害，更容易排在后面。〔3〕

这项研究提供了一条需要继续核验的线索：一项风险在企业内部得到多少关注，可能不仅取决于后果有多严重，也与取得相关证据需要付出多少成本有关。〔3〕

工具最直接的影响发生在证据形成环节。对于能够通过工具测试的风险，失败率、命中数和评测分数可以随着重复测试持续更新，相关记录的生成成本较低，也更容易反复进入审查和汇报材料。真实损失、人员变化和长期社会影响，则要通过投诉、事件调查和影响评估等方式另外收集，成本更高，更新也更慢。

这种差异有可能影响审查材料里反复出现的内容。如果材料主要由工具输出组成，提示注入、个人信息命中、无依据回答和不同群体的表现差异，更容易被持续记录和讨论。真实损失、申诉和补救、人的自主性、就业质量以及缓慢累积的社会影响，不会自动出现在同一套记录里，需要负责审查的人另行调查、整理和提交。

工具仍然是AI风险管理不可缺少的基础。企业不能因为一项风险更容易被检测，就把它视为更重要；也不能因为工具已经给出结果，就认为整项风险已经得到完整评估。

如果工具更容易让某些风险留下记录，企业就不能只根据现有工具能够检测什么来确定审查范围，而应从以下三个方面确定。

第一，先确定需要管理哪些风险，再选择工具和记录方法。企业应根据风险可能造成的影响、发生的可能性、受影响对象，以及自身能够接受的风险程度，决定哪些AI相关风险需要进入审查。工具能否检测，只影响证据怎样收集，不应决定一项风险是否值得关注。

第二，审查每项风险时，需要同时核对三类材料：

例如，检测到AI系统的输入或输出中包含个人信息，并不等于已经查清这些信息来自哪里、后来传给了谁，以及受影响者是否得到通知和补救；检测到无依据回答，还要调查用户是否采纳以及是否造成损失；如果评测发现AI对某些群体作出错误判断的比例更高，还要进一步核对这种差异是否影响了实际的人员筛选或资源分配，受到影响的人能否知道原因、提出申诉，以及相关决定是否得到重新审查和改正。

第三，不能因为某类风险缺少自动生成的指标，就不把它纳入审查。对于这类风险，企业需要明确通过什么方式收集信息、多久收集一次，以及由谁负责。例如，评估就业质量是否发生变化，可以结合人员结构、工作量、收入、人员流动和劳动投诉。判断工作人员对AI的依赖是否削弱了自主决定能力，可以核对岗位权限、修改或否决AI建议的记录，以及员工和用户的反馈。评估长期社会影响，则需要持续听取受影响群体和其他利益相关者的意见，并开展相应的影响评估。

NIST的自愿性AI风险管理框架为这种做法提供了参考。它没有把风险测量限定为量化指标，而是同时接受定量、定性或混合方法，并要求考察对个人、群体、机构和社会造成的影响。框架还提出，企业应先判断哪些风险最重要，再优先确定怎样评估这些风险。对于暂时不准备测量，或者现有方法无法测量的风险，也要明确记录。〔4〕〔5〕

MIT的风险库和缓解应对措施库，可以作为企业开展风险审查时的参考清单。风险库可以帮助企业扩展审查范围、识别可能遗漏的AI风险；缓解措施库则汇集了13份框架中的831项措施，帮助企业查找可参考的应对办法，并检查是否只考虑了技术控制，而遗漏内部监督、运营管理、透明度和问责机制。〔1〕〔6〕

不过，风险库并不按照影响大小和发生可能性给风险排序，缓解措施库也不评价各项措施的实际效果和实施难度。因此，企业仍要结合自身业务，判断哪些风险应当优先处理，以及哪些措施真正适用。〔1〕〔6〕

工具可以提高风险检测和记录的效率，但风险的重要程度仍要根据可能造成的实际影响来判断。一份较完整的风险审查材料，需要同时说明技术检测结果、已经发现或可能发生的实际影响，以及谁负责处置和救济。

〔1〕MIT AI Risk Initiative，AI Risk Repository。

https://airisk.mit.edu/risks

〔2〕Afreen Alam et al.，Taxonomy-Driven Analysis of Open-Source AI Risk Mitigation Tools，arXiv:2608.07446v1，2026-08-07。

https://arxiv.org/abs/2608.07446

〔3〕Glen Berman et al.，“Death by a thousand taxonomies?”: AI Risk Classification In Practice，arXiv:2608.06831v1，2026-08-07。

https://arxiv.org/abs/2608.06831

〔4〕NIST，Artificial Intelligence Risk Management Framework (AI RMF 1.0)，2023。

https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-ai-rmf-10

〔5〕NIST AIRC，AI RMF Core。

https://airc.nist.gov/airmf-resources/airmf/5-sec-core/

〔6〕MIT AI Risk Initiative，AI Risk Mitigation Map。

https://airisk.mit.edu/ai-risk-mitigations