CIO如何避免让AI助手变成一场合规灾难

你的员工可能无权查看敏感数据，但你的AI助手是否会无意中将这些数据展示给他们？

为了充分发挥生成式AI和自主式AI系统的潜力，企业正在向它们开放广泛的业务数据访问权限，然而，这一过程绝非简单地打开数据闸门并任由AI发挥，它提出了一些CIO必须解决的极重要的数据治理问题。

例如，如果某位员工没有权限打开某份特定文档，他们是否可以通过询问AI工具来获取其内容？毕竟，传统的数据访问控制管理的是人们如何在原始位置获取信息，但AI系统却可以从源系统复制并存储在数据湖和向量数据库中的信息里汲取数据。

这可能会在应用于源数据的权限与AI系统响应用户提问时可调取的信息之间产生缝隙，那么，像人力资源记录、薪酬数据、患者健康信息以及知识产权等信息的相关问题该如何处理呢？

员工在正常情况下无法访问公司的薪水表格，这完全是合理的，但如果这些数据被添加到了内部AI系统使用的数据中，而相应的访问规则却没有随之延续，那么该员工就很可能只需向系统询问薪水信息，无论如何都能得到答案。

要理解这种情况是如何发生的，我们需要先了解AI系统访问企业数据的方式。通常情况下，大语言模型(LLM)都有一个训练截止日期，因此它们可能无法自动访问在该时间节点之后创建的信息。

然而，现代企业高度依赖数据驱动，AI系统需要不断更新。绕过这一潜在信息瓶颈的方法，就是将更新的或内部的信息转换为数值表示(向量)并存储在向量数据库中，从而使其可被利用。

当用户提出与这些数据相关的问题时，检索增强生成(RAG)技术可以从中搜索相关信息并将其融入到AI的回答中，这使得内部AI系统无需对底层模型进行重新训练，就能对最新的或特定于企业的信息了如指掌。至关重要的一点是，决定哪些数据进入向量数据库会直接塑造后续的AI输出结果。

在我们设想的情景中，员工根本不需要打开薪水表格本身，他们只需要提出一个问题，触发AI系统从中检索相关信息并生成答案即可，这就是为什么仅对原始文件施加控制可能不再足够的原因。

这并不意味着模型本身不安全，问题出在为其提供数据的管线上。AI系统并不知道谁被允许查看什么内容，它只是简单地检索向量数据库中看起来与查询相关的任何内容。如果做得好，这个过程应该在每个阶段都延续原始的访问权限：从源系统摄取数据时、为检索建立索引时，以及AI生成响应时，从而确保只返回请求用户有权查看的内容。当这种权限映射处理得当，AI系统带来的治理风险不会比配置良好的搜索索引更高。CIO需要解决的问题是确保这种映射持续稳定地发生，而不是假定它会自动发生。

另一个重大问题是，提供给AI系统的数据会影响其回答的准确性，进而影响其暴露的信息。在加拿大的一起案例中，某航空公司网站的聊天机器人向乘客提供了关于丧亲慰问票价的错误建议，随后法庭裁定加拿大航空承担责任。

聊天机器人告诉乘客，他可以在购买机票并完成行程后再申请折扣，而加拿大航空的书面丧亲出行政策则规定，行程结束后不得提出申请。乘客信赖了聊天机器人的信息，在加拿大航空拒绝给予折扣后提起诉讼并胜诉。正如美国律师协会当时指出的那样：“公司仍需对其AI工具的行为负责，并应制定妥善的内部政策来确保其准确性及其他考量因素。”

解决这些重要问题的钥匙在于更好的数据治理，起点是源数据，以及在信息被复制到数据湖或向AI系统开放之前适用的规则和流程。只有对跨相关源系统保存的文件和对象拥有清晰的清单，这才有可能实现，然后，可以根据位置、文件类型、创建日期或其与预期AI应用场景的相关性等因素来筛选数据。

同时，在数据被进一步复制之前，可以排除与预期AI应用场景无关的较旧信息或文件类型。筛选出的数据可以托管在数据湖的指定区域中，以便进行进一步处理。保持对这些数据流动的日志记录，可以留存关于哪些信息进入了下游AI管线的痕迹。如果未来某个时刻需要作出解释或活动证明，该记录有助于调查特定文档是如何变得可被AI系统调用的。

在批准新的AI项目之前，理想情况下CIO需要询问几个关键问题。例如：系统将能够访问哪些信息，这些信息来自哪里？企业是如何判定它与预期的应用场景相关的？它是最新的吗？是否已经排除了陈旧或不必要的信息？

其目标必须是确保当AI系统搜索并返回信息时，能够如实反映应用于原始文档的权限设置。如果没有这些控制手段，内部AI工具很容易在无意间成为绕过现有的、极其重要的访问控制的途径。

如果您在企业IT、网络、通信行业的某一领域工作，并希望分享观点，欢迎给企业网D1net投稿。

投稿邮箱：

editor@d1net.com

合作电话：

010-58221588（北京公司）

021-51701588（上海公司） 

合作邮箱：

Sales@d1net.com