国家安全部披露违规使用开源AI工具致敏感资料泄露案例-夜雨聆风

国家安全部披露违规使用开源AI工具致敏感资料泄露案例

文章来源：安全学习那些事儿

据央视报道：国家安全部披露案例，个别单位因直接使用开源框架建立联网大模型，导致攻击者未经授权即可自由访问内部网络，从而引发数据泄露和安全风险。

案例显示，某单位工作人员在处理内部文件时，违规使用开源AI工具，由于电脑系统默认开启公网访问且未设密码，导致敏感资料被境外IP非法访问和下载。

何为“开源大模型”？有哪些安全隐患？

中国网络空间安全协会人工智能安全治理专业委员会委员王媛媛：开源大模型是指将模型的架构、参数、训练数据公开给客户免费使用的人工智能模型，目前互联网上开放的开源大模型是非常多的，有的擅长推理，有的擅长编写代码，有的擅长处理文本，还有的擅长处理影像等等。比如说给它一个体检报告，可以帮助我分析我的身体有什么样的异常，应该如何进行调整，会给我一些非常专业的建议。

专家表示，网民在使用AI工具时，往往忽略了一个问题，就是AI工具有储存数据的功能。网民投喂给AI的任何文件、图片等数据，AI都会进行存储。

王媛媛：数据安全其实是开源大模型最大的隐患，这很可能会被大家忽略。那么上传到开源大模型的任何数据，大模型自身都会进行存储，这是它的工作原理，因为只有这样才能对数据做分析。如果把公司内部比较机密的一些数据上传到开源大模型，实际上这些数据已经面临了泄露的风险。

网民将敏感数据投喂给AI工具后，这些被AI存储的数据是如何泄露的呢?

首先这些数据对AI工具的开发者是完全开放的，开发者可以利用权限看到这些数据。另外，目前AI工具很多都是开源的，黑客也会利用大模型本身漏洞攻击入侵大模型后台，获得数据。

保护数据安全，切勿给AI工具投喂敏感数据

AI工具具有数据存储功能，因此专家提醒，在日常使用中，切勿给AI工具投喂敏感数据。

王媛媛：一方面在日常作为普通的网民，在正常使用互联网开源大模型的时候，要注意不要将个人的敏感信息、隐私信息上传到开源大模型中。

另外企业在使用开源大模型的时候，在训练自己的数据的时候，要注意一定要做到私有化部署的方式，也就是将所有的数据都保存在本地，这样就不会把一些内部的数据上传到互联网上了。但是这样的私有化部署的方式，相应地也要投入一些基础设施和专业的团队来进行维护。