软件供应链新威胁:恶意AI模型有多危险?| ACM编辑部荐读

一个AI模型，可能不是你想象的那样“人畜无害”。当开发者从公共仓库下载预训练模型时，攻击者已经悄悄把后门、数据窃取代码、甚至反向Shell嵌入了模型文件。加载即执行，系统沦陷。

一篇来自Communications of the ACM 的文章拆解了恶意AI模型的攻击手法与防御盲区。

Malicious AI Models Undermine Software Supply-Chain Security

恶意AI模型危及软件供应链安全

在当今快速发展的人工智能领域，恶意AI模型正逐渐成为破坏软件供应链安全的一个严重威胁。黑客通过将恶意AI模型嵌入到常用的开发工具和软件组件中，利用其执行未经授权的代码来操控系统。这些恶意AI模型可能导致敏感数据外泄、数据篡改，甚至破坏关键系统，给开发者和最终用户带来极大风险。

攻击者通过将恶意代码注入到AI模型中，借助流行的开源框架和模型库，迅速扩大影响范围。一旦被集成进开发环境，恶意AI模型会在模型加载时执行恶意载荷，进而造成系统的严重安全漏洞。传统的安全防护手段（如预定义签名和启发式检测）往往难以识别和阻止这些攻击。

这些AI模型具备高度的适应性，能够分析大量数据，学习复杂的模式，并生成模仿人类行为的响应。这使得它们能够避开常规的安全检测措施。AI模型在没有严格验证的情况下被引入环境，可能会无声无息地执行恶意代码。由于模型参数的高度复杂性以及外部依赖的依赖关系，这使得检测和缓解恶意AI模型带来的风险变得尤为困难。

为了有效应对这一问题，组织应当采取综合性的安全策略，包括：

• 使用安全的模型格式：采用像Safetensors这样的安全模型格式，避免使用Python的pickle格式，该格式易受攻击者利用。

• 模型验证和沙箱技术：在模型部署之前进行完整的验证，使用沙箱环境进行模型隔离，防止恶意代码的执行。

• 集成安全检查工具：使用自动化工具检查AI模型的异常行为，并在模型集成时进行动态分析。

尽管当前已有一些技术和政策可以帮助缓解恶意AI模型的风险，但随着AI技术的不断进步，新的攻击手段和复杂性也在持续增加。要确保AI模型的安全，平台必须构建强大的内部安全机制，开发能够检测和防范模型篡改的技术，同时还要加强对开发者的安全教育，增强对恶意AI模型的辨识能力。

恶意AI模型的存在提醒我们，软件供应链安全不仅仅是防范传统的软件漏洞，更需要考虑如何保护通过AI模型和机器学习技术带来的潜在风险。我们需要通过多层次的安全策略和持续的行业合作来应对这一新兴的威胁，保障数字环境的安全性。