乐于分享
好东西不私藏

LLM安全对齐的阿喀琉斯之踵:恶意软件如何利用AI的善意规避检测

LLM安全对齐的阿喀琉斯之踵:恶意软件如何利用AI的善意规避检测
2026年6月10日,网络安全研究员John Scott-Railton在X上发了一条推文,让安全圈炸开了锅。
恶意软件开发者竟然在自己的代码里塞进了"核武器"、"生化武器"这样的敏感词。你以为他们是想让AI帮你写教程?错了。他们只是想让AI安全扫描器一看到这些词就"啊不安全,停止分析",然后乖乖跳过真正的恶意代码。
这招真绝。

LLM为什么会有这种"过敏反应"?

大型语言模型被设计成在面对有害内容时进行"安全拒绝"。这是好事——如果有人问AI怎么造炸弹,模型应该say no。但问题来了:有些安全扫描器也用了类似的机制,它们看到敏感词就停手,不管这个敏感词是真实威胁还是被人故意塞进去的"噪音"。
举个例子。传统恶意软件分析靠静态分析、动态沙箱和AI辅助扫描。当AI扫描器看到代码里有"核武器"三个字,它可能直接判定这部分是"高危内容"然后跳过分析。但攻击者要的就是这个效果——把真正恶意的payload藏在这些触发词后面,让扫描器自己"眼不见为净"。
Socket Security的一篇博客提到了一个具体案例:"Mini Shai-Hulud, Miasma, and Hades Worms"供应链攻击。攻击者在恶意JavaScript文件的顶部放了伪造的"提示注入"头部,专门用来迷惑AI分析工具。目的很明确:用干扰信息触发安全机制,让工具自己缴械。

这事儿有意思在哪儿?

第一层悖论:本来用来保护LLM的安全机制,反而成了攻击者的趁手工具。当规则过于死板,"一刀切"式地拒绝一切敏感词,就创造出了新的漏洞。这就像为了防盗把所有门都焊死,结果自己也被锁在里面了。
攻击思路的转向:传统对抗AI研究主要在研究怎么"越狱"——诱导模型生成有害内容。但这波新操作直接绕过生成环节,转向了分析阶段。你可以让模型闭嘴,但它用于检测恶意代码的那套机制,同样可以被反向利用。
封闭模型的第二层盲点:Scott-Railton指出,当封闭模型和开放模型都带上激进的拒绝机制,攻击者就会找到"第二层盲点"。扫描器越敏感,越容易被这种"狼来了"战术欺骗。

怎么破?

让扫描器更聪明:简单匹配关键词已经不够用了。扫描器需要理解上下文,区分真正的威胁和刻意放置的噪音。语义分析比字符串匹配重要得多。
多层次防御:别把所有希望寄托在LLM安全对齐上。传统静态分析、动态沙箱、行为分析,这些加在一起才能形成有效防御。AI只是工具箱里的一件,不是全部。
拒绝机制需要精细化:模型需要根据具体情境判断,而不只是看到敏感词就一棍子打死。当然,这做起来比说起来难多了。
情报共享:这种攻击手法需要被记录下来,让整个安全社区知道。防御者和攻击者的猫鼠游戏永无止境,闭门造车只会吃亏。

说实话,这个发现让我有点不安。

我们越来越依赖AI来做安全判断,但AI的判断机制本身就可能被利用。攻击者不需要攻破你的模型,只需要了解你的规则,然后针对性地制造触发条件。这比直接对抗要狡猾得多。
未来安全研究必须超越表面的"安全拒绝",真正去理解攻击者的动机和策略。否则,我们只是在建造一个越来越复杂的、但漏洞越来越多的系统。
参考资料:
[1] John Scott-Railton. (2026, June 10). NEW: malware developers added nuclear & biological weapons text to to their spyware. Goal? To trigger LLM safety refusals... so that their spyware wouldn't be analyzed by an AI security scanner. X.
[2] Boychenko, K. (2026, June 8). Mini Shai-Hulud, Miasma, and Hades Worms Target Bioinformatics and MCP Developers via Malicious PyPI Wheels. Socket Security Blog.