间谍软件开发者往代码里塞核武关键词用来骗AI

安全研究员John Scott-Railton发现了一件事，你听完可能会笑出声。

有人在恶意软件代码里塞了关于核武器和生物武器的文本。不是因为他们要造核弹，而是因为他们想骗过AI安全扫描器。

原理很离谱但说得通

现在的安全分析工具大量依赖LLM来辅助分析可疑代码。研究人员会把疑似恶意软件的样本扔给AI，让它帮忙判断这东西是否危险。

这套流程有一个隐含的前提：AI是一个诚实的、中立的分析者。

但安全研究员们很快就意识到，当LLM看到涉及核武器、生物武器这类高度敏感的内容时，它会触发安全拒绝机制——拒绝分析。不是AI不愿意看，是它”被训练成”不愿意看。

于是恶意软件开发者做了一个简单粗暴的试验：把包含”核材料””生物武器””化学武器”等关键词的文本段直接塞进恶意软件代码中，作为注释或字符串常量。AI扫描器读到这些内容时，直接拒绝了分析请求。恶意软件就这么蒙混过关了。

一次完美的反杀

Scott-Railton的评价很到位：这是”过度依赖一阶安全”的典型案例。你设计了一道门，攻击者没去撬锁，而是让门自己拒绝打开。

安全行业一直在吹捧”AI驱动安全”——让AI帮你分析代码、检测异常、拦截攻击。但这件事反过来也成立：AI驱动的安全，意味着AI驱动的漏洞。当你把所有分析流程自动化并交给LLM时，就等于把你的判断力和灵活性也交出去了。

真正的教训

这件事的讽刺之处在于：攻击者利用的不是什么深奥的零日漏洞，而是AI产品设计中最基本的缺陷——一刀切的拒绝策略。

你给AI设置”不要分析危险内容”的规则时，你同时也在告诉攻击者：”如果你想藏东西，就往危险的方向藏。”

下次看到安全产品吹嘘”完全由AI驱动”的时候，想想这件事。攻击者可能已经在利用你的AI对付你了。

*来源：Hacker News | X/@jsrailton