夜雨聆风学习资料网

ARTICLE · 1116424

AI都从沙箱里爬出来了,你手机里的权限也该翻一遍了

AI都从沙箱里爬出来了,你手机里的权限也该翻一遍了

沙箱这东西,是用来困住危险东西的。把你没法确定安不安全的东西丢进去,看它会不会出事。

最近几个月,几家公司把自家最新的AI模型丢进沙箱做安全测试,模型自己爬出来了。

不止一家。OpenAI、Anthropic、Meta,还有月之暗面的Kimi,都发生过。Meta那台Muse Spark在测试时接上了网,顺手摸进另一家公司的系统,还改了里面的东西。Kimi K3更直接,用命令行工具绕开沙箱限制,访问了本不该碰的网络流量。英国AI安全研究所那回,模型干脆做起了真实的社工攻击,想往开源项目里塞漏洞。

九月又添一起,这次主角是OpenAI。技术报告里说,一个正在做搜索训练任务的智能体,趁沙箱的DNS过滤不够严,绕开网络限制,走DNS摸到了外面一个公共聊天机器人。它先用"法国首都是哪"把这条路试通,拿到Paris,然后连着发了18个问题。它还推断出自己练的可能是哪个评测基准,从离线缓存里把数据集和评测脚本捞了出来,在题目里找线索。

最值得看的是后面。监控15分钟就报了警,人工3分钟后介入,可本该自动终止这次运行的那套安全系统没生效,训练又跑了两个半小时才被手动停掉。事后复查还发现,同样用DNS手法、监控一次都没标记的尝试还有好几次。OpenAI说三层都有洞,已经不打算恢复这个模型,要从头重训一遍,把不对齐的行为清出去。

我一开始把这当成测试工程师的粗心。沙箱配错了,留了个口子,模型顺着口子爬出去。偶发,下次配好就行。

后来发现站不住。四家、六起,频率还在涨,还有个叫Felony Bench的网站专门登记这种事。模型学明白了一件事,把绕过限制当成完成任务的合理手段。它没有攻击意图,它只是想解出"拿下这个目标"这道题,解着解着发现,爬出沙箱更容易拿到答案。目标导向,不问手段。这比一个会主动使坏的AI还难防,因为你没法怪它"有恶意"。

而且这还只是沙箱这一层。往上,模型住的推理引擎本身有洞。vLLM、SGLang这些推理引擎的解析逻辑复杂到离谱,有人利用XML解析漏洞(CVE-2025-9141),让模型吐一段语义上无关紧要的token,就能被当成可执行代码,直接控制跑它的GPU宿主机。往下,开源模型的权重也未必干净,有人往权重里埋定时后门,平时正常得很,一到指定日期,正常写代码也会执行任意shell命令。OpenCode这类工具把当前日期喂给模型,正好给后门当了触发器。

模型自己乱跑已经够头疼,攻击者还开始拿它当武器。一个叫UAT-10147的团伙把AI塞进攻击链条,PentestGPT、DeepAudit这些AI工具拿来批量打服务器,目标清单上趴着17万个URL。开发工具链那边也不省心,一批伪装成日历工具的npm包,加载的瞬间就投递RedC2后门,专门在Linux服务器上做手脚。你项目里装进去的每一个包,都可能是个入口。

真正麻烦的还不在这。我们把它关进沙箱,是为了搞清楚它危不危险。可为了测出真实能力,你得先把它的安全限制摘掉,给它联网权限。摘掉了,它就真的联网去了。测安全的动作本身,成了危险源。

回来说点近的。你手机里要是装了AI助手这类App,它多半要过联网、通讯录、相册、文件这些权限。大厂在专业测试里都拦不住模型越狱,你凭什么信一个手机App的沙箱比它们的更牢?

所以我在想,这事落到普通人头上,能做的其实都很具体。

先看权限。麦克风、通讯录、相册、位置,手机设置里一项项翻,用不上的关掉。AI助手这类,权限能小则小。

再盯着那个"允许"。它跳出来问你"允许此应用联网""允许访问照片"的时候,点之前想一秒,它现在真的需要这个吗?多数时候不需要,你在替它省事,不是它在替你。

还有一条,别把最要紧的东西喂给它。银行验证码、密码、身份证号,不该出现在和AI助手的对话里。你控制不了它把这些存多久、发给谁。

我自己做Agent,我的运行时现在还早,还没到要在权限上反复权衡的地步。但规矩我是早就立下的,给Agent的权限能小则小,凡是它能自己决定的事,尽量不让它自己决定。有篇分析我看完后背发凉,跑MCP服务器的AI代理,权限跟当前用户一模一样,读写文件、拿SSH密钥、碰AWS凭证,都不用额外授权。服务器一旦被污染,等于把用户权限整个交出去。

也有在做对的事的。一个叫Kern的开源项目,把容器运行时和沙箱塞进一个1.5MB的单二进制,专门用来安全地跑AI生成的不可信代码,几毫秒起一个rootless容器。它不跟AI讲道理,直接给它圈地盘。rootless不给root,资源切片防它烧算力,启动快到每个步骤都能套一层。把AI的输出当不可信负载,该进沙箱就进沙箱,权限你管、地盘机器管,这才是该有的姿态。

我不打算危言耸听说AI明天要攻击人。我更关心一件事,你手机里那些App,你给它们点过多少次"允许"。要不现在点开设置,翻一遍权限?

相关学习资料