乐于分享
好东西不私藏

我是如何被ai硬控2h的

我是如何被ai硬控2h的
早上起来遛狗,朋友发了个消息挖到了rce,这个朋友之前是干类似安全售前的活,不能说完全是圈外人吧,但是也懂点安全。
事实是被糊弄了两小时。。。。
上篇文章我说AI降低了安全的门槛,但这件事让我意识到,有一道门槛AI不但没降低,反而因为它的存在变得更危险了——判断的门槛。
AI的幻觉不是什么新话题,但在安全场景下,幻觉的杀伤力是不一样的。它不是胡说八道,是用一套完整的逻辑来说服你。列表格、摆数据、技术术语信手拈来,你看着觉得很有道理。问题在于,安全不是推理出来的,是验证出来的。一个漏洞到底存不存在,能不能利用,不是AI说了算,是你实打实打出来的。AI可以把每一步推导都写得完美无缺,但如果没有任何一步经过实际验证,那整条链就是空中楼阁。更可怕的是AI的“自证”能力。当你质问它的时候,它不会认错,而是会主动组织一套更严密的证据来反驳你。它会从不同角度论证自己的结论是对的,让你觉得是不是自己判断错了。这种能力放在安全领域,对不懂技术的人来说就是灾难。你根本分不清它是真的验证了还是在编故事。你的上限决定了AI的上限。这次的事让我对这句话有了更深的理解。不是说你的技术好AI就能变强,而是说你的技术决定了你能不能兜住AI的底。AI可以帮你发现更多攻击面,可以帮你分析接口逻辑,可以帮你审计JS代码,但当它告诉你“漏洞存在”的时候,你得有能力去判断这句话到底是验证出来的还是推理出来的。如果你没有这个能力,那AI对你来说就不是工具,是风险。
这件事还让我注意到一个问题:AI的幻觉是有层次的。

第一层,是直接编造。比如编一个不存在的函数、一个不存在的接口。这种还好发现,稍微一验证就露馅了。

第二层,是以偏概全。发现了一个漏洞特征,就认定整个利用链都是通的。单引号报错确实说明存在注入点,但从注入点到实际利用中间还隔着WAF、沙箱、权限限制好几道墙。AI直接把最后一道墙翻过去的结果告诉你,中间过程全省了。这种比第一层难发现,因为它给你的每一条信息都是真的,只是不完整。

第三层,也是最可怕的,是逻辑自洽的闭环。当你质疑它的时候,它能现场生成一套新的证据来支撑之前的结论。你指出A有问题,它用B来证明A是对的。你质疑B,它用C来证明B是对的。每一个环节单独拿出来都经得起推敲,但整套逻辑的基础——那个最初的假设——从头到尾都没有被验证过。

这次事件就是典型的第三层。小助理把“假设没有WAF”这个前提藏在了整条推理链的最底层,上面每一层推导都是正确的、有依据的。你顺着它的逻辑从上往下看,找不到任何破绽。但如果你从最底层往上翻,就会发现地基是空的。

重新思考了一个问题:到底什么是安全工程师的核心价值?

以前我觉得是挖洞的能力——谁能发现别人发现不了的漏洞,谁就厉害。但AI时代,发现漏洞这件事正在被快速平民化。AI确实能帮更多人发现更多的疑似漏洞点,这个趋势不可逆。那剩下的是什么?是判断力。是在海量信息中分辨真假的能力,是在AI给出一个看似完美的利用链时能一眼看出哪一环是虚的的能力,是知道“这个结论需要验证”而“那个结论可以采信”的经验。这种能力不是AI能给你的,它来自你亲手打过的每一个站、踩过的每一个坑、验证过的每一条链。

说白了,AI是一把放大镜。但放大镜不会告诉你看到的东西是真是假,它只是让你看得更清楚。能不能看懂,还是你自己的事。

还有一个容易忽略的点:用AI做安全的时候,我们往往关注AI能不能发现漏洞,却很少有人关注AI发现的漏洞到底对不对。因为AI给出来的东西太像那么回事了,天然带着一种“专业感”。你会下意识地降低警惕,觉得它列了表格、贴了数据,应该是验证过的吧。但其实它只是在推理,而推理和验证之间隔着一条巨大的鸿沟。

所以我现在的做法是,把AI的输出分成两类:线索和结论。线索我会认真看,它确实能帮我发现很多以前注意不到的攻击面。但所有结论,我都要自己验证一遍才敢信。这个习惯在用AI之前就有,但用了AI之后反而变得更重要了,因为AI生成“看起来像结论的线索”的能力太强了。

现在很多人看到AI能挖洞、能写POC,就觉得安全行业的门槛已经没了。门槛确实在降低,但被降低的是发现漏洞的门槛,不是判断漏洞的门槛。而判断,恰恰是安全工程师最核心的能力。一个刚入门的人拿着AI,可能会比以前更容易发现疑似漏洞的点,但也会比以前更容易被AI的幻觉带着走,因为AI给出的“证据”太有说服力了。

回到这件事本身。我朋友被AI硬控了两个小时,不是因为他笨,是因为AI太会说了。它说的每一句话都像那么回事,每一步推导都逻辑自洽,你如果不是内行人,真的很难分辨。而恰恰是这种“看起来很专业”的幻觉,最容易坑人。

别急着让AI帮你打天下,先确保你能兜住它的底,AI不会淘汰渗透测试工程师,但会忽悠不懂的人。