乐于分享
好东西不私藏

AI 扫漏洞,别只看榜单

AI 扫漏洞,别只看榜单

一句话:AI 做代码安全审查,真正的分水岭不是“哪个模型最聪明”,而是团队能不能把召回、误报、成本和修复流程放进同一张表里。

当团队第一次把 AI 接进安全扫描,最容易犯的错,是把它当成一个更会说话的静态分析器。

于是大家问的问题会变成:哪个模型排名最高?哪个模型最贵?哪个模型看起来更像安全专家?

这些问题都不算错,但都不够用。因为安全扫描不是考试,它最后要落在三个现实动作上:找得到多少真问题、给工程团队制造多少噪音、以及这件事能不能长期跑下去。

Vercel 推出的 DeepsecBench 值得看,不是因为又多了一个模型排行榜,而是它把 AI 安全扫描拉回了工程现场。

漏洞扫描最怕的不是误报,而是漏报

传统工程团队常常讨厌误报。误报多了,开发者会疲劳,安全团队会失去信用,最后扫描工具被静音。

但在漏洞扫描里,漏报的代价更高。

一个误报最多浪费时间;一个漏报可能继续留在代码库里,等到某天被真正利用。

DeepsecBench 的评分思路因此把 recall 放得更重。它不是只看模型“说得准不准”,而是看模型有没有能力把更多真实风险先捞出来,再由流程处理噪音。

这对企业落地很重要。安全团队不能只追求一个漂亮的 precision,也不能接受一个到处报警的工具。成熟做法是把模型输出变成分层队列:高置信度问题直接进入修复,低置信度问题进入复核,重复或低价值告警进入过滤。

AI 安全扫描开始像一套运营系统

DeepsecBench 评估的维度包括召回、精确率、成本、运行时间和综合分数。

这说明一件事:AI 安全能力已经不只是模型能力,而是运营能力。

如果一个模型能多找出一些漏洞,但一次扫描要花几个小时、几十美元,团队就必须决定它适合跑在哪个环节:

  • 每次 pull request 都跑?
  • 每晚对关键仓库跑?
  • 只在发布前对高风险模块跑?
  • 只用于安全团队的深度审计?

真正的安全工程,不是把最强模型接上去就完事,而是把不同成本和能力的模型放在不同关口。

便宜、快、可重复的模型适合做前置筛查;更强、更慢、更贵的模型适合做深度审计。中间还需要规则、人工复核、修复验证和历史漏洞库。

防守方的优势,是能看到自己的系统

AI 安全讨论里,经常会把焦点放在攻击者能力变强。

但防守方并不是没有优势。恰恰相反,防守方有一项攻击者没有的资产:完整的代码、架构、提交历史、依赖关系和业务上下文。

AI 扫描只有接入这些上下文,才可能变成真正的防守工具。

如果模型只看到几个文件,它只能猜。如果模型能看到入口、调用链、历史修复、权限边界和真实部署方式,它才有机会判断一个问题是否真的可利用、是否值得优先处理。

这也是企业采用 AI 安全工具时最该关注的地方:不要只买“模型能力”,要看它能不能进入你的工程上下文。

榜单之外,更该问四个问题

团队看这类 benchmark,不应该只盯第一名。

更实用的问法是:

  1. 它在哪类漏洞上召回更好?
  2. 它的误报是否能被现有流程消化?
  3. 它每次运行的成本和时长适合哪个环节?
  4. 它能不能和代码托管、CI、安全工单、修复验证打通?

如果这些问题没有答案,榜单第一也只是演示。

如果这些问题能被流程承接,一个中等模型也可能在实际组织里创造更大价值。

真正的变化:安全左移变得更具体了

过去说“安全左移”,很多时候是一句口号:让开发更早关注安全。

AI 让这件事变得更具体。它可以在代码还没合并时阅读更多上下文,可以在安全团队不在线时做初筛,可以把某些漏洞模式变成可重复的检查。

但这不意味着安全团队会消失。相反,安全团队的角色会更像系统设计者:决定哪些风险交给模型发现,哪些风险交给规则发现,哪些风险必须人工判断。

AI 扫漏洞,重点不是让模型替你负责。

重点是把以前偶发、昂贵、靠经验的安全审查,变成一套可以度量、可以复盘、可以逐步调优的工程系统。

参考资料:Vercel Blog,DeepsecBench: evaluating model performance in finding cybersecurity vulnerabilities。