一句话:AI 做代码安全审查,真正的分水岭不是“哪个模型最聪明”,而是团队能不能把召回、误报、成本和修复流程放进同一张表里。

当团队第一次把 AI 接进安全扫描,最容易犯的错,是把它当成一个更会说话的静态分析器。
于是大家问的问题会变成:哪个模型排名最高?哪个模型最贵?哪个模型看起来更像安全专家?
这些问题都不算错,但都不够用。因为安全扫描不是考试,它最后要落在三个现实动作上:找得到多少真问题、给工程团队制造多少噪音、以及这件事能不能长期跑下去。
Vercel 推出的 DeepsecBench 值得看,不是因为又多了一个模型排行榜,而是它把 AI 安全扫描拉回了工程现场。
漏洞扫描最怕的不是误报,而是漏报
传统工程团队常常讨厌误报。误报多了,开发者会疲劳,安全团队会失去信用,最后扫描工具被静音。
但在漏洞扫描里,漏报的代价更高。
一个误报最多浪费时间;一个漏报可能继续留在代码库里,等到某天被真正利用。
DeepsecBench 的评分思路因此把 recall 放得更重。它不是只看模型“说得准不准”,而是看模型有没有能力把更多真实风险先捞出来,再由流程处理噪音。
这对企业落地很重要。安全团队不能只追求一个漂亮的 precision,也不能接受一个到处报警的工具。成熟做法是把模型输出变成分层队列:高置信度问题直接进入修复,低置信度问题进入复核,重复或低价值告警进入过滤。
AI 安全扫描开始像一套运营系统
DeepsecBench 评估的维度包括召回、精确率、成本、运行时间和综合分数。
这说明一件事:AI 安全能力已经不只是模型能力,而是运营能力。
如果一个模型能多找出一些漏洞,但一次扫描要花几个小时、几十美元,团队就必须决定它适合跑在哪个环节:
每次 pull request 都跑? 每晚对关键仓库跑? 只在发布前对高风险模块跑? 只用于安全团队的深度审计?
真正的安全工程,不是把最强模型接上去就完事,而是把不同成本和能力的模型放在不同关口。
便宜、快、可重复的模型适合做前置筛查;更强、更慢、更贵的模型适合做深度审计。中间还需要规则、人工复核、修复验证和历史漏洞库。
防守方的优势,是能看到自己的系统
AI 安全讨论里,经常会把焦点放在攻击者能力变强。
但防守方并不是没有优势。恰恰相反,防守方有一项攻击者没有的资产:完整的代码、架构、提交历史、依赖关系和业务上下文。
AI 扫描只有接入这些上下文,才可能变成真正的防守工具。
如果模型只看到几个文件,它只能猜。如果模型能看到入口、调用链、历史修复、权限边界和真实部署方式,它才有机会判断一个问题是否真的可利用、是否值得优先处理。
这也是企业采用 AI 安全工具时最该关注的地方:不要只买“模型能力”,要看它能不能进入你的工程上下文。
榜单之外,更该问四个问题
团队看这类 benchmark,不应该只盯第一名。
更实用的问法是:
它在哪类漏洞上召回更好? 它的误报是否能被现有流程消化? 它每次运行的成本和时长适合哪个环节? 它能不能和代码托管、CI、安全工单、修复验证打通?
如果这些问题没有答案,榜单第一也只是演示。
如果这些问题能被流程承接,一个中等模型也可能在实际组织里创造更大价值。
真正的变化:安全左移变得更具体了
过去说“安全左移”,很多时候是一句口号:让开发更早关注安全。
AI 让这件事变得更具体。它可以在代码还没合并时阅读更多上下文,可以在安全团队不在线时做初筛,可以把某些漏洞模式变成可重复的检查。
但这不意味着安全团队会消失。相反,安全团队的角色会更像系统设计者:决定哪些风险交给模型发现,哪些风险交给规则发现,哪些风险必须人工判断。
AI 扫漏洞,重点不是让模型替你负责。
重点是把以前偶发、昂贵、靠经验的安全审查,变成一套可以度量、可以复盘、可以逐步调优的工程系统。
参考资料:Vercel Blog,DeepsecBench: evaluating model performance in finding cybersecurity vulnerabilities。
夜雨聆风