ARTICLE · 1360443
装四个插件就有一个带洞:我真扫了30个热门技能
装四个插件就有一个带洞:我用 SkillSpector 真扫了 30 个热门技能,结果比论文还难看
作者:陈嗣俊
先交代清楚:我扫的是什么、怎么扫的
这篇文章的标题里有两个词需要先校准,否则容易产生误解。
第一个是"插件"。现在大家说的编程助手扩展,形态已经从传统插件变成了"技能",也就是一个个带 SKILL.md 说明文件、可能还捆绑脚本的目录,Claude Code、Codex、Gemini CLI 都在用同一套格式。本文说的"插件"和"技能"指的是同一类东西:你从市场或开源仓库装进编程助手、随后被模型当成可信指令执行的能力包。为了和工具口径一致,下文统一叫技能。
第二个是"带洞"。我不是凭感觉说哪个技能有问题,而是真的把英伟达开源的安全扫描器 SkillSpector 装到本地,对 30 个真实技能逐一跑了静态扫描,所有分数和命中条目都来自工具实际生成的报告文件,可复现、可核对。
为什么选 SkillSpector?因为它不是业余作品,而是英伟达官方验证技能流水线里的安全环节,采用 Apache-2.0 协议开源,背后站着一篇 2026 年的实证研究论文,研究对象就是野外真实流通的技能安全。那篇论文扫描了来自各大市场的 42447 个技能,对其中 31132 个做了完整分析,结论是 26.1% 的技能至少包含一个漏洞,5.2% 存在疑似恶意意图,而且捆绑可执行脚本的技能,出问题的概率是纯文档技能的 2.12 倍。
我这次要回答的问题很直接:论文里这个超过四分之一的比例,放到我自己精挑的 30 个热门技能上还成立吗?官方出品的技能是不是就干净?扫描器打出的高分,又有多少是误报?
一、环境是真实搭起来的,不是看文档说话
先报我的实操环境,方便你判断这些结果的可信度。
工作机是一台没有独立显卡的 Linux 服务器,系统自带 Python 3.11,但 SkillSpector 要求 3.12 以上。我用 uv 自动拉了一个独立的 Python 3.12.4 解释器,建虚拟环境后以可编辑模式安装了 SkillSpector 2.12.0,安装过程没有踩坑,依赖里包含 tree-sitter 语法解析、yara-python 特征匹配和一套 langchain 语义分析组件。
扫描方式上,我全程使用纯静态模式,也就是关闭 LLM 语义分析的开关。这样做有两个原因:一是静态分析不会把技能文件内容上传到任何外部模型,数据不出本机,结果完全可复现;二是我想检验的正是这套规则引擎本身的判断力,而不是再叠加一层大模型的主观解读。工具本身也明确声明:它永远不会执行被扫描的技能代码,只做正则、Python 抽象语法树、YARA 特征和污点追踪分析。
30 个样本我刻意做了分层,而不是随便抓一把。其中 10 个来自 Anthropic 官方技能仓库,包含 docx、pdf、pptx、xlsx 这类捆绑大量脚本的重型办公技能,以及 mcp-builder、skill-creator 这类开发工具;10 个来自社区里星标数最高的精简技能集,偏纯文档的工程方法论;最后 10 个取自我本机长期在用的技能库,里面有微信公众号发布、模型部署、游戏自动化这类真实生产环境里跑的技能,还特意放进了一个我知道底细的开源游戏技能和一个专门研究越狱的红队技能。
这个样本结构故意让含脚本技能占多数,30 个里有 21 个带可执行代码,9 个是纯文档。因为论文最关键的结论恰恰是脚本带来风险,我要亲手验证这条规律。
二、总分出来了:40% 被判禁止安装,比论文的比例还刺眼
30 个技能全部扫描成功,这里先说明一个技术细节:有十几个含脚本的大技能单次扫描耗时较长,超过了我批处理脚本设置的等待时间被提前终止,但工具在退出前已经把完整的 JSON 报告写进了磁盘,我是直接读取这 30 份报告做的汇总,没有一个样本缺失。
先看总体分布。按 SkillSpector 的评分规则,0 到 20 分是低风险、建议安全,21 到 50 分是中风险、建议谨慎,51 分以上无论高危还是严重,统一给出"禁止安装"的结论。
我的 30 个样本里,拿到禁止安装结论的有 12 个,占比 40%;建议谨慎的 9 个,占 30%;真正被判安全的只有 9 个,占 30%。其中直接拉满 100 分的有 8 个。
这个 40% 的比例,比论文统计的 26.1% 漏洞率还要难看。但请注意,这两个数字不能直接划等号,原因我会在误报分析里讲清楚。这里先记住一个反差:论文是在四万多个鱼龙混杂的市场技能里算出四分之一有洞,而我精挑的、很多人眼里"靠谱"的热门技能,禁止安装率反而更高。
再看分组对比,规律非常清晰。
Anthropic 官方的 10 个技能,平均分 52 分,4 个被判禁止安装,只有 1 个拿到安全评级。社区高星的 10 个纯工程技能,平均分只有 14 分,7 个安全,仅 1 个禁止安装。我本机的 10 个生产技能平均分最高,达到 64 分,7 个禁止安装。
最关键的是脚本维度的对照,它几乎完美复现了论文的 2.12 倍结论。我这里 21 个含脚本技能的平均分是 58 分,禁止安装率 57%;而 9 个纯文档技能平均分只有 9 分,禁止安装率是零。也就是说,只要一个技能捆绑了可执行代码,它被扫描器判死刑的概率就从零飙升到过半。这和论文"带脚本的技能风险高出一倍多"的发现方向完全一致,而且在我的小样本里差距更极端。
三、最刺耳的一幕:三个 Anthropic 官方技能满分禁止安装
如果只看总分,最颠覆直觉的是这份名单:pptx、skill-creator、mcp-builder,三个都是 Anthropic 官方仓库里的技能,齐刷刷拿了 100 分,和那个专门研究越狱的红队工具同分。
官方出品怎么会和越狱工具一个待遇?我把这三个技能的报告逐条拆开看,发现问题主要出在静态规则对正常工程代码的误伤上。
以官方 pptx 技能为例,它被扣分的几条主力规则是这样的。技能文档里有一行清理临时文件的命令 rm -f 输出文件,扫描器的工具参数滥用规则立刻报高危,认为这是危险的删除操作。脚本里为了调用 LibreOffice 做格式转换,用了 os.environ.copy() 复制环境变量传进去,被环境变量窃取规则判成高危,仿佛这段代码在偷你的密钥。至于 subprocess.run 调用 soffice、gcc、pdftoppm 这些系统程序,更是被危险代码执行规则连续标记。
问题在于,这些全是办公文档转换的正当操作。删除临时输出、给子进程传环境变量、调用系统里的办公软件,本来就是这个技能该干的活。脱离了具体语境,单看代码模式,它们确实和某些攻击手法长得像,但结合技能的声明用途,没有一条构成真实威胁。
mcp-builder 的 27 个问题里,有 10 个是"引用的文件没有被完整分析",6 个是引用了未锁定版本的 MCP 服务器。前者其实是扫描器自己的解析局限,却以高危的"分析规避"名义记在了技能头上;后者提醒固定依赖版本是合理建议,但远够不上禁止安装的程度。
我还统计了全部 30 个样本里最高频的命中规则。排第一的是外部传输,出现 77 次,我随手抽几条看命中内容,发现大量是文档里写着的示例占位网址,比如 api.example.com 这种教学用的假地址,只要文本里出现一个 URL,规则就倾向于怀疑它在往外偷数据。排第二的子进程调用 29 次、第三的未锁定 MCP 版本 28 次,也都是类似的语境缺失问题。凭据访问规则更夸张,文档里只是用文字提到 access tokens、.env 这样的词,就被记成了试图读取凭据。
这就是静态分析的先天短板:高召回、低精度。它宁可错杀一千,不可放过一个,因为对于安全工具来说,漏报的代价远大于误报。论文那个 26.1% 的漏洞率,统计的是"至少触发一条规则",而不是"确认存在可利用漏洞",把误报也算进去了。理解了这一点,你就明白为什么我的 40% 比论文还高,因为我特意选了大量含脚本的重型技能,正好撞在这些规则的枪口上。
四、但扫描器不是摆设:它抓真威胁确实一抓一个准
如果故事只讲到误报,那对 SkillSpector 是不公平的。我特意放进样本里的那个越狱研究技能,给出了检验工具真本事的机会。
这个技能的用途本身就是研究如何绕过模型安全限制,报告里的高分可谓实至名归。扫描器精准抓到了几个无法狡辩的硬信号:脚本里存在 exec 配合 compile 再配合 open 的动态代码执行链,也就是从磁盘读一个文件、当场编译、立刻执行,这是污点追踪规则最警惕的文件读取到代码执行直通路径,被评为严重级。技能文档里反复出现 don't refuse、never add disclaimers 这类反拒绝话术,反拒绝规则和指令覆盖规则同时命中。还有一条读取 .env 文件的凭据访问、一条 YARA 特征库直接匹配到隐藏注入指令。
这些不是误伤,而是这个技能本来就有的真实特征。扫描器通过抽象语法树、数据流分析和 YARA 特征,把动态执行、越狱提示、凭据读取三条攻击线索完整地串了起来,证据链清晰、定位精确到具体文件和行号。换句话说,面对真正可疑的东西,这套工具的专业度完全在线。
于是我得到一个比"工具不准"更准确的结论:SkillSpector 是一道高灵敏度的初筛筛子,而不是终审法官。它擅长把所有值得人眼复核的疑点统统捞出来,确保恶意技能很难蒙混过关,但它没有能力替你判断某个可疑模式在具体业务语境下是不是正当操作。它自己的文档也反复强调,扫描结果是证据而非放行许可,最终安装决策必须有人参与。
五、读懂那 0 到 100 分是怎么算出来的
要正确使用这个工具,得先明白它的分数不是拍脑袋,而是一套加权累加的机械规则,理解了算法,你才知道分数为什么容易虚高。
SkillSpector 内置 71 个漏洞模式,归在 17 个大类里,覆盖提示注入、数据外传、权限提升、供应链、过度授权、输出处理、系统提示泄露、记忆投毒、工具滥用、流氓行为、反拒绝、触发滥用、危险代码、污点追踪、YARA 特征、MCP 最小权限和 MCP 工具投毒。这套覆盖面是目前同类扫描器里相当全的。
打分规则是这样的:每发现一个严重级问题加 50 分,高危加 25 分,中危加 10 分,低危加 5 分,然后只要这个技能捆绑了可执行脚本,总分还要再乘一个 1.3 倍的系数。分数落到四个区间,0 到 20 是低风险对应安全建议,21 到 50 是中风险对应谨慎,51 到 80 是高危,81 以上是严重,后两者都直接给禁止安装。
这套算法解释了我扫描中的两个现象。第一,为什么含脚本技能分数普遍高。因为脚本天然会触发子进程调用、环境变量读取、外部网络请求这些规则,每触发一条就累加,最后还要被 1.3 倍系数放大,分数像滚雪球一样上去。官方 pptx 技能那 8 个问题,单个看大多是中危,但累加再加权就越过了严重线。第二,为什么纯文档技能几乎都安全。纯 Markdown 里没有可执行代码,危险代码和污点追踪这两大类规则根本无从触发,只剩提示注入类的文本匹配,自然分数很低。
这里有个很重要的认知:分数衡量的是命中规则的数量和权重,而不是被利用的真实概率。一个触发了八条规则但条条都是正当业务的技能,分数会远高于一个只藏了一行精心伪装外传指令、却没撞上任何规则的恶意技能。安全研究界已经证实,存在一些文本打包手法能以超过九成的概率绕过所有主流静态扫描器。这就是为什么我反复强调,分数是用来排序审查优先级的线索,而不是可以直接照做的判决书。
还有一个工具自身的诚实声明值得一提。它明确列出自己的能力边界:无法分析图片里的文字、看不懂编译或加密后的二进制、只做静态分析不观察运行时行为、依赖项之外和无法证明的运行时行为都属于不完整分析。换句话说,扫描通过只能说明在它能看见的范围内没发现问题,绝不等于这个技能绝对安全。把扫描器当成一道纵深防御里的前置关卡,而不是唯一的闸门,这个心态才不会用错工具。
六、把误报和真威胁摆在一起,普通开发者该怎么办
扫完这 30 个技能,我最大的收获不是记住了几个分数,而是想清楚了一套可操作的安装判断流程,分享给你。
第一步,装之前先扫,但用对模式。纯静态扫描零成本、不上传内容,应该成为安装任何第三方技能的固定前置动作。扫描器给出的风险分和分类,能帮你快速缩小需要重点审查的范围。
第二步,不要只看总分,要逐条读命中内容。这是最关键的一步。看到禁止安装不要慌,点开每一条 finding,问自己一个问题:这个操作和技能声明的用途对得上吗?一个文档转换技能调用 soffice 是天经地义,一个天气预报技能却在读你的 .env 和 SSH 目录,那才是真危险。判断信号是"越界",而不是"出现了敏感词"。
第三步,对几类模式保持零容忍的警惕。无论扫描器打不打分,只要技能里出现动态执行拼接来的代码、向陌生网址外发本地文件内容、在你看不到的预处理阶段偷偷跑命令、或者要求不加限制的 shell 全权限,就应该直接拒绝。这些是静态分析最擅长抓、也最接近真实攻击的硬信号。
第四步,特别小心动态上下文和钩子。安全厂商的研究反复指出,编程助手里有一种在模型看到技能内容之前就执行的预处理命令,等模型反应过来想拒绝时,恶意操作已经跑完了,模型层面的提示注入防护根本来不及介入。这类机制不读源码是发现不了的,所以对任何带钩子、带预处理脚本的技能,都要把它当成拥有你完整账户权限的程序来审查。
第五步,优先选纯文档、无脚本的技能。我的实测数据很说明问题:9 个纯文档技能零禁止安装,而含脚本技能过半被判死刑。如果一个功能用纯提示词就能实现,就没必要选那个捆绑了一大堆脚本的版本,攻击面越小越安全。
最后是团队层面的建议。把扫描器接进持续集成流水线,在技能入库前强制跑一遍,用失败即阻断的开关把高危品挡在门外,同时维护一份人工确认过的基线文件,把已知的合理误报抑制掉,让后续扫描只暴露新问题。机器负责高召回的初筛,人负责语境判断和最终担责,这才是这套工具正确的打开方式。
这里要单独说一下供应链这个维度,因为它是企业场景里风险最高、也最容易被个人开发者忽略的一块。我这次扫描中,供应链相关的命中相当密集:未锁定版本的依赖、从外部脚本地址直接拉取代码、引用了没有固定版本号的 MCP 服务器,这些模式单独看都像是方便的工程实践,但放在供应链攻击的语境下全是隐患。依赖劫持的真实案例已经发生过,攻击者不需要直接攻破你的代码,只要让技能里那句安装依赖的命令,把包解析到一个被投毒的同名来源,整条信任链就被接管了,而编程助手只会把它当成一次正常的安装继续往下走。
更隐蔽的是 MCP 服务器配置带来的离岸风险。一个技能如果在配置里写死了某个服务器地址,相当于把一部分能力托付给了别人掌控的端点。攻击者篡改那个服务器的返回内容,不需要提交任何代码、不需要通过你的代码评审、也不会触发持续集成检查,就能在运行时改变模型看到的信息。所以对企业来说,审查技能不能只看仓库里的静态文件,还要把它指向的所有外部端点、所有未固定版本的依赖都纳入资产清单,能锁定版本的全部锁定,能自建镜像的全部收回到内网,这比纠结某条规则是不是误报要重要得多。
还有一条组织管理上的建议:技能的来源目录必须分级信任。编程助手可以从企业统一策略、个人目录、项目目录、插件甚至嵌套的子文件夹里加载技能,这意味着你克隆下来的一个代码仓库,可能在你毫不知情的情况下就把技能带进了可信会话。企业应该明确划定哪些目录允许放技能、任何对这些目录的改动都强制走代码评审,并在工作站上监控编程助手运行期间异常的进程和外联行为。把信任边界从"相信这个仓库"收敛到"只相信经过扫描和评审的技能清单",才能真正管住这条新兴的攻击面。
结尾
回到标题那个问题,装四个技能是不是真有一个带洞。
我的实测答案是:按扫描器的严格口径,30 个热门技能里 40% 会被建议禁止安装,比例确实比论文的四分之一还高;但如果把误伤的正常工程代码剔除,真正藏着恶意特征的只是极少数,典型就是那个本就以越狱为目的的红队技能。
这两个看似矛盾的结论其实指向同一件事:技能生态的安全现状值得警惕,但静态扫描器的高分不等于终审判决。论文用四分之一的漏洞率提醒我们,对装进编程助手、拥有你完整权限的第三方技能,不能再抱着默认信任的态度;而我这次对官方技能误报的拆解则提醒我们,安全工具会喊狼来了,真正的成熟是既不忽视警报,也不被分数牵着鼻子走。
在一个技能即代码、安装即授权的时代,读得懂扫描报告、分得清误报与真威胁,正在成为每个开发者的基本功。把那道筛子用起来,再把最终判断权握在自己手里,你就已经比大多数人安全得多了。
参考与出处:
NVIDIA SkillSpector 开源仓库,Apache-2.0,本文本地安装 v2.12.0 并完成 30 技能静态扫描的直接工具 2026 年野外技能安全实证研究论文,Liu 等,42447 技能数据集、26.1% 漏洞率、5.2% 疑似恶意、脚本技能 2.12 倍风险的原始出处 Anthropic 官方技能仓库 anthropics/skills,本文官方组 10 个样本来源 社区高星技能集 mattpocock/skills,本文社区组 10 个样本来源 Datadog、Red Hat、Prompt Security 关于编程助手技能动态上下文、钩子与供应链风险的公开安全研究
作者:陈嗣俊
本文扫描结果基于 SkillSpector v2.12.0 本地静态实测,数据截至 2026 年 11 月 15 日















































































