你部署的 AI agent 背后那份 SKILL.md,有没有被人系统检查过?大多数人的答案是:没查过。
tarai.dev 今天正式公开,做的就是这件事——
独立审计 AI agent 背后的 SKILL.md 文件,三层流水线扫描,30 秒出一份带 grade 和具体 findings 的报告。 背景先讲清楚。 Claude Code、Cursor、Codex,每个 AI agent 背后都在跑大量的 SKILL.md 文件——里面写着 agent 该做什么、不该做什么、遇到什么输入该怎么处理。但这些文件目前没人系统检查安不安全、质量够不够。 类比关系很直接:米其林不开餐厅,它评餐厅。我们不写 skill,我们评 skill。独立、有方法、敢给低分。
审计跑三层,每层做不同的事
每篇审计走同一条流水线。
L1 静态层 是最快的一层:硬编码 regex 加 AST 检查,命中明显的 prompt injection 模式、secret 泄露、危险 shell 调用、缺 license。这层能在几秒内扫出大部分写法层面的明显问题。
L2 语义层 是让 LLM 像资深 reviewer 一样读文件。regex 漏掉的东西往往是语义意图风险——含糊指令、能力越界、缺失防护。这一层专门抓这些。
L3 对抗层 是实际跑攻击。15 个 prompt 攻击按五类分组:指令覆盖、角色越狱、编码混淆、权威伪装、反射注入。同类攻击多数成功才记录为 finding——我们宁可漏报,也不想用误报淹没你。 每条 finding 给出 severity、命中位置 行号加原文、具体修复建议、跳到 GitHub 看规则定义的链接。
整套 methodology 全公开,规则 registry 在 github.com/qingxuantang/tar-engine,每条规则都能看到原码。你不同意某条规则,直接提 issue,可以撤掉或改掉。
Playground 现场可试,30 秒检查 AI skill
不只是看别人的审计结果——你可以把自己的 SKILL.md 粘进来跑。 打开 tarai.dev → 点 Playground → 粘一份 SKILL.md → 大概 30 秒拿到 grade、score、完整 findings。静态层免费跑。语义层和对抗层 BYOK——用你自己的 OpenAI key,我们不存。 试一下你正在写的 skill。多半会命中几个你自己没想到的问题。以为干净的文件,跑完再说。
装进自己的 agent?一段粘贴搞定
跑完审计,很多人会想:能不能装到自己的工作流里,每次写 skill 就自动跑一遍? 可以。但你不需要学怎么装。 Playground 结果区下面有一段 paste,直接复制,丢给你的 Claude Code、Cursor、Codex,或者任何你在用的 agent。agent 读懂以后自己起 Docker,自己注册 MCP server,自己跑 smoke test。你全程不需要打一条终端命令。
这是 2026 年 agent-native 的安装体验——不是三条 shell 命令,是一段提示给 agent,让它自己完成安装。这件事以前要你查文档、配环境、逐步验证,现在这个流程可以委托出去了。
目前我们做了60 篇审计,覆盖 10 个读者画像:engineer、data + AI、writing + content、design、research、business + ops、productivity、education、security、meta-tooling。按你做什么挑画像进去看,每个画像下还有 6 个子类。 不是推荐列表,是审计结果——每篇都有 grade、score、具体 findings,告诉你这份 SKILL.md 问题在哪。
OSS engine 全开源在
github.com/qingxuantang/tar-engine,可以自部署。methodology 那页讲清楚评分体系、怎么处理 victim 模型、怎么控制 false positive。
我们想推动的是什么
现在 AI agent 的安全这件事,大部分人的默认预设是「模型不会出错」或者「skill 写完应该没问题」。 但 skill 作者层面有没有显式防御,是完全另一件事。skill 文件写得含糊,不等于安全——只是没人检查。 我们想推动的不是「先用我们的工具再说」,是这件事从「nobody cares」变成「应该是 must-have」。
现在还没有人把 SKILL.md 审计当成 ship 流程的一部分。我们想让这件事正常化——就像代码有 code review,skill 有 audit。 这件事在 AI 工具生态里,目前还没有人专门做——我们想先把它跑起来,再把所有 methodology 和规则开放出来。规则开源、方法公开、结论独立。不认同某条规则,欢迎来仓库争论。
进去试一下
tarai.dev Playground 在首页就能找到。粘你最近写的 SKILL.md,跑一次。看看你以为干净的文件会不会跳出几个 finding。 OSS engine 和完整规则 registry:
github.com/qingxuantang/tar-engine
夜雨聆风