阿里开源AI技能测试工具，目前1000多颗⭐

给 AI 写技能，很多人都是这么干的：改几行说明，随手试两句话，觉得还行就上线。结果换个模型、换个场景，老毛病又冒出来了。问题不在提示词写得短，而在于压根没把它当成软件来验收。

阿里开源的 skill-up，补的就是这块空白。它 2026 年 5 月开源，目前 1000 多颗星，Apache-2.0 协议，免费用。

它做的事说穿了很简单：把"我觉得这个技能能用"，变成一次次真跑出来的任务、明确的评分和能翻看的报告。你只要用一份配置写清楚环境、用哪个 AI、测哪些例子、按什么标准打分，它就能自动跑一遍，本地能跑，也能接进流水线。

它内置三种打分方式：一种检查答案里该有和不该有的内容，一种跑脚本核对结果，还有一种交给 AI 判断质量好不好。跑完会生成报告文件，比聊天记录里截一张"成功过一次"的图靠谱得多。

更有意思的是失败之后。配套工具会读懂失败的原因，判断是技能的问题还是测试用例的问题，修完再补一个用例，让同样的问题下次必须能被测出来。

当然它不是自动改 bug 的魔法。一句话：只是自己写写提示词，它可能有点重；但技能要交给团队、要反复迭代，它就是那层地基。

开源地址：github.com/alibaba/skill-up

#开源工具 #AI智能体 #Skill评测 #阿里开源 #自动化测试