正在打开每日关注
正在打开每日关注
Skillgrade 把 Agent Skills 评测做成可重复运行的 CLI 测试套件,并接入自定义命令 agent。
Just released skillgrade v0.2.0! 🚀 You can now bring your own CLI agents using the new command agent. Just pipe instructions directly to your script/orchestrator. https://t.co/NPVCKSG7CI https://t.co/0l66hWSr6u
是什么
Skillgrade 是 mgechev/skillgrade 的 TypeScript CLI,将带 SKILL.md 的目录作为可测单元。init 自动发现 skill 并生成 eval.yaml;v0.2.0 新增 command agent,可把指令直接交给自有脚本或编排器。给定元数据为 691 stars,最近提交 2026-08-26。
架构与核心设计
eval.yaml 以 task 描述 instruction、workspace、agent/model、provider、trial 与 grader;运行可选 Docker 或 local,workspace 可复制进容器。grader 分为 deterministic 与 llm_rubric,按权重合成分数,expected 只交给 grader 比较。smoke/reliable/regression 对应不同试验规模,并提供过滤、导入、preview 和 CI threshold。
值得借鉴 把技能发现、执行结果与过程质量纳入重复 trial;机器校验和 LLM 评审互补,结果同时呈现 PASS/FAIL、总分、耗时、命令数及分 grader 得分,适合定位回归。
坑与边界
需要 Node.js 20+;Docker provider 还依赖 Docker,AI 生成和 LLM 评审需要对应 API key。模型、provider、grader 会引入波动,5 次 smoke 只是快速体检;expected 不会自动解释,答案比较仍由 grader 负责,CI 应固定配置并提高 trial 数。