SkillTune：用自定义评测迭代 Agent 技能

是什么 SkillTune.dev 把 SKILL.md 视为可测试、可版本化的行为约束，而不是一次性提示词。用户描述或上传技能，系统生成自定义 eval cases，在目标模型与 harness 中运行，记录每一版的分数、案例通过率、差异与成绩图，直到达到目标再导出。

核心论点 文章的论证链是：技能未经测试可能静默降低结果质量；因此先建立基线，再让实验室根据失败案例改写技能，反复 test、refine、re-run；只有相对前一版更好且通过阈值的版本才发布，并用 base model 与 tuned skill 做最终基准比较。页面宣称在 500+ skills、20+ models 的测试中平均可提升 15–20%，同时减少幻觉、无效 token 与成本，但这些是产品方自述。

关键洞察 价值不在写出更长的指令，而在把技能纳入类似软件发布的评测闭环：可回归、可审计、可回滚，并能把结果带到 Claude Code、Codex、Cursor 等不同工作台。对 Agent 工程团队，这提供了从 prompt craft 转向 behavior/eval engineering 的思路。

边界与风险 自定义评测可能过拟合、泄漏答案或只优化单一指标；分数提升不等于真实任务收益，跨模型、跨 harness 的通用承诺需要独立复测。订阅授权、本地运行的数据边界、评测成本和失败案例质量也会影响结果。画面中的折线图、版本按钮和下载卡片是在解释功能，不是这条内容的主要价值。