正在打开每日关注
正在打开每日关注
介绍 SkillTune 用定制评测和自我改进循环迭代 SKILL.md，验证并提升 Agent 任务表现。
Everything built inside https://t.co/PLCll2pcSm is with skills. By everything i mean: /landing-page-copy skill /landing-page-ui /dashboard-ui /demo-video /qa-testing Used GPT 5.6 Sol + Fable 5 + Opus 5 in sync with another /orchestration skill. Skills are highly underrated.
Introducing https://t.co/DPZQATF63w A self-improving loop that fixes your existing and all new skills (SKILL.md) with custom evals. Results: Tuned-skills improve model performance by 15-20% on average. > works with all harnesses > works with all models > no credits required > runs locally Try it today.
是什么 这组推文与 SkillTune 页面共同表达一个观点：SKILL.md 不应只是一次性提示词，而应成为可测试、可版本化、可审计的 Agent 工程资产。SkillTune 允许描述或上传 skill，选择 Harness 与模型，生成首版，自动创建定制 eval，运行基准并反复修订，达到目标分数后再导出到不同编码工具。页面宣称调优后性能可提升 15–20%，但材料未给出实验设计与独立验证。
核心链条 其方法是“定义成功标准→生成案例→测量基线→修复失败→重跑→保留更优版本→对比发布”。多模型协同和 orchestration skill 用于提高技能编写质量；本地运行、复用已有订阅与跨 Harness 导出，则降低 API 账单、凭证和迁移成本。
关键洞察 真正值得借鉴的是 eval-driven skill development：把评审、迁移、UI 生成、QA 等工作拆成可复现案例，并记录正确率、token、延迟和成本，避免只凭感觉升级 skill。
边界与风险 “适用于所有模型/Harness”以及“提升 20%”仍是页面主张；窄 eval、评分器偏差、测试集泄漏或合成案例都可能放大收益。上线前应保留 holdout 集、失败分类和人工抽检。