正在打开每日关注
正在打开每日关注
开源插件从真实会话蒸馏技能并自动合并更新淘汰，宣称同模型下 CORE-Bench 42%→78%。
Autoharness is an open-source plugin that lets Claude Code create and maintain its own skills based on how you work. → It runs a background reflection every 50 tool calls by default to propose new or updated skills → It merges duplicate skills and archives ones that stop being used → It only modifies skills it created and keeps a ledger of every change → The repo claims a jump from 42% to 78% on CORE-Bench with the same model Source: https://t.co/8gMv7jAqAL
是什么：AutoHarness 是 tigerless-labs 开源的 Claude Code 插件（Python 3.11+、零第三方依赖、MIT，约 9.5k stars），定位为自学习技能层：从你本就在进行的真实会话中蒸馏技能，按使用情况更新、合并与淘汰，无守护进程、零配置。
架构与核心设计：以 hooks + MCP server 挂在宿主旁运行。默认每 50 次工具调用触发一次后台反思，把片段蒸馏为 SKILL.md（正文限 25 行，细节放 references/）；curator 每 250 次调用做整体合并，fold 记录吸收关系以免误判技能死亡。召回不改宿主原生机制，而是在会话开始注入自建技能的分组索引。生命周期上有试用期（项目层 100 / 全局层 300 次请求）、毕业评审与成熟技能容量上限（50/20），容量竞争是唯一死因。所有 create/update 写入 per-skill ledger，且只动带 self-authored 标记的技能，用户技能绝不触碰。
关键洞察：呼应 swyx 的 Big Model vs Big Harness——repo 宣称同模型下 42%→78%（CORE-Bench/HAL），并押注技能层这一片 harness 可自我维护；技能有效性以「后续回合是否被遵循」验证，而非 held-out 分数，不花 token 做专门评测。
边界与风险：42%→78% 为 repo 自述、未见独立复现；所有默认阈值是待经验校准的占位值；反思载体 bundle/fork 尚在测缓存命中；技能未被调用可能只因从未被提供，故保留停用毕业评审的开关；卸载插件后技能与状态仍留在磁盘需手动清理；PATH 上 python3 <3.11 会让 hooks 全部失效。