SkillOpt：让 Agent 技能像模型一样训练
用有界编辑与留出验证，持续优化可迁移的 Agent 技能文档。
原始内容
MICROSOFT JUST OPEN-SOURCED SELF-EVOLVING AGENT SKILLS. it's called skillopt. skills that improve themselves the same way you train an ai model. no more guessing whether your prompt tweaks helped. a base model runs the task, an optimizer evaluates the output and rewrites the instructions itself. → isolates successful paths from failures to find precise improvements → auto-rejects any edit that doesn't beat your benchmark score → beats hand-crafted prompts and optimizers like textgrad → zero model lock-in, the skill transfers to any model you switch to 100% free. open source.
中文译文
机器翻译，保留原文供核对。
微软刚刚开源了能够自我进化的智能体技能。 它叫 skillopt。 这些技能会像你训练 AI 模型那样自我改进。 不用再猜你对提示词的微调到底有没有用了。由基础模型执行任务，优化器评估输出并自行重写指令。 → 把成功的路径与失败隔离开，从而找到精确的改进 → 自动拒绝任何没能超过你基准分数的修改 → 胜过手工编写的提示词，以及 textgrad 之类的优化器 → 零模型锁定，技能可以迁移到你切换到的任何模型 100% 免费。开源。
深度解析
是什么 这条推文介绍 Microsoft 开源的 SkillOpt：把 skill 文档视为冻结 Agent 的“可训练状态”，用离线任务轨迹和评分来迭代说明，而不改基础模型权重。README 还提供 Python 3.10+、PyPI、arXiv、MIT 等入口；这些是画面可见元数据，不等同于对效果的独立验证。
核心设计 流程类似文本空间的训练回路：基础模型按当前技能执行，独立优化器从成功/失败 rollout 中提取编辑方向，只允许对单一文档做受限的增删改；编辑预算、epoch/批次、拒绝编辑缓冲区和 held-out selection gate 共同控制更新。候选版本只有在留出集得分提升时才接受，部署阶段无需额外推理调用。
关键洞察 它把“改 prompt 凭感觉”变成可复现的实验协议：明确状态、预算、评测门槛和回退路径。最值得借鉴的是训练与部署分离、bounded diff、留出验证，以及把跨模型/跨 harness 迁移作为目标，而不是把某次模型输出误当成能力提升。
边界与风险 “击败手写 prompt、TextGrad、零模型锁定、100% 免费”等属于原推文的宣传性断言，截图未给出基准、成本或复现实验。实际效果会受任务评分器、留出集质量、编辑器偏差和优化成本影响，也可能过拟合 benchmark 或累积隐性语义损伤。采用前应审计评测泄漏、版本可回滚性与跨模型复测。
精选追评与案例
点出该方法依赖固定评估集这一关键前提与失效风险。
@oliviscusAI skillopt still needs fixed eval sets or it learns to pass the judge
中文译文 · 机器翻译
@oliviscusAI skillopt 仍然需要固定的评估集，否则它会学会去迎合评判器。
用古德哈特定律指出过拟合评估器的风险，并给出留出集的实操建议。
@oliviscusAI Very cool, with one tiny Victorian ghost in the room: Goodhart. Once a skill rewrites itself against a fixed evaluator, it may learn the rubric faster than the task. Keep a hidden holdout set, or the agent becomes valedictorian of its own exam.
中文译文 · 机器翻译
@oliviscusAI 非常酷，只是房间里还躲着一只小小的维多利亚式幽灵：古德哈特定律。一旦技能针对固定的评估器不断自我重写，它学习评分标准的速度可能比学任务本身还快。务必保留一个隐藏的留出集，否则智能体就成了自己那场考试的优等生。
质疑优化器并不能解决「好」的标准不明确这一根本难题。
@oliviscusAI "an optimizer evaluates the output and rewrites the instructions itself" Yea, if what "good" looks like was clear then the base model would have done it. The optimizer has the exact same problem as the base model.
中文译文 · 机器翻译
@oliviscusAI「一个优化器评估输出并自己重写指令」 是啊，如果「好」是什么样本来就清楚，那基础模型自己早就做到了。优化器面临的问题和基础模型一模一样。
提出技能自我演化中如何验证收益、避免漂移的核心疑问。
@oliviscusAI How to know whether this actually improves the skills or introduces drift?
中文译文 · 机器翻译
@oliviscusAI 怎么判断它究竟是真的提升了技能，还是引入了漂移？
给出与 DSPy 自动提示词优化的对照，便于理解其定位。
@oliviscusAI Like @DSPyOSS's automatic prompt optimization, but for skills?
中文译文 · 机器翻译
@oliviscusAI 像是 @DSPyOSS 的自动提示词优化，只不过对象换成了技能？