觉
AI觉醒星球
Awakening is here
Knowledge File / AI技能杠杆
2026-06-13 3 浏览 免费阅读

趋势解读:Microsoft's SkillOpt boosts GPT-5.5 by using nothing but,聚焦形式化数学证明能力

微软和三家中国大学提出SkillOpt方法,将指令文档作为可训练状态,通过独立优化器迭代编辑,使GPT-5.5在程序任务上提升23点,且技能可迁移至其他模型和平台。

SOURCE / AI技能杠杆 MIN / 9 ACCESS / 免费阅读 POST / 2026-06-13 20:20:39

原贴

查看原文
作者:Jonathan Kemper 来源站点:the-decoder.com 原贴时间:

原文

A simple Markdown file is apparently enough to boost GPT-5.5 by more than 20 points on procedural tasks. That's the promise of SkillOpt, a method from Microsoft and three Chinese universities that trains instruction documents for AI agents the same way model weights get trained. These kinds of instruction documents, known as "skills," are already common in commercial products. Anthropic, for example, added a modular skill system to Claude last year that automatically loads topic-specific instructions, scripts, and resources depending on the task. Skills typically bundle procedures, tool-use rules, output formats, and known failure patterns, and they've become a standard approach . Until now, according to the Microsoft team's paper, they were either written by hand, generated in a single pass by a language model, or loosely self-revised. None of these approaches behaves like a real optimizer, and none guarantees the skill actually improves. SkillOpt treats the skill document as an external, trainable state for a frozen target model. A second, separate language model acts as the optimizer. It reads logs from the agent's runs, spots recurring error and success patterns, and proposes limited edits to the skill: adding, deleting, or replacing individual passages. Each change is only accepted if it performs better on a held-out validation set. The authors map several deep learning concepts onto the text level. A kind of learning rate caps how many edits can land per step. A scheduler shrinks the step size across epochs. Rejected edits go into a buffer and serve as negative examples for later reflection. A slow update at the end of each epoch preserves stable edit directions across training rounds, similar to how gradient smoothing works in traditional training. What makes this practical is the clean split between training and deployment. The optimizer model only runs during training, and once that's done, it's out of the picture. At inference time, the target model simply receives a plain Markdown file of 300 to 2,000 tokens as context. The authors tested their approach on six benchmarks covering search, spreadsheets, document analysis, math, and embodied action. Seven systems served as target models, including GPT-5.5 and the much smaller Qwen3.5-4B. Tasks ran in direct chat as well as in the agent environments Codex and Claude Code. Across every combination, SkillOpt leads or ties with the best comparison result. That holds against handwritten skills, one-shot LLM-generated skills, and specialized methods like Trace2Skill, TextGrad, GEPA, and EvoSkill. On GPT-5.5 in direct chat, the average across all six benchmarks jumps by about 23 points. The biggest gains show up on tasks with strict format requirements and tool use, like spreadsheet editing. Smaller models benefit too, which the authors take as evidence that a well-trained skill delivers procedural knowledge these models lack in their weights. One key finding is transferability. A skill trained on a larger model also improves smaller models in the same family. A spreadsheet skill trained in the Codex loop works unchanged in Claude Code, lifting performance there to the same level as a skill trained directly in Claude Code. A math skill optimized on olympiad problems still delivers gains on a related benchmark without any retraining. The ablation studies explain why the method stays stable. Without a bounded edit budget, the skill drifts too far with each revision. Without the buffer for rejected edits, the optimizer repeats the same failed attempts. Removing the slow update at epoch's end costs SpreadsheetBench more than twenty points, the largest drop in the entire experiment. Only the combination of bounded step size, validation gating, negative feedback, and long-term consolidation makes skill training behave like a controlled optimization process, the authors say.

中文翻译

一个简单的Markdown文件显然足以在程序任务上将GPT-5.5提升超过20点。这是SkillOpt的承诺,一种来自微软和三家中国大学的方法,它训练AI代理的指令文档,就像训练模型权重一样。这类指令文档,称为“技能”,已经在商业产品中很常见。例如,Anthropic去年给Claude添加了一个模块化技能系统,根据任务自动加载特定主题的指令、脚本和资源。技能通常打包了程序、工具使用规则、输出格式和已知故障模式,并且已成为标准方法。据微软团队的论文称,到目前为止,这些技能要么是手工编写的,要么是由语言模型一次性生成的,要么是松散地自我修订的。这些方法都不像真正的优化器,也不能保证技能实际上有所改进。SkillOpt将技能文档视为冻结目标模型的外部可训练状态。第二个独立的语言模型充当优化器。它读取代理运行的日志,发现重复出现的错误和成功模式,并提出对技能的有限编辑:添加、删除或替换单个段落。每个更改只有在保留验证集上表现更好时才被接受。作者将几个深度学习概念映射到文本层面。一种学习率限制每步可以进行的编辑数量。一个调度器在多个epoch间减小步长。被拒绝的编辑进入缓冲区,作为后续反思的负面例子。每个epoch结束时进行缓慢更新,保持跨训练轮次的稳定编辑方向,类似于传统训练中的梯度平滑。使其实用的是训练和部署之间的清晰分离。优化器模型只在训练期间运行,一旦完成,它就不再出现。在推理时,目标模型只需接收一个300到2000个token的普通Markdown文件作为上下文。作者在六个基准测试上测试了他们的方法,涵盖搜索、电子表格、文档分析、数学和具身动作。七个系统作为目标模型,包括GPT-5.5和更小的Qwen3.5-4B。任务在直接聊天以及代理环境Codex和Claude Code中运行。在所有组合中,SkillOpt领先或与最佳比较结果持平。这包括手写技能、一次性LLM生成的技能以及专门方法如Trace2Skill、TextGrad、GEPA和EvoSkill。在直接聊天中,使用GPT-5.5在所有六个基准测试上的平均得分提升约23点。最大的提升出现在有严格格式要求和工具使用的任务上,比如电子表格编辑。较小的模型也受益,作者认为这证明了训练良好的技能提供了这些模型权重中缺乏的程序知识。一个关键发现是可迁移性。在较大模型上训练的技能也能改进同一系列中的较小模型。在Codex循环中训练的电子表格技能在Claude Code中无需更改即可使用,将其性能提升到与直接在Claude Code中训练的技能相同的水平。在奥林匹克问题上优化的数学技能仍然能在相关基准测试上带来提升,无需重新训练。消融研究解释了该方法为何保持稳定。如果没有有限的编辑预算,技能每次修订会偏离太远。如果没有被拒绝的编辑的缓冲区,优化器会重复相同的失败尝试。移除epoch末端的缓慢更新会使SpreadsheetBench损失超过20点,这是整个实验中最大的下降。作者表示,只有结合有限的步长、验证门控、负面反馈和长期巩固,才能使技能训练表现为可控的优化过程。

核心信息

微软和三家中国大学提出SkillOpt方法,将指令文档作为可训练状态,通过独立优化器迭代编辑,使GPT-5.5在程序任务上提升23点,且技能可迁移至其他模型和平台。

  • SkillOpt将指令文档作为可训练状态优化AI代理
  • GPT-5.5程序任务平均提升23点
  • 技能可迁移至不同模型和平台
  • 结合编辑预算、验证门控和负面反馈实现稳定优化

详细解读

【这是什么信号】微软和三家中国大学提出的SkillOpt方法突破了传统AI代理优化的局限。以往指令文档(技能)要么手工编写,要么一次性生成,缺乏迭代优化。SkillOpt将技能文档视为可训练的外部状态,用另一个语言模型作为优化器,通过读取运行日志、识别错误模式、提出有限编辑,并经过验证集筛选,实现了类似模型训练的优化过程。在六个基准测试中,使用SkillOpt优化后的技能使GPT-5.5在程序任务上平均提升约23点,且在电子表格编辑等严格格式要求的任务中提升最为显著。

【为什么重要】这一成果表明,无需修改模型权重,仅通过优化外部指令文档,就能大幅提升AI模型在特定任务上的表现。这降低了AI定制的门槛:企业可以保留原有模型,通过优化技能文档来适配业务需求。同时,技能具有可迁移性,在大型模型上训练的技能可以无缝应用于小模型或不同平台,如从Codex迁移到Claude Code。这为AI代理的模块化和复用提供了新思路。

【对谁有价值】对AI开发者和企业而言,SkillOpt提供了一种低成本、高效率的AI代理优化方法。特别是那些依赖大型语言模型作为底层能力、但需要定制化行为的团队,可以通过编写和优化技能文档来快速迭代。对于AI平台供应商,可以借鉴这一思路,将技能优化作为增值服务。

【可以怎么行动】团队可以尝试在自己的AI代理系统中实现类似的技能优化流程:1) 记录AI代理的运行日志,包括成功和失败案例;2) 使用另一个语言模型分析日志,生成对技能文档的修改建议;3) 在独立验证集上评估修改效果,只采纳正向改进;4) 引入学习率调度和负面反馈缓冲,控制优化稳定性。对于已有AI产品的公司,可以开始构建技能文档库,并定期优化。

【风险或限制】该方法依赖高质量验证集,验证集偏差可能导致优化方向错误。优化过程需要额外计算资源(运行优化器模型),但相比重新训练模型成本仍低。此外,目前测试的基准集中在程序任务,对于更开放的创意任务(如写作、对话)效果未知。技能文档的初始质量也会影响优化上限,需要一定的人工程理。

信息差价值

【信息差价值】多数AI从业者关注模型参数优化,而SkillOpt揭示了指令文档本身也可以被系统化优化,这是一种认知差。理解这一点,可以更快地提升现有AI代理的表现。

【业务启发】企业可以建立技能文档的自动优化流水线,将AI代理的迭代从周级缩短到天级。例如,客服机器人可以通过分析失败案例,自动优化话术指令,提升解决率。

【可沉淀动作】立即行动:1) 记录当前AI代理的运行日志;2) 用一个大模型作为优化器,尝试对现有技能文档进行编辑和验证;3) 建立验证集和反馈循环。长期看,可以开发通用的技能优化平台,作为AI基础设施的一部分。

参考来源

AI SUMMARY

这篇文章回答了什么

趋势解读:Microsoft's SkillOpt boosts GPT-5.5 by using nothing but,聚焦形式化数学证明能力主要讲什么?

微软和三家中国大学提出SkillOpt方法,将指令文档作为可训练状态,通过独立优化器迭代编辑,使GPT-5.5在程序任务上提升23点,且技能可迁移至其他模型和平台。

这篇文章最值得关注的要点是什么?

微软和三家中国大学提出SkillOpt方法,将指令文档作为可训练状态,通过独立优化器迭代编辑,使GPT-5.5在程序任务上提升23点,且技能可迁移至其他模型和平台。;SkillOpt将指令文档作为可训练状态优化AI代理;GPT-5.5程序任务平均提升23点;技能可迁移至不同模型和平台

这篇文章和哪些AI专题相关?

它适合放在AI工具、Agent工作流、AI超级个体专题里阅读。 关联原因:这篇内容命中「自动化、模型」等主题信号。;这篇内容命中「Agent、工作流」等主题信号。;这篇内容命中「技能」等主题信号。

阅读这篇文章建议先理解哪些关键词?

建议先理解AI工具、工具、自动化、模型、Cursor这些关键词,再结合正文判断工具、机会或风险是否值得进入自己的工作流。

上一篇 趋势解读:Microsoft CEO Satya Nadella admits he's a token-maxer,,提升开发者接入体验 下一篇 趋势解读:Copilot code review,提升开发者接入体验
北竹游乐场 免费玩小游戏 免费玩