AI小生意项目库 · 阅读档案

2026-09-26 11 浏览免费阅读

英伟达 SoL-Pi 系统通过优化 harness，把编码智能体的 token 用量削减近一半

Q: 这篇文章和哪些AI专题相关？

它适合放在Agent工作流、AI副业、AI工具专题里阅读。 关联原因：这篇内容命中「Agent、智能体、Claude Code」等主题信号。；这篇内容命中「项目、小生意、变现」等主题信号。；这篇内容命中「模型、Claude」等主题信号。

英伟达研究者提出 SoL-Pi：不改造模型，而是自动优化编码智能体的控制层（harness）。在 EdgeBench 的 51 个公开任务上，性能与原始 Pi harness 大致持平，token 用量下降 44.7% 至 49%；作者按当前 API 价格估算，每小时可节省数美元。系统通过严格隔离搜索反馈与最终评估，试图规避自动优化常见的过拟合问题。

AI小生意项目库约 9 分钟读完免费阅读原文 2026-09-26 18:30:32

原贴

查看原文

作者：Jonathan Kemper 来源站点：the-decoder.com 原贴时间： 2026-09-26 18:30:32

原文

A new Nvidia paper describes a system that automatically optimizes the control layer of coding agents, known as the harness. Token usage drops by almost half while performance stays roughly the same, according to the researchers. The longer AI agents work unsupervised, the more expensive they get. Single predictions turn into long chains of reasoning, tool calls, and feedback loops, and token usage balloons along the way. A new study from Nvidia researchers tackles these costs not at the model level but at the harness , the control layer between the model and its environment used by systems like Codex, Claude Code, or OpenClaw. The harness controls how an agent sees states, runs actions, and processes feedback. Most efficiency methods so far have focused on cutting the cost per token through faster attention kernels and serving infrastructure, model compression like quantization, or swapping in cheaper models. Optimizing the harness is hard in practice because tool usage, context management, verification, and abort logic are all tightly coupled. A change that saves tokens in one place can trigger errors elsewhere or just push costs into a later phase. Typically, humans sift through long execution traces and translate recurring failure patterns into code. The system, called SoL-Pi, automates that work. A research agent watches another agent's traces, proposes changes, and tests them in prepared environments. Capability and efficiency checks determine which candidates survive. The approach draws on recursive self-improvement , according to the authors. Across 535 executable environments, the system explored 152 directions, including 495 tasks derived from GitHub issue-pull-request pairs and 40 synthetic test cases. In total, the process generated more than 3,000 runs and over 60,000 agent-environment interactions. According to the researchers, this scale shows how broadly the system searched, but more search doesn't automatically yield better results. That's a risk here, because earlier work showed that automatically optimized harnesses tend to overfit to their training tasks and offer little benefit on unfamiliar ones. SoL-Pi addresses this by strictly separating search feedback from evaluation. The researchers used EdgeBench as their test benchmark and walled it off from the search process entirely. Of its 51 public tasks, they used 11 for one-time validation of finished candidates. The remaining 40 were reserved for final evaluation, and those results never fed back into the search. The search produced four mechanisms. Action Fusion merges two consecutive steps into one, such as a code edit followed by a test run, which eliminates an entire language model call. Online Context Compact runs after each planning step and trims accumulated context whenever it can do so without losing important information. ObservationPack archives long tool outputs and drops in a short summary on later steps rather than resending the full text each time. The Evidence-Preserving Reducer routes large error and test logs to a cheaper model that boils them down to the key findings, with an automatic verification step catching any critical clues that slip through. On EdgeBench's 51 public tasks, SoL-Pi performs about as well as the original Pi harness, according to the researchers. How much token usage drops depends on the configuration. The most efficient variant combines all four mechanisms, uses 49 percent fewer tokens, and reaches 93.7 percent of Pi's score. Users who prioritize performance and pick only the strongest single mechanism beat Pi's score by 5.3 percent while still saving tokens. Across both variants, token usage drops by 44.7 to 49 percent. In dollar terms, the authors estimate savings of $8.75 to $13.50 per hour compared to native Codex and Claude Code harnesses, and $4.36 to $5.71 per hour compared to Pi, based on current API prices.

中文翻译

一篇新的英伟达论文描述了一个系统，它能自动优化编码智能体的控制层，即 harness。研究人员称，token 用量下降近一半，而性能大致保持不变。

AI 智能体无人监督工作的时间越长，成本就越高。单次预测变成一长串推理、工具调用和反馈循环，token 用量随之膨胀。

英伟达研究人员的一项新研究，不是在模型层面，而是在 harness 层面解决这些成本问题——harness 是模型与其环境之间的控制层，被 Codex、Claude Code 或 OpenClaw 这类系统所使用。harness 控制智能体如何看待状态、执行动作和处理反馈。

迄今为止，大多数效率方法都聚焦于通过更快的注意力内核和推理服务基础设施、量化等模型压缩，或换用更便宜的模型，来降低每个 token 的成本。

在实践中优化 harness 很难，因为工具使用、上下文管理、验证和中断逻辑都紧密耦合。在一处节省 token 的改动，可能在别处引发错误，或者只是把成本推到更晚的阶段。

通常，人类要翻查冗长的执行轨迹，把反复出现的失败模式转写成代码。

这个名为 SoL-Pi 的系统把这项工作自动化了。一个研究智能体观察另一个智能体的轨迹，提出改动，并在准备好的环境中测试它们。能力检查和效率检查决定哪些候选方案能存活下来。

作者称，该方法借鉴了递归自我改进。

在 535 个可执行环境中，系统探索了 152 个方向，包括 495 个从 GitHub issue-PR 配对中衍生出的任务，以及 40 个合成测试用例。整个过程总共产生了 3000 多次运行和超过 60,000 次智能体-环境交互。

研究人员称，这一规模显示了系统搜索的广度，但更多搜索并不会自动带来更好结果。这里存在一个风险，因为早前的工作表明，自动优化的 harness 往往会对训练任务过拟合，在陌生任务上几乎没有收益。

SoL-Pi 通过严格分离搜索反馈与评估来应对这一点。研究人员使用 EdgeBench 作为测试基准，并将其与搜索过程完全隔离。在其 51 个公开任务中，他们用 11 个对完成的候选方案做一次性验证。其余 40 个保留用于最终评估，这些结果从未反馈回搜索。

搜索产生了四种机制。Action Fusion 把两个连续步骤合并为一个，例如一次代码编辑后接一次测试运行，从而省掉整整一次语言模型调用。Online Context Compact 在每个规划步骤之后运行，只要不丢失重要信息，就修剪累积的上下文。ObservationPack 将冗长的工具输出存档，并在后续步骤塞入简短摘要，而不是每次都重新发送全文。Evidence-Preserving Reducer 把大型错误和测试日志路由到一个更便宜的模型，将其归结为关键发现，并有一个自动验证步骤来捕捉任何漏掉的关键线索。

研究人员称，在 EdgeBench 的 51 个公开任务上，SoL-Pi 的表现与原始 Pi harness 大致相当。

token 用量下降多少取决于配置。最高效的变体结合了全部四种机制，token 用量减少 49%，达到 Pi 分数的 93.7%。优先考虑性能、只挑选最强单一机制的用户，比 Pi 的分数高出 5.3%，同时仍节省 token。两种变体的 token 用量下降 44.7% 到 49%。

按美元计算，作者基于当前 API 价格估算，与原生 Codex 和 Claude Code harness 相比，每小时可节省 8.75 至 13.50 美元，与 Pi 相比每小时可节省 4.36 至 5.71 美元。

核心信息

英伟达研究者提出 SoL-Pi：不改造模型，而是自动优化编码智能体的控制层（harness）。在 EdgeBench 的 51 个公开任务上，性能与原始 Pi harness 大致持平，token 用量下降 44.7% 至 49%；作者按当前 API 价格估算，每小时可节省数美元。系统通过严格隔离搜索反馈与最终评估，试图规避自动优化常见的过拟合问题。

英伟达研究者提出 SoL-Pi：不改造模型，而是自动优化编码智能体的控制层（harness）。在 EdgeBench 的 51 个公开任务上，性能与原始 Pi harness 大致持平，token 用量下降 44.7% 至 49%；作者按当前 API 价格估算，每小时可节省数美元。系统通过严格隔离搜索反馈与最终评估，试图规避自动优化常见的过拟合问题。
原贴提到：A new Nvidia paper describes a system that automatically optimizes the c
来源：the-decoder.com

详细解读

这是什么信号

过去一年，行业压低 AI 成本的主战场是模型侧：更快的注意力内核、更好的推理服务、量化压缩、换更便宜的模型。英伟达这篇论文把战场挪到了另一个位置——harness，也就是模型和它所在环境之间的控制层。它决定了智能体怎么读状态、怎么发动作、怎么处理反馈。

SoL-Pi 的做法不是人工调优，而是让一个研究智能体去看另一个智能体的执行轨迹，自动提出改动并在准备好的环境里验证，再由能力检查和效率检查筛选存活者。搜索最终收敛出四种具体机制：把连续两步合并成一次调用（Action Fusion）、在规划步骤后按需压缩上下文（Online Context Compact）、把长工具输出改成存档加简短摘要（ObservationPack）、把大块错误日志交给更便宜的模型归结为关键发现（Evidence-Preserving Reducer）。在 EdgeBench 的 51 个公开任务上，最激进的配置用掉少 49% 的 token，仍拿到 Pi 分数的 93.7%；保守配置性能还高出 5.3%，同时也在省 token。

换句话说，省下的不是“每 token 多少钱”，而是“完成同一件事要花多少 token”。这是两种完全不同的杠杆，而且后者此前几乎没有被系统性自动化。

为什么重要

智能体的成本结构本身就是它最大的商业障碍。无人监督运行时间越长，单次预测就越会裂变成推理链、工具调用和反馈循环的复合体，token 用量呈倍数膨胀。原文给出的估算很直白：相比原生 Codex 和 Claude Code harness，每小时可省 8.75 至 13.50 美元；相比 Pi，每小时省 4.36 至 5.71 美元。

更关键的是方法层面的示范。论文明确指出，自动优化 harness 的老问题是对训练任务过拟合，换到不熟悉的任务上收益就消失。SoL-Pi 的解法是把搜索反馈和评估彻底隔开：EdgeBench 的 51 个公开任务里，11 个只用于对完成品做一次性验证，剩下 40 个留作最终评估，结果从不回流到搜索中。这个隔离设计，可能比四个机制本身更值得借鉴——它把“自动优化”从一个容易自欺的循环，变成了一个可被外部检验的流程。

还有一点容易被忽略：作者把这套方法归入“递归自我改进”的范畴。系统在改进的不是模型权重，而是包裹模型的工程脚手架。这意味着即使底层模型不变，工程层仍有可观的优化空间。

对谁有价值

做编码智能体、IDE 助手、自动化工作流产品的团队：token 账单是直接毛利，harness 层的节省不需要换模型、不需要重训，落地路径短。
正在自建 agent 框架的平台团队：四个机制都可以不依赖论文代码、按自身业务改写，尤其是 ObservationPack 与 Evidence-Preserving Reducer 这类“信息搬运”型的优化。
关注 AI 成本结构的投资与战略角色：这是一个把“降本”从模型供应商手里部分夺回应用层的信号。

可以怎么行动

第一，先量化再动手。把自家 agent 的执行轨迹按阶段拆开——规划、工具调用、错误重试、验证——看 token 到底烧在哪个环节。论文的四个机制分别对应不同的烧钱点，不先定位就会优化错地方。

第二，优先试低风险的两个机制。ObservationPack（长输出改为存档加摘要）和 Evidence-Preserving Reducer（大日志交给便宜模型归结）改变的是信息如何流转，不改变决策逻辑，回退成本低，适合作为第一步。

第三，如果要引入自动优化循环，务必照搬它的评估隔离：留出一批任务，只在最终验证时使用，绝不回流到搜索。否则很容易得到一组“在自家测试集上很好看”的改动。

第四，把 harness 配置纳入产品迭代的常规对象，而不是一次性工程。四种机制可以按配置组合，本质上是一个可调的性能-成本旋钮。

风险与限制

论文自身给出了最诚实的限制：搜索规模大不等于结果好，超过 3000 次运行、60,000 多次交互的搜索广度，并不自动保证找到更优解。而自动优化的 harness 有过拟合前科，在陌生任务上收益有限，SoL-Pi 的隔离设计是缓解手段而非根治。

其次，性能与效率不能同时拉满。最省 token 的配置只拿到 Pi 分数的 93.7%，也就是说省下的近一半 token 里，有一部分是用性能换来的。对正确率敏感的编码场景，这个折价是否可接受需要自行判断。

再者，美元节省数字基于“当前 API 价格”且只针对论文比较的几个 harness，价格变动会直接改变结论。最后，这套方法依赖可执行环境和清晰的评估基准，业务场景若缺乏可自动判定的成功信号，复制难度会显著上升。

信息差价值

这条内容的真正价值，不只是“有人发布了一个新功能”，而是它揭示了 the-decoder.com 背后的产品方向、工作流变化或竞争信号。对 OPC 来说，这种信息可以转化成持续追踪的栏目选题。

如果把《英伟达 SoL-Pi 系统通过优化 harness，把编码智能体的 token 用量削减近一半》放到你的内容系统里，它最大的价值在于帮助读者更快看懂“为什么值得关注”，而不是只看到一条碎片化动态。

参考来源

Jonathan Kemper 原帖

TOPIC HUBS

延伸专题

Agent工作流 Agent工作流：智能体、AI编程与自动化协作

这篇内容命中「Agent、智能体、Claude Code」等主题信号。

AI副业 AI副业：小生意、项目机会与可收费交付

这篇内容命中「项目、小生意、变现」等主题信号。

AI工具 AI工具：模型、插件、自动化与实战场景

这篇内容命中「模型、Claude」等主题信号。

AI SUMMARY

这篇文章回答了什么