觉
AI觉醒星球
Awakening is here
Knowledge File / AI小生意项目库
2026-08-11 2 浏览 免费阅读

想到 ACE 了吗?我们可以用更少的 Token 做到

本文对比了 ACE 与 ALTK-Evolve 两种让智能体从自身轨迹中学习的方法,指出在传递学习成果时,按需发送少量高价值指南比全量注入更具成本效益,在 AppWorld 上以更低成本达到相当或更优性能。

SOURCE / AI小生意项目库 MIN / 4 ACCESS / 免费阅读 POST / 2026-08-11 21:37:10

原贴

查看原文
作者:Hugging Face Blog 来源站点:huggingface.co 原贴时间:

原文

ALTK-Evolve and ACE both let an agent learn from its own trajectories. The difference is what they do with what they learn — and that decides the token bill. Give an LLM agent a realistic multi-step task — split a bill, find a song, reconcile an order across nine simulated apps — and when it fails, it usually isn't for lack of knowledge. It mis-paginates an API, resolves the wrong person, or returns a value when none was asked for. The model knows the APIs; what it hasn't internalized is how to use them reliably . That's learnable from the agent's own history. Two recent systems do exactly this, on the same kind of agent: ACE (Agentic Context Engineering) and our ALTK-Evolve ( introduced here ). Both are a form of agentic memory — turning an agent's past trajectories into reusable lessons and feeding them back at inference time, no weight updates, no human labels. They even agree on the hard part. Where they part ways is delivery . A note on words, because the two systems name things differently: we'll call the raw thing an agent learns a lesson . ACE organizes its lessons into one comprehensive, evolving playbook ; we consolidate ours into individually retrievable guidelines . Same lessons, two containers. ACE names the failure modes precisely: brevity bias — optimization collapsing toward short, generic instructions — and context collapse — a model asked to rewrite its whole context each step summarizing the detail away. Its answer is to keep a rich, itemized playbook, with a helpful/harmful counter on every bullet, and let the model distill relevance at read time. We reach the same conclusion from the other direction. Every distinct guideline keeps a support count — how many independent episodes produced it — and we never summarize the store down to a handful of rules. A lesson five different tasks discovered is a different object from one that appeared once, and both are worth keeping. So on the core question — should you compress an agent's hard-won lessons into a tidy summary? — ACE and ALTK-Evolve give the same answer: no. Count them, don't collapse them. ACE's per-bullet counters and our support counts are two spellings of the same idea. Two places: how the memory is built , and how it's delivered — and it's the delivery difference that shows up in the token bill. Consolidation (how the store is built). ACE grows one playbook through a Generator → Reflector → Curator loop, applying incremental delta updates and de-duplicating by embedding. We cluster near-duplicate lessons and merge within a cluster, support-conserving — when several lessons merge, the survivor inherits their combined count, so the store shrinks without losing the record of how much experience backs each guideline. We also extract typed guidelines — strategy, recovery, and optimization — with causal attribution and provenance back to the source trajectory, and at subtask granularity, so a lesson learned on one app can transfer to another. Delivery (what reaches the model at inference). This is the one that drives the numbers. ACE injects the comprehensive playbook on every step, the same way regardless of model or task. We treat delivery as a dial, not a constant: a small fixed core of high-support guidelines, extended per task with a handful selected for the task at hand (cosine or LLM-guided, priority-weighted) — or, when a model has the headroom to use it, the full consolidated set. The same lessons are available to both agents; the difference is that ACE always sends all of them, and we send however many a given model can actually use. On AppWorld, with the same base ReAct agent, running both systems in-house: On the strong model we're better on both metrics at ~40% of ACE's inference cost . On the weak model we edge ACE 56.0 to 54.8 — close enough that we call it a tie on accuracy (a repeat run of ours landed at 54.8, matching ACE almost exactly, which is within this benchmark's run-to-run noise) — at about one-seventh the cost.

中文翻译

ALTK-Evolve 和 ACE 都让智能体从自身的轨迹中学习。区别在于它们如何处理所学内容——而这决定了 token 开销。

给一个 LLM 智能体一个现实的多步骤任务——分摊账单、找一首歌、在九个模拟应用中核对订单——当它失败时,通常不是因为缺乏知识。它可能错误地翻页 API、解析错对象,或在未被要求时返回一个值。模型知道这些 API;它尚未内化的是如何可靠地使用它们。

这可以从智能体自身的历史中学习。最近有两个系统正是这样做的,针对同一类智能体:ACE(Agentic Context Engineering)和我们的 ALTK-Evolve(此处介绍)。两者都是智能体记忆的一种形式——将智能体过去的轨迹转变为可复用的经验,并在推理时回馈给模型,无需权重更新,无需人工标注。它们甚至在难点上意见一致。它们的分歧在于传递方式。

关于措辞的一点说明,因为两个系统命名方式不同:我们将智能体学到的原始内容称为经验(lesson)。ACE 将其经验组织为一个全面的、不断演化的手册(playbook);我们则将其整合为可单独检索的指南(guidelines)。同样的经验,两种容器。

ACE 精确地指出了失败模式:简洁性偏差(brevity bias)——优化趋向于短而通用的指令;以及上下文坍缩(context collapse)——模型被要求每一步重写整个上下文,从而把细节概括掉。它的答案是保留一个丰富的、逐条列出的手册,每个条目附带有益/有害计数器,并在读取时让模型提炼相关性。我们从另一个方向得出了相同的结论。每条不同的指南都保留一个支持计数(support count)——有多少独立情节产生了它——而且我们从不将存储总结为少数几条规则。五个不同任务发现的经验和只出现一次的经验是不同的对象,两者都值得保留。所以,在核心问题上——是否应该将智能体来之不易的经验压缩成一份整洁的摘要?——ACE 和 ALTK-Evolve 给出了相同的答案:不。计数,而不是折叠。ACE 的逐条计数器和我们的支持计数是同一思想的两种拼写。

区别在于两个地方:记忆是如何构建的,以及它是如何传递的——而正是传递差异体现在 token 账单上。合并(存储如何构建)。ACE 通过一个 Generator → Reflector → Curator 循环来增长一个手册,应用增量式 delta 更新,并通过嵌入去重。我们对近似重复的经验进行聚类,并在聚类内合并,同时保留支持数——当几条经验合并时,幸存者继承它们的合计计数,这样存储缩小了,但不会丢失每条指南背后有多少经验支撑的记录。我们还提取类型化指南——策略、恢复和优化——带有因果归因和溯源到原始轨迹,并采用子任务粒度,这样在一个应用上学到的经验可以迁移到另一个应用。传递(推理时模型得到什么)。这是决定数字的那个。ACE 在每一步都注入完整手册,无论模型或任务如何,方式相同。我们将传递视为一个旋钮,而不是常数:一个小的固定高支持指南核心,加上为当前任务挑选的少数几条(余弦或 LLM 引导,按优先级加权)——或者,当模型有余力时,使用完整的合并集。相同的经验对两个智能体都可获得;区别在于 ACE 总是发送全部,而我们则发送给定模型实际能用的数量。

在 AppWorld 上,使用相同的基础 ReAct 智能体,内部运行两个系统:在强模型上,我们在两项指标上都更好,推理成本约为 ACE 的 40%。在弱模型上,我们以 56.0 对 54.8 险胜 ACE——接近到我们称之为准确度平局(我们的一次重复运行得到 54.8,几乎与 ACE 完全一致,这在该基准的逐次运行噪声范围内)——而成本约为其七分之一。

核心信息

本文对比了 ACE 与 ALTK-Evolve 两种让智能体从自身轨迹中学习的方法,指出在传递学习成果时,按需发送少量高价值指南比全量注入更具成本效益,在 AppWorld 上以更低成本达到相当或更优性能。

  • 本文对比了 ACE 与 ALTK-Evolve 两种让智能体从自身轨迹中学习的方法,指出在传递学习成果时,按需发送少量高价值指南比全量注入更具成本效益,在 AppWorld 上以更低成本达到相当或更优性能。
  • 原贴提到:ALTK-Evolve and ACE both let an agent learn from its own trajectories. T
  • 来源:huggingface.co

详细解读

这是什么信号? 智能体上下文工程正在从“全量注入”转向“按需投递”。ACE 和 ALTK-Evolve 都利用轨迹生成经验,但差异在于传递策略:ACE 每次全部注入,ALKTV-Evolve 则根据模型能力动态调整数量。这一对比揭示了 token 效率是智能体规模化的重要杠杆。

为什么重要? 推理成本直接决定 AI 产品的商业可行性。ALKTV-Evolve 在强模型上以 40% 成本实现更优性能,在弱模型上以 1/7 成本达到几乎持平的准确率,证明“少即是多”的传递策略能显著降低运营成本,同时不牺牲效果,尤其利好中小团队和成本敏感场景。

对谁有价值? LLM 应用开发者、Agent 产品经理、企业 AI 架构师。凡是依赖多步推理、需要长期记忆的智能体系统,都能从这种“经验分层 + 按需检索”的设计中获益,避免为不需要的能力支付多余 token。

可以怎么行动? ① 采用类似 ALTK-Evolve 的架构:将智能体经验存储为带支持计数的独立指南,并提取策略/恢复/优化类型。② 在推理时实施动态上下文注入:先发一个核心小集,再根据任务挑选补充,仅在模型有余力时发送全量。③ 在模型评估时加入 token 成本指标,以“性能/成本”为优化目标。

风险或限制:支持计数可能对历史经验过拟合;合并会丢失原始轨迹的细节;不同基准运行噪声较大(如文中 54.8 与 54.8 的差异),需要多次验证。此外,弱模型上的优势不明显,说明该方法的收益依赖模型的具体能力。

信息差价值

这条内容的真正价值,不只是“有人发布了一个新功能”,而是它揭示了 huggingface.co 背后的产品方向、工作流变化或竞争信号。对 OPC 来说,这种信息可以转化成持续追踪的栏目选题。

如果把《想到 ACE 了吗?我们可以用更少的 Token 做到》放到你的内容系统里,它最大的价值在于帮助读者更快看懂“为什么值得关注”,而不是只看到一条碎片化动态。

参考来源

AI SUMMARY

这篇文章回答了什么

想到 ACE 了吗?我们可以用更少的 Token 做到主要讲什么?

本文对比了 ACE 与 ALTK-Evolve 两种让智能体从自身轨迹中学习的方法,指出在传递学习成果时,按需发送少量高价值指南比全量注入更具成本效益,在 AppWorld 上以更低成本达到相当或更优性能。

这篇文章最值得关注的要点是什么?

本文对比了 ACE 与 ALTK-Evolve 两种让智能体从自身轨迹中学习的方法,指出在传递学习成果时,按需发送少量高价值指南比全量注入更具成本效益,在 AppWorld 上以更低成本达到相当或更优性能。;原贴提到:ALTK-Evolve and ACE both let an agent learn from its own trajectories. T;来源:huggingface.co

这篇文章和哪些AI专题相关?

它适合放在Agent工作流、AI副业、AI超级个体专题里阅读。 关联原因:这篇内容命中「Agent、智能体」等主题信号。;这篇内容命中「项目、小生意、变现」等主题信号。;这篇内容命中「效率、学习」等主题信号。

阅读这篇文章建议先理解哪些关键词?

建议先理解模型、Cursor、Agent、智能体、工作流这些关键词,再结合正文判断工具、机会或风险是否值得进入自己的工作流。

上一篇 使用报告中的按模型Token细分 下一篇 Anthropic与比特币矿商Riot Platforms签署91亿美元数据中心协议