Knowledge File / AI技能杠杆
论文速读:SEA-Eval,聚焦形式化数学证明能力
本文提出SEA-Eval,首个评估自进化代理(SEA)特性的基准,从任务内执行可靠性和长期进化性能两个维度测评。实验显示当前顶尖框架存在进化瓶颈,相同成功率下token消耗差异达31.2倍,揭示了代理从任务执行器向自进化实体发展的科学基础。
SOURCE / AI技能杠杆
MIN / 4
ACCESS / 会员
POST / 2026-04-13 12:13:05
原贴
查看原文
原文
arXiv:2604.08988v1 Announce Type: new Abstract: Current LLM-based agents demonstrate strong performance in episodic task execution but remain constrained by static toolsets and episodic amnesia, failing to accumulate experience or optimize strategies across task boundaries. While the Self-Evolving Agent (SEA) paradigm has been previously proposed, this paper contributes a new formal definition of SEA grounded in digital embodiment and continuous cross-task evolution, and introduces SEA-Eval, the first benchmark designed to evaluate SEA characteristics across two dimensions, intra-task execution reliability and long-term evolutionary performance. By organizing tasks into sequential streams and analyzing Success Rate and Token Consumption over time, SEA-Eval quantifies evolutionary gain and structural stability in ways that existing episodic benchmarks cannot. Empirical evaluations reveal a significant evolutionary bottleneck in current state-of-the-art frameworks, where identical success rates mask up to 31.2 times differences in token consumption and divergent evolutionary trajectories under sequential analysis. SEA-Eval provides a rigorous scientific foundation for advancing agents from mere task executors toward genuinely self-evolving digital entities.
中文翻译
当前基于LLM的智能体在情景任务执行中表现出色,但受限于静态工具集和情景遗忘,无法跨任务积累经验或优化策略。虽然之前提出了自进化智能体(SEA)范式,但本文基于数字具身和连续跨任务进化,给出了SEA的新正式定义,并引入了SEA-Eval,这是首个旨在评估SEA特性的基准,涵盖两个维度:任务内执行可靠性和长期进化性能。通过将任务组织成连续流,并分析成功率与随时间变化的令牌消耗,SEA-Eval以现有情景基准无法做到的方式量化了进化增益和结构稳定性。实证评估揭示了当前最先进框架中存在显著的进化瓶颈,相同成功率下,令牌消耗差异高达31.2倍,且在序列分析中进化轨迹存在分歧。SEA-Eval为将智能体从单纯的任务执行者推向真正的自进化数字实体提供了严谨的科学基础。
核心信息
本文提出SEA-Eval,首个评估自进化代理(SEA)特性的基准,从任务内执行可靠性和长期进化性能两个维度测评。实验显示当前顶尖框架存在进化瓶颈,相同成功率下token消耗差异达31.2倍,揭示了代理从任务执行器向自进化实体发展的科学基础。
- SEA-Eval评估代理跨任务进化能力。
- 相同成功率下Token消耗差31.2倍。
- 揭示静态工具集与情景遗忘瓶颈。
- 为自进化代理提供量化基准。
- 推动代理从执行器向进化体转型。
试看内容
成为会员查看完整内容
你已经看到了这篇内容的前置整理,剩余深度部分仅对会员开放。
详细解读
信息差价值
参考来源
成为会员查看完整内容