Knowledge File / AI技能杠杆
论文速读:SkillGraph,聚焦 Agent 工作流自动化
SkillGraph通过从LLM Agent轨迹中挖掘工作流先验,提出两阶段框架(GS-Hybrid检索+学习排序器),显著提升工具选择与排序的准确性。
SOURCE / AI技能杠杆
MIN / 9
ACCESS / 会员
POST / 2026-04-23 12:00:06
原贴
查看原文
原文
arXiv:2604.19793v1 Announce Type: new Abstract: LLM agents must select tools from large API libraries and order them correctly. Existing methods use semantic similarity for both retrieval and ordering, but ordering depends on inter-tool data dependencies that are absent from tool descriptions. As a result, semantic-only methods can produce negative Kendall-$\tau$ in structured workflow domains. We introduce SkillGraph, a directed weighted execution-transition graph mined from 49,831 successful LLM agent trajectories, which encodes workflow-precedence regularities as a reusable graph foundation prior. Building on this graph foundation prior, we propose a two-stage decoupled framework: GS-Hybrid retrieval for candidate selection and a learned pairwise reranker for ordering. On ToolBench (9,965 test instances; ~16,000 tools), the method reaches Set-F1 = 0.271 and Kendall-$\tau$ = 0.096; on API-Bank, Kendall-$\tau$ improves from -0.433 to +0.613. Under identical Stage-1 inputs, the learned reranker also outperforms LLaMA-3.1-8B Stage-2 rerankers.
中文翻译
arXiv:2604.19793v1 公告类型: 新提交 摘要: LLM代理必须从大型API库中选择工具并正确排序它们。现有方法使用语义相似度进行检索和排序,但排序依赖于工具描述中缺失的工具间数据依赖关系。因此,仅语义方法在结构化工作流领域中可能产生负的Kendall-τ。我们引入了SkillGraph,一个从49,831个成功LLM代理轨迹中挖掘的有向加权执行-转换图,它将工作流优先规律编码为可重用的图基先验。基于此图基先验,我们提出了一个两阶段解耦框架:GS-Hybrid检索用于候选选择,以及一个学习的成对重排序器用于排序。在ToolBench(9,965个测试实例;约16,000个工具)上,该方法达到Set-F1=0.271和Kendall-τ=0.096;在API-Bank上,Kendall-τ从-0.433提升到+0.613。在相同的阶段1输入下,学习的重排序器也优于LLaMA-3.1-8B阶段2重排序器。
核心信息
SkillGraph通过从LLM Agent轨迹中挖掘工作流先验,提出两阶段框架(GS-Hybrid检索+学习排序器),显著提升工具选择与排序的准确性。
- SkillGraph从成功Agent轨迹中挖掘工具执行依赖图。
- 两阶段框架分离检索与排序,提升准确性。
- 在API-Bank上Kendall-τ从-0.433提升至+0.613。
- 方法依赖高质量轨迹数据,冷启动有挑战。
试看内容
成为会员查看完整内容
你已经看到了这篇内容的前置整理,剩余深度部分仅对会员开放。
详细解读
信息差价值
参考来源
成为会员查看完整内容