论文速读:LLMs for Text-Based Exploration and Navigation Under Partial,解读最新 AI 进展
本论文研究大型语言模型(LLMs)在部分可观测环境下仅通过文本进行探索和目标导向导航的能力,无需代码执行或工具。在固定ASCII网格世界中建立可重复基准测试,评估了9种当代LLM在探索和导航任务上的表现。结果表明,推理调优模型能可靠完成导航,但效率低于最优路径;少样本演示可减少无效移动;发现了UP/RIGHT的行动先验可能导致循环;训练方案和测试时推理比参数数量更能预测控制能力。建议轻量级混合经典规划器作为实用部署路径。
原贴
查看原文
原文
中文翻译
arXiv:2604.09604v1 公告类型:新提交 摘要:未知布局中的探索和目标导向导航对于检查、物流和搜救至关重要。我们探究大型语言模型(LLMs)是否能在部分可观测性下仅作为文本控制器运行——无需代码执行、工具或程序合成。我们引入了一个可重复的基准测试,在固定ASCII网格世界中使用oracle定位:每一步仅显示代理周围5×5局部窗口,模型必须选择UP/RIGHT/DOWN/LEFT之一。评估了9种当代LLM,包括开源/专有、密集/混合专家以及指令调优vs.推理调优,在两个任务上跨越三种难度递增的布局:探索(最大化已揭示的单元格)和导航(沿最短路径到达目标)。实验结果通过定量指标评估,包括成功率、效率(如标准化覆盖率和路径长度与oracle对比)以及定性分析。推理调优模型在所有布局上可靠完成导航,但仍不如oracle路径高效。提示中的少样本演示主要帮助这些推理调优模型,减少无效移动并缩短路径,而经典密集指令模型仍不一致。我们观察到特征性的行动先验(UP/RIGHT),在部分可观测性下可能导致循环。总体而言,训练方案和测试时推理比原始参数数量更能预测控制能力。这些发现表明,轻量级混合经典在线规划器是可部署部分地图系统的实用途径。
核心信息
本论文研究大型语言模型(LLMs)在部分可观测环境下仅通过文本进行探索和目标导向导航的能力,无需代码执行或工具。在固定ASCII网格世界中建立可重复基准测试,评估了9种当代LLM在探索和导航任务上的表现。结果表明,推理调优模型能可靠完成导航,但效率低于最优路径;少样本演示可减少无效移动;发现了UP/RIGHT的行动先验可能导致循环;训练方案和测试时推理比参数数量更能预测控制能力。建议轻量级混合经典规划器作为实用部署路径。
- 推理调优模型可靠完成导航,但效率低于最优路径。
- 少样本演示减少无效移动并缩短路径。
- LLM存在UP/RIGHT行动先验,导致循环。
- 训练方案和测试时推理比参数数量更关键。
- 建议混合经典规划器提升部署性能。
成为会员查看完整内容
你已经看到了这篇内容的前置整理,剩余深度部分仅对会员开放。