AI 智能体在模型开发中承担更多工作,但人类仍做决策
一项来自复旦等团队的研究分析自身开发 Atria Dawn Preview 的过程,涵盖 56 名参与者、700 多条任务日志。AI 参与 96.5% 的任务,四周内 agent 动作与人类输入的中位数比率从 11 升至 28.5;但人类仍做 85.5% 的方法与参数决策、93.4% 的目标与范围最终决策。约三分之一 AI 辅助任务被评无 AI 则不可行,说明 AI 更多在扩展可做之事,而非单纯提速。困难任务中 76% 靠人类干预推进,人类判断而非执行成为瓶颈。
原贴
查看原文原文
中文翻译
AI 智能体在模型开发中承担更多工作,但人类仍做决策。
一个研究团队记录了一个人类和 AI 智能体如何合作构建新 AI 模型的过程。这些发现挑战了关于智能体可以多独立工作的一些预期。当 AI 智能体帮助构建新 AI 模型时,谁做决策?一个包括中国复旦大学研究人员的团队研究了自己的项目来找出答案。它分析了来自 56 名参与者的 700 多条任务日志,以及他们所使用的智能体的日志。该项目围绕开发一个名为 Atria Dawn Preview 的智能体语言模型,该模型基于拥有 7440 亿参数的专家混合架构,并面向研究和工程任务设计。该模型通过一条流水线训练,将每项任务与真实执行环境绑定。它调用工具、生成中间结果,并对照测试、指标或源证据等外部信号进行检查。团队表示,它在 16 项基准中的 5 项上领先,包括网络搜索和网络安全,尽管它并未在整体上超过竞争对手。
在审查的任务中,AI 被用于 96.5%。在项目过程中,参与者越来越多地交给智能体。四周内,智能体动作与人类输入的中位数比率从 11 升至 28.5。团队提醒不要将此解读为自主性增强。每个人类决策带来更多智能体步骤,但这并不意味着智能体自己在做更多决策。参与者还被问及,如果没有 AI,他们能否在相同范围和质量下完成自己那部分任务。在 455 个已完成的 AI 辅助任务中,有 151 个被评为没有 AI 则不可行,约占三分之一。这些任务分布在 56 名参与者中的 27 人,因此并非只来自少数重度用户。在这些情况下,AI 并未加快现有工作。它使原本永远不会开始的工作成为可能。
在方法和参数方面,最常见的模式是“AI 提议,人类选择”,占 55.4%。总体而言,人类做出了 85.5% 关于方法和参数的决策,而 AI 仅做出 9.2%。在 93.4% 的情况下,人类对目标和范围做出最终决定。根据决策类型不同,AI 的提议占比在 17% 至 55% 之间。其在最终决策中的占比保持在个位数。谁提出选项差异很大,但人类始终做出大部分最终选择。即使在 151 个被评为没有 AI 则不可行的任务中,人类也有 95.4% 的时候选择目标。
当事情出错时,同样的模式也会出现。在 588 个记录了困难的任务中,76% 通过人类干预得以推进,23% 中智能体自行解决了问题。人类帮助几乎总是以信息形式出现,要么是补充上下文或澄清需求(35.2%),要么是诊断问题并切换方法(34.7%)。人类很少亲自完成工作。部分编辑占 3.2% 的情况,完全接管仅占 0.7%。当 AI 输出需要修改时,在收到人类反馈后,AI 有 75.4% 的时候自行处理了修改。瓶颈是人类的判断,而非执行。
团队描述了 AI 角色的三个阶段:从研究对象,到个人任务的工具,再到现在的项目伙伴。在当前角色中,AI 在人类设定的目标内起草和调整计划。推测性的第四阶段将涉及递归自我改进,更强的模型产生更强的后继者。作者表示,一个模型可以在其训练任务上变得更好,而不一定更擅长开发其后继者。AI 如何提出多样化的研究方向,并在结果出现前评估其价值,仍是一个开放问题。
核心信息
一项来自复旦等团队的研究分析自身开发 Atria Dawn Preview 的过程,涵盖 56 名参与者、700 多条任务日志。AI 参与 96.5% 的任务,四周内 agent 动作与人类输入的中位数比率从 11 升至 28.5;但人类仍做 85.5% 的方法与参数决策、93.4% 的目标与范围最终决策。约三分之一 AI 辅助任务被评无 AI 则不可行,说明 AI 更多在扩展可做之事,而非单纯提速。困难任务中 76% 靠人类干预推进,人类判断而非执行成为瓶颈。
- 一项来自复旦等团队的研究分析自身开发 Atria Dawn Preview 的过程,涵盖 56 名参与者、700 多条任务日志。AI 参与 96.5% 的任务,四周内 agent 动作与人类输入的中位数比率从 11 升至 28.5;但人类仍做 85.5% 的方法与参数决策、93.4% 的目标与范围最终决策。约三分之一 AI 辅助任务被评无 AI 则不可行,说明 AI 更多在扩展可做之事,而非单纯提速。困难任务中 76% 靠人类干预推进,人类判断而非执行成为瓶颈。
- 原贴提到:A research team documented how humans and AI agents worked together to b
- 来源:the-decoder.com
详细解读
这是什么信号
这项研究来自一个开发 Atria Dawn Preview 的团队,成员包括复旦大学研究人员。他们分析了自己项目中的 700 多条任务日志和 56 名参与者使用的智能体日志。AI 被用于 96.5% 的受审查任务;四周内,智能体动作与人类输入的中位数比率从 11 升至 28.5。表面看,智能体承担了更多执行工作。但研究同时给出另一组数据:人类做出 85.5% 的方法与参数决策,AI 仅 9.2%;在 93.4% 的情况下,人类对目标和范围做最终决定。困难任务中,76% 通过人类干预推进,人类帮助主要是补充信息、澄清需求或诊断问题,而非亲自执行。约三分之一已完成的 AI 辅助任务被评无 AI 则不可行,且分布在 27 名参与者中,不是少数重度用户的特例。
为什么重要
它挑战了“智能体动作变多就等于自主性增强”的简单叙事。每个人类决策可以触发更多智能体步骤,但这不等于智能体在做更多决策。真正变化的是执行层被放大,判断层仍由人类掌握。研究还显示,AI 在这些场景中不总是加快原有工作,而是让原本不会开始的工作成为可能。这意味着评估 agent 价值时,只看自动化比例或节省时间会漏掉“扩展任务边界”的部分。同时,瓶颈从人类执行转向人类判断:目标设定、方法选择、失败诊断和需求澄清,是决定项目能否推进的关键环节。
对谁有价值
对 AI 研发团队和工程管理者,它提供了人机分工的过程数据,可用于设计更真实的协作流程。对 agent 产品设计者,它提示产品应围绕“AI 提议、人类选择”和“人类反馈、AI 修正”来构建,而不是追求无人化。对使用 agent 的知识工作者,它说明高阶能力仍在判断与诊断,而非单纯执行。对研究人机协作的学者,这是一份难得的内部项目日志分析。
可以怎么行动
- 记录任务日志并标注决策类型:提议、选择、执行、修正,度量人类判断在哪些环节成为瓶颈。
- 在 agent 工作流中设置明确的人类检查点,尤其是目标与范围、方法与参数、失败诊断。
- 把人类反馈结构化,让 agent 能自我修正;原文显示收到反馈后 AI 有 75.4% 的时候自行处理修改。
- 单独评估“无 AI 不可行”的任务,衡量 agent 扩展了哪些新工作,而非只算提效。
- 对高风险任务保留人类最终决策权,尤其在目标和范围上,因为原文中人类最终决定占比达 93.4%。
风险或限制
- 研究基于单一项目、自研模型和特定团队,不能直接外推到所有组织或任务类型。
- Atria Dawn Preview 在 16 项基准中的 5 项领先,但并未在整体上超过竞争对手,模型能力本身不是全面领先证据。
- 递归自我改进仍属推测;作者也指出,模型可以在训练任务上变好,而不一定更擅长开发后继者。
- 智能体动作与人类输入比率上升,只能说明执行分工变化,不能单独证明自主性增强。
- AI 提议占比因决策类型而异,最终决策占比仍为个位数,但未来是否变化仍需更多研究。
信息差价值
这条内容的真正价值,不只是“有人发布了一个新功能”,而是它揭示了 the-decoder.com 背后的产品方向、工作流变化或竞争信号。对 OPC 来说,这种信息可以转化成持续追踪的栏目选题。
如果把《AI 智能体在模型开发中承担更多工作,但人类仍做决策》放到你的内容系统里,它最大的价值在于帮助读者更快看懂“为什么值得关注”,而不是只看到一条碎片化动态。
参考来源
TOPIC HUBS
延伸专题
AI SUMMARY
这篇文章回答了什么
AI 智能体在模型开发中承担更多工作,但人类仍做决策主要讲什么?
一项来自复旦等团队的研究分析自身开发 Atria Dawn Preview 的过程,涵盖 56 名参与者、700 多条任务日志。AI 参与 96.5% 的任务,四周内 agent 动作与人类输入的中位数比率从 11 升至 28.5;但人类仍做 85.5% 的方法与参数决策、93.4% 的目标与范围最终决策。约三分之一 AI 辅助任务被评无 AI 则不可行…
这篇文章最值得关注的要点是什么?
一项来自复旦等团队的研究分析自身开发 Atria Dawn Preview 的过程,涵盖 56 名参与者、700 多条任务日志。AI 参与 96.5% 的任务,四周内 agent 动作与人类输入的中位数比率从 11 升至 28.5;但人类…;原贴提到:A research team documented how humans and AI agents worked together to b;来源:the-decoder.com
这篇文章和哪些AI专题相关?
它适合放在Agent工作流、AI副业、AI工具专题里阅读。 关联原因:这篇内容命中「Agent、智能体」等主题信号。;这篇内容命中「项目、小生意、变现」等主题信号。;这篇内容命中「模型」等主题信号。
阅读这篇文章建议先理解哪些关键词?
建议先理解AI工具、工具、自动化、模型、Cursor这些关键词,再结合正文判断工具、机会或风险是否值得进入自己的工作流。