真实测试显示：编码智能体近四分之三的任务仍需人工收尾

来自阿里巴巴和几所亚洲大学的研究人员基于真实用户变更请求构建了一个编码智能体基准测试。即便是最好的模型也只完整完成约四分之一的任务，这让旧测试中接近满分的成绩显得需要重新看待。

该团队开发了 Co-Design Bench，一项针对编码智能体的新测试。智能体必须根据用户请求改造现有的网页应用，有时还要以图片、录音、视频或文档作为输入。根据论文，在受测的十个模型中表现最好的 GPT-6 Astra 平均满足一个任务约 70% 的需求。但只有 26.4% 的任务结果是完全正确的。多数情况下智能体完成了大部分工作，但至少留下一个细节未完成，因此使用这些工具的人几乎总要手工收尾。

作者以现有基准测试的饱和为由说明新测试的必要性。当模型能够运行、检查并修复自己的代码时，它们在这些测试上的得分超过 99%，模型之间的差异几乎无法测量。Co-Design Bench 转而取材于真实编码会话中的真实请求。研究人员偏好那些用户不得不反复改写请求或回滚改动的案例，因此测试中主要包含在实践中已经让 AI 智能体感到棘手的任务。这些任务从小的调整——比如从一张收据中取出金额并更新每一个相关的总计——到完整的项目重构。

评分标准同样严格。一个 AI 评判员在浏览器中测试完成后的应用，随后第二个评判员复核每一个通过的判定，并查找示意图或硬编码的结果。只有应用中真正可用的功能才能得分。

在 GPT-6 Astra 之后，Claude Opus 5 和 Qwen3.8-Max 位列其后，而 Grok 4.6 排在最后。在规模更大的重构任务上，体积小得多的 Qwen3.8-27B 升至第二，但作者并未从这一结果中推导出该模型的普遍优势。

当一项任务结合更多类型的改动（包括布局、设计、交互和内容）时，所有模型的表现都会下降。但这些相互交织的需求在真实项目中才是常态。

额外的算力对弥补这一弱点作用不大。在较小的改动上，GLM-5.2 消耗的 token 数量接近 GPT-6 Astra 的六倍，得分却仍明显更差。在另一项测试中，研究人员在不同的 harness（智能体读写并执行代码所借助的程序）中运行同样的模型。Qwen3.8-27B 在规模较大的重构任务上，视环境不同得分分别为 75 或 56 分。两个模型中哪一个胜出也取决于环境。因此，只列出模型的排行榜只讲出了部分事实。作者建议始终同时报告模型与工作环境。对于挑选编码智能体的公司而言，这意味着要把这两个组成部分作为一对来测试。

新基准确实存在局限。它对每个任务只评估一个固定的请求；用户后续的追问或任务中途的修正不在测试范围内。AI 评判员也可能出错。

阿里与多所亚洲高校基于真实用户变更请求构建了新基准 Co-Design Bench。十个受测模型中表现最好的 GPT-6 Astra 平均只满足约 70% 的需求，完全正确的任务仅占 26.4%，多数情况下留下至少一个细节需人工补完。作者指出旧基准已饱和，并强调模型与运行环境（harness）应成对评估。

• 阿里与多所亚洲高校基于真实用户变更请求构建了新基准 Co-Design Bench。十个受测模型中表现最好的 GPT-6 Astra 平均只满足约 70% 的需求，完全正确的任务仅占 26.4%，多数情况下留下至少一个细节需人工补完。作者指出旧基准已饱和，并强调模型与运行环境（harness）应成对评估。
• 原贴提到：Researchers from Alibaba and several Asian universities built a coding-a
• 来源：the-decoder.com

一句话判断：编码智能体的真实可用度取决于“模型＋运行环境”这一对组合，只看排行榜上的单模型分数会系统性高估它。

这是什么信号

阿里与多所亚洲高校用真实用户的变更请求搭建了 Co-Design Bench，把评测从“刷题”拉回到“干活”。关键数据有两个：十个受测模型中最好的 GPT-6 Astra 平均只满足约 70% 的需求，而完全正确的任务只有 26.4%。作者给出的动因也很直白：旧基准已经饱和，模型能自己运行、检查、修复代码后，得分普遍超过 99%，模型间差异已难以测量。新基准刻意挑选了用户反复改写请求、回滚改动的那类案例，也就是实践中已经让智能体吃过亏的任务。评分端同样收紧：一个 AI 评判员在浏览器里实操成品应用，另一个复核所有通过判定并排查示意图与硬编码结果，只有真正跑通的功能才计分。

为什么重要

这组数字改变的是成本结构，而非能力叙事。26.4% 的完全正确率意味着，用这些工具的人几乎总要做人工收尾——“智能体完成大部分、留下一个细节”恰恰是最难估算工时的形态：它不是彻底失败可以重来，也不是全部完成可以交付。另一条更值得记住的结论是算力不解决这个问题：GLM-5.2 在小改动上烧掉近六倍 token，得分仍显著更差。再加上任务复合度越高（布局、设计、交互、内容交织）全线掉分，而复合需求正是真实项目的常态，这说明当前短板在需求理解与整合，不在生成速度。最后是 harness 效应：同一模型在不同运行环境里得分从 75 掉到 56，谁排前面也随环境变化。只列模型的排行榜只讲了一半事实。

对谁有价值

最直接的是企业技术选型与采购：把模型和运行环境打包评估，而不是照着榜单挑模型。其次是工程负责人，需要用“完全可用”而不是“大致完成”作为验收口径。对独立开发者和超级个体同样有用——它给出了一个现实的预期管理与验收清单。评测与研究者则得到一个可借鉴的方法论：从真实会话里筛选失败案例，用双评判员排除“看起来对”的假通过。

可以怎么行动

• 用自己团队的真实需求做一轮小样本回归测试，模型与 harness 成对测，不同环境分开记分。
• 把验收标准从“完成了多少”改成“是否完全可用”，并明确留下尾巴的任务按未完成计。
• 在排期里显式为人工复核留出预算，尤其是涉及金额、总计、联动数据的改动。
• 优先选择可回滚、可审阅、产出可验证的工作流，拒绝只给截图或硬编码结果就算交付。
• 把复合型大改造拆成可独立验证的子任务，避免一次性投入大量算力换取边际极小的提升。

风险与限制

这份基准本身有明确边界：每个任务只评估一个固定请求，不含用户追问和任务中途修正，而真实协作中修正恰恰高频；AI 评判员也会出错，严格评分不等于零误判。此外，论文中的模型分数与时间点、版本强绑定，不可跨期横向比较；作者也明确没有从 Qwen3.8-27B 在大改造上排第二这一结果中推导出该模型的普遍优势。因此结论应读作“当前这批模型＋环境在真实风格任务上的交付水位”，而不是对某个模型的盖棺定论。

这条内容的真正价值，不只是“有人发布了一个新功能”，而是它揭示了 the-decoder.com 背后的产品方向、工作流变化或竞争信号。对 OPC 来说，这种信息可以转化成持续追踪的栏目选题。

如果把《真实测试显示：编码智能体近四分之三的任务仍需人工收尾》放到你的内容系统里，它最大的价值在于帮助读者更快看懂“为什么值得关注”，而不是只看到一条碎片化动态。

• Jonathan Kemper 原帖