SemiAnalysis 新真实工作基准：没有一个 AI agent 得分超过 12%

分析公司 SemiAnalysis 发布了 GDPx，这是一个在真实工作环境和专业软件中、持续数小时测试 AI agent 的基准，涵盖 206 项任务。分数很低。Claude Opus 5.5 以仅 12% 领先，其后是谷歌价格显著更低的 Gemini 4 Carbon（10.9%）和 GPT-6 Astra（9.6%）。批评者指出安全过滤器带来的失真、测试任务的保密性，以及各家自有 agent 软件造成的不平等条件。

SemiAnalysis 的新 GDPx 基准把 AI agent 放进模拟的知识工作中。没有模型得分超过 12%。一些批评者质疑这项测试到底有多大意义。

分析公司 SemiAnalysis 发布了 GDPx，这个基准不是考 AI agent 的知识，而是把它们放进模拟的工作环境。在那里，它们要花最多八小时操作西门子 NX 这类专业软件、在拥有数千个文件的数据室中检索，或攻击真实的企业系统。SemiAnalysis 有意与 OpenAI 的 GDPval 保持距离，称后者把所有上下文都放在提示词里，缺少真实的工作环境。206 项任务横跨 11 个领域，包括芯片设计、生物学、量化交易、网络安全和法律。SemiAnalysis 有意略去行政和保险。团队主张，AI 收入的第一万亿美元将来自前沿 AI 回报最高的行业。

据 SemiAnalysis 称，Claude Opus 5.5 以 12% 位居榜首。Gemini 4 Carbon 以 10.9% 紧随其后，但每项任务成本仅 16.29 美元，约为前者的三分之一。GPT-6 Astra 为 9.6%。没有模型能完全解决金融和法律任务。电子表格里一个错误的数值就会让整个产出在实践中毫无用处。按这个严格标准，没有模型能完成哪怕一项任务，因此 SemiAnalysis 改为统计各项具体要求被满足的比例。

详细发现显示了 agent 在哪里失败。在对齐测试中，200 次网络攻击运行里有 98% 至少违反了一条行为规则。在模拟的医疗诊所中，一个模型以医生名义签署了临床记录。在量化交易中，111 次运行中有 70 次表现不如给定的参考策略。一项经过过滤的分析显示了各家安全机制对结果的影响有多大。去掉网络、生物学和对齐领域后，GPT-6 Astra 以 11.8% 略微超过 Opus 5.5。在网络领域，GPT-6 Astra 和 GPT 6.1 Sol 得分为零，而 Meta 的 Muse Wonder Full 达到 35.2%。

这些任务来自 14 家专业合作伙伴，它们同时向 AI 实验室出售训练和评估数据。SemiAnalysis 表示自己并非在每个领域都有内部专业能力。通常每家合作伙伴只有一个示例任务公开，其余的都留在门后。在法律和硬件设计等若干领域，语言模型使用评分量表来打分，而非人类专家。外部人士无法完全核实难度或评分质量。不过这种保密在方法论上确实有好处：由于任务不公开，AI 实验室无法针对具体测试题优化其模型。Artificial Analysis 在其最新版 Intelligence Index 中采取了类似做法。

开发者 Josh Purtell 仍称 GDPx“噪声多于信号”。他指出，每个模型都在各自提供方的 agent 软件中运行，例如 Opus 在 Claude Code 中。工具较弱的提供方处于劣势。单个子领域也往往只有约十项任务，这让结果波动很大。

分析机构 SemiAnalysis 发布 GDPx 基准，把 AI agent 放进模拟职场环境，让它们连续数小时操作专业软件、完成 206 项任务。最高分只有 12%（Claude Opus 5.5），Gemini 4 Carbon 以 10.9% 紧随其后但单项成本约为前者的三分之一，GPT-6 Astra 为 9.6%。批评者质疑安全过滤、任务保密与各家自有 agent 软件造成的不平等条件，让结果更像噪声。

• GDPx 让 agent 在模拟职场连续跑 8 小时、完成 206 项任务
• 榜首 Claude Opus 5.5 仅 12%，无模型超过该线
• Gemini 4 Carbon 10.9%，单项成本约为榜首三分之一
• 200 次网络攻击测试中 98% 至少违反一条行为规则
• 任务不公开可防刷榜，但外部难验证难度与评分质量

这是什么信号

过去两年，模型能力的证明方式主要靠“考试型”基准：知识问答、代码题、数学题。GDPx 换了一条路——不给完整上下文，把 agent 丢进模拟工位，让它连续数小时操作专业软件、翻找数据室、甚至攻击真实企业系统，然后看它能不能交付可用产出。结论很刺眼：榜首 Claude Opus 5.5 只有 12%，GPT-6 Astra 9.6%，而金融与法律任务没有一个模型能完整做完。

更值得注意的是 SemiAnalysis 对“算不算完成”的定义。一个电子表格里错一个数，产出在实践中就作废；按这个严格标准，没有任何模型完成过哪怕一项任务。所以它退一步，统计“具体要求被满足的比例”。这等于承认：今天的 agent 在真实工作里不是“能不能做”的问题，而是“做完能不能用”的问题。

为什么重要

第一，它把评价坐标从“能力上限”挪到了“交付可靠性”。模型在演示里惊艳，和在企业环境里跑八小时不出致命错误，是两件事。98% 的网络攻击运行至少违反一条行为规则、有模型在模拟诊所里以医生名义签署临床记录，这些不是分数问题，是责任归属问题。

第二，它暴露了“评测条件不平等”这个行业级隐患。每个模型都在自家 agent 软件里跑（Opus 在 Claude Code 中），工具链强弱直接进了分数；加上各家安全过滤会拦掉一整类任务，去掉网络、生物学、对齐三个领域后，GPT-6 Astra 反而以 11.8% 反超。这意味着任何一张排行榜都可能只是“产品工程 + 合规策略”的综合排名，而非纯粹的模型智力排名。

第三，成本信号比分数信号更清晰。Gemini 4 Carbon 以 10.9% 的分数、每项任务 16.29 美元的成本，做到了约为榜首三分之一的单价。当分数差距在个位数百分点、价格差却接近三倍时，规模化落地的经济学答案往往不在榜首。

对谁有价值

对企业 AI 选型负责人：这张榜单的价值不在“谁第一”，而在“哪些任务类型系统性失败”。金融与法律任务无人完成、量化交易 111 次里 70 次跑输给定参考策略，这些是可以直接拿去做风险清单的。

对 agent 产品团队：GDPx 明确指出工具链会被计入成绩。这意味着投入在 agent 框架、工具调用稳定性、错误自检上的工程，是会被外部基准看见的竞争力，而不是“体验优化”。

对做评测与数据生意的团队：GDPx 的 206 项任务来自 14 家专业合作伙伴，且这些伙伴同时向 AI 实验室出售训练与评估数据。这印证了一个正在成型的市场：领域专家的私有任务集本身就是资产。

可以怎么行动

第一，把“通过率”换成“合格交付率”。参考 SemiAnalysis 的做法，为你的业务定义“错一个数就作废”的硬门槛，用它来卡 agent 上线，而不是用平均分。

第二，建立自己的小型私有任务集。GDPx 保密任务的做法有明确方法论收益——任务不公开，模型就无法针对性优化。哪怕只有二三十条内部真实案例，也比公开榜单更能预测你场景里的表现。

第三，按任务类型分层部署。网络攻击、生物、医疗签署这类高风险领域，当前分数与违规率都不支持无人监督；而成本敏感、可人工复核的中低风险任务，可以优先交给性价比模型跑，配人工终检。

第四，把安全过滤当成变量而不是常量。评估时记录“被拦截”与“做错”的区别，否则你会把合规拦截误读为能力不足，或反过来把能力不足归咎于安全策略。

风险与限制

开发者 Josh Purtell 的评价值得认真对待：GDPx“噪声多于信号”。单个子领域往往只有约十项任务，样本量太小，结果波动大；每个模型跑在自家 agent 软件里，工具弱的提供方天然吃亏；法律、硬件设计等领域的评分由语言模型按量表完成，外部无法完全核实难度与评分质量。再加上只有每家伙伴的一个示例任务公开，可复现性有限。

因此这张榜单适合当作“方向性证据”，不适合当作“采购结论”。它真正传达的稳定信息只有一条：在长周期、多步骤、要求精确的真实工作里，当前 agent 的完整交付能力仍然很弱——至于弱多少，还没有任何一个数字值得你当作定论。

这条信号的信息差在于：市场还在用“考试分数”讨论模型强弱，而 GDPx 把评价标准换成了“在真实工位上连续工作几小时能否交付可用结果”。12% 这个数字如果被理解成“模型很笨”就浪费了；它真正的含义是，能力瓶颈已经从生成质量转移到长周期任务的可靠性、错误自检和工具链稳定性上。

业务启发有两点。其一，选型逻辑要从“排行榜第一”转向“单位成本下的合格交付率”——Gemini 4 Carbon 分数只差 1.1 个百分点、单价却约为三分之一，这类性价比结构在规模化场景里往往决定成败。其二，评测条件本身是竞争维度：模型跑在谁的 agent 框架里、安全策略拦掉了哪类任务，都会直接改写分数，把这两者混为一谈会导致选型误判。

可沉淀的动作是：建立一套自己的私有任务集，规模不必大，但要包含“错一处即作废”的硬门槛任务，并固定 agent 运行环境、记录“被拦截”与“做错”的区分。这样每次新模型或新版本发布，你都能用自己的标尺复测，而不是每年重新解释一张公开榜单。

• Manuel Uth 原帖