趋势解读：New benchmark exposes how badly AI struggles with，解读最新 AI 进展

即使是最好的人工智能模型也无法完成现实的知识工作，只能完全解决 3% 的任务。Artificial Analysis 的新 AA-Briefcase 基准将人工智能模型置于由数千个碎片源文件（如 Slack 线程、电子邮件、会议记录和大数据导出）构建的为期数周的知识工作项目中。表现最好的《克劳德寓言 5》达到了最高的通过率，但仍然只有 3% 的任务达到了所有标准。在 91 项任务中的 31 项中，没有一个模型能够完成 50% 的任务。随着模型变得更好，错误类型也会发生变化。较弱的模型会因错过相关文件或输出无法使用的结果而无法执行基本执行。更强大的模型会更安静地失败，因为它们满足了明显的要求，但却错过了只有通过将多个来源的信息拼凑在一起才能捕获的细节。价格差距也很大：每任务成本超过 800 倍，从 DeepSeek V4 Flash 的约 0.04 美元到 Claude Fable 5 的超过 31 美元。

最新AA-Briefcase基准测试显示，即使最好的AI模型在真实知识工作中也仅能完成3%的任务，揭示了AI在复杂多源信息处理中的严重局限。

• 最新AA-Briefcase基准测试揭示AI在真实知识工作中表现极差。
• Claude Fable 5最佳，也仅完成3%任务。
• 模型错误类型随能力提升从明显失败转为静默遗漏。
• 任务成本差异超800倍，从0.04美元到31美元。
• 强模型易忽略多源信息综合的细节。

这是什么信号
Artificial Analysis发布的AA-Briefcase基准测试，模拟了真实知识工作场景（如分析Slack消息、邮件、会议记录等），结果显示即使顶级AI模型也难以胜任。Claude Fable 5在91项任务中仅3%完全达标，31项任务无模型超过50%通过率。这标志着AI在复杂推理和多源信息整合上存在显著短板。

为什么重要
因为知识工作是企业核心场景，当前AI的失败率表明直接替代人类尚不现实。错误模式也值得关注：弱模型失败明显（输出不可用），强模型则“静默失败”（遗漏细节），后者更难被察觉，可能造成决策误导。

对谁有价值
企业决策者：需理性评估AI工具在真实业务中的效果，避免过度承诺。AI开发人员：识别改进方向，如增强长上下文理解、跨文档推理。投资者：理解AI能力边界，调整预期。

可以怎么行动
1）企业可自行设计小型知识工作测试，评估模型与自身场景的匹配度。2）优先将AI用于单文档检索或简单问答，而非复杂项目。3）关注成本差异：DeepSeek V4 Flash每任务仅0.04美元，Claude Fable 5超31美元，成本效益需权衡。

风险或限制
基准测试任务设计可能过于严苛，或与特定行业场景不完全对应。模型快速迭代，当前结果可能在数月后过时。此外，基准未涵盖多轮交互或人类反馈优化，实际使用中可通过提示工程提升表现。

信息差价值
多数AI宣传聚焦简单任务，此基准量化了复杂知识工作的真实差距，戳破了“AI已能替代知识员工”的泡沫。企业和个人可据此调整对AI能力的预期，避免盲目跟风。

业务启发
在内容生产、数据分析等需多源整合的业务中，AI应定位为辅助工具，而非决策者。可设计人机协作流程：AI负责初筛和结构化，人类负责综合判断。同时，成本差异提示低价模型在简单任务上可能更具性价比。

可沉淀动作
1）建立内部“知识工作评估集”，持续测试落地模型的真实表现。2）将此次基准结果纳入模型选型评分卡，作为长尾任务参考。3）撰写案例研究，记录本团队在使用AI处理复杂项目时的成功与失败，形成SOP。

• Maximilian Schreiner 原帖