觉
AI觉醒星球
Awakening is here
AI小生意项目库 · 阅读档案
2026-11-22 2 浏览 免费阅读

英伟达研究者认为,超大 AI 上下文窗口是条死路

英伟达研究团队指出,让模型一次吃下整本小说往往既昂贵又没必要;在多组测试中,定期摘要加定向检索的效果差不多。文章同时回顾了上下文窗口从 GPT-4 的 8,192 tokens 到今天约一百万 tokens 的膨胀过程。

AI小生意项目库 约 9 分钟读完 免费阅读 原文 2026-11-22 00:23:45

原贴

查看原文
作者:Jonathan Kemper 来源站点:the-decoder.com 原贴时间:

原文

Language models can now process entire novels at once. An Nvidia research team says that's often overkill and expensive. In many tests, periodic summaries and targeted lookups worked about as well. A language model's context window is its working memory, covering everything it holds in view when generating a reply. Over the past few years, that window has grown rapidly. GPT-4 launched in March 2023 with 8,192 tokens. Today, GPT 5.6 Sol handles around one million tokens, about 120 times as much and enough for Tolstoy's "War and Peace." Already a subscriber? Sign in Back to the homepage

中文翻译

语言模型现在可以一次处理整本小说。英伟达的一个研究团队表示,这往往既属过度配置,也很昂贵。在许多测试中,定期摘要和定向查找的效果差不多。语言模型的上下文窗口就是它的工作记忆,涵盖它在生成回复时所看到的一切内容。过去几年里,这个窗口增长得很快。GPT-4 于 2023 年 3 月发布,上下文为 8,192 tokens。今天,GPT 5.6 Sol 处理约一百万 tokens,约为前者的 120 倍,足以装下托尔斯泰的《战争与和平》。

核心信息

英伟达研究团队指出,让模型一次吃下整本小说往往既昂贵又没必要;在多组测试中,定期摘要加定向检索的效果差不多。文章同时回顾了上下文窗口从 GPT-4 的 8,192 tokens 到今天约一百万 tokens 的膨胀过程。

  • 英伟达研究团队指出,让模型一次吃下整本小说往往既昂贵又没必要;在多组测试中,定期摘要加定向检索的效果差不多。文章同时回顾了上下文窗口从 GPT-4 的 8,192 tokens 到今天约一百万 tokens 的膨胀过程。
  • 原贴提到:Language models can now process entire novels at once. An Nvidia researc
  • 来源:the-decoder.com

详细解读

这是什么信号

这不是一条“上下文窗口没用”的新闻,而是一次路线质疑。英伟达研究团队给出的判断是:把整本小说塞进窗口,很多时候是过度配置,而且很贵;在不少测试中,“定期摘要 + 定向查找”的组合效果与之相当。换句话说,被质疑的不是长上下文这项能力,而是“遇到问题就先把窗口拉满”这种默认做法。

原文同时给出了量级对比:GPT-4 在 2023 年 3 月发布时是 8,192 tokens,今天 GPT 5.6 Sol 能处理约一百万 tokens,约 120 倍,装得下《战争与和平》。能力的增长是真的,成本与收益的匹配问题也是真的。

为什么重要

上下文窗口是模型的工作记忆,它决定模型生成回复时能看到什么。窗口越拉越长,直接后果是每次调用的输入规模上升,而输入规模是推理成本的主要变量之一。也就是说,长上下文不是免费的容量,而是一种按次计费的资源。

如果“摘要 + 检索”能以更低代价达到接近的效果,那么很多产品架构的默认选项就该反过来:不再默认全量投喂,而是先做信息的压缩与定位。这对做 Agent、知识库问答、文档处理类产品的团队,是直接的成本与延迟问题,不只是学术趣味。

对谁有价值

  • 做长文档、代码库、会议记录类产品的团队:需要重新评估“整篇塞进去”是不是最优解。
  • 承担推理成本的工程负责人:上下文长度直接对应账单和响应时间。
  • 构建 Agent 与检索管线的开发者:摘要与定向查找本就是可工程化的中间层。
  • 评估模型能力的从业者:需要区分“能装下”和“用得好”。

可以怎么行动

第一,建立上下文预算意识:在方案设计阶段就问清楚,这次调用需要模型看到多少内容,哪些是可以先压缩掉的。第二,把“摘要 + 定向检索”做成默认路径,把长上下文当作保底手段,而不是第一选择。第三,做能力评测时加入同等成本的对照组,用相同花费比较长上下文直投和摘要检索两条路线的实际效果,而不是只比较绝对质量。第四,对需要跨文档全局一致性的任务单独标注,避免一刀切地压缩。

风险与限制

原文只说“在许多测试中”效果差不多,没有披露任务类型、测试规模与具体指标,因此不能外推为“长上下文普遍无用”。摘要有信息损耗,检索有召回盲区,在需要全局一致推理、跨段落细粒度对齐或原文逐字核对的场景,长上下文仍有不可替代的价值。此外,成本的具体差异取决于模型定价与调用方式,原文只给出“昂贵”这一定性判断,落地前需要用自己业务的真实流量测算,而不是照搬结论。

信息差价值

这条内容的真正价值,不只是“有人发布了一个新功能”,而是它揭示了 the-decoder.com 背后的产品方向、工作流变化或竞争信号。对 OPC 来说,这种信息可以转化成持续追踪的栏目选题。

如果把《英伟达研究者认为,超大 AI 上下文窗口是条死路》放到你的内容系统里,它最大的价值在于帮助读者更快看懂“为什么值得关注”,而不是只看到一条碎片化动态。

参考来源

AI SUMMARY

这篇文章回答了什么

英伟达研究者认为,超大 AI 上下文窗口是条死路主要讲什么?

英伟达研究团队指出,让模型一次吃下整本小说往往既昂贵又没必要;在多组测试中,定期摘要加定向检索的效果差不多。文章同时回顾了上下文窗口从 GPT-4 的 8,192 tokens 到今天约一百万 tokens 的膨胀过程。

这篇文章最值得关注的要点是什么?

英伟达研究团队指出,让模型一次吃下整本小说往往既昂贵又没必要;在多组测试中,定期摘要加定向检索的效果差不多。文章同时回顾了上下文窗口从 GPT-4 的 8,192 tokens 到今天约一百万 tokens 的膨胀过程。;原贴提到:Language models can now process entire novels at once. An Nvidia researc;来源:the-decoder.com

这篇文章和哪些AI专题相关?

它适合放在AI副业、AI工具、AI超级个体专题里阅读。 关联原因:这篇内容命中「项目、小生意、变现」等主题信号。;这篇内容命中「模型」等主题信号。;这篇内容命中「效率」等主题信号。

阅读这篇文章建议先理解哪些关键词?

建议先理解AI工具、工具、自动化、模型、Cursor这些关键词,再结合正文判断工具、机会或风险是否值得进入自己的工作流。

上一篇 两个英伟达的故事 下一篇 Transformers v5.24.0 发布:新增多款模型与架构支持
北竹游乐场 免费玩小游戏 免费玩