AI觉醒星球
Awakening is here
Knowledge File / 全球热点解读
2026-06-02 6 浏览 公开

趋势解读:Turing Award winner Richard Sutton says pure generative,聚焦形式化数学证明能力

图灵奖得主理查德·萨顿指出,普通生成式AI缺乏评估自身输出的能力,无法进行真正的科学发现,而结合评估循环的系统才能实现真正的创造力。

SOURCE / 全球热点解读 MIN / 9 ACCESS / 公开 POST / 2026-06-02 01:10:26

原贴

查看原文
作者:Matthias Bastian 来源站点:the-decoder.com 原贴时间:

原文

Turing Award winner Richard Sutton argues that ordinary generative AI lacks a key ability for scientific discovery: it can't evaluate and develop its own results. Large language models, image generators, and video models learn from massive amounts of examples and produce outputs that resemble them. According to Sutton, when these outputs are good, it's usually thanks to the source material: the texts, images, or data the model learned from. When the outputs are truly novel, they go beyond that material. For factual queries, that's called hallucination. Sutton illustrates his critique with an old researcher's joke: "This work is both novel and good. Unfortunately, the parts that are good are not novel, and the parts that are novel are not good." That diagnosis fits large parts of today's generative AI, Sutton says. It can mimic useful things or randomly produce new things, but it can't tell on its own which new ideas are actually good. Sutton doesn't deny that generative AI can be useful for summaries, research, assistants, or entertainment. Novelty often isn't even the goal: a summary shouldn't invent new facts, and research shouldn't sneak in extra claims. "Generative AI can be extremely useful, even when it just mimics, if it is faster, or cheaper, or smaller, or more customizable, or more copy-able, than the thing being mimicked," Sutton says. In Sutton's view, this boundary matters most for science in general, where the point isn't to reproduce what's already known but to discover new things, test them, and turn them into lasting knowledge. Sutton describes genuine discovery as a three-step process: variation, evaluation, and selective retention. A system has to generate different options, test them, and keep using the approaches that work. Sutton says this principle exists in evolution, in the scientific method, in planning, in search, and in reinforcement learning. What pure generative AI lacks most is evaluation. Language and image models do generate different variants. But without testing, there's no selection of the best and no discovery. "The novelty flickers into existence, but if its value is unrecognized, it flickers away and is lost," Sutton says. Evaluation can come from humans, for example, when users pick the best image from several AI-generated options. But it can also come from a clear goal: a checkmate, a formally valid proof, a successful program run, or a high reward in a simulated environment. Only that kind of feedback turns mere generation into a search and discovery process. Sutton says some AI systems that go beyond pure generative AI are already "capable of true creativity and true discovery." He points to examples like AlphaGo with its famous move 37 , AlphaZero with its unique chess style , AlphaFold in protein structure prediction, AlphaProof in math, Claude Code in programming , and GT-Sophy in simulated racing . What these systems share is an evaluation loop that goes beyond pure text or image generation. A Go move either raises the chance of winning or it doesn't. A math step can be formally checked, or it can't. Code passes tests, runs correctly, or fails. This makes it possible to select and pursue better solutions. "All these systems have some additional features that make them capable of true creativity and true discovery," Sutton says. Sutton's critique explicitly targets "ordinary" generative AI: models that don't evaluate their own output at runtime. Language models extended with search, verifiers, tools, reinforcement learning, or formal validators can become part of genuine discovery systems. But how far that structure can stretch beyond programming, games, and clearly testable tasks remains an open question.

中文翻译

图灵奖获得者理查德·萨顿认为,普通的生成式人工智能缺乏科学发现的关键能力:它无法评估和开发自己的结果。大型语言模型、图像生成器和视频模型从大量示例中学习并生成与其相似的输出。根据 Sutton 的说法,当这些输出良好时,通常要归功于源材料:模型从中学习的文本、图像或数据。当产出真正新颖时,它们就超出了材料的范围。对于事实查询,这称为幻觉。萨顿用一位老研究员的笑话来阐释他的批评:“这项工作既新颖又优秀。不幸的是,好的部分并不新颖,新颖的部分也不好。”萨顿说,这一诊断符合当今生成人工智能的大部分内容。它可以模仿有用的事物或随机产生新事物,但它无法自行判断哪些新想法实际上是好的。萨顿并不否认生成式人工智能可用于摘要、研究、助理或娱乐。新颖性往往甚至不是目标:摘要不应该发明新的事实,研究也不应该偷偷提出额外的主张。 “生成式人工智能可能非常有用,即使它只是模仿,如果它比被模仿的东西更快、更便宜、更小、更可定制、或更可复制,”萨顿说。在萨顿看来,这一边界对于一般科学来说最为重要,其重点不是复制已知的东西,而是发现新事物,测试它们,并将其转化为持久的知识。萨顿将真正的发现描述为一个三步过程:变化、评估和选择性保留。系统必须生成不同的选项,测试它们,并继续使用有效的方法。萨顿说,这一原则存在于进化、科学方法、规划、搜索和强化学习中。纯粹的生成式人工智能最缺乏的是评估。语言和图像模型确实会产生不同的变体。但如果没有测试,就没有最好的选择,也没有发现。萨顿说:“新奇事物一闪而过,但如果它的价值未被认识到,它就会消失并消失。”例如,当用户从多个人工智能生成的选项中挑选最佳图像时,评估可以来自人类。但它也可以来自一个明确的目标:将死、正式有效的证明、成功的程序运行或模拟环境中的高额奖励。只有这种反馈才能将单纯的生成转变为搜索和发现的过程。萨顿表示,一些超越纯粹生成人工智能的人工智能系统已经“具有真正的创造力和真正的发现能力”。他举了一些例子,比如AlphaGo著名的37步棋、AlphaZero以其独特的国际象棋风格、蛋白质结构预测中的AlphaFold、数学中的AlphaProof、编程中的Claude Code以及模拟赛车中的GT-Sophy。这些系统共享的是一个超越纯​​文本或图像生成的评估循环。围棋的棋步要么会增加获胜的机会,要么不会。数学步骤可以被正式检查,也可以不被检查。代码通过测试、正确运行或失败。这使得选择和追求更好的解决方案成为可能。 “所有这些系统都有一些附加功能,使它们能够实现真正的创造力和真正的发现,”萨顿说。萨顿的批评明确针对“普通”生成人工智能:在运行时不评估自己输出的模型。通过搜索、验证器、工具、强化学习或形式验证器扩展的语言模型可以成为真正的发现系统的一部分。但这种结构能超出编程、游戏和明显可测试的任务的范围有多大仍然是一个悬而未决的问题。

核心信息

图灵奖得主理查德·萨顿指出,普通生成式AI缺乏评估自身输出的能力,无法进行真正的科学发现,而结合评估循环的系统才能实现真正的创造力。

  • 纯生成式AI无法自我评估,缺乏科学发现关键能力
  • 真正发现需三步:变异、评估、选择性保留
  • AlphaFold等成功源于内置评估环
  • 评估可来自人类或形式化目标
  • 生成+评估是迈向真正AI创造力的路径

详细解读

这是什么信号

图灵奖得主理查德·萨顿(Richard Sutton)公开指出,当前主流的纯生成式AI(如大语言模型、图像生成器)缺乏科学发现的核心能力——评估自身输出。他认为,这些模型擅长模仿和重组已有知识,但无法自主判断新生成内容的价值,因此无法完成真正的科学发现。萨顿将真正的发现过程概括为“变异-评估-选择性保留”三步,并强调评估环是缺失的关键。

为什么重要

这一观点直击生成式AI的底层局限:当前AI热潮多集中于“生成”能力,但科学进步依赖的是“验证”和“筛选”。萨顿的批评提醒我们,如果AI无法自我评估,其“新颖”输出很可能只是随机噪声或幻觉。这对于依赖AI进行科研辅助、内容生成和决策支持的领域有重大警示意义。同时,他指出的解决方案——引入评估环(如形式化验证、强化学习、搜索)——为下一代AI系统指明了方向,例如AlphaFold和AlphaProof的成功正是因为有明确的评估标准。

对谁有价值

AI研究者:需要思考如何在生成模型中嵌入评估机制,推动从“生成”到“发现”的跨越。内容生产者:需警惕纯生成式AI在创意工作中的局限,更应关注“生成+校验”的混合工作流。企业决策者:在采购AI工具时,应优先选择具备闭环评估能力的产品,而非仅依赖生成质量。科学工作者:可借鉴萨顿的框架,将AI定位为“变异生成器”,而将人类或形式化系统作为评估者。

可以怎么行动

  • 在AI开发中集成外部验证器(如代码测试、数学证明器)或强化学习反馈。
  • 在内容生产流程中引入人工审核或交叉验证环节,确保新颖内容的可靠性。
  • 关注并跟进萨顿提到的系统(AlphaZero、AlphaProof等)的开源实现或方法论。
  • 在团队内部建立“生成-评估”双循环机制,将AI产出作为候选方案而非最终结论。

风险或限制

萨顿的论点主要针对“普通”生成式AI,但当前已有不少系统通过工具调用或RLHF部分实现了评估。完全形式化的评估仅适用于可明确定义正确性的领域(如数学、编程),对于主观性强或开放性问题(如艺术创作、商业策略),评估标准难以统一。此外,依赖外部评估可能增加系统复杂性和延迟,需要权衡实用性与严谨性。

信息差价值

信息差价值:多数从业者仍聚焦于生成模型的规模和流畅度,而萨顿的观点揭示了“评估缺失”这一底层缺陷。这种认知差距让先行者有机会在AI应用设计中优先考虑验证机制,避免陷入“伪创新”陷阱。例如,许多AI写作工具仅追求输出通顺,却无法判别事实谬误——这正是萨顿批评的典型场景。

业务启发:对于内容平台,可构建“生成器+校验器”双引擎:生成器负责海量创作,校验器(规则引擎+人工抽样)确保质量。对于科研工具,应优先投入可验证的AI辅助系统(如代码生成加自动测试、数学证明辅助)。那些能提供“可评估性”的产品(如可追溯推理过程的LLM)将获得竞争优势。

可沉淀动作:1)在团队内部分享萨顿的框架,重新审视当前AI工具的使用方式;2)梳理业务中哪些环节有明确的评估标准(如代码是否有输出测试),优先在这些环节引入AI生成;3)探索将AI纳入“变异生成”阶段,结合人工或自动化评估形成闭环。长期可建立内部评估数据集和基准,对AI产出进行结构化校验。

参考来源

上一篇 趋势解读:Claude maker Anthropic files for IPO with the,解读最新 AI 进展 下一篇 趋势解读:Our views on AI policy and political advocacy,解读最新 AI 进展