AI觉醒星球
Awakening is here
Knowledge File / 全球热点解读
2026-05-30 3 浏览 公开

趋势解读:Making AI chatbots helpful weakens their ability to,讨论数据集与基础模型

趋势解读:Making AI chatbots helpful weakens their ability to,讨论数据集与基础模型:这条内容属于全球热点,核心焦点是讨论数据集与基础模型,适合继续追踪它对内容生产、业务执行和工具工作流的直接影响。

SOURCE / 全球热点解读 MIN / 9 ACCESS / 公开 POST / 2026-05-30 20:44:12

原贴

查看原文
作者:Jonathan Kemper 来源站点:the-decoder.com 原贴时间:

原文

A large-scale study shows that the training process turning raw language models into helpful chatbots also weakens their ability to mimic human behavior. The effect gets worse with each new generation. Language models are increasingly used as stand-ins for human test subjects to predict reactions to policy measures , simulate clinical training for psychiatrists , or model how students learn. A new study from an international research consortium, including scientists from Helmholtz Munich, arrives at an inconvenient finding: the very training steps that turn language models into useful assistants make them worse at modeling human behavior. The study builds on Psych-201, a new dataset of transcripts from behavioral experiments. It covers about 208,000 participants and roughly 26 million individual responses from hundreds of experiments, several times larger than any previous collection of its kind. Each data point captures a participant's full run through an experiment, along with detailed metadata like age, nationality, questionnaire responses, and other traits. The dataset was assembled through an open research collaboration involving researchers from more than 35 institutions. The researchers compared models from the Qwen3 , Llama3 , and OLMo 3 families, testing both base models and their various post-trained variants. Base models are trained only to predict the next word in text. From there, extra training produces the versions tuned for instruction-following, step-by-step reasoning, or image processing. The metric: how well each model predicts the actual answers human participants gave. The result holds across all families and sizes. Base models predict human behavior better than their post-trained descendants. The effect shows up for every common training objective, hitting hardest with reasoning models, followed by instruction tuning and vision extensions. In nearly every head-to-head comparison, the base model outperforms its specialized variant. One obvious counter-explanation: maybe assistant models just answer more deterministically and fail to capture the natural spread of human behavior. The researchers tested this with an accuracy analysis on a subset of tasks with discrete answer options. Post-trained models still performed worse, making higher determinism unlikely as the sole explanation. While base models steadily improve from Qwen2 through Qwen2.5 to Qwen3, getting better at predicting human behavior with each generation, the gap to their derived assistant models keeps growing. Ongoing advances in post-training are making the divergence from human behavior worse. The biggest distortion shows up in language tasks and reasoning. The researchers offer a plausible explanation: base models are, at their core, models of human language and therefore well-calibrated for language processing tasks. Post-training techniques like reinforcement learning from human feedback push them away from that original objective toward more user-friendly or normatively correct answers. The same thing happens with reasoning. Human decisions are shaped by heuristics and systematic biases that base models apparently pick up. Reasoning training optimizes for logically correct answers instead, overwriting exactly the human quirks that matter for behavioral simulation.

中文翻译

一项大规模研究表明,将原始语言模型转变为有用的聊天机器人的训练过程也会削弱它们模仿人类行为的能力。每一代新人的影响都会变得更糟。语言模型越来越多地用作人类测试对象的替代品,以预测对政策措施的反应、模拟精神科医生的临床培训或模拟学生的学习方式。包括来自慕尼黑亥姆霍兹慕尼黑的科学家在内的国际研究联盟的一项新研究得出了一个令人不安的发现:将语言模型转变为有用助手的训练步骤使它们在模拟人类行为方面变得更差。该研究建立在 Psych-201 的基础上,这是一个新的行为实验记录数据集。它涵盖了约 208,000 名参与者和来自数百个实验的约 2600 万个人反应,比以前的同类集合大几倍。每个数据点都会捕获参与者的整个实验过程,以及详细的元数据,例如年龄、国籍、问卷答复和其他特征。该数据集是通过开放研究合作收集的,涉及来自超过 35 个机构的研究人员。研究人员比较了 Qwen3、Llama3 和 OLMo 3 系列的模型,测试了基础模型及其各种训练后变体。仅训练基本模型来预测文本中的下一个单词。从那里,额外的训练产生针对指令遵循、逐步推理或图像处理进行调整的版本。指标:每个模型预测人类参与者给出的实际答案的程度。结果适用于所有家庭和规模。基础模型比训练后的后代模型更能预测人类行为。每个常见的训练目标都会产生这种效果,其中推理模型的影响最大,其次是指令调整和视觉扩展。在几乎所有的正面比较中,基本模型都优于其专用变体。一个明显的反解释是:也许助理模型只是更加确定性地回答,而无法捕捉人类行为的自然传播。研究人员通过对具有离散答案选项的任务子集的准确性分析来测试这一点。训练后的模型仍然表现较差,因此较高的确定性不太可能成为唯一的解释。虽然基础模型从 Qwen2 到 Qwen2.5 再到 Qwen3 稳步改进,每一代都在预测人类行为方面变得更好,但与其派生的辅助模型的差距不断扩大。后训练的不断进步使得与人类行为的分歧变得更加严重。最大的扭曲出现在语言任务和推理中。研究人员提供了一个合理的解释:基础模型的核心是人类语言模型,因此针对语言处理任务进行了良好的校准。训练后技术(例如根据人类反馈进行强化学习)使他们远离最初的目标,转向更加用户友好或规范正确的答案。推理也会发生同样的情况。人类的决策是由基础模型明显拾取的启发法和系统偏差决定的。相反,推理训练会优化逻辑上正确的答案,从而准确地覆盖对行为模拟至关重要的人类怪癖。

核心信息

趋势解读:Making AI chatbots helpful weakens their ability to,讨论数据集与基础模型:这条内容属于全球热点,核心焦点是讨论数据集与基础模型,适合继续追踪它对内容生产、业务执行和工具工作流的直接影响。

  • 趋势解读:Making AI chatbots helpful weakens their ability to,讨论数据集与基础模型:这条内容属于全球热点,核心焦点是讨论数据集与基础模型,适合继续追踪它对内容生产、业务执行和工具工作流的直接影响。
  • 原贴提到:A large-scale study shows that the training process turning raw language
  • 关键词:AI、研究、The Decoder
  • 来源:The Decoder

详细解读

这是什么信号

这条内容的中文标题可以概括为《趋势解读:Making AI chatbots helpful weakens their ability to,讨论数据集与基础模型》。它来自 The Decoder,原始标题是 Making AI chatbots helpful weakens their ability to simulate human behavior, large-scale study finds。从信号类型上看,它不是单纯的资讯快讯,而是更适合做长期跟踪的结构化内容源。

核心信息

A large-scale study shows that the training process turning raw language models into helpful chatbots also weakens their ability to mimic human behavior. The effect gets worse with each new generation. Language models are increasingly used 结合标题和来源可以判断,这条内容至少覆盖了 AI、研究、The Decoder 这些方向。它释放出来的不是一个孤立更新,而是一个可以继续拆成方法、案例、选题或专题页的内容切口。

为什么值得关注

讨论数据集与基础模型 之所以重要,是因为它通常直接连接到开发效率、内容生产、业务验证或团队协作。对 OPC 这种内容管理系统来说,真正有价值的不是“它发生了”,而是“它能否成为下一条高质量栏目内容的起点”。因此这类内容比普通新闻更适合作为深度文章的素材基础。

对 OPC 的实际价值

从栏目匹配来看,这条内容更偏向 全球热点。你可以把它看成一个“可二次加工”的信号:一方面能生成面向前台的中文解读,另一方面能沉淀成后续的专题、周报和历史回顾。如果持续积累这类内容,OPC 的内容池就不会只有热点速览,而会逐渐形成可复用、可串联、可推荐的知识资产。

对读者意味着什么

如果读者只是看到一条短资讯,他通常只会知道“有这回事”;但当它被整理成深度文章后,读者才能进一步理解这件事为什么值得关注、适合谁、会影响哪些工作流。这也是 OPC 内容引擎需要做扩写和结构化整理的原因:不是单纯翻译,而是把一条原始信号加工成真正可阅读、可理解、可行动的中文内容。

可以继续追问的方向

接下来最值得继续补充的,不是重复原文,而是把这条内容延伸成三个问题:第一,它解决的到底是哪类真实问题;第二,它和你现有工作流的哪一段最相关;第三,是否能沉淀成可执行的 SOP、模板或栏目专题。这样整理出来的文章,才会比普通搬运更有留存价值。

后续可扩写的栏目角度

如果后面继续补材料,这条内容还能进一步扩成几个栏目方向,比如工具测评、场景案例、行业影响、工作流改造、以及给个体创业者或团队管理者的行动清单。也就是说,一条高质量信号不仅能生成一篇文章,还能成为一组内容的上游素材,这正是你想要的“内容活起来”的基础。

编辑提示

如果后续改成模型增强版,这一段还可以继续补充三类信息:第一是关键事实和时间点,第二是与现有同主题内容的差异,第三是对不同读者角色的适用建议。这样文章既能保留“信息密度”,又不会只是空泛结论,整体阅读价值会比普通摘要更高。

可沉淀为知识资产的部分

从长期看,这类文章最有价值的部分并不是标题本身,而是它背后的结构:问题是什么、变化发生在哪里、为什么重要、读者能做什么。只要这个结构稳定下来,后面无论接入更多信源还是更强的模型,OPC 都能把它们持续沉淀成越来越厚的内容资产库,而不是一堆一次性快讯。

行动建议

  1. 把这条内容归档到对应栏目,并记录 3 个最重要的关键词。
  2. 补一段“对业务/创作的直接启发”,避免文章停留在资讯层。
  3. 如果后续 7 天内还有同主题内容出现,就把它们合并成系列文章或专题页。

来源说明

来源站点:The Decoder。当前版本为规则整理稿,评分约 82 分,已优先转成中文表达,并保留原始来源用于后续复核。

信息差价值

这条内容的真正价值,不只是“有人发布了一个新功能”,而是它揭示了 The Decoder 背后的产品方向、工作流变化或竞争信号。对 OPC 来说,这种信息可以转化成持续追踪的栏目选题。

如果把《趋势解读:Making AI chatbots helpful weakens their ability to,讨论数据集与基础模型》放到你的内容系统里,它最大的价值在于帮助读者更快看懂“为什么值得关注”,而不是只看到一条碎片化动态。

参考来源

上一篇 据报道:软银将在法国投资750亿欧元用于AI 下一篇 趋势解读:Terence Tao argues AI could bring division of,聚焦形式化数学证明能力