觉
AI觉醒星球
Awakening is here
Knowledge File / AI小生意项目库
2026-09-20 2 浏览 免费阅读

腾讯 Gander:边工作边持续对话

腾讯混元语音团队与高校研究人员推出 Gander,用“小脑”管实时对话、“大脑”管复杂任务,测试显示打断率低但任务准确率和音视频理解有短板,团队计划开源权重和数据。

SOURCE / AI小生意项目库 MIN / 9 ACCESS / 免费阅读 POST / 2026-09-20 23:41:30

原贴

查看原文
作者:Jonathan Kemper 来源站点:the-decoder.com 原贴时间:

原文

Tencent's Gander is designed to hold real-time conversations while handling complex tasks in the background. It processes speech, images, and text simultaneously, and users can interrupt at any time. A "cerebellum" manages the conversation second by second, while a swappable "brain" handles complex agent tasks. The split aims to keep responses fast without cutting planning short. In tests, Gander interrupted users less often than competing models but trailed on task accuracy and showed weaknesses in video and audio understanding. The team plans to release model weights and training data. A GitHub repository for the code already exists. Tencent's research model Gander combines real-time conversation with AI agent capabilities. A "cerebellum" handles the conversation while a swappable "brain" tackles complex tasks. Users can interrupt at any time, but tests show a tradeoff between conversational timing and task accuracy. Tencent's Hunyuan Speech team and researchers at several universities have introduced Gander, an AI model designed to keep chatting while it handles complex tasks. According to the technical report, it takes in speech, images, and text at the same time. Today's voice assistants mostly take turns with users, the researchers argue . In real conversations, people interrupt each other, give quick feedback, and listen while talking. Gander is designed to handle that back-and-forth by continuously processing video, speech, and text, even while it speaks. Users can jump in at any time, and the model can ask follow-up questions or give progress updates without being prompted. Ad Conversation needs quick responses, but searching files or writing code takes time to plan. The researchers argue that a single model has to balance speed against reasoning ability, so Gander splits the work between two roles. Ad Borrowing from human anatomy, they call these the "cerebellum" and the "brain." The cerebellum handles real-time conversation while the brain tackles reasoning and complex tasks in the background. The brain can be swapped out for agent systems such as Codex or Claude Code without retraining the conversation model. In tests, an unspecified model from OpenAI's GPT-5.6 family filled that role. As the underlying model improves, the whole system benefits. Ad Gander breaks conversations into one-second segments so the cerebellum can decide when to listen, speak, or stop if the user interrupts. It makes those decisions without a separate module to detect when speech starts and stops, using roughly the last two minutes of conversation as memory. With no dedicated test for models like Gander yet, the researchers turned to established benchmarks. The report says Gander had the best timing on Full-Duplex-Bench v3, which tests voice assistants across different task scenarios. Ad Gander starts speaking at the right moment in all 100 scenarios and interrupts users in 8 percent of cases. That compares with 13.5 percent for GPT-Realtime and nearly 48 percent for the weakest competitor. According to the report, Gander uses a relatively small model to compete against commercial systems including GPT-Realtime, Gemini Live , and Grok. Ad

中文翻译

腾讯的 Gander 旨在处理后台复杂任务时保持实时对话。它同时处理语音、图像和文本,用户可以随时打断。一个“小脑”逐秒管理对话,而一个可替换的“大脑”处理复杂的代理任务。这种分工旨在保持响应快速,同时不缩短规划。在测试中,Gander 打断用户的频率低于竞争模型,但在任务准确性上落后,并在视频和音频理解方面表现出弱点。团队计划发布模型权重和训练数据。代码的 GitHub 仓库已经存在。

腾讯的研究模型 Gander 结合了实时对话与 AI 代理能力。一个“小脑”处理对话,而一个可替换的“大脑”处理复杂任务。用户可以随时打断,但测试显示对话时机与任务准确性之间存在权衡。

腾讯的混元语音团队和几所大学的研究人员推出了 Gander,一种旨在处理复杂任务时保持聊天的 AI 模型。根据技术报告,它同时接收语音、图像和文本。研究人员认为,今天的语音助手大多与用户轮流说话。在真实对话中,人们互相打断,给出快速反馈,并边听边说。Gander 旨在通过持续处理视频、语音和文本,即使在其说话时,来处理这种来回交流。用户可以随时加入,模型可以主动提出后续问题或提供进度更新。

对话需要快速响应,但搜索文件或编写代码需要时间规划。研究人员认为,单一模型必须在速度与推理能力之间平衡,因此 Gander 将工作分为两个角色。借用人体解剖学,他们称之为“小脑”和“大脑”。小脑处理实时对话,而大脑在后台处理推理和复杂任务。大脑可以替换为 Codex 或 Claude Code 等代理系统,而无需重新训练对话模型。在测试中,OpenAI GPT-5.6 系列的一个未指定模型填补了这一角色。随着底层模型的改进,整个系统受益。

Gander 将对话分成一秒的片段,以便小脑决定何时听、说或停止(如果用户打断)。它做出这些决定时不需要单独的模块来检测语音开始和停止,并使用大约最后两分钟的对话作为记忆。由于还没有针对 Gander 这类模型的专门测试,研究人员转向了已有的基准。报告称,Gander 在 Full-Duplex-Bench v3 上具有最佳时机,该基准测试不同任务场景下的语音助手。Gander 在所有 100 个场景中都在正确时刻开始说话,并在 8% 的情况下打断用户。相比之下,GPT-Realtime 为 13.5%,最弱的竞争者为近 48%。根据报告,Gander 使用相对较小的模型来与包括 GPT-Realtime、Gemini Live 和 Grok 在内的商业系统竞争。

核心信息

腾讯混元语音团队与高校研究人员推出 Gander,用“小脑”管实时对话、“大脑”管复杂任务,测试显示打断率低但任务准确率和音视频理解有短板,团队计划开源权重和数据。

  • 腾讯混元语音团队与高校研究人员推出 Gander,用“小脑”管实时对话、“大脑”管复杂任务,测试显示打断率低但任务准确率和音视频理解有短板,团队计划开源权重和数据。
  • 原贴提到:Tencent's Gander is designed to hold real-time conversations while handl
  • 来源:the-decoder.com

详细解读

这是什么信号:腾讯混元语音团队联合多所大学推出 Gander,它不是单一模型追求“既会聊天又能干复杂任务”,而是把实时对话和复杂任务拆成两个角色。一个“小脑”逐秒管理对话节奏,决定何时听、说或停止;一个可替换的“大脑”在后台处理推理、搜索文件、写代码等代理任务。这代表语音 AI 正在从回合制助手,转向“边说边听边打断”的全双工交互,同时把重推理外包给可插拔的代理系统。

为什么重要:传统语音助手最大的矛盾是延迟与深度。对话需要毫秒级响应,而复杂任务需要长时间规划。Gander 的拆分让对话层保持轻快,代理层可以随时换成 Codex、Claude Code 或其他更强模型,而不用重新训练对话能力。原文提到,测试中一个未指定的 GPT-5.6 系列模型充当了“大脑”,这意味着系统能力会随底层代理模型升级而水涨船高。这为语音交互与 AI Agent 的结合提供了一种可扩展架构。

对谁有价值:做语音助手、客服机器人、实时协作工具、AI 硬件、会议助理以及需要“语音入口+代理执行”工作流的开发者,都值得关注。尤其是那些希望用户用自然语言打断、追问、下达任务,同时后台能继续跑复杂操作的产品团队。Gander 的“小脑+可替换大脑”思路,也可以被借鉴到多模态实时交互系统的设计中。

可以怎么行动:第一,关注团队计划发布的模型权重和训练数据,以及已存在的代码仓库,评估能否复现或接入现有产品。第二,在需要实时语音交互的场景中,尝试把对话模型与任务代理解耦,让对话层专注节奏,让代理层专注规划与执行。第三,用 Full-Duplex-Bench v3 等现有基准做内部对比,但不要只盯打断率,还要看任务完成质量。第四,如果自研成本高,可以先考虑把可替换“大脑”接入现有代理系统,验证用户体验。

风险或限制:原文明确提到,Gander 在测试中任务准确性落后,视频和音频理解存在弱点。打断率低不一定代表体验更好,可能意味着模型不够主动澄清或推进任务。目前还没有专门针对 Gander 这类模型的评测基准,Full-Duplex-Bench v3 只能部分反映能力。此外,“大脑”可替换为 Codex 或 Claude Code,也意味着系统表现高度依赖底层代理模型,并非 Gander 本身完全可控。团队计划开源权重和数据,但具体效果和社区复现情况仍需观察。

信息差价值

这条内容的真正价值,不只是“有人发布了一个新功能”,而是它揭示了 the-decoder.com 背后的产品方向、工作流变化或竞争信号。对 OPC 来说,这种信息可以转化成持续追踪的栏目选题。

如果把《腾讯 Gander:边工作边持续对话》放到你的内容系统里,它最大的价值在于帮助读者更快看懂“为什么值得关注”,而不是只看到一条碎片化动态。

参考来源

AI SUMMARY

这篇文章回答了什么

腾讯 Gander:边工作边持续对话主要讲什么?

腾讯混元语音团队与高校研究人员推出 Gander,用“小脑”管实时对话、“大脑”管复杂任务,测试显示打断率低但任务准确率和音视频理解有短板,团队计划开源权重和数据。

这篇文章最值得关注的要点是什么?

腾讯混元语音团队与高校研究人员推出 Gander,用“小脑”管实时对话、“大脑”管复杂任务,测试显示打断率低但任务准确率和音视频理解有短板,团队计划开源权重和数据。;原贴提到:Tencent's Gander is designed to hold real-time conversations while handl;来源:the-decoder.com

这篇文章和哪些AI专题相关?

它适合放在AI副业、AI工具、Agent工作流专题里阅读。 关联原因:这篇内容命中「项目、小生意、变现」等主题信号。;这篇内容命中「自动化」等主题信号。;这篇内容命中「Agent」等主题信号。

阅读这篇文章建议先理解哪些关键词?

建议先理解AI工具、工具、自动化、模型、Cursor这些关键词,再结合正文判断工具、机会或风险是否值得进入自己的工作流。

上一篇 阿里 Qwen-Image-2.1 发布:70 亿参数开源权重模型,声称在图像生成上胜过多数闭源模型 下一篇 Runway 想把 AI 视频生成变成可实时控制的直播流