Block 发布新语音模型 Dessa:本地运行,听起来「像人」到令人不安
Jack Dorsey 旗下的 Block 研究实验室发布全双工语音模型 Dessa,完全以人类语音训练,可在本地与消费级 GPU 上运行,自带笑声、停顿、哭腔等情绪表达,主张把「情感」直接内建于模型,而非依赖文本管线或语音标签驱动。
原贴
查看原文原文
中文翻译
Jack Dorsey 的 Block 公司从其研究实验室发布了一款新的语音模型,它可以在本地运行,并带有笑声、停顿和哭泣等表达,听起来异常像人。
该公司表示,这款名为 Dessa 的模型完全基于人类语音和单个 NVIDIA GPU 机架训练。Dessa 是一个全双工模型,这意味着它可以同时说话和倾听,就像 OpenAI 今年早些时候发布的 GPT-Live 模型一样。通常,语音模型会与大型语言模型配对以进行知识检索。Block 表示,Dessa 的知识来源于它所拥有的对话数据。
「我们相信语音是与智能交互最自然的方式,所以我们创造了 Dessa,有史以来最真实的双工语音模型。与它交谈感觉就像与人交谈……充满情感、细微差别、停顿和自然的节奏。」
Block 表示,当前的模型听起来可能不自然且令人烦躁,因为它们的流程中包含驱动语音生成的文本。许多像 ElevenLabs v4 或 Fish Audio Drama 3 这样的模型使用语音标签来驱动语音生成中的情感。Dorsey 的公司声称情感已内置于其模型中。目前尚不清楚这种情感是否由某种标签引导。
「与当前的语音 AI 交互简直糟透了。它把你的声音转成文本,并丢弃了大量文本本身无法承载的信息。世界上最强大的 AI 也听不出你的感受。我们认为这很荒谬,会导致更差的体验,并且可能具有危险性,」该公司在一篇博客文章中表示。
该公司的研究人员发布了多个与 Dessa 对话的示例,其中智能体具有不同的声音、节奏和情感。例如,在一段对话中,机器人说自己工作累了,而那时它听起来确实很累。
「我们做出了第一个你可以与之进行逼真对话、且完全基于语音训练的 AI 模型!Dessa 是一个全双工语音到语音模型,你可以在消费级 GPU 上运行它。这是语音领域的 GPT3 时刻。」
在下面的例子中,机器人正在谈论对方让它感到舒适,同时听起来情绪化,几乎要崩溃。
核心信息
Jack Dorsey 旗下的 Block 研究实验室发布全双工语音模型 Dessa,完全以人类语音训练,可在本地与消费级 GPU 上运行,自带笑声、停顿、哭腔等情绪表达,主张把「情感」直接内建于模型,而非依赖文本管线或语音标签驱动。
- Jack Dorsey 旗下的 Block 研究实验室发布全双工语音模型 Dessa,完全以人类语音训练,可在本地与消费级 GPU 上运行,自带笑声、停顿、哭腔等情绪表达,主张把「情感」直接内建于模型,而非依赖文本管线或语音标签驱动。
- 原贴提到:Jack Dorsey’s Block released a new voice model out of the company’s rese
- 来源:techcrunch.com
详细解读
这是什么信号:语音栈正在从「三段式管线」被压成一段端到端模型。过去主流的语音助手是 ASR 转文本 → 大语言模型理解与检索 → TTS 合成三段拼接,情绪靠语音标签或后处理贴上去。Block 的 Dessa 明确反对这条路径,主张全双工、语音到语音、情绪内建于模型本身,并用「笑声、停顿、哭腔」这类副语言信号作为卖点。这不是又一个 TTS 音色包,而是对「语音交互的中间层该不该存在」的判断性表态。
为什么重要:它把三个原本分开的竞争维度捆在了一起。第一是延迟与打断能力,全双工意味着模型可以边听边说,这是自然对话体验的物理前提;第二是副语言信息,Block 的论点很锋利——把声音转成文本再生成,等于主动丢弃了文本承载不了的语调与情绪,而这恰恰是人与人沟通中信息密度最高的部分;第三是部署形态,官方口径是「单个 NVIDIA GPU 机架」训练,其研究人员则称可在消费级 GPU 上运行,这两句话指向的落地门槛并不相同,但都暗示语音模型正在从云端 API 走向可本地部署。三者叠加,意味着语音交互的门槛不是「音色像不像人」,而是「能不能被当作对话对象」。
对谁有价值:做语音 Agent 的产品团队——尤其是客服、陪伴、教育、车载与硬件设备场景,这些场景的瓶颈往往不是回答对不对,而是用户愿不愿意继续说下去;做端侧 AI 的硬件与嵌入式团队——如果本地运行的口径成立,隐私敏感与弱网场景会打开新的产品形态;以及做内容与 IP 的团队,情绪表现力直接决定角色化语音的可用性。反过来,纯做 TTS 音色与语音标签工程的团队,需要重新评估自己的价值是否会被端到端模型吞掉。
可以怎么行动:第一,把评估指标从「MOS 音质分」换成「打断恢复是否自然、停顿位置是否合理、情绪是否与语义一致」这类对话级指标,用真实双人对话脚本做盲测。第二,做一次架构对照实验:同一业务话术,分别跑「LLM+TTS 管线」与全双工语音模型,对比用户平均通话时长、二次追问率与挂断率,用体验指标而非音质指标决策。第三,关注知识边界问题——Block 自己说 Dessa 的知识来自它的对话数据,没有外接大语言模型做检索,那么在需要事实准确性的业务里,它更适合做「表达层」而非「知识层」,混合架构可能才是近期最优解。第四,如果考虑端侧部署,先确认实际硬件门槛与并发能力,不要用发布口径直接做容量规划。
风险与限制:其一,目前所有惊艳样例都来自发布方自己挑选的对话片段,缺少第三方基准和可复现的评测,情绪是否真为「内建」还是换了形式的标签引导,官方表述本身留了空白。其二,「像人到令人不安」是双刃剑,情绪感染力越强,用于误导、冒充、情感操纵的成本越低,Block 自己在博客里也把现有语音 AI 称作「可能具有危险性」,但并未给出对应的防护机制说明。其三,纯语音训练意味着世界知识与事实核查能力存在天花板,不能默认它能替代检索型模型。其四,多语种与中文表现、长对话稳定性、真实并发成本都未披露,结论不宜外推。
信息差价值
这条内容的真正价值,不只是“有人发布了一个新功能”,而是它揭示了 techcrunch.com 背后的产品方向、工作流变化或竞争信号。对 OPC 来说,这种信息可以转化成持续追踪的栏目选题。
如果把《Block 发布新语音模型 Dessa:本地运行,听起来「像人」到令人不安》放到你的内容系统里,它最大的价值在于帮助读者更快看懂“为什么值得关注”,而不是只看到一条碎片化动态。
参考来源
TOPIC HUBS
延伸专题
AI SUMMARY
这篇文章回答了什么
Block 发布新语音模型 Dessa:本地运行,听起来「像人」到令人不安主要讲什么?
Jack Dorsey 旗下的 Block 研究实验室发布全双工语音模型 Dessa,完全以人类语音训练,可在本地与消费级 GPU 上运行,自带笑声、停顿、哭腔等情绪表达,主张把「情感」直接内建于模型,而非依赖文本管线或语音标签驱动。
这篇文章最值得关注的要点是什么?
Jack Dorsey 旗下的 Block 研究实验室发布全双工语音模型 Dessa,完全以人类语音训练,可在本地与消费级 GPU 上运行,自带笑声、停顿、哭腔等情绪表达,主张把「情感」直接内建于模型,而非依赖文本管线或语音标签驱动。;原贴提到:Jack Dorsey’s Block released a new voice model out of the company’s rese;来源:techcrunch.com
这篇文章和哪些AI专题相关?
它适合放在AI副业、AI工具专题里阅读。 关联原因:这篇内容命中「项目、小生意、变现」等主题信号。;这篇内容命中「模型」等主题信号。
阅读这篇文章建议先理解哪些关键词?
建议先理解AI工具、工具、自动化、模型、Cursor这些关键词,再结合正文判断工具、机会或风险是否值得进入自己的工作流。