下一代投机解码：DFlash 与 Spec V2
Z Lab、Modal 与 SGLang 团队联合发布 DFlash 投机解码模型和 Spec V2 引擎，采用块扩散与 KV 注入并行生成 draft token，在 Qwen 3.5 397B-A17B 上 HumanEval 并发 1 吞吐量达基线 4.3 倍。
原贴
查看原文原文
中文翻译
核心信息
Z Lab、Modal 与 SGLang 团队联合发布 DFlash 投机解码模型和 Spec V2 引擎，采用块扩散与 KV 注入并行生成 draft token，在 Qwen 3.5 397B-A17B 上 HumanEval 并发 1 吞吐量达基线 4.3 倍。
- Z Lab等团队联合发布DFlash和Spec V2投机解码引擎。
- DFlash用块扩散+KV注入并行生成draft token。
- 在Qwen3.5-397B上HumanEval吞吐量提升4.3倍。
- 投机解码可降低推理延迟与成本。
- 对AI推理优化开发者有重要参考价值。
详细解读
这是什么信号？这是投机解码（Speculative Decoding）技术的一次重要迭代。DFlash 通过块扩散（block diffusion）和 KV 注入（KV injection）实现整块 draft token 的并行生成，显著提升了推理吞吐量。Spec V2 作为 SGLang 的默认引擎，标志着该技术从实验走向生产部署。
为什么重要？大模型推理效率是商业化落地的关键瓶颈。DFlash 在 Qwen 3.5 397B 模型上实现 4.3 倍吞吐量提升（HumanEval 基准，并发1），意味着相同硬件下可支持更多请求，降低延迟和成本。这对于需要高频推理的场景（如在线服务、实时对话）具有直接价值。
对谁有价值？主要面向 AI 推理优化工程师、模型部署团队、以及依赖大规模 LLM 的企业（如客服、内容生成）。同时，对关注前沿推理技术的开发者有学习参考意义。
可以怎么行动？建议相关团队：1）尝试将 DFlash 集成到现有推理框架（如 SGLang、vLLM）；2）在自有模型和工作负载上测试吞吐量改进；3）关注后续社区反馈和优化版本；4）若使用投机解码，可对比 DFlash 与传统方法（如 Medusa）的性能差异。
风险或限制：DFlash 的收益可能因模型结构、批量大小、任务类型而异。目前仅在特定模型（Qwen 3.5）和基准上验证，泛化性待考。另外，投机解码引入的额外复杂性和内存开销需要评估。
信息差价值
信息差价值：多数人关注模型能力提升，却忽视推理效率优化。DFlash 的发布揭示了一项即将改变部署格局的技术——投机解码正从论文走向默认引擎。理解其原理和实测数据，能帮助你在团队中抢占性能优化的先机。
业务启发：如果你的产品依赖大模型实时推理，例如智能客服、代码助手，DFlash 的 4 倍吞吐提升意味着可降低至少 75% 的推理成本（或同等成本下支持更多用户）。建议立即评估当前推理栈是否兼容 SGLang 或可集成类似能力。
可沉淀动作：1）建立推理效率跟踪表，定期测试新投机解码方法；2）撰写内部技术调研报告，对比 DFlash、Medusa、Lookahead 等方法；3）在非关键业务上试用 Spec V2，收集延迟和吞吐数据，为生产迁移做准备。