Ling-3.0-flash 在 4 块 Blackwell GPU 上如何将批处理 1 解码延迟降低 54%

蚂蚁 Ling Infra 团队与 RadixArk SGLang 团队将 Ling-3.0-flash 混合线性注意力 MoE 模型的单请求解码速度从 288 tok/s 提升至 606 tok/s，平均 TPOT 从 3.33 ms 降至 1.53 ms。

蚂蚁与 RadixArk 合作优化 Ling-3.0-flash 模型，在 4 块 Blackwell GPU 上实现单请求解码速度翻倍，TPOT 降至 1.53ms。

• 蚂蚁与 RadixArk 合作优化 Ling-3.0-flash 模型，在 4 块 Blackwell GPU 上实现单请求解码速度翻倍，TPOT 降至 1.53ms。
• 原贴提到：蚂蚁 Ling Infra 团队与 RadixArk SGLang 团队将 Ling-3.0-flash 混合线性注意力 MoE 模型的单请求解
• 来源：lmsys.org

这是什么信号？

蚂蚁与 RadixArk SGLang 团队联合优化了 Ling-3.0-flash 模型在 4 块 Blackwell GPU 上的推理性能，将单请求解码速度从 288 tok/s 提升至 606 tok/s，平均 TPOT 从 3.33 ms 降至 1.53 ms。这意味着在批处理大小为 1 的场景下，解码延迟降低了约 54%。

为什么重要？

解码延迟是大模型服务的关键指标，直接影响用户体验和系统吞吐。此次优化表明，通过模型架构（混合线性注意力 MoE）和系统级协同（SGLang）的双重改进，可以在不牺牲质量的前提下实现接近 2 倍的加速。这种延迟水平对于实时对话、代码生成等交互式应用尤其有价值。

对谁有价值？

对 AI 基础设施团队、模型部署工程师和提供大模型 API 的企业来说，这种优化经验可以直接借鉴。它证明了结合专门设计的模型和推理框架，能够在特定硬件（Blackwell GPU）上达到极致性能。对使用大模型的应用开发者而言，更低的 TPOT 意味着更快的响应，可以改善产品体验。

可以怎么行动？

如果你是模型部署者，可以关注混合线性注意力和 MoE 架构，并考虑使用针对性的推理框架（如 SGLang）。同时，评估你的硬件环境，这种优化可能依赖于 Blackwell 的特性，在其他 GPU 上效果可能不同。开发者可以关注这类优化成果，选择性能更优的模型服务。

风险或限制

性能数字是在特定硬件（4 块 Blackwell GPU）和特定模型下取得的，不具备通用性。另外，优化可能涉及精细的工程调优，难以直接复制到其他模型。同时，模型本身的商业授权和可用性需要进一步确认。

这条内容的真正价值，不只是“有人发布了一个新功能”，而是它揭示了 lmsys.org 背后的产品方向、工作流变化或竞争信号。对 OPC 来说，这种信息可以转化成持续追踪的栏目选题。

如果把《Ling-3.0-flash 在 4 块 Blackwell GPU 上如何将批处理 1 解码延迟降低 54%》放到你的内容系统里，它最大的价值在于帮助读者更快看懂“为什么值得关注”，而不是只看到一条碎片化动态。

• LMSYS：Blog（Chatbot Arena 团队） 原帖