AI觉醒星球
Awakening is here
Knowledge File / AI小生意项目库
2026-07-11 0 浏览 会员

DeepSeek-V4 Flash 强化学习训练登陆 AMD Instinct MI355X GPU,由 Miles 框架支持

DeepSeek-V4 Flash 的强化学习训练已在 AMD Instinct MI355X GPU 上通过 Miles 框架成功运行,解决了三大技术挑战,验证了性能提升。

SOURCE / AI小生意项目库 MIN / 4 ACCESS / 会员 POST / 2026-07-11 01:19:11

原贴

查看原文
作者:LMSYS:Blog(Chatbot Arena 团队) 来源站点:lmsys.org 原贴时间:

原文

DeepSeek-V4 Flash 的强化学习训练现已在 AMD Instinct MI355X GPU 上通过 Miles 框架获得支持,基于 ROCm 软件栈运行。该 2840 亿参数 MoE 模型(每 token 激活 130 亿参数)需 SGLang 进行 rollout 生成、Megatron 进行策略更新,Miles 负责异步循环与权重同步。团队解决了 SGLang 与 Megatron 间模型对齐、量化状态在线更新及多节点并行稳定性三大挑战,最终在四个八 GPU 节点上完成端到端验证:超过 100 个优化器步骤中训练-rollout 对数概率差可控,在线奖励持续提升,离线 AIME-2024 基准分数同步上涨。 AIHOT 分类:paper

中文翻译

DeepSeek-V4 Flash 的强化学习训练现已在 AMD Instinct MI355X GPU 上通过 Miles 框架获得支持,基于 ROCm 软件栈运行。该 2840 亿参数 MoE 模型(每 token 激活 130 亿参数)需 SGLang 进行 rollout 生成、Megatron 进行策略更新,Miles 负责异步循环与权重同步。团队解决了 SGLang 与 Megatron 间模型对齐、量化状态在线更新及多节点并行稳定性三大挑战,最终在四个八 GPU 节点上完成端到端验证:超过 100 个优化器步骤中训练-rollout 对数概率差可控,在线奖励持续提升,离线 AIME-2024 基准分数同步上涨。

核心信息

DeepSeek-V4 Flash 的强化学习训练已在 AMD Instinct MI355X GPU 上通过 Miles 框架成功运行,解决了三大技术挑战,验证了性能提升。

  • DeepSeek-V4 Flash 的强化学习训练已在 AMD Instinct MI355X GPU 上通过 Miles 框架成功运行,解决了三大技术挑战,验证了性能提升。
  • 原贴提到:DeepSeek-V4 Flash 的强化学习训练现已在 AMD Instinct MI355X GPU 上通过 Miles 框架获得支持,基于
  • 来源:lmsys.org
试看内容

成为会员查看完整内容

你已经看到了这篇内容的前置整理,剩余深度部分仅对会员开放。

详细解读 信息差价值 参考来源
成为会员查看完整内容
上一篇 Claude Code桌面版新增应用内浏览器 下一篇 AMA 即将开始。请提交关于 GPT-5.6、ChatGPT 中的 Codex、Sites、计算机使用以及我们下一步应该构建什么的问题