微软完成MAI-Base-2模型预训练

微软宣布已完成其下一代最先进（SOTA）基础模型MAI-Base-2的预训练工作。根据微软提供的数据，MAI-Base-2模型的总参数规模为2.8T，其中激活参数规模为80B。

硬件配置与训练性能

在硬件资源方面，该模型使用了6,000块NVIDIA GB200 GPU，预训练周期共计38天。在整个训练过程中，该模型实现了21%的平均浮点利用率以及89%的有效吞吐量。

关于计算效率，微软表示MAI-Base-2的预训练计算效率是DeepSeek-V4-Pro-Base的4到12倍。

核心技术路径与后续计划

微软指出，MAI-Base-2预训练的成功主要归功于以下三项举措：

  • 科学缩放（scientific scaling）
  • 模型与基础设施的协同设计（co-design of model and infrastructure）
  • 数据缩放（data scaling）

在对MAI-Base-2进行精炼的同时，微软表示已经开始为MAI-Base-3做准备。

模型性能表现

微软称，MAI-Base-2的性能优于所有经过测试的开源权重模型。