预训练

如何看待微软已完成 2.8T 大模型的预训练？

微软宣布已完成下一代基础模型MAI-Base-2的预训练。该模型总参数规模达2.8T，激活参数规模为80B，在6,000块NVIDIA GB200 GPU上训练38天完成。微软称该模型性能优于所有测试的开源权重模型，且预训练计算效率是DeepSeek-V4-Pro-Base的4至12倍。