Attention Residuals

1 条相关内容

全球最大规模开源模型Kimi K3发布

全球最大规模开源模型Kimi K3发布

月之暗面发布全球最大规模开源模型Kimi K3,参数量达2.8万亿。该模型在编程能力上接近Fable-5,且在部分GPU内核优化任务中领先于Opus 4.8、GPT-5.6 Sol及GPT 5.5。Kimi K3采用KDA和AttnRes架构,扩展效率提升约2.5倍。其发布引发行业关注,英伟达CEO黄仁勋通过公开信支持开源AI,而OpenAI与Anthropic则指控其利用模型蒸馏窃取知识产权。

今日热榜