扩散语言模型Mercury 3发布
Inception于2026年10月19日宣布推出Mercury 3。这是一款基于扩散(diffusion-based)的大语言模型,旨在为AI代理、语音助手、搜索应用及其他实时工具提供快速响应。
在性能方面,Mercury 3在NVIDIA GPU上的生成速度达到每秒1,068个token,并支持100万个token的上下文窗口。Inception表示,该模型在生成文本的速度上比速度导向的替代方案快四到八倍,且能提供具有竞争力的结果。
在技术路径上,Mercury 3提供了与大多数主流语言模型所采用的顺序文本生成方法不同的替代方案。扩散语言模型并非逐个预测token,而是并行生成并优化响应的多个部分。Inception将Mercury 3定位在延迟会随重复模型调用而累积的应用场景中,具体包括浏览器代理、交互式教育、客户支持和实时搜索。目前该模型可通过Inception的API平台获取。
AI计算资源的采购与聚合趋势
在AI基础设施方面,Modal CEO Erik Bernhardsson在Latent Space播客中透露,AI计算的真实赌注在于聚合而非拥有GPU。
为了获得所需的容量,Modal目前从近25家不同的云服务商处采购GPU,而此前仅依赖少数超大规模云服务商。Bernhardsson指出,这种采购工作已成为其作为CEO的三大核心关注点之一。其中许多交易要求签署三年以上的承诺协议并预付资金。
这种转变导致Modal的资本效率略有下降。为此,该公司建立了一个由约4人组成的采购团队,以及一个由10人组成的工程团队,用于管理全球范围内的裸金属服务器,处理网络故障、硬盘损坏及GPU故障等问题。
评论区
已通过 0 条 · 审核通过后展示