项目背景与核心功能

Strata是一款采用MIT许可的开源AI推论引擎，由开发者Niko1221在GitHub上发布。该引擎的主要目标是打破运行前沿大模型需要数据中心级计算资源的传统认知，使标准个人电脑能够运行大规模混合专家（MoE）模型。目前，Strata重点支持阿里巴巴的Qwen3.8-Flash-Next模型及其衍生量化版本。

Qwen3.8-Flash-Next是一个拥有1250亿（125B）总参数的模型。在常规情况下，运行此类模型需要数百GB的显存（VRAM），但Strata允许其在显存容量为12GB或以上的单张消费级GPU上执行。

技术实现原理

Strata通过多种技术手段降低了硬件门槛：

  • 内存与显存协同管理：Strata并不将整个模型加载到显存中。它将整个MoE模型加载到系统内存（RAM）中，而仅将最频繁使用的专家子模型放置在GPU显存中。由于Qwen3.8-Flash-Next由24,576个小型专家子模型组成，而每个token仅需激活其中10个，这种稀疏路由机制使得模型能够适配游戏设备。
  • 投机解码（Speculative Decoding）：该引擎结合了投机解码技术，利用轻量级模型预测即将出现的token。据称，内置的投机草稿员可带来1.6至1.8倍的吞吐量提升。
  • 资源利用：Strata在运行过程中综合利用显存、内存和SSD。

硬件要求与性能表现

在硬件要求方面，Strata支持Windows 10/11或Linux操作系统。运行环境需要12GB至24GB显存的NVIDIA GeForce RTX 20/30/40/50系列显卡，以及相应的系统内存（如32GB或64GB）和约80GB的磁盘空间。

根据公开的基准测试数据，在配备RTX 5070（12GB显存）和Ryzen 5 7600、64GB内存的环境下，使用Q2_0量化模型在短对话中可达93 tok/s，在128K上下文环境下为74 tok/s。在IQ2_XS量化模式下，速度为79 tok/s。此外，在RTX 3090（24GB显存）上，速度预计可达100至140 tok/s。对于搭载2至3张NVIDIA显卡的设备，Strata支持将模型分散处理。

部署与现状

Strata提供了简便的安装流程，Windows用户可通过运行批处理文件自动完成Python环境、推论引擎及约70GB模型的下载。用户可通过浏览器进行聊天及监控运行状态。

截至2026年10月3日，该项目发布了0.1.38版本。尽管在本地AI社区引起了广泛关注，并获得了约8,400个Star和750个Fork，但部分开发者对其热度来源仍持有一定的怀疑态度。