GPU

Strata 支持 12GB 显存运行 125B 大模型，其技术难度有多大？

开源推论引擎Strata由开发者Niko1221发布，旨在让125B参数规模的Qwen3.8-Flash-Next模型在消费级游戏PC上运行。该引擎通过将模型加载至系统内存并仅将高频专家子模型置于显存，结合投机解码技术，实现了在12GB显存环境下运行大模型。目前该项目在GitHub上已获得约8,400颗星。