2026 年 10 月 31 日，Strata 发布 0.2.9。

小众软件的标题写的是「本地大模型 Prefill 最高提速 88%」。

大部分人看到这个数字，反应大概是「哦，快了」。

但我盯着另一组数字看了很久——同一个版本里，解码速度只从 57.4 tok/s 涨到 58.9 tok/s，约 3%。

一个涨 88%，一个涨 3%。这个不对称，才是这篇更新真正的信息量。

TL;DR

• Strata 0.2.9 的 Prefill 提速来自矩阵核心内核，不是模型变聪明了
• 32K 提示词从 778 → 1460 tok/s（+88%），换算成等待时间：41 秒 → 22 秒
• 解码只涨 3%——因为本地 Agent 的瓶颈本来就不在生成
• 1-bit DeepSeek 下载要 241GB，61 项任务过 53 项，低于 2.25-bit 的 56 项
• 项目 2026-09-24 建仓，一个月 37k stars，MIT，C++

为什么 Prefill 比生成速度重要？

先拆这两个词。

Prefill（预填充）：把整段输入喂给模型、它读完、开始吐第一个字之前的那个阶段。这段是并行算的——所有输入 token 一次性过一遍网络。

Decode（解码）：一个字一个字往外蹦。这段是串行的——每吐一个 token 都要跑一遍完整前向。

传统认知里，聊天场景下 Decode 更重要：你盯着屏幕等字出来，字出得慢就难受。

但 Agent 场景翻转了这个优先级。

一个 Agent 干活是这样的：读 20 个文件 → 调 5 次工具 → 每次工具返回一堆 JSON → 中间还要塞系统提示词和历史对话。输入量是输出量的几十倍。

小众软件那篇里说得很直白：

如果你经常让本地 AI 阅读长文档、分析代码，或者使用 Agent 处理大量工具返回的信息，这种提升很有意义。

我把这句话翻译成数字：32K 提示词，旧版等 41 秒，新版等 22 秒，省 19 秒。

一次省 19 秒。一个 Agent 任务跑 10 轮，就是 3 分钟。这不是"感觉快一点"，是"能不能用"的分界线。

88% 是怎么来的：矩阵核心

Strata 0.2.9 的优化来源，按小众软件的报道：

这次优化主要来自 AMD Strix Halo 的矩阵计算核心。Strata 默认启用了新的 F16 Matrix Core 内核，以及用于专家选择的矩阵核心计算路径。

两个词值得拆：

F16 Matrix Core——用 FP16 精度的矩阵运算核心。Strix Halo（AMD Ryzen AI Max 系列）有专门的矩阵加速单元，Strata 之前可能没吃满，0.2.9 默认开起来了。

专家选择的矩阵核心计算路径——“专家选择"是 MoE（Mixture of Experts）架构里的路由步骤。Qwen3.8 这类模型是 MoE，每个 token 要选几个专家来算。这个选择过程本身也是矩阵运算，以前可能走通用路径，现在走矩阵核心。

实测数据（开发者公布）

测试条件：同一台 Windows 电脑、同一个 Qwen3.8 IQ3_S 模型、0.2.8 与 0.2.9 交错测试、无额外调参。

注意最后一行。Prefill 涨 88%，Decode 涨 3%。

这不是优化没做好，是优化的目标函数本来就只有一个：把"读输入"这段压下去。

NVIDIA 和 Intel 的账，比 AMD 更值得看

AMD 那 88% 是最亮眼的数字，但它只在特定硬件上成立。其他卡的数据更能说明这次更新的真实分布：

NVIDIA

• RTX PRO 5000（Linux，Qwen3.8 IQ3_S）：8 路并发 +45%，单请求 +5.3%
• 长提示词处理：+4% ~ +6%
• RTX A4000：16K +2.6%，32K +3.2%

并发 +45% 这个数字有意思。单请求只涨 5.3%，8 路并发涨 45%——说明优化的是批处理效率，不是单条速度。

对本地部署意味着什么？如果你一个人用，感受是"快一点点”；如果你拿它跑 API 服务（多个 Agent 同时请求），感受是"能扛住 8 个并发不排队"。

Intel Arc

• Arc Pro B65 双卡：提示词处理 +4.6% ~ +15.8%
• 8 路并发总生成吞吐：42.1 → 53.8 tok/s
• 双 B65 短提示词：439 tok/s（单卡 221 tok/s）

双卡 439 vs 单卡 221，接近线性翻倍。这个数字对 Arc 用户是好消息——多卡自动识别、自动分工，不用手动指定。

一个诚实的代价

报道里有一句我觉得比所有提速数字都值钱：

不过，这些优化也有代价：通过批处理服务器处理单个请求时，解码速度反而下降了约 2.7%。

单请求解码慢了 2.7%。

这个取舍是合理的——优化批处理吞吐，代价是单条延迟略增。但它说明一件事：没有免费的午餐，只有权衡。任何声称"全面提速"的更新都该被怀疑。

1-bit DeepSeek：241GB 下载，53/61 任务

Strata 0.2.9 另一个大功能是正式支持 Unsloth 的 1-bit DeepSeek 量化：

241GB。这个数字得掰开看。

先算硬件门槛。按 README，DeepSeekV4.1-Flash 在 Strata 里的 2.00bpw 版本是 257GB，需要"约 265GB 空闲磁盘"。1-bit 版 241GB，磁盘需求差不多同量级。

也就是说，跑 1-bit DeepSeek 的真实门槛不是显存，是磁盘。README 写得很清楚：

What does not fit in memory is read from your SSD, so it needs a lot of free disk space.

装不进内存的部分从 SSD 读。所以这是一个"用磁盘换显存"的方案——MoE 架构的天然优势，每个 token 只激活少数专家，没激活的专家权重躺在硬盘上就行。

效果：53/61

开发者给的 61 项任务测试：

1-bit 比 2.25-bit 少过 3 项。损失不算大，但确实有损失。

我的看法：1-bit 的价值不是"更强"，是"能跑"。在 12GB 显存的卡上，2.25-bit 根本装不下；1-bit 装得下，能过 53 项。这是"从 0 到 1"而不是"从 1 到 1.1"。

小众软件那句评论说得有点激动但方向对：

1-bit 量化的意义，普通电脑真的可以运行了。

多卡自动分工：从 25 tok/s 到 103 tok/s

0.2.9 修了一个很实际的问题：多张 AMD 显卡不能同时工作。

测试条件：四张 Radeon AI PRO R9700，跑 DeepSeek。

以前要手动指定 GPU，现在自动全用上。提升 3 到 4 倍。

这个改动对多卡工作站用户价值极大——你花四张卡的钱，之前只吃一张的性能，现在终于全吃到了。

聊天界面也修了：40K 长回复的卡顿

这个细节容易被忽略，但对实际使用影响很大。

测试：模拟一段 40,000 token 的长回复。

主线程耗时砍掉 43%，内存砍掉约 35%。

主线程卡 15 秒是什么体验？ 整个界面冻住，点哪都没反应，你以为软件崩了。Agent 输出长报告时特别容易撞上这个。

还修了几个真问题

• 部分工具调用识别错误
• Qwen3.6 预热阶段的 KV Cache 越界
• Windows 环境非 UTF-8 输出导致安装/启动失败

第三条对中文 Windows 用户应该最痛——非 UTF-8 输出在中文环境下太常见了。

硬件支持面有多宽

按 README 的硬件表：

九类硬件，覆盖 NVIDIA 四代、AMD 两条线、Intel、Apple、以及 DGX Spark。

RX 6800 / 6900 标了实验性——RDNA2 架构（gfx1030）在 ROCm 生态里一直是二等公民，这个标注是诚实的。

它能接什么工具

README 的 Tools 段列了：Claude Code、Codex CLI、OpenCode、oh-my-pi、pi.dev、Hermes Agent、OpenClaw，以及"通过 OpenAI / Anthropic 兼容 API 接的更多工具"。

做法是本地起一个 OpenAI/Anthropic 兼容端点，然后 strata connect 给你对应工具的配置说明。

这个设计的意义：你的编码 Agent 不用改代码，只改 base_url，后端就从云端 API 换成本地模型。省下的不只是 token 钱，还有"代码不出本机"这件事。

我的判断：这次更新的正确读法

1. 别只看 88%

88% 是 Strix Halo + Qwen3.8 IQ3_S + 32K 这个特定组合下的数字。换硬件、换模型、换上下文长度，数字会变。

同一次更新里，RTX A4000 只有 2.6% ~ 3.2%，RTX PRO 5000 单请求 5.3%。同一版本，不同硬件差 30 倍。

2. Prefill 才是本地 Agent 的真瓶颈

我把这版的数字按 Agent 场景重算一遍：

假设一个 Agent 任务，每轮输入 32K（工具返回 + 历史 + 系统提示），输出 500 token。

单轮从 50 秒压到 30 秒，降 38%。其中 Prefill 省的 19 秒占了绝大部分。

这个账说明：你花钱买的算力，大部分花在"让模型读东西"上，不是"让模型写东西"上。任何本地推理优化，如果只盯 Decode，方向就偏了。

3. 一个月 37k stars，值得看也值得等

按 GitHub 元数据：项目 2026-09-24 创建，到 10-31 已经 37,298 stars、4,051 forks，C++ 写的，MIT 协议。

一个月 37k stars 是很猛的增速。但配套数据也值得看：1,051 个 open issues。

这个比例说明两件事：热度真高，成熟度还在早期。0.2.x 版本号，日更节奏（0.2.0 到 0.2.9 用了 11 天）。

我的建议：现在用它跑本地 Agent 试水，别急着当生产依赖。它的价值在于"让你在没有云端账号的情况下把 Agent 跑起来"，而不是"替代 vLLM 做推理服务"。

常见问题

Q1: Strata 是什么？和 Ollama、LM Studio 有什么区别？

A: Strata 是一个本地大模型推理引擎，MIT 开源，C++ 写的。和 Ollama 的区别主要在定位：Ollama 是通用的模型运行器（拉模型、跑、给 API），Strata 更偏"桌面 Agent 后端"——它内置 OpenAI 和 Anthropic 双兼容 API，专门为 Claude Code、Codex CLI 这类编码 Agent 做本地后端。也支持一键盘安装和图形界面。

Q2: 88% 提速我能感受到吗？

A: 取决于你的用法。如果你只是短对话聊天（输入几百 token），基本感受不到——Prefill 本来就快。如果你让模型读长文档、分析代码、跑 Agent（输入几万 token），感受明显：32K 提示词从 41 秒等到 22 秒。

Q3: 我的显卡能用吗？

A: 按官方 README 支持：NVIDIA RTX 20/30/40/50 全系、AMD RX 7700/7800/7900、RX 9060/9070、AI PRO R9700、Intel Arc（仅 Linux）、Apple Silicon M1+、AMD Strix Halo、NVIDIA DGX Spark。RX 6800/6900 是实验性支持。

Q4: 1-bit DeepSeek 值得下吗？241GB 太大了。

A: 看你有什么硬件。1-bit 的价值是"让装不下 2.25-bit 的机器也能跑 DeepSeek"——它需要的是磁盘空间（约 245GB）不是显存，没装进内存的专家权重从 SSD 读。效果上 61 项任务过 53 项，比 2.25-bit 的 56 项少 3 项。如果你有 64GB+ 内存和足够 SSD，值得试；如果只是想跑个 30B 模型，没必要。

Q5: 8 路并发提升 45% 对我有用吗？

A: 单人用基本无感（单请求只涨 5.3%）。有用的是这两种场景：一是本地跑 API 服务给多个 Agent 用，二是团队共用一台推理机。另外注意代价——批处理服务器处理单个请求时解码慢了 2.7%。

Q6: 它和云端 API 比，成本怎么算？

A: 本地推理的边际成本是电费，不是 token 费。按公开数据粗算：一张 RTX 3060 跑 DeepSeek 2.00bpw 是 9~11 tok/s 输出，功耗约 170W。跑满一天约 4 度电。同样的量走云端 API，按 token 单价算是几块到几十块。但本地的时间成本要算进去——9 tok/s 意味着 500 token 的回答要等近 1 分钟。

Q7: 它是免费的吗？

A: 软件本身 MIT 开源、免费、不需要账号。README 里写"Free, open source, and yours to run. No account needed."。作者开了 Buy Me a Coffee 接受赞助，但不影响功能。模型权重是各自独立的许可（Qwen、DeepSeek 等），需要单独看。

相关阅读

• 本地大模型硬件分档：2K 到 40K 的真实成本
• DS4：DeepSeek 推理引擎拆解
• LM Studio Bionic：本地开源模型 Agent
• 本地 Agent vs 云 API：人民币成本账本
• 解锁 NVIDIA Ampere Tensor Core：AI 算力实测