35
2📝 本期播客简介
本期我们克隆了：Local Explained · Local AI Is Now 6x Faster on Your PC
原内容更新时间：2026-10-04
用一台只有 12 GB 显存的电脑跑大模型，最让人意外的提升，可能不是生成文字，而是读完一大段提示词、开始回答的速度。
Local Explained 从 Strata 这个专为 Qwen 3.8 Flash Next 和特定电脑配置打造的免费引擎讲起，拆解专家缓存、CPU 与显卡并行计算等提速方式，也核对了标题里的“六倍”究竟怎么比较。接着，这一集还谈到电脑需要多少内存、量化版本如何选择，以及自己买内存和使用云端 API，哪种更划算。
👤 本期嘉宾
本集由 Local Explained 主持并讲解。节目作者查阅了 Strata 的说明文档、论文、版本记录和用户讨论，逐项核对模型结构、速度对比与硬件要求；没有其他出场嘉宾。
⏱️ 时间戳
00:00 Strata如何提速
13:59 配置、花费与局限
🌟 精彩内容
💡 代码助手最久的等待，可能在第一个字之前
一台笔记本用 llama.cpp 读取 32000 个 token 的提示词，要等五分多钟；Strata 的实测速度下，这段等待约为 21 秒。对把指令和代码一起交给模型的 coding agent 来说，读输入的提速比生成文字更能改变日常体验。
"真正能改变你日常体验的是这个数字。"
💡 “六倍”不是同版本对比
标题中的 94 对 15，比较的是不同量化版本。换成同一个版本，开发者电脑上的生成速度约为原来的四倍，其他有对照数据的电脑约为两倍；提示词读取速度则约为原来的十五倍。
"如果同版本对比，IQ3_XXS 是从每秒 15 个 token 提高到 62 个，大约是原来的 4 倍"
💡 专家缓存让显存小也能装下大模型
模型总共有 24576 个专家，但每个 token 只会用到其中一小部分。Strata 把常用专家留在显存里，并根据使用情况调整；论文在 4000 个 token 的上下文中测到 72% 的缓存命中率。
"可论文在上下文长度为 4000 个 token 时，测出了 72% 的命中率。"
💡 内存不够，模型可能根本启动不了
Strata 会把显卡放不下的部分交给内存和 CPU 处理，因此内存是能否启动的关键：说明文档称 64 GB 内存可跑所有版本，48 GB 只能装下部分版本。升级时，先考虑扩充内存，再考虑更大的显存。
"所以我会先花钱扩充食品柜，再扩充操作台。"
💡 买内存还是付 API 费，要看你已有的配置
如果已经有足够内存，Strata 免费，下载模型后就能尝试；如果需要专门买内存，节目按当时的价格估算，云端 API 多年下来会便宜得多。
"如果你得专门为这个买内存，那用 API，也就是按 token 付钱给 Qwen、用云端的模型，好几年下来都会便宜得多。"
🌐 播客信息补充
本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的
使用 AI 进行翻译，因此可能会有一些地方不通顺
