看懂这四张图,本文结论已到手。下面的文字是给要复现的人准备的:速度账怎么算、三条引擎路线的取舍、能直接抄的生产配置,和五个踩过的坑。
24G 显存可以跑 1250 亿参数的 MoE 大模型,并且能当每天真实使用的 agent。做法是把专家权重放进大内存、把热门专家缓存进显存、用 MTP 投机解码提速。我们实测了三条引擎路线:Strata(声量最大,因驱动锁定未采用)、tandem.cpp(最终生产)、ik_llama.cpp(干净环境下 prefill 反超 26%,留作备选)。最终形态 decode 20 tok/s 左右稳定、prefill 150 t/s,agent 自主执行十几轮工具调用的复杂任务,手机经三条独立通路随时访问。四个错误结论(两个假快、两个假慢)都发生在变量没有隔离时——本文把五个没人讲透的坑逐一拆开。
MoE 架构让"本地跑千亿模型"成为算术题:1250 亿总参数,每个 token 只激活 60 亿,计算量和 7B 模型差不多。但权重文件 90 多 G,消费级显卡装不下。显存装不下的专家权重放哪、怎么喂,就是过去一年社区快速演化的那条主线:llama.cpp 传统卸载、tandem.cpp 补丁、Strata 专用引擎、ik_llama.cpp 量化特化、exllamav3 量化路线;llama.cpp 主线也在最近版本内置了同类机制(--moe-cache-mib)。
decode 速度有个朴素算式:每 token 读取字节数除以内存带宽。权重装不进显存,每个 token 都要从内存读 5 到 6 GB。DDR5 双通道桌面平台有效带宽约 60 GB/s,算下来 10 到 15 tok/s;双路 EPYC 16 通道内存算到 20 上下。这个算式的价值是划掉无效选项:换显卡翻不了倍(瓶颈在内存),降量化档位实测只快 12% 还掉质量。真想翻倍只有两条路——模型整个进显存(96G 以上),或堆内存通道。prefill 吃的是显卡算力,这部分换好卡收益明显,而它恰是 agent 场景最关键的指标(见坑一)。
多说一句那 283G 内存。很多人以为跑大模型只吃显存,其实显存装不下的部分全靠内存接着——内存又大又快,MoE 就住得下跑得动。这套方案一半的思路在这里:显存放常驻热门权重,内存放专家池,各司其职。内存没这么大也有替代做法,见坑三。
Strata 把每一层的专家拆分到 GPU 和 CPU,专为"12 到 24G 显存加 32 到 64G 内存"的场景设计。官方数据在 4090 上跑这个模型能到 100 tok/s 量级。社区反馈分裂:有人实测很香,也有用户碰上配置问题;它还催生了下游 fork(面向 DeepSeek V4.1 的 Project Maya)。我们最终没有采用,原因供参考:它对驱动版本有要求,而我们的驱动被锁定在旧版本(升级有历史遗留问题);社区也有配置踩坑的反馈。如果你的驱动自由,值得优先试。
它不是完整引擎,是一套打在 llama.cpp 上的补丁,针对"模型装不进显存"优化,配合 MTP 投机解码。官方数据:4090 上 GSM8K 负载从主线 29.8 tok/s 提到 97.3。我们的实测:在 A5000 上稳定工作数月,prefill 120 到 191 tok/s(真实 19K token 提示词),decode 18 到 25 tok/s。两个坑:CUDA graph 在 Ampere 架构上必崩(需关一批默认优化);对旗标极其敏感,参数抄错一个性能天差地别。
另一个 llama.cpp 分支,以量化内核和 CPU 推理优化著称,近期合并了 MTP 与专家缓存,MTP 头格式与 tandem 不通用。干净环境重测:prefill 158 t/s(比 tandem 快三成),decode 打平。两个工程问题:200K 上下文触发显存分配错误(需关 graph 复用并缩小批大小);思考模式输出需额外配置。
生产跑 tandem 路线,三处加固:权重全量载入内存、思考关闭(省输出预算)、LRU 专家缓存。ik 留作备选——它的 prefill 反超说明这个分支值得持续关注。选型标准不是排行榜:聊天负载看 decode 榜单就够,agent 负载看 prefill 速度、工具调用 JSON 完整性、长跑稳定性。同一个引擎在不同负载画像下排名会换位。
| 项目 | 配置 |
|---|---|
| GPU | RTX A5000,24G 显存(手头现成;整卡供推理专用) |
| CPU / 内存 | 双路 EPYC;283G DDR4-2400(16 通道,二手服务器内存拼装) |
| 系统 | Ubuntu 24.04(Proxmox 虚拟机,GPU 直通);内核 6.17(HWE,apt-mark hold 锁定) |
| 驱动 | NVIDIA 535.288.01(历史原因锁定;CUDA 12.2 工具链 /usr/local/cuda-12.2) |
| 推理引擎 | tandem.cpp 补丁版 llama.cpp(基座 f5222f25c,2026-10-28;备选 ik_llama.cpp 883789c) |
| 模型 | Qwen3.8-Flash-Next 125B(MoE,6B 激活),IQ4_XS 动态量化 90G 三分片 |
| agent 框架 | dsh 0.2.2-rc.1(web profile,OpenAI 方言直连引擎) |
| 内核参数 | kernel.numa_balancing=0(已持久化) |
| 关键旗标 | -ngl 99 -cmoe --moe-cache-mib 4096 --moe-cache-policy lru -md MTP头 --spec-type mtp:n_max=3 -c 204800 -nmm --reasoning off --jinja |
| 权重装载 | 全量载入 RAM(-nmm),与硬盘状态解耦;模型文件必须放 SSD |
动态量化 IQ4_XS,三份分片共 90G。依据是社区困惑度实测——困惑度(perplexity,PPL)是个通俗指标:给模型一堆文本让它预测下一个词,猜得越准数值越低,直接反映量化后模型"变笨"了多少。社区用同一套测试集把各档位测了一遍:
Q8 相对原版只差 0.05%,Q4 档差 0.3%——这个量级的 MoE 在 Q4 之后几乎无损。降档换速度要慎重:实测降一档只快 12%,质量掉一截。另有两条系统层配置:模型文件放 SSD(机械盘 decode 直接腰斩,见坑三);关内核自动 NUMA 平衡(大内存推理负载的已知性能杀手)。
所有评测都在测聊天;agent 每一轮都要把系统提示、几十个工具定义、全部历史对话和工具结果重新处理一遍,跑到第十轮上下文六七万 token,prefill 要吃掉一分多钟。优化优先级完全倒置:prefill 速度比 decode 峰值重要。agent 对工具调用格式也苛刻得多:模型要输出严格合法的 JSON,引擎要完整流式传给下游。我们遇到过工具参数被切成三百多个碎片、下游逐片解析全炸的情况,最后写了一个字节级合并中继解决。聊天一切正常完全不能说明 agent 场景没问题。
agent 框架按"模型上下文窗口"算每轮预算,窗口数字和引擎实际不一致时预算会算错。我们撞上的版本:框架认为窗口 1M,实际 200K,预算算成负数,把 19000 多 token 的提示词裁成约 230 token 残渣——模型当然答非所问,框架还判输出畸形无限重试。隐蔽性在于每个组件单独看都是好的,最后是抓真实请求体才发现提示词被裁了。
某次 SSD 空间差几 G,把模型副本放到新挂载的机械盘上做性能测试,测出 decode 慢 40%,差点判"新配置有毒"。真相:机械盘顺序读 136 MB/s,SSD 950 MB/s,专家权重每个 token 都要碰一遍,存储速度全额反映到推理速度。内存不够大时的替代做法:权重放 SSD + 页缓存尽量独占,避开机械盘。
四连踩。①prefill 236 tok/s=KV 缓存命中假象(真实冷启动减半);②重复文本喂 MoE 专家缓存全命中,假 170 tok/s(真实文本掉回 20 以下);③某引擎被测出 decode 慢一半,实际是测试时正往另一块盘迁 176G 文件挤爆页缓存,干净重测追平;④给权重打修正补丁测出慢 40%,最后逐字节比对发现补丁与原权重完全一致(社区仓库早已内置修正)——花一整晚测了个空操作。对策两条:测速只用真实多样化负载;一次只改一个变量。
短对话全绿不代表扛得住真实使用:上下文持续增长、失败尝试会打碎 KV 缓存让后续请求掉进慢路径(见过 decode 从 20 掉到 3)。失败之后重启引擎再继续,别在碎片上叠加。有些问题只有真实使用才暴露。
20 tok/s 左右快吗?和云端比不快——写代码场景 Claude 一秒吐一百多个。但账要算全:没有按 token 计费、没有隐私出境、没有服务降级和额度。agent 场景下每轮回答等十几秒、任务整体十几分钟,"发个任务去干别的,回来看结果"的节奏完全可接受。需要长输出实时体验(写作、交互式编程)才需要 40+,那是 96G 显存或双卡的工作。
真要翻倍的三条路按成本排序:堆内存通道(decode 瓶颈是内存带宽,DDR5 高频或四通道平台收益直接);双 3090 专门推理机(prefill 快三倍);96G 以上工作站卡(模型全进显存,社区实测 80 到 120 tok/s)。软硬之间还有个中间态:引擎更新——这个领域 llama.cpp 主线上个月没有的功能这个月就内置了,选型之后保持关注比自己折腾划算。