Appearance
40G 显存跑 104 GiB MoE:单机单卡的本地推理部署与调优
简单背景
今年9月份,外面模型的发展速度也是坐上高铁了,但是内部使用的还是Minimax2.7,代码上总差那么点意思。看内部说Qwen3.8-Flash-Next的 coding 能力和dsv4差不多,量化后性能也没损失多少,可以尝试本地部署看看效果,刚好手头也是有一台40G显存的A100,就接了这个活。
那么就到推理框架的选择上了,vllm确实流行,但是对于这种单机单卡,小规模用户的场景,llama.cpp更加轻量。
结论先行
| 配置 | prefill pp512 | decode tg128 | 相对基线 |
|---|---|---|---|
-ngl 0 -t 64(基线) | 77.77 | 6.38 | 1.0× / 1.0× |
-ngl 24 -fa 1 -t 64 | 147.21 | 20.72 | 1.9× / 3.2× |
-ngl 999 -ncmoe 999 -t 64 | 101.50 | 26.39 | 1.3× / 4.1× |
-ngl 999 -ncmoe 26 -t 64 | 157.16 | 33.35 | 2.0× / 5.2× |
decode 提升 5.2 倍,prefill 提升 2 倍。这组数字跑在一条只用了 x4 的 PCIe 4.0 链路上。换到 x8 链路后,最优配置的 prefill 到 279.88 t/s,decode 反而略低;按带宽外推,满 x16 的 prefill 上限约 630 t/s。
环境说明
硬件是一台 2P ARM 服务器:2 × 64 核,SMT2 后 256 个逻辑核,DDR5-4800、2 × 8 通道、500 GB 内存;GPU 是单卡 A100-40G PCIe,HBM 带宽 1555 GB/s。引擎是 llama.cpp 的 CUDA 后端。
模型是 Qwen3.8-Flash-Next,llama.cpp 里架构名为 qwen4exp,UD-Q4_K_XL 量化后 103.68 GiB,176.94B 总参、约 6B 激活,48 层 / 512 专家,其中只有 12 层走 QSA 全注意力。另有一张 51B 参数的 PLE(Per-Layer Embeddings)表,约 27 GB,不能按层切分。
统一口径:llama-bench -p 512 -n 128 -r 3,单流。所有比较都在同一口径内完成。
基线建立
这台机器的轮次抖动比较大(推测是CPU侧的线程同步,竞争)。早期混合部署下,decode 的轮次误差能到 ±15%~24%。如果不先知道噪声有多大,很容易把一次抖动当成优化收益。
做法是找一个能完全放进 40G 显存的小模型,全 GPU、同参数跑一遍:prefill 的轮次误差约 5%,decode 小于 2%。于是后续所有判断都按这个阈值:prefill 差异小于 5%、decode 差异小于 2%,一律视为噪声,不据此排序。
这条规则至少否掉过一个看起来有效的配置:KV 量化后 prefill 从 78.83 升到 93.39,但 f16 组自身误差 13.5%,不能算提升。新一轮 26~32 的 ncmoe 扫描误差已经降到 ±0.6%~6.9%,说明早期的波动更多来自会话/环境状态,而不是混合部署本身。
反直觉之一:-ngl 只决定"放在哪",不决定"在哪算"
基线是 -ngl 0,也就是所有层都留在 host。按直觉,这时候 CPU 应该是计算后端。但 perf 显示进程只用了 1 个核多一点,热点里却混着 libcuda.so。
再看 nvidia-smi:SM 利用率基本吃满,显存占用只有约 2%。CPU 侧真正做计算的 ggml_vec_dot_q8_0_q8_0 只占 4% 左右;换成重新编译的 CPU 后端采集,同一个函数会飙到 30% 以上。
三条线索指向同一个解释:-ngl 只控制权重放在哪,不控制计算在哪;计算位置由后端决定。CUDA 后端即使 ngl=0,也会把算子卸载到 GPU,权重每次前向再通过 PCIe 搬过去。
后续发现,llama-bench 有个 -nopo, --no-op-offload,默认 0(允许算子卸载)。把它设为 1,prefill 的行为才回到"CPU 后端"的预期。理解这一点之后,后面看 -t、-ngl、-ncmoe 才不会产生误导。
prefill被 PCIe 限速
-ngl 0 的 prefill 为 77.77 t/s,512 个 token 约 6.58 s。nsys 表明:
- osrt 里 futex 占 96.3%,3 万多次调用;
- CUDA API 里
cudaMemcpyAsync占 85.2%,6.5 万次调用,19.19 s; - H2D 一共 124862 MB、64930 次,19.27 s,平均每次 1.9 MB,实测带宽 6.5 GB/s;
- 真正的 GPU kernel 只有 0.33 s 量级。
按 -r 3 反推,单轮 prefill 的 H2D 约 31 GB,6.5 GB/s 下需要 4.75 s,占 6.58 s 的 72%。也就是说,prefill 大部分时间在搬权重,而不是在算。
一开始的解释是"分片太碎":平均 1.9 MB 一次,PCIe 4.0 x16 理论上应该能到 20 GB/s,实测只有 6.5 GB/s,看起来有 3 倍 gap。
实际验证:nvidia-smi --query-gpu=pcie.link.gen.current,pcie.link.width.current 返回 4,4。lspci 显示设备能力 LnkCap 是 x16、当前链路 LnkSta 是 x4(downgraded)。上游 root port 的 LnkCap 是 Gen5 x16,LnkSta 同样只有 x4。过滤dmesg :
text
63.012 Gb/s available PCIe bandwidth, limited by 16.0 GT/s PCIe x4 link
at 0000:95:00.0 (capable of 252.048 Gb/s with 16.0 GT/s PCIe x16 link)速率没问题,但是降lane了。
x4 的原始带宽是 7.88 GB/s, 6.5 GB/s 已经是理论带宽的 82.5%,负荷基本已经打满,"分片"问题不成立。
那么 prefill 的结论从"软件实现"变成了"硬件限制"。优化方向也变成了:减少必须经过PCIe通信的字节, 那么把 memory-bound 的专家放在 host 上计算就能产生一定收益。这也是下文-ncmoe 参数正收益的原因。
nsys 的两个坑
这次采集还踩到两个工具层面的坑:
一是 CUDA Graph 的统计盲区。 nsys 日志里 cudaGraphInstantiate 出现 1219 次,cudaGraphLaunch 出现 3657 次,正好是 1219 × 3,对应 -r 3 的重放。但 cuda_gpu_kern_sum 里的 kernel 总时间恒等于单次前向(约 0.33 s),和重复次数无关。原因是 kernel 只在 capture 时被记录一次,图内重放的执行默认不展开。加上 --cuda-graph-trace=node 重采,kernel 时间会随 r 恢复增长(实测约 4 倍到 1.28 s,含一次 warmup)。
二是 osrt 的时间是"线程累计和",不是墙钟。 一轮只跑几秒的测试,futex 却能显示 1442 s,因为它是 64 个线程的累计。用它判断"谁在等锁"没问题,不能当成实际耗时。
decode:GPU 空闲,CPU 排队
prefill 的计算被调度到 GPU,decode 却在 CPU,如果从 -ngl 字面上理解很容易被误导成“layer放哪在哪计算”。
nsys 里整个 decode 只有 36 个 kernel、合计 169 µs,GPU 基本闲着。
decode 的另一个反直觉现象是:线程越多越慢。64 线程 6.38 t/s,128 降到 4.29,192 是 3.83,256 只有 3.00。热点里 libgomp 的同步函数和 native_queued_spin_lock_slowpath 占比随线程数上升,真正的计算 ggml_vec_dot_q8_0_q8_0 只占 8% 左右。
按 128 个 token 的 nsys 统计,每 token 有约 325 次 host↔device 拷贝:27720 次 H2D、13860 次 D2H,单次只有 13 KB(上行)和 25 KB(下行),每次 GPU 侧 3.4~4.7 µs、CPU 侧 API 约 9 µs。这些拷贝加起来只占每 token 一百多毫秒里的一小部分。通常理解的decode是mem bound也是针对GPU来说的,而在CPU上的多线程场景,线程同步和等待的损耗已经超过了实际计算的部分。
NUMA:跨一个 socket,decode 掉 2.6 倍
既然 decode 依赖 host 侧的频繁往返,内存和线程放在哪个 socket 就很关键。用 numactl -N <node> -m <node> 分别绑到 4 个 node:
| node | prefill pp512 | decode tg128 |
|---|---|---|
| 0 | 88.05 | 5.10 |
| 1 | 87.72 | 4.92 |
| 2 | 93.95 | 11.72 |
| 3 | 93.28 | 13.21 |
prefill 只差约 7%,decode 却从 13.21 掉到 5.10,约 2.6 倍。原因和上一节一致:prefill 往 GPU 上搬运,且搬运块大、按 token 摊薄后次数少一个量级,跨 socket 的额外延迟被 6.5 GB/s 的链路瓶颈掩盖;decode 在 CPU 上计算是每 token 几百次小包往返,每次多跨一跳 socket,固定延迟成倍放大。
注意 numactl -N 只绑 CPU,不绑内存,必须同时加 -m。最终以 nvidia-smi topo -m 显示的 GPU 亲和节点为准(测试环境中是 node 3)。
放置策略:-ngl 到 24 封顶,-ncmoe 把专家放在 CPU
103.68 GiB 里约 27 GB 是不能切分的 PLE,剩下每个 decoder 层约 1.45~1.6 GB。40G 显存扣掉 KV 和缓冲区,最多放 24 层;25 层直接 OOM。
-ngl 从 12 扫到 24,prefill 从 115.59 升到 138.11,decode 从 14.39 升到 18.53;开启 -fa 1 后是 147.21 / 20.72。收益来自两块:attention/KV 搬到了 GPU,decode 不再走 host 侧的小包往返;同时更多权重常驻显存,prefill 每轮少搬一部分。
但 -ngl 只能整层切,24 层就是上限。于是换 -ncmoe:它只匹配 ffn_*_exps,把前 N 层的 routed experts 留在 CPU,其余层(包括 attention)上 GPU。注意它和 -ngl 的计数方向相反:ngl 从后往前数,ncmoe 从前往后数。而且它只能整层搬专家,不能在一层内部再切。
-ngl 999 -ncmoe 999 意味着所有层的非专家部分在 GPU、所有专家在 CPU,显存只占约 6 GB。这时 decode 反而有 26.39 t/s——attention 在 GPU 上,比 ngl=24 的 20.72 还高;但 prefill 只有 101.50,因为专家计算全压在 CPU 上。
把专家逐层挪回 GPU:
| ncmoe | prefill pp512 | decode tg128 | 显存 |
|---|---|---|---|
| 26 | 157.16 ± 1.72 | 33.35 ± 2.30 | ~40 GB |
| 28 | 148.42 ± 4.92 | 32.25 ± 0.73 | — |
| 30 | 141.42 ± 3.48 | 31.55 ± 0.77 | — |
| 32 | 126.47 ± 4.97 | 27.01 ± 1.14 | — |
| 999 | 101.50 ± 6.40 | 26.39 ± 0.17 | ~6 GB |
方向很明确:在显存允许的范围内,专家装得越满越好。26 是当前能跑通的最小值,也是最优点;26 与 28 的 decode 只差 1.1 t/s,落在 ±2.30 的方差内,不能据此判定 26 一定更好,但 26 与 32 的 6.3 t/s 差距已经超出噪声。
代价是余量:26 已经贴着 40G 上限,上下文或并发一涨就会 OOM。所以 bench 上记 26,真正部署要重新根据场景测定。
顺带一个容易被误读的点:-ncmoe 减小带来的 prefill 提升,不只是"少搬了字节"。专家留在 CPU 时,prefill 的专家矩阵乘要在 ARM 上做 dequant + GEMM,这部分计算本身就会成为新的下限;把专家挪回 GPU,同时去掉了 CPU 侧的专家计算和 host DRAM 读取。
KV 量化:暂时无法归因
4096 上下文下,KV cache 一共只有 96 MiB(K 48 + V 48),而每 token 要读的权重是 GB 量级,两者相差近 40 倍。所以 KV 量化最主要的省显存的作用这里是看不出来的。
实测也支持这个判断:
- CPU decode(
-ngl 0):f16 11.10 t/s,只量化 K(-ctk q8_0)12.24 t/s,+10.3%;K/V 同时量化 10.69,反而更低。 - GPU 配置(
-ngl 999 -ncmoe 28):f16 16.68 ± 3.41,-ctk q8_020.34 ± 2.23,差值小于方差;prefill 也落在噪声内。
CPU 侧那 10.3% 是什么机制?一开始怀疑是量化后 K 改走了整数点积内核,但开启前后 perf 的热点函数和占比基本没变,这个假设没有证据。KV cache 总量只有 96 MiB,相对 103.68 GiB 的权重不到千分之一;即使量化后省下一半,也不足以解释 10.3% 的吞吐变化。它可能是微架构级的访存停顿差异,也可能混入了运行间的偏差——目前无法归因。
所以这一节的结论只有两条:需要腾显存时,只用 -ctk q8_0,不要同时量化 V;GPU 全卸载场景没有观察到可复现收益,不作为默认配置。至于"GPU 上反量化是纯开销"这类听起来很顺的机理解释,没有数据支撑,就不写进结论。
最终配置与它的边界
bench 口径下的最优配置是 -ngl 999 -ncmoe 26 -t 64:157.16 / 33.35,显存约 40 GB。它只用于 llama-bench 单流对比,不能直接搬到 server 场景——26 贴着显存上限,上下文一长就会 OOM。
DRAM带宽利用率——每 token 激活权重约 3.75 GB(全 host 口径)。ncmoe=26 时只有第 0–25 层专家在 host,实际 host 读量比这个值低,所以按 3.75 GB/token 算出的 111–125 GB/s 只能视为上界,约占单 socket 理论 307 GB/s 的 36–41%。剩下的 gap 主要在逐层串行、小包同步和 launch 间隙——带宽指明了方向,延迟与并行度才是当前的主要约束。
对比 x8 lane
受物料限制,这台机器没法测 x16,也不确定插槽是否真能跑满 x16。另有一台同型号 GPU、CPU 弱一些的机器,链路是 x8,带宽正好是这台的两倍,可以拿来做对照。
两种环境对照:
| 配置 | x4 | x8 | 变化 |
|---|---|---|---|
-ngl 0 pp512 | 77.77 | 159.21 | 2.05× |
-ngl 0 tg128 | 6.38 | 6.85 | +7% |
ncmoe=26 pp512 | 157.16 | 279.88 | 1.78× |
ncmoe=26 tg128 | 33.35 | 30.50 | −8.5% |
从对照结果能看出两点:
- prefill 基本随链路带宽增长(
-ngl 0为 2.05×,ncmoe=26为 1.78×),验证了 H2D 是 prefill 主要瓶颈这个判断。 - decode 没有跟着带宽走(6.38→6.85、33.35→30.50),两侧方向还不一致。
ncmoe=26的 -8.5% 更可能来自那台机器更弱的 CPU,而不是链路。这再次说明 decode 受 CPU 侧计算和同步延迟限制,PCIe 带宽不是约束。
照 x8 的结果外推,满 x16 的带宽是 x4 的 4 倍,ncmoe=26 的 prefill 上限大约在 630 t/s。实际会低一些,因为专家在 CPU 上的那部分计算不会随带宽变快;decode 则仍然在 30 t/s 上下。
回归初心
经过各种努力,prefill 在 x8 上到了 280 t/s,按满 x16 外推能到 600 t/s 左右,decode 30 t/s。这其实已经基本可以满足单个用户的使用了。笔者在用 DS 家的 API 时,首token在1.5s,TPS在200 tok/s,当前环境供单人使用仍然达不到ds家的水平,组内五六人同时使用的场景就更加捉襟见肘了,何况现在是 agent 时代,长上下文和 KV cache 管理会进一步限制使用体验。
测试环境:2P ARM(2×64 核,DDR5-4800,500 GB)+ A100-40G PCIe;llama.cpp CUDA 后端 0.22.0 / 0.28.0;口径 -p 512 -n 128 -r 3,单流。