Skip to content

从零学习模型量化 ​

量化的目的与对象 ​

量化的目的是,用更少的 bit 存储权重、激活和 KV cache,并在硬件支持时使用低精度运算(推理权重对精度不敏感)。

不同量化对象的数据特点不同,决定了各自的量化策略和收益:

对象数据的特点主要收益
权重(Weight)训练完成后固定,可提前处理缩小模型、减少权重读取量
激活(Activation)随当前输入变化为低精度矩阵乘法提供输入,减少部分中间数据开销
KV Cache随请求和上下文增长降低每个历史 Token 的缓存成本

数值映射:高精度到低精度 ​

用低精度的类型来表示高精度的类型,需要建立一套映射关系。

纯数学的做法是最简单的:如果把 0~999 的区间映射到 0~99 的区间,直接给每个数值除以 10 就行了。但是到了计算机上,就变成了"不连续区间"映射"不连续区间",毕竟计算机也只能表示不连续的值。

所以,计算机上的映射要经过缩放、舍入和截断处理。

仿射量化 ​

q=clip(round(xs+z), qmin, qmax),x^=s⋅(q−z)
  • s:大于 0 的 scale,决定相邻整数编码对应数值的间隔
  • z:整数零点
  • clip:限制结果在编码范围内

举例来说,s=0.1,z=0,x=0.26。经过公式变换的 q=3,反量化恢复的 x^=0.3,和原始值相差 0.04,这部分数值完全损失掉了,无法找回。

进一步地,[0.25,0.35) 范围内的数值都会量化成 0.3,这从另一方面说明了精度损失的原因。

非对称量化 ​

上面的例子中 z=0,量化前后的值域以 0 对称,这是对称量化,直接对区间范围进行缩放。但数据不一定均匀分布在区间中:如果数据集中在正区间,对称量化就浪费了一半的数值空间。

那么仿射变换可以不使用对称区间,而是使用数据的真实范围 [a,b]:

s=b−aqmax−qmin,z=qmin−round(as)

举例来说,映射区间 [−1,3],编码范围 [0,15],则 s=4/15,z=4。x=1 时,量化结果 q=8,反量化的值为 1.067。

非对称量化更贴合偏移分布,代价是要保存零点并处理零点修正;全零张量还需要单独处理,避免 s=0。

位宽与误差 ​

b 个 bit 最多有 2b 种位模式,位宽直接决定了量化误差的下限:

位宽编码数相邻重建值间隔区间内最近舍入的最大绝对误差
8-bit2561/255≈0.00392约 0.00196
4-bit161/15≈0.06667约 0.03333
2-bit41/3≈0.33333约 0.16667

量化粒度 ​

上面的例子都是对一维数据进行的量化,实际张量有多个维度,沿哪个维度共享 scale 也有说法。比如激活值 X 的 shape 是 (batch_size, seq_len, dh)。

对于二维张量,量化粒度就是沿哪个维度共享 scale。以 X 的 shape 为 (N,Cin) 为例:

X=(x1,1⋯x1,Cin⋮⋱⋮xN,1⋯xN,Cin)

per-tensor 对整个矩阵用一组 (s,z);per-channel 按列(每个 Cin 通道)一组;per-group 则把每列再切成若干段,每段一组。

粒度Scale 的共享范围直观影响
Per-tensor整个张量一组元数据少,但一个大值就可能增大整个张量的量化步长
Per-channel每个通道一组隔离通道间的幅值差异;权重常按输出通道设置
Per-group通道内再分组,例如每 128 个权重一组局部范围更贴合,Scale 和零点数量增加

per-channel 是一种经验派的做法,因为异常大值会固定出现在某些 channel。

PTQ 与 QAT ​

PTQ(Post-Training Quantization,训练后量化):从已训练好的模型出发,选择量化参数,并视方法调整权重以减小误差,最后导出量化模型。它不需要重新跑完整训练,适合作为部署的起点。

QAT(Quantization-Aware Training,量化感知训练):在训练或微调时模拟量化误差,让参数逐步适应这些误差。前向常插入"量化→反量化"的 Fake Quantization,反向用直通估计器(STE)等方法近似处理不可导的取整。训练期间通常仍保留高精度参数,最终再转换为真实低比特存储与计算。

离群值问题与 SmoothQuant ​

量化落地时主要有两个问题:离群大值和截断。这一章展开离群值问题(W8A8 场景)。

问题:激活的系统性离群值 ​

假设一个 token 的隐藏向量里,大部分元素在 [−1,1],某个通道却达到 80。若按整个 token 的最大绝对值求 scale,s=80/127≈0.63,小值就集中在少量编码上。Per-token 量化隔离了 token 之间的差异,却没有消除 token 内的通道差异。

SmoothQuant 论文观察到,在研究的 LLM 中,一些激活离群值反复出现在特定通道;而权重的分布相对更容易量化。

等价变换:缩放分离 ​

对于模型中常见的矩阵乘 Y=XW,W8A8 的量化目标是权重 W 和激活 X。这里可以使用矩阵计算的技巧,把缩放插进矩阵乘中:

Y=XW=(Xdiag(s)−1)(diag(s)W)=X^W^

其中 s=(s1,…,sCin),也就是按照 X 的 channel 进行缩放。

举例来说,原来的 [1,1,16] 与 [2,2,0.5] 内积为 12;把第三个激活除以 8、对应权重乘以 8 后,变成 [1,1,2] 与 [2,2,4],结果仍是 12。

这实际上就是平滑操作:大值 16 被压成了 2,小值 0.5 被放大成 4,且这一步不影响精度。

平滑系数 α ​

那么平滑系数怎么选?在保证 Y 不变的情况下,增大一方必然需要减小另一方。SmoothQuant 用一个参数 α 调节两边承担的量化难度:

sj=(max|Xj|)α(max|Wj|)1−α
  • α 越大,越倾向于压平激活,把更多范围变化留给权重
  • α 越小,越倾向于保护权重的量化难度
  • α=0.5 可以作为理解公式的起点,最佳值要结合模型和量化配置验证

激活的最大值通过校准样本统计,权重的最大值可以直接计算。工程实现还需要对接近零的分母和 scale 做数值保护。

完整的离线量化流程 ​

上面只进行了平滑,解决的是离群值的问题,实际的量化操作还没有进行。

量化的目标仍然没变:量化权重 W 和激活 X。权重可以离线量化,但激活只能运行时量化;平滑后两者此消彼长。激活 scale 有两种方案:静态方案使用预先校准的 scale,动态方案在线计算。

离线方案的步骤:

  1. 收集激活范围。用代表性的校准文本跑 forward,统计待量化线性层的输入通道。
  2. 计算平滑系数。有了统计数据就有 S,即可调整权重和相关的前置算子参数。
  3. 确定量化配置。选择权重和激活的粒度,确定权重 scale,以及激活 scale 的静态校准或动态计算方式,验证层输出和整模型质量。
  4. 导出模型。保存真实量化权重及配置。

回到 Y=X^W^ 的变换,S−1 可以融合到前面的归一化层或线性层。

核心理念 ​

说实话,aiinfraguide 讲 W8A8 这块十分抽象,不好理解。借助 AI 重新理解了一遍,用四个问题总结:

是什么?

  • LLM 的训练后量化技术

核心目的?

  • 实现 W8A8 的全 INT8 矩阵乘法,在几乎不损失模型精度的前提下,大幅降低显存,提升推理速度

解决什么问题?

  • 权重量化容易,因为权重的数值分布通常平缓;激活值有系统性离群值,难以量化

解决方案?

  • 离群值固定集中在少数特定的通道。因此可以通过数学上的等效变换,将激活值的量化难度转移部分给权重

Weight-only INT4:W4A16 ​

权重使用 INT4,激活保留 FP16/BF16,即 W4A16。字面上 16bit 的权重量化为 4bit,体积缩小约 4 倍(实际还需额外保存 scale 值)。但权重的量化步长明显增大,因此衍生出了 GPTQ 和 AWQ 两种误差处理手段。

一个关键区分:存储类型和计算类型是两回事。W4A16 在计算前会把 INT4 权重反量化回 FP16,再和 FP16 的激活做矩阵乘——压缩的是存储和带宽,计算精度仍是 16bit。

下面的 GPTQ 和 AWQ 都是训练后量化,这里只做概念性理解,不追溯论文。

GPTQ:逐步量化与误差补偿 ​

传统的量化方法对权重进行就近取整,这个取整操作就产生了误差。对于整个权重矩阵 W 来说,这个取整操作是独立的,误差会逐个累积。

既然是粗暴的就近取整,如果权重值是随机均匀分布的,那么上下取整也是随机的。权重之间毫无联系的取整是导致误差累积的根本原因——那么把权重的取整建立相关性呢?

比如,一组 10 个权重值表示一个维度的信息,如果对其中一个值进行了取整,产生的误差可以通过其余 9 个值进行补偿,来实现总的结果和之前基本一致的效果。

想法很好,但如何实施?GPTQ 引入了源自 OBQ 算法的方法,利用 Hessian 矩阵 H 来衡量每个权重对模型输出的敏感程度:

  1. 校准数据。量化前,GPTQ 让模型读取一小批代表性文本,跑一遍前向,用来观察激活值的分布情况。
  2. 计算敏感度。通过激活值算出 Hessian 矩阵,可以获得哪些权重是重要的,哪些是无关紧要的。
  3. 公式修正。在每一次对权重进行舍入时,计算出应该如何调整剩余未量化的权重。

有所感悟:如果说原始模型存储的是完全的正确信息,信息间(权重)的传递关系也是正确的。这种量化就是调整了信息之间的联系,反正我们只需要最终的结果不变就好了。正确的过程虽然能得到正确的答案,但是简化过程,哪怕过程不对,同样也能得到正确的答案。

AWQ:保护关键权重 ​

GPTQ 的核心理念在上一节的标题中已经说明了——在逐步量化的过程中,在后续值中进行误差补偿。

AWQ 也是 4bit 的量化技术,走的是另一条路:先找出少数关键的权重保护起来,再进行整体量化。

AWQ 的关键前提发现是:并非所有权重都同等重要。

大模型中只有 1% ~ 0.1% 的核心权重通道(Salient Weights) 对模型的效果起到了决定性作用!如果这 1% 的权重在量化中发生了精度丢失,整个模型的智商就会暴跌。

那么权重的重要性如何衡量?要看和权重一起作用的激活值。大激活必然会放大该通道权重的影响,这个通道的权重就是重要权重。

如何保护重要权重?仍然从矩阵乘 Y=XW 入手,其中 X 的某个通道是大激活,对应的 W 的通道就是重要权重。和 SmoothQuant 用的是同一个缩放等价变换:

Y=XW=(XS−1)(SW)=X^W^

放大重要通道的权重 SW,以减少后续量化的舍入误差,同时等比缩小激活 XS−1,保证最终结果不变。

举例来说,w=4.4,量化后 w′=4,大激活 x=10000,量化后产生了 4000 的误差;放大 w″=44,量化后不变,激活 x″=1000,最终是 0 误差。

这里发现 AWQ 和 SmoothQuant 的核心过程十分相似,都是同时缩放 W 和 X,是处于不同目的使用了相同的数学工具:

  • SmoothQuant 的目的是解决激活量化困难的问题,因为会有大激活,所以理念上是先"平滑"激活值
  • AWQ 的理念是,既然激活难量化,那就不量化了,更极致地压缩权重即可。但 4bit 量化权重下,也不可避免出现了精度暴跌的问题

当然,实际的工程实现上还是有很多不同的,比如 AWQ 激活仍保留 16bit,对激活的管理轻量得多。

Marlin:W4A16 的高性能内核 ​

一般情况下,W4 量化的权重在计算时会反量化回 16bit,这又回到了工程问题。

流程上:INT4 权重反量化回 FP16,写回缓存,再启动 kernel。

Marlin 是一个高性能的 GPU 计算内核:

  • 专门针对 W4A16 场景设计了底层流水线
  • 边解压边计算:4bit 数据反量化后直接进入 tensor core 进行计算
  • 全批量加速:适配常见的并发和 batch size

参考 ​