Appearance
从零学习模型量化
量化的目的与对象
量化的目的是,用更少的 bit 存储权重、激活和 KV cache,并在硬件支持时使用低精度运算(推理权重对精度不敏感)。
不同量化对象的数据特点不同,决定了各自的量化策略和收益:
| 对象 | 数据的特点 | 主要收益 |
|---|---|---|
| 权重(Weight) | 训练完成后固定,可提前处理 | 缩小模型、减少权重读取量 |
| 激活(Activation) | 随当前输入变化 | 为低精度矩阵乘法提供输入,减少部分中间数据开销 |
| KV Cache | 随请求和上下文增长 | 降低每个历史 Token 的缓存成本 |
数值映射:高精度到低精度
用低精度的类型来表示高精度的类型,需要建立一套映射关系。
纯数学的做法是最简单的:如果把 0~999 的区间映射到 0~99 的区间,直接给每个数值除以 10 就行了。但是到了计算机上,就变成了"不连续区间"映射"不连续区间",毕竟计算机也只能表示不连续的值。
所以,计算机上的映射要经过缩放、舍入和截断处理。
仿射量化
:大于 0 的 scale,决定相邻整数编码对应数值的间隔 :整数零点 - clip:限制结果在编码范围内
举例来说,
进一步地,
非对称量化
上面的例子中
那么仿射变换可以不使用对称区间,而是使用数据的真实范围
举例来说,映射区间
非对称量化更贴合偏移分布,代价是要保存零点并处理零点修正;全零张量还需要单独处理,避免
位宽与误差
| 位宽 | 编码数 | 相邻重建值间隔 | 区间内最近舍入的最大绝对误差 |
|---|---|---|---|
| 8-bit | 256 | 约 | |
| 4-bit | 16 | 约 | |
| 2-bit | 4 | 约 |
量化粒度
上面的例子都是对一维数据进行的量化,实际张量有多个维度,沿哪个维度共享 scale 也有说法。比如激活值
对于二维张量,量化粒度就是沿哪个维度共享 scale。以
per-tensor 对整个矩阵用一组
| 粒度 | Scale 的共享范围 | 直观影响 |
|---|---|---|
| Per-tensor | 整个张量一组 | 元数据少,但一个大值就可能增大整个张量的量化步长 |
| Per-channel | 每个通道一组 | 隔离通道间的幅值差异;权重常按输出通道设置 |
| Per-group | 通道内再分组,例如每 128 个权重一组 | 局部范围更贴合,Scale 和零点数量增加 |
per-channel 是一种经验派的做法,因为异常大值会固定出现在某些 channel。
PTQ 与 QAT
PTQ(Post-Training Quantization,训练后量化):从已训练好的模型出发,选择量化参数,并视方法调整权重以减小误差,最后导出量化模型。它不需要重新跑完整训练,适合作为部署的起点。
QAT(Quantization-Aware Training,量化感知训练):在训练或微调时模拟量化误差,让参数逐步适应这些误差。前向常插入"量化→反量化"的 Fake Quantization,反向用直通估计器(STE)等方法近似处理不可导的取整。训练期间通常仍保留高精度参数,最终再转换为真实低比特存储与计算。
离群值问题与 SmoothQuant
量化落地时主要有两个问题:离群大值和截断。这一章展开离群值问题(W8A8 场景)。
问题:激活的系统性离群值
假设一个 token 的隐藏向量里,大部分元素在
,某个通道却达到 80。若按整个 token 的最大绝对值求 scale, ,小值就集中在少量编码上。Per-token 量化隔离了 token 之间的差异,却没有消除 token 内的通道差异。
SmoothQuant 论文观察到,在研究的 LLM 中,一些激活离群值反复出现在特定通道;而权重的分布相对更容易量化。
等价变换:缩放分离
对于模型中常见的矩阵乘
其中
举例来说,原来的
这实际上就是平滑操作:大值 16 被压成了 2,小值 0.5 被放大成 4,且这一步不影响精度。
平滑系数 α
那么平滑系数怎么选?在保证
越大,越倾向于压平激活,把更多范围变化留给权重 越小,越倾向于保护权重的量化难度 可以作为理解公式的起点,最佳值要结合模型和量化配置验证
激活的最大值通过校准样本统计,权重的最大值可以直接计算。工程实现还需要对接近零的分母和 scale 做数值保护。
完整的离线量化流程
上面只进行了平滑,解决的是离群值的问题,实际的量化操作还没有进行。
量化的目标仍然没变:量化权重
离线方案的步骤:
- 收集激活范围。用代表性的校准文本跑 forward,统计待量化线性层的输入通道。
- 计算平滑系数。有了统计数据就有
,即可调整权重和相关的前置算子参数。 - 确定量化配置。选择权重和激活的粒度,确定权重 scale,以及激活 scale 的静态校准或动态计算方式,验证层输出和整模型质量。
- 导出模型。保存真实量化权重及配置。
回到
核心理念
说实话,aiinfraguide 讲 W8A8 这块十分抽象,不好理解。借助 AI 重新理解了一遍,用四个问题总结:
是什么?
- LLM 的训练后量化技术
核心目的?
- 实现 W8A8 的全 INT8 矩阵乘法,在几乎不损失模型精度的前提下,大幅降低显存,提升推理速度
解决什么问题?
- 权重量化容易,因为权重的数值分布通常平缓;激活值有系统性离群值,难以量化
解决方案?
- 离群值固定集中在少数特定的通道。因此可以通过数学上的等效变换,将激活值的量化难度转移部分给权重
Weight-only INT4:W4A16
权重使用 INT4,激活保留 FP16/BF16,即 W4A16。字面上 16bit 的权重量化为 4bit,体积缩小约 4 倍(实际还需额外保存 scale 值)。但权重的量化步长明显增大,因此衍生出了 GPTQ 和 AWQ 两种误差处理手段。
一个关键区分:存储类型和计算类型是两回事。W4A16 在计算前会把 INT4 权重反量化回 FP16,再和 FP16 的激活做矩阵乘——压缩的是存储和带宽,计算精度仍是 16bit。
下面的 GPTQ 和 AWQ 都是训练后量化,这里只做概念性理解,不追溯论文。
GPTQ:逐步量化与误差补偿
传统的量化方法对权重进行就近取整,这个取整操作就产生了误差。对于整个权重矩阵
既然是粗暴的就近取整,如果权重值是随机均匀分布的,那么上下取整也是随机的。权重之间毫无联系的取整是导致误差累积的根本原因——那么把权重的取整建立相关性呢?
比如,一组 10 个权重值表示一个维度的信息,如果对其中一个值进行了取整,产生的误差可以通过其余 9 个值进行补偿,来实现总的结果和之前基本一致的效果。
想法很好,但如何实施?GPTQ 引入了源自 OBQ 算法的方法,利用 Hessian 矩阵
- 校准数据。量化前,GPTQ 让模型读取一小批代表性文本,跑一遍前向,用来观察激活值的分布情况。
- 计算敏感度。通过激活值算出 Hessian 矩阵,可以获得哪些权重是重要的,哪些是无关紧要的。
- 公式修正。在每一次对权重进行舍入时,计算出应该如何调整剩余未量化的权重。
有所感悟:如果说原始模型存储的是完全的正确信息,信息间(权重)的传递关系也是正确的。这种量化就是调整了信息之间的联系,反正我们只需要最终的结果不变就好了。正确的过程虽然能得到正确的答案,但是简化过程,哪怕过程不对,同样也能得到正确的答案。
AWQ:保护关键权重
GPTQ 的核心理念在上一节的标题中已经说明了——在逐步量化的过程中,在后续值中进行误差补偿。
AWQ 也是 4bit 的量化技术,走的是另一条路:先找出少数关键的权重保护起来,再进行整体量化。
AWQ 的关键前提发现是:并非所有权重都同等重要。
大模型中只有 1% ~ 0.1% 的核心权重通道(Salient Weights) 对模型的效果起到了决定性作用!如果这 1% 的权重在量化中发生了精度丢失,整个模型的智商就会暴跌。
那么权重的重要性如何衡量?要看和权重一起作用的激活值。大激活必然会放大该通道权重的影响,这个通道的权重就是重要权重。
如何保护重要权重?仍然从矩阵乘
放大重要通道的权重
举例来说,
这里发现 AWQ 和 SmoothQuant 的核心过程十分相似,都是同时缩放
- SmoothQuant 的目的是解决激活量化困难的问题,因为会有大激活,所以理念上是先"平滑"激活值
- AWQ 的理念是,既然激活难量化,那就不量化了,更极致地压缩权重即可。但 4bit 量化权重下,也不可避免出现了精度暴跌的问题
当然,实际的工程实现上还是有很多不同的,比如 AWQ 激活仍保留 16bit,对激活的管理轻量得多。
Marlin:W4A16 的高性能内核
一般情况下,W4 量化的权重在计算时会反量化回 16bit,这又回到了工程问题。
流程上:INT4 权重反量化回 FP16,写回缓存,再启动 kernel。
Marlin 是一个高性能的 GPU 计算内核:
- 专门针对 W4A16 场景设计了底层流水线
- 边解压边计算:4bit 数据反量化后直接进入 tensor core 进行计算
- 全批量加速:适配常见的并发和 batch size