MLA 如何压缩 KV Cache 并加速推理
MLA 把每个 token 的多头 Key、Value 压进一个共享的低维向量,再通过矩阵乘法的结合律,直接在压缩表示上计算注意力。这样可以显著缩小 KV Cache,也能减少生成阶段反复读取历史信息的开销。
但它有一个值得追问的细节:矩阵吸收后,每个头的内容点积可能从 128 维变成 512 维,Value 聚合也跟着变宽。计算量增加,为什么推理仍可能更快?沿着低秩压缩、矩阵吸收和解耦 RoPE 走一遍,再把 prefill 与 decode 分开计算,这个问题就能解释清楚。