量化

计算机 · 用短数字代替长数字

术语解释

把模型中的32位浮点数参数变成8位甚至4位整数表示，模型体积缩小4~8倍，推理速度大幅提升，精度损失很小。就像把精确到小数点后6位的数字四舍五入到整数，日常使用足够了。让大模型能在手机上跑的关键技术。

32位浮点变8位整数，模型变小速度变快