8 位量化使數十億參數規模的模型能夠適應更小的硬件，而不會降低性能。 8 位量化的工作原理如下：
1.從輸入隱藏狀態中按列提取較大值（離群值）。
2.對 FP16 中的離群值和 int8 中的非離群值執行矩陣乘法。
3.改變非異常值結果以將值拉回到 FP16，并將它們添加到 FP16 中的異常值結果中。





因此，本質上，我們執行矩陣乘法以節省精度，然后將非異常值結果拉回到 FP16，而非異常值的初始值和按比例縮小后的值之間沒有太大差異。你可以看下面的例子