AIモデルを量子化すると、保存や計算に使う数値の表現を小さくできる。モデルの文章を短縮する処理ではなく、重みなどを表す数の精度を調整する処理である。メモリの節約と誤差の増加をどう両立させるかが課題になる。
細かな数値を、少ない段階で表す
例えば多数の重みを16ビットで保存していたものを、4ビットを中心とする表現へ変えれば、重み本体に必要なビット数は大幅に減る。実際には倍率や補助情報も保存するため、モデル全体が厳密に4分の1になるとは限らない。
限られた段階へ丸めると、元の数値との差が生じる。すべての重みを一様に粗くするだけでは、一部の大きな値や敏感な部分の影響で、出力の質が落ちやすい。
どこへ誤差を配るか
量子化法は、層や小さなグループごとに倍率を変えるなどして誤差を抑える。GPTQは、学習済みモデルを対象に、量子化による影響を考慮しながら重みを近似する方法である。
重みだけを小さくする方法も、計算途中の値まで量子化する方法もある。会話が長い場合には、過去の処理結果を保持するキャッシュが大きくなる。どの部分を削ったかによって、必要なメモリは変わる。
小さくなれば、必ず速くなるのか
低精度の計算に対応したGPUや実装を使えば、データ転送や計算を軽くできる。変換処理の負担が大きい実装では、ファイル容量が減っても速度が上がらない場合がある。
評価には、実際の機器と用途を使う。一般的な文章の品質が保たれていても、数式、固有名詞、長い文脈などで影響が出る可能性がある。容量、速度、作業の正答率を並べて初めて、適切な量子化を選べる。
量子化は量子コンピューターを使うことではない。連続的または高精度に表していた値を、有限個の数値表現へ対応させる意味で使われる。
参考資料
参考資料確認日：2026年10月13日。