量子化（AIモデルの量子化）

Quantization りょうしか

中頻度 ⚪ 旧用語テクノロジ系新しい技術

意味・解説

AIモデル内の数値（重み）の精度をあえて落とす（例：32ビットから8ビットへ変換）ことで、モデルを軽量化・高速化する手法。

計算の精度を犠牲にする代わりに、メモリ消費量を削減し、演算速度を向上させる。プルーニング（枝刈り）や蒸留（ディスティレーション）と並ぶ、AI（人工知能）モデルの最適化技術の一つ。

「高分解能な設計図を、あえて『少し粗いドット絵』にして扱いやすくする」技術です。

1.仕組み：

AIが計算に使う非常に細かい小数点（32ビット浮動小数点数）を、キリの良い整数（8ビット整数など）に丸めます。

2.メリット：

データ量が1/4になり、計算も整数演算になるため、非力なスマートフォンのチップでもサクサク動くようになります。ポイントは、巨大なAIをクラウドではなく、手元のデバイス（エッジ）で動かすには、この『数値のダイエット』が避けられないからです。

大規模言語モデルをノートPC上のメモリで動かすため、4ビット量子化を施してファイルサイズを大幅に削減した。

同義語: モデルの量子化 / 数値の離散化

分類: AIモデルの軽量化・高速化