蒸留（ディスティレーション）
意味・解説
複雑で大規模なAIモデル（教師モデル）の知恵を、より単純で小規模なモデル（生徒モデル）に継承させることで、軽量かつ高精度なAIを作る手法。
教師モデルの「出力の傾向」を生徒モデルが模倣するように学習させる。プルーニング（枝刈り）と同様、モデルの軽量化を目的とするが、構造そのものを小さく作り直す点が特徴。
くわしく
「天才の『答えの出し方』を、普通の人が効率よく学ぶ」ような仕組みです。
1.教師と生徒：
巨大な『教師モデル』が導き出した予測確率（例：これは90%の確率で猫、8%で犬）を、小さな『生徒モデル』に手本として見せます。
2.エッセンスの抽出：
生徒は単なる正解だけでなく、教師の『迷い方』や『ニュアンス』まで学ぶため、小さくても教師に近い実力を発揮できます。ポイントは、プルーニング（枝刈り）で枝を切るよりも、最初から『小さくて賢いモデル』を新しく作り直す方が、性能のバランスが良い場合が多いからです。
例文
音声認識AIを低価格なスマートスピーカーに搭載するため、サーバー上の巨大なモデルから知識を抽出し、蒸留によって小型化されたモデルを構築した。
同義語: 知識蒸留
分類: AIモデル軽量化・高速化