コンテキスト圧縮
意味・解説
LLM（大規模言語モデル）に一度に入力できる情報量（コンテキスト窓）の制限を回避するため、情報の重要な意味を保ったままデータ量を削減する技術。
長い会話履歴や膨大な参照文書を要約したり、重要度の低いトークン（トークナイゼーション）を取り除いたりすることで、AI（人工知能）の「記憶容量」を節約し、処理速度の向上とコスト削減を図る手法。RAG（検索拡張生成）の高度化に寄与する。
くわしく
「AI（人工知能）への『長い説明』を、要点だけに絞って伝える技術」です。
1.背景：
大規模言語モデル（LLM）には一度に読める文字数の限界があり、多すぎると「忘れる」か「エラー」になります。
2.手法：
過去の対話を短く要約したり、AIにとって意味のない『は・が』等の要素を削ぎ落として、核心的な意味（ベクトル）だけを渡します。ポイントは、長時間の相談や数千ページの資料を読み込ませるRAGシステムにおいて、精度を落とさずに安く・速く動かすための必須技術だからです。
例文
カスタマーサポートAIにおいて、過去10回分のやり取りをコンテキスト圧縮して入力することで、回答のズレを防ぎつつトークン消費量を30%削減した。
同義語: プロンプト圧縮 / コンテキスト要約
分類: AIリソース最適化技術