トークン（トークナイゼーション）
意味・解説
LLM（大規模言語モデル）が文章を理解・生成する際の「最小単位」。文字や単語、あるいはその一部を数値化したもの。
人間が使う言葉を、AI（人工知能）が計算可能な数値（侵入検知）の並びに変換する工程。英語では単語単位に近いが、日本語では漢字やひらがな、あるいは複数の文字の組み合わせが1トークン（トークナイゼーション）となる。
くわしく
「AI（人工知能）が食べる『言葉の細切れ』」です。
1.仕組み：
『こんにちは』という言葉を、AIはそのままではなく『こん/にち/は』といった断片（トークン（トークナイゼーション））に分け、それぞれに番号を付けて処理します。
2.制限：
AIが一度に扱える量（コンテキスト窓）は文字数ではなくこのトークン数で決まります。ポイントは、AIの利用料金（Web API料金）の多くはこのトークン量で計算され、また日本語は英語に比べて1文字あたりのトークン消費が多くなりがちなため、効率的なプロンプト設計に直結する概念だからです。
例文
LLMのAPIを利用する際、コストを抑えるために不要な装飾語を削り、入力トークン数を削減した。
過去問での出題状況
直近29回分の過去問（全2,900問）を解析した結果、3回登場しています（出題された年度: 3年度）。
出典: 本サイト独自集計（問題文および全選択肢テキストからの用語出現頻度・2026年6月時点）
同義語: 語彙素 / 最小単位, パスワード生成器, トークン
分類: 自然言語処理のデータ表現