← 生成AIパスポート 用語索引

非公式・用語解説

自己回帰モデル

Autoregressive Model／じこかいきモデル
第2章 2-1・3-12025.10 追加

ChatGPTの答えが左から少しずつ現れるのには理由があります。その理由がそのまま、自己回帰モデルという言葉の中身です。

本サイトはGUGA（生成AI活用普及協会）とは関係のない非公式の学習コンテンツです。試験の最新情報は必ず公式サイトでご確認ください。用語名の一覧は公式シラバスの章立てに沿っていますが、見出し・解説はすべて当サイトが独自に書いたものです。

意味・解説

自己回帰モデルとは、すでに出した分（と最初の入力）を条件として、次の1要素だけを確率的に予測し、その予測をまた入力に戻して次を予測する——という逐次的なやり方で出力を作るモデルです。「自分の出力に回帰する」という名前のとおり、自分が直前に書いたものが次の手がかりになります。

文章生成なら単位は「トークン」（およそ単語や文字のかたまり）です。「日本の首都は」に続けて「東」を出し、「日本の首都は東」を条件に「京」を出す。1ステップごとに語彙全体の確率分布を計算し、そこから1つを選ぶ動作の繰り返しです。

くわしく — 仕組みと、GPT系との関係

全体の確率を条件付き確率の積に分解しているのがこの構造の核です。文章全体をいきなり評価せず、「1文字目の確率」×「1文字目を見たときの2文字目の確率」×……と分ける。おかげでどのステップでも「次の1つ」という単純な問題を解けば済みます。

選び方には幅があります。最も確率の高い候補を選ぶこともできますし、分布からサンプリングすることもできます。Temperature や Top-p といった設定が効くのは、この1ステップごとの選択です。

生成は前から順にしか進めないため、長い文章ほどステップ数が増えます。一方で学習のときは正解の文章が手元にあるので、各位置が自分より前だけを見るように制限（マスク）してまとめて計算できます。この「学習は並列、生成は逐次」という非対称が、Transformer以降のモデルが大規模化できた理由のひとつです。

GPT系はこれに当たる

GPT系のモデルはこの構造をとります。GPT-3の論文は、自身を「自己回帰型の言語モデル（autoregressive language model）」と明記しています。一方、同じTransformerを土台にしていてもBERTは違います。BERTは文の一部を隠して周囲の両側から埋める学習（MLM）をするので、次の1つを前から順に出す作りにはなっていません。「Transformerだから自己回帰」ではない点は押さえておきたいところです。逆に、Transformer以前のRNNやLSTMも、生成の仕方としては自己回帰的です。

VAE・GANとの発想の違い

同じ「生成」でも、設計思想がはっきり分かれます。

  • VAE（変分自己符号化器）: 入力をエンコーダで潜在ベクトルに圧縮し、デコーダで戻す。潜在空間の分布を学び、そこから点をサンプリングして丸ごと1つ生成します。「圧縮して復元する」が出発点です。
  • GAN（敵対的生成ネットワーク）: 生成器と識別器を競わせ、識別器に見破られない出力を作らせます。確率を明示的に計算するのではなく、競争の結果としてそれらしさを獲得します。こちらも1回の計算で丸ごと生成します。
  • 自己回帰モデル: 丸ごとではなく1個ずつ順番に。直前に出したものが必ず次の条件になるので前後のつじつまが合いやすく、各ステップの確率も明示的に扱えます。代わりに生成が逐次的で遅く、途中で外すとその誤りを引きずったまま先へ進みます。

VAEとGANが「一枚の絵を一気に描く」発想なのに対し、自己回帰は「一筆ずつ、前の筆を見ながら描き足す」発想です。

具体例

  • スマートフォンの予測変換: 直前までの入力から次の語の候補を出す仕組みで、発想は同じです。素朴な n-gram モデルも単純な自己回帰です。
  • 回答が少しずつ表示される: 生成AIの答えが左から流れるように出るのは、演出ではなく1トークンずつ作っているからです。
  • 同じ質問でも文面が変わる: 各ステップで確率分布から選んでいるためです。

よくある誤解

  • 「文章全体を考えてから書き出している」——基本的には1つずつです。全体の構成が整って見えるのは、直前までの文脈を条件にし続けているからで、完成形を先に持っているわけではありません。
  • 「次の語を当てているだけだから、意味は扱えない」——短絡です。次を当てるには文脈を圧縮して保持する必要があり、その副産物として幅広い能力が現れます。ただし正しさを保証する仕組みではないので、もっともらしい誤りは原理的に起こりえます。
  • 「自己回帰＝Transformer」——違います。RNNやLSTMも自己回帰的に生成し、TransformerでもBERTは自己回帰ではありません。
  • 「Temperatureを0にすれば正しい答えになる」——なりません。出力のばらつきが減るだけです。
  • 「画像生成も自己回帰」——一概には言えません。画素を順に出す自己回帰型の画像生成もありますが、近年広く使われている方式の多くは別物です。

試験での位置づけ

自己回帰モデルは、GUGAシラバス第4版（2026年2・4・6・8・10月試験向け／改訂日 2025年10月1日） において2か所に登場する語です。ひとつは第2章 2-1「生成AIの誕生まで」、もうひとつは第3章 3-1「生成AIが出来ることと主なサービス」。章をまたいで置かれているのは、この語が「歴史上の技術」であると同時に「いま動いているサービスの中身」でもあるからだと読めます。

2-1 では、VAE・GAN・RNN・Transformer といった系譜の一項目として並び、他の生成方式との違いが問われる形が自然です。3-1 では実際のサービスの説明の文脈に置かれています。どちらから問われても答えられるよう、「1つずつ順に出す方式である」ことと「VAE・GANとは発想が違う」ことの両方を持っておくと安全です。

この語も2025年10月1日改訂で追加されました。追加された24語の多くが新しいサービス名や法制度である中、自己回帰モデルは数少ない「基礎理論側の追加語」です。生成の仕組みの説明を一段深く求める方向に振れた、と受け取っておくとよいでしょう。

例文

GPT系のモデルは自己回帰モデルであり、直前までのトークン列を条件として次のトークンの確率分布を求め、そこから1つを選ぶ処理を繰り返して文章を生成する。

関連用語

リンク先は、当サイトのITパスポート用語辞書の既存ページか、この学習ノート内の解説ページだけです。解説を用意していない語にはリンクを張っていません。

出典

本ページの記述は、以下の一次情報を2026年8月6日に確認したうえで、当サイトが独自に書き起こしたものです。GUGAの公式シラバスから借りているのは用語名と章立ての事実のみで、学習項目名や説明文を転記したものではありません。

  1. Ashish Vaswani ほか「Attention Is All You Need」（2017年）: https://arxiv.org/abs/1706.03762（2026年8月6日 閲覧）。Transformerの原論文です。
  2. Tom B. Brown ほか「Language Models are Few-Shot Learners」（2020年）: https://arxiv.org/abs/2005.14165（2026年8月6日 閲覧）。GPT-3を「自己回帰型の言語モデル」と明記した論文で、GPT系が自己回帰であることの出典です。
  3. Diederik P. Kingma, Max Welling「Auto-Encoding Variational Bayes」（2013年）: https://arxiv.org/abs/1312.6114（2026年8月6日 閲覧）。VAEの原論文です。
  4. Ian J. Goodfellow ほか「Generative Adversarial Networks」（2014年）: https://arxiv.org/abs/1406.2661（2026年8月6日 閲覧）。生成器と識別器を競わせる枠組みの原論文です。
  5. GUGA「生成AIパスポート試験 概要」: https://guga.or.jp/outline/（2026年8月6日 閲覧）。

製品・仕様に関する記述はいずれも2026年8月時点のものです。生成AIをめぐる状況は変化が速いため、受験前には必ず最新の情報をご確認ください。

このページについて

本サイトは、生成AIパスポート試験を実施する一般社団法人 生成AI活用普及協会（GUGA）とは関係のない、非公式の学習コンテンツです。GUGAの監修・認定・提携を受けたものではありません。試験の最新情報は必ず公式サイトでご確認ください → GUGA公式「生成AIパスポート試験 概要」／生成AI活用普及協会（GUGA）

← 用語索引（全191語）へ戻る 生成AIパスポート 学習ノートのトップへ ITパスポート用語辞書