トランスフォーマー
意味・解説
文脈や単語間の関係性を並列に処理する「Attention（アテンション）」という仕組みを核とした、深層学習のアーキテクチャ。
Googleが2017年に発表した論文「Attention Is All You Need」で提唱されたモデル。従来の再帰型ニューラルネットワーク（RNN）とは異なり、文章を最初から一字ずつ読むのではなく、文全体を一気に処理できる。ChatGPTなどの大規模言語モデル（LLM）の基盤技術であり、翻訳、要約、画像認識など幅広い分野に革命をもたらした。
くわしく
「AIが文章を読み解く際、『どの言葉と、どの言葉が強く繋がっているか』を瞬時に見抜く魔法の仕組み」です。
1.Attentionの威力:
「彼は公園で犬に会った。それは……」という文の「それは」が、「公園」ではなく「犬」を指していることを、距離に関わらず正確に捉えます。
2.高速化:
並列計算が得意なGPUの性能を最大限に引き出せる構造のため、膨大なデータの学習が可能になりました。
例文
大規模言語モデルの構築において、Transformerベースのモデルを採用することで精度の飛躍的な向上を実現した。
同義語: Transformerアーキテクチャ
対義語: RNN（再帰型ニューラルネットワーク）
分類: ニューラルネットワーク