アテンション機構(注意機構)
意味・解説
AIが膨大なデータの中から、特定のタスク(翻訳や要約など)に関連の深い重要な部分に「注目(重み付け)」して処理する仕組み。
文脈の中でどの単語が重要かを計算し、その関係性を捉える。現代のAI(トランスフォーマー等)の心臓部であり、長い文章でも意味を正確に理解できるようになったブレイクスルー技術。
くわしく
「カクテルパーティーで、騒がしい中でも自分の名前を呼ぶ声だけが聞こえる」ような仕組みです。
1.仕組み:
文章内の全ての単語に対し、互いにどれくらい関係があるかを数値(スコア)で出します。
2.効果:
例えば『銀行に行って口座を作る』という文で、『作る』という動作が『銀行』と強く結びついていることをAIが理解できます。ポイントは、これまでのAIは長い文の最初の方を忘れてしまう弱点がありましたが、アテンションによって文のどこにいても重要なキーワードを常に『見つめ続ける』ことができるようになったからです。
例文
最新の翻訳AIにアテンション機構が導入されたことで、代名詞が何を指しているかを正確に把握し、自然な訳文が生成されるようになった。
同義語: 注意機構 / Self-Attention
分類: ディープラーニングの構成要素
この用語は生成AIパスポート試験にも出ます
生成AIパスポート試験(生成AI活用普及協会)の公式シラバス第4版では、第2章 生成AI(ジェネレーティブAI) の 2-1 に「Attention Mechanism」として掲載されています。ITパスポートと重なるのは全191語中42語で、その1つがこの用語です。