アテンション重みの可視化

「AI（人工知能）が情報を処理する際、どこに『目』を凝らしたかを示すヒートマップ」です。

1.仕組み:

AIが各入力要素（単語や画素）に割り当てた「重み（重要度）」を抽出します。

2.分析:

例えば翻訳AIが『It』を『それ』と訳した際、その『It』が前の文のどの名詞と強く結びついていた（注目していた）かを可視化できます。ポイントは、AIが正解を出しても、実は「背景のノイズ」に注目して判断していたといった不適切な学習（ショートカット学習）を発見し、モデルを修正する手がかりになるからです。