敵対的サンプル
意味・解説
AIの誤認を誘うため、入力データに人には判別できない程度の微細な加工を施した攻撃データ。
深層学習(ディープラーニング)モデルの弱点を突き、AIを意図的に誤認させる攻撃手法。画像に人間には見えない程度の特殊なノイズを加えることで、AIに「パンダ」を「テナガザル」と判断させたり、自動運転車に「止まれ」を「最高速度」と誤認させたりする。
くわしく
敵対的サンプルは、AI(人工知能)社会の安全性を揺るがす新しいタイプの攻撃ベクトルである。
1. 攻撃の性質:従来のサイバー攻撃が「システム」を壊すのに対し、これはAIの「判断のロジック」を狂わせる。入力データ(画像や音声)へのわずかな摂動(ノイズ)により、高精度なはずのAIを完全に騙すことができる。
2. 深刻なリスク:自動運転車が道路標識を見落として事故を起こす、顔認証システムが別人として認証を通してしまう、音声アシスタントに人には聞こえない命令を吹き込むといった被害が想定される。
3. 実務での対策:攻撃データをあらかじめ学習に混ぜる「敵対的学習」や、入力データのノイズを平滑化する技術の研究が進んでいる。AIモデルを外部に公開する(API提供など)実務においては、この攻撃による誤動作のリスクを評価し、異常検知機能を実装することが今後の課題である。
例文
顔認証システムの安全性を検証するため、敵対的サンプルを用いたなりすましのテストを実施した。
同義語: 敵対的摂動, アドバーサリアル・エグザンプル
分類: AIへのサイバー攻撃