カウンターファクチュアル評価(反事実的公平性)
意味・解説
「もしも(反事実)」を仮定し、属性以外の条件が同じでも判定が変わる場合、そのモデルには不当な偏見があると判断する。公平性指標の中でも、より因果関係に踏み込んだ高度な評価手法。
くわしく
「AIという『裁判官』に対し、『もしこの人が男性ではなく女性だったら、あなたの判決は変わりましたか?』と問い詰める技術」です。
1.検証方法:
ある個人のデータについて、性別などの特定のラベルだけを書き換えた「仮想のデータ」をAIに入力します。
2.公平性の定義:
属性を入れ替えてもAIの回答が全く同じであれば、そのAIは属性に左右されない「反事実的公平性」を備えていると言えます。ポイントは、表面的な合格率の調整だけでは見抜けない、深層に隠れた差別的なロジックを暴き出すことができるからです。
例文
採用支援AIの性差別を防ぐため、候補者の性別ラベルを反転させて合否判定を確認するカウンターファクチュアル評価を実施した。
同義語: 反事実的妥当性 / 反事実分析
分類: 信頼できるAIの評価