デスパレート・インパクト(格差指標)
意味・解説
AIの判断結果において、特定の保護されるべき属性(性別、人種等)を持つグループが、他のグループと比較して不当に不利な扱いを受けていないかを測る指標。
「4/5ルール」が有名。有利なグループの合格率に対し、不利なグループの合格率が80%未満である場合、意図的でなくても「格差(不当な影響)」があると見なされる。AIの公平性(Fairness)を検証する代表的指標。
くわしく
「AIの判断という『門番』が、特定の属性の人たちに対してだけ、こっそり厳しい基準を適用していないかを監視する数学的な物差し」です。
1.仕組み:
例えば、AIによる採用選考で『男性の合格率が20%』のとき、『女性の合格率が16%(20%の8割)を下回る』と、この指標によって格差ありと警告が出ます。
2.意義:
学習データに過去の人間社会の偏見が含まれていると、AIはそれを「正解」として学習してしまいます。ポイントは、たとえAIに『性別』という項目を教えなくても、他のデータ(住所や趣味など)から間接的に属性を推測して差別的な判断を下す「不当な代理指標(Proxy)」のリスクを暴き出せるからです。
例文
ローン審査AIの公平性を担保するため、デスパレート・インパクトを算出したところ、特定の居住地域による合格率の格差が許容範囲を超えていることが判明した。
同義語: 格差的影響 / 統計的パリティ
分類: AIの倫理性・公平性評価