ROC曲線とPR曲線の選択基準(不均衡データ対応)
意味・解説
AIの分類性能を評価する際、陽性・陰性の比率に応じて最適なグラフ指標(ROCまたはPR)を選択する判断基準。
くわしく
「AIの『嘘』を見抜くための物差しの選び方」です。
1.ROCの限界:
1万件中1件の異常(不均衡)を探すAIにおいて、ROCは陰性の的中(TN)が多すぎるため、AIがダメでも『優秀』に見えてしまいます。
2.PRの鋭さ:
PR曲線は陰性の的中を無視し、『見つけた少数の当たりが本物か(適合率)』と『漏らさなかったか(再現率)』だけを凝縮して評価します。ポイントは、不正検知や病気の診断など、希少なケースを扱うAIではPR曲線を使わないと、実務で役に立たないAIを高評価してしまうリスクがあるからです。
例文
スパムメールの判定AIの評価において、ROC曲線では性能差が不明確であったため、不均衡データに強いPR曲線を用いてモデルの優劣を判定した。
同義語: 評価指標の適切性判断
分類: 機械学習の評価戦略