不確実性のキャリブレーション曲線(信頼性図)
意味・解説
AIが予測した確率(自信)と、実際に正解した割合(実力)がどの程度一致しているかをグラフ化したもの。
横軸に予測確率、縦軸に実際の正解頻度をとる。45度の対角線上にプロットが並べば「完璧に較正されている」状態。対角線より下なら「自信過剰」、上なら「過小評価」と判断できる。キャリブレーションの視覚化手法。
くわしく
「AIの『自己評価』が、客観的な『事実』とどれだけ一致しているかを映す鏡」です。
1.理想の状態:
AIが『この予測が当たる確率は80%だ』と100回言ったとき、実際に80回当たっていれば、そのAIは自分の実力を正確に把握しています。
2.実務上の意義:
医療診断や自動運転など、AIの判断を鵜呑みにできない現場では、この曲線を見て『このAIの言う80%は、実際には60%程度の信頼しかない(自信過剰)』といった傾向を把握し、安全マージンを設定します。
例文
自動運転AIの物体検知における信頼性を担保するため、キャリブレーション曲線を作成し、降雨時の予測確率が過大評価されていないかを検証した。
同義語: 信頼性図 / キャリブレーション・プロット
分類: 機械学習モデルの信頼性評価