L1正則化とL2正則化
意味・解説
機械学習モデルが複雑になりすぎて学習データに過剰に適合(過学習)するのを防ぐため、重みに「ペナルティ」を与える手法。
L1(ラッソ回帰)は重みの絶対値を足し、不要な特徴量をゼロにする。L2(リッジ回帰)は重みの2乗を足し、全体的に重みを小さく滑らかにする。
くわしく
「AIの『偏り』に対する罰金」の計算です。
1.目的:
学習データに完璧に合わせようとすると、特定の変数を重視しすぎて「過学習」が起きます。
2.罰金(項):
損失関数に「重みの大きさ」を加算します。重みを大きくするとエラー値が増えるように仕向けることで、AIに「シンプルで汎用的なルール」を選ばせます。ポイントは、未知のデータに対しても高い精度を保つ(汎化性能を高める)ための最も標準的な数学的手法だからです。
例文
予測モデルの変数(特徴量)が多すぎたため、L1正則化を導入して寄与度の低い変数を排除し、モデルを簡素化した。
同義語: ラッソ回帰 (L1) / リッジ回帰 (L2)
分類: 機械学習の最適化手法