重みの初期化手法（XavierとHe）
意味・解説
深層学習において、学習開始時の各ニューロンの『重み』を適切な範囲に分布させる手法。勾配消失や勾配爆発を防ぐ役割を持つ。
活性化関数にシグモイド・tanhを使う場合は『Xavierの初期化』、ReLU（レルー）を使う場合は『Heの初期化』が推奨される。層が増えても情報の強さが維持されるよう設計されている。
くわしく
「AIの脳の『先入観』を適切に整える技術」です。
1.問題点：
初期値が大きすぎると勾配が爆発し、小さすぎると勾配消失が起きます。
2.解決策：
前の層のノード数に応じて初期値の広がり（分散）を調整します。ポイントは、この初期設定一つで、深層ネットワークが『学習できるか、全く学習が進まないか』の運命が決まるからです。
例文
多層ニューラルネットワークにおいて活性化関数にReLUを採用したため、初期値設定にはHeの初期化を用い、学習の安定化を図った。
対義語: ゼロ初期化
分類: ニューラルネットワークの最適化