ミニバッチ学習
意味・解説
AIの学習において、全データを小さなグループ(ミニバッチ)に分割し、グループごとに学習とパラメータの更新を繰り返す手法。
全てのデータを使う「バッチ学習」と、1件ずつ使う「オンライン学習」の中間的な手法。計算効率が高く、メモリ消費を抑えながら安定した学習(勾配降下)が可能になる。
くわしく
「AIという『受験生』に、参考書を1ページずつ細切れに(オンライン)でもなく、一冊丸ごと一気に(バッチ)でもなく、数章ずつの『小テスト』形式で学ばせること」です。
1.メリット:
コンピュータのメモリ(GPU等)を効率的に使いつつ、計算時間を大幅に短縮できます。
2.安定性:
適度なノイズ(データのばらつき)が含まれるため、過学習を避け、より良い正解(局所解からの脱出)に辿り着きやすくなります。ポイントは、膨大なデータ(ビッグデータ)を扱う現代のAI開発において、このミニバッチ学習は『事実上の標準』となっているからです。
例文
数百万枚の画像を用いた画像認識モデルの学習において、128枚ずつのミニバッチ学習を採用することで、計算速度を10倍以上に向上させた。
同義語: ミニバッチ勾配降下法 / MBGD
分類: ニューラルネットワークの最適化手法