前処理
意味・解説
データ分析や機械学習において、生のデータを学習に適した形式に整える準備作業のこと。データクレンジングなどを含む。
AIの精度はデータの質に依存するため、最も重要かつ時間のかかる工程。欠損値の穴埋め、外れ値の除去、ノイズの低減、単位の統一（正規化）、カテゴリ変数の数値化（エンコーディング）などを行う。「Garbage In, Garbage Out（ゴミを入れればゴミが出る）」を防ぐために不可欠。
くわしく
「素材（生データ）を、美味しい料理（分析結果）にするために行う、丁寧な『下ごしらえ（洗浄・カット・味付け）』」のことです。
1.正規化:
0〜100点と0〜100万円のようにバラバラな目盛りを、比較しやすいように同じ基準に揃えます。
2.特徴量エンジニアリング:
「生年月日」から「年齢」を算出するように、AIが理解しやすい情報へと加工する作業も含まれます。
3.重要性:
データサイエンティストの仕事の 8割はこの前処理だと言われるほど、結果を左右します。
例文
アンケートデータには空欄が多かったため、平均値で補完するなどの前処理を行ってから分析にかけた。
同義語: データ前処理, データ調整
対義語: 後処理 (Post-processing)
分類: 機械学習のプロセス