ステミングとストップワード（検索ノイズ除去）
意味・解説
検索エンジンやNLPにおいて、検索の精度を高めるために行うテキストの「前処理」技術。
ステミングは「語幹抽出」とも呼ばれ、単語の語尾（-ing, -edなど）を削って元の形に戻す。ストップワードは「a, the, は, です」など、頻出するが検索の手掛かりにならない単語をあらかじめ除外すること。
くわしく
「検索の邪魔な『枝葉』を切り落とす作業」です。
1.ステミング：
『running』も『runs』も『run』という共通の根（語幹）に揃えることで、表記ゆれによる漏れを防ぎます。
2.ストップワード：
『の』や『である』などは全ての文書に出てくるため、インデックスに入れても検索の役には立ちません。これらを省くことで、処理速度とメモリを節約します。ポイントは、膨大なデータから「本当に重要なキーワード」だけを抽出して効率的に検索するためです。
例文
英文検索システムのインデックス容量を削減するため、ストップワードのリストを更新し、さらにステミング処理によって単語の正規化を行った。
同義語: 語幹抽出（ステミング） / 不要語（ストップワード）
分類: テキストマイニング・前処理技術