形態素解析とN-gram（全文検索手法の比較）
意味・解説
テキストから単語を切り出し、転置インデックスを作成するための二大手法。
形態素解析は辞書を用いて意味のある単語（名詞、動詞等）に分ける。N-gramは機械的に $n$ 文字ずつスライドさせて分割する。前者は精度に優れ、後者は検索漏れがない特性を持つ。
くわしく
「文章の『切り分け方』の流儀」です。
1.形態素解析：
『私は学校へ行く』を『私/は/学校/へ/行く』と意味で切ります。検索が賢くなりますが、新語（辞書にない言葉）に弱いです。
2.N-gram：
2文字ずつ（Bi-gram）なら『私は/は学/学校/校へ/へ行/行く』と切ります。辞書が不要で漏れがありませんが、無関係な結果（検索ノイズ）が出やすくなります。ポイントは、日本語は英語と違って単語の間にスペースがないため、この切り分けの選択が検索エンジンの「使い勝手」を左右するからです。
例文
社内文書検索システムにおいて、人名の検索漏れを防ぐためにN-gramを、専門用語の精緻な検索のために形態素解析を併用した。
分類: 情報検索・索引作成技術