TF-IDF(ティーエフ・アイディーエフ)
意味・解説
文章中の単語の「重要度」を計算する統計的手法。その文書によく出てくるが、他の文書にはあまり出てこない単語を高く評価する。
TF(単語の出現頻度)とIDF(逆文書頻度:珍しさ)を掛け合わせた値。検索エンジンで『どのページがより関連性が高いか』をランク付けする指標として使われる。
くわしく
「その文章の『キーワード』を数字で特定する」手法です。
1.TF:
その文書に何度も出る言葉は大事です。
2.IDF:
でも『は』『です』のように、どの文書にも出る言葉は価値が低いです。ポイントは、膨大な検索結果の中から、あなたの探している言葉が『ただの雑談』として出てくるページと、『核心テーマ』として出てくるページを、数学的に区別するためです。
例文
ニュース記事の自動要約システムにおいて、TF-IDFを用いて記事の本質を表す重要単語を抽出した。
同義語: 単語の重要度重み付け
分類: 情報検索・特徴量抽出