← 用語辞書トップ

TF-IDF(ティーエフ・アイディーエフ)

TF-IDF Term Frequency - Inverse Document Frequency てぃーえふ・あいでぃーえふ
高頻出 ⚪ 旧用語 テクノロジ系 技術要素

意味・解説

文章中の単語の「重要度」を計算する統計的手法。その文書によく出てくるが、他の文書にはあまり出てこない単語を高く評価する。

TF(単語の出現頻度)とIDF(逆文書頻度:珍しさ)を掛け合わせた値。検索エンジンで『どのページがより関連性が高いか』をランク付けする指標として使われる。

くわしく

「その文章の『キーワード』を数字で特定する」手法です。

1.TF:

その文書に何度も出る言葉は大事です。

2.IDF:

でも『は』『です』のように、どの文書にも出る言葉は価値が低いです。ポイントは、膨大な検索結果の中から、あなたの探している言葉が『ただの雑談』として出てくるページと、『核心テーマ』として出てくるページを、数学的に区別するためです。

例文

ニュース記事の自動要約システムにおいて、TF-IDFを用いて記事の本質を表す重要単語を抽出した。

同義語: 単語の重要度重み付け
分類: 情報検索・特徴量抽出
📱

ITパスポート対策アプリでもっと効率的に学習

「瞬即マスター ITパスポート」用語辞書2,651語・過去問29回分・232ステージ

7日間無料でお試し

Google Playで見る