TF-IDF

La fréquence « brute » d'un terme est simplement le nombre d'occurrences de ce terme dans le document considéré (on parle de « fréquence » par abus de langage). On peut choisir cette fréquence brute pour exprimer la fréquence d'un terme.

Des variantes ont été proposées. Un choix plus simple, dit « binaire », est de mettre 1 si le terme apparaît dans le document et 0 sinon. À l'opposé, on peut normaliser logarithmiquement la fréquence brute pour amortir les écarts. Une normalisation courante pour prendre en compte la longueur du document est de normaliser par la fréquence brute maximale du document.

Variantes de TF

Schéma de pondération	formule du TF
binaire	${\displaystyle {0,1}}$
fréquence brute	${\displaystyle f_{t,d}}$
normalisation logarithmique	${\displaystyle \log(1+f_{t,d})}$
normalisation « 0.5 » par le max	${\displaystyle 0.5+0.5\cdot {\frac {f_{t,d}}{\max _{\{t'\in d\}}{f_{t',d}}}}}$
normalisation par le max	${\displaystyle K+(1-K){\frac {f_{t,d}}{\max _{\{t'\in d\}}{f_{t',d}}}}}$

La fréquence inverse de document (inverse document frequency) est une mesure de l'importance du terme dans l'ensemble du corpus. Dans le schéma TF-IDF, elle vise à donner un poids plus important aux termes les moins fréquents, considérés comme plus discriminants. Elle consiste à calculer le logarithme (en base 10 ou en base 2[1]) de l'inverse de la proportion de documents du corpus qui contiennent le terme :

${\displaystyle \mathrm {idf_{i}} =\log {\frac {|D|}{|\{d_{j}:t_{i}\in d_{j}\}|}}}$

où :

• ${\displaystyle |D|~}$ : nombre total de documents dans le corpus ;
• ${\displaystyle |\{d_{j}:t_{i}\in d_{j}\}|}$ : nombre de documents où le terme ${\displaystyle t_{i}}$ apparaît (c'est-à-dire ${\displaystyle n_{i,j}\neq 0}$).

Finalement, le poids s'obtient en multipliant les deux mesures :

${\displaystyle \mathrm {tfidf_{i,j}} =\mathrm {tf_{i,j}} \cdot \mathrm {idf_{i}} }$

TF(t) = Nombre d'apparitions du terme t dans le document / Nombre total de mots dans le document

${\displaystyle \mathrm {tf_{1,1}} ={\frac {n_{1,1}}{\sum _{k}n_{k,1}}}={\frac {2}{38}}}$

Détails du calcul : la plupart des termes apparaissent une fois (21 termes), arc, de, et, le, les, par et qui apparaissent 2 fois (7 termes) et l apparaît 3 fois (1 terme). Le dénominateur est donc 21*1 + 7*2 + 1*3 = 38. Cette somme correspond au nombre de mots dans le document.

Le terme « qui » n'apparaît pas dans le deuxième document et apparaît dans le premier et le troisième. Ainsi :

${\displaystyle \mathrm {idf_{1}} =\log {\frac {|D|}{|\{d_{j}:t_{1}\in d_{j}\}|}}=\log {\frac {3}{2}}}$

On obtient :

${\displaystyle \mathrm {tfidf_{1,1}} ={\frac {2}{38}}\cdot \log {\frac {3}{2}}\approx 0{,}0092}$

Pour les autres documents :

${\displaystyle \mathrm {tfidf_{1,2}} =0\cdot \log {\frac {3}{2}}=0}$

${\displaystyle \mathrm {tfidf_{1,3}} ={\frac {1}{40}}\cdot \log {\frac {3}{2}}\approx 0{,}0044}$

Le premier document apparaît ainsi comme « le plus pertinent ».

• Loi de Zipf
• Modèle booléen
• Modèle vectoriel

• Okapi BM25
• Modèle probabiliste
• Précision et rappel

• Cours sur les modèles de RI sur le site de l'université Paris 13