Modèle probabiliste de pertinence

Étant donné une requête q, il s'agit d'estimer un score s(D) pour chaque document D de la base de données considérée. Ce score doit exprimer la probabilité relative que le document soit pertinent pour la requête considérée. Dans ce modèle, on s'intéresse en effet plus à l'ordre relatif des documents renvoyés qu'à leur pertinence absolue.

Similairement à d'autres modèles, on suppose que :

• il existe des documents pertinents pour cette requête du point de vue de l'utilisateur (ensemble ${\displaystyle R}$ de documents, les documents non pertinents étant le complément ${\displaystyle {\bar {R}}}$ de cet ensemble dans la base)
• la pertinence d'un document est indépendante des jugements portés sur les autres documents
• l'utilité d'un document pertinent est indépendante du nombre de documents pertinents précédemment renvoyé

Sous ces conditions, on modélise la pertinence d'un document comme le ratio de probabilité que le document soit pertinent sur celle qu'il ne le soit pas :

${\displaystyle s(D|q)={\frac {P(R|D)}{P({\bar {R}}|D)}}}$

Considérant un vocabulaire ${\displaystyle T={t_{1},\dots ,t_{m}}}$, un document est caractérisé par la présence (noté abusivement ${\displaystyle t_{i}=1}$) ou l'absence (${\displaystyle t_{i}=0}$) de chaque terme dans son contenu. En utilisant notamment le théorème de Bayes on peut montrer que le score du modèle probabiliste peut se mettre sous la forme:

${\displaystyle s(D|q)=\sum _{i=1}^{m}{w_{i}\times t_{i}}}$

Où le poids ${\displaystyle w_{i}}$ dépend de la probabilité de présence du terme ${\displaystyle t_{i}}$ dans l'ensemble des documents pertinent et son complément.

Considérons une base de ${\displaystyle N}$ documents, dont ${\displaystyle n}$ sont considérés pertinents pour la requête. En notant ${\displaystyle R_{i}}$ le nombre de documents contenant le terme ${\displaystyle t_{i}}$, et ${\displaystyle r_{i}}$ le nombre de documents pertinents parmi ceux-ci, le poids du modèle probabiliste est donné par :

${\displaystyle w_{i}=log\left({\frac {\frac {r_{i}}{n-r_{i}}}{\frac {R_{i}-r_{i}}{N-R_{i}-n+r_{i}}}}\right)=log\left({\frac {r_{i}(N-R_{i}-n+r_{i})}{(n-r_{i})(R_{i}-r_{i})}}\right)}$

Pour éviter les poids aberrants (prosaïquement, les divisions par 0), on propose un lissage de la formule :

${\displaystyle w_{i}=log\left({\frac {\frac {r_{i}+0.5}{n-r_{i}+0.5}}{\frac {R_{i}-r_{i}+0.5}{N-R_{i}-n+r_{i}+0.5}}}\right)=log\left({\frac {(r_{i}+0.5)(N-R_{i}-n+r_{i}+0.5)}{(n-r_{i}+0.5)(R_{i}-r_{i}+0.5)}}\right)}$

Si on néglige de considérer les documents pertinents pour la requête (${\displaystyle n=r_{i}=0}$), on retrouve l'expression dite probabiliste de la fréquence inverse de document :

${\displaystyle w_{i}=log\left({\frac {N-R_{i}}{R_{i}}}\right)}$

• Modèle booléen
• Modèle vectoriel
• Lemme (linguistique)
• Moteur de recherche
• Système de recherche d'information

modèles probabilistes (dans un cours de Recherche d'information)