Okapi BM25

BM25 est un modèle de sac de mots qui ordonne les documents en fonction de la fréquence des termes qui apparaissent dans chaque document, indépendamment des relations pouvant exister entre ces termes ou de leurs proximités relatives au sein du document. Il existe toute une famille de fonctions attribuant un score à chaque document pour une requête donnée. L'une des formes les plus connues de cette famille de fonctions est la suivante. Pour une requête Q, contenant les mots ${\displaystyle q_{1},...,q_{n}}$, le score BM25 d'un document D est:

${\displaystyle {\text{score}}(D,Q)=\sum _{i=1}^{n}{\text{IDF}}(q_{i})\cdot {\frac {f(q_{i},D)\cdot (k_{1}+1)}{f(q_{i},D)+k_{1}\cdot \left(1-b+b\cdot {\frac {|D|}{\text{avgdl}}}\right)}},}$

où ${\displaystyle f(q_{i},D)}$ est la fréquence du terme ${\displaystyle q_{i}}$ dans le document D, ${\displaystyle |D|}$ est la longueur du document D en nombre de mots, et avgdl est la longueur moyenne des documents dans la collection considérée. ${\displaystyle k_{1}}$ et b sont des paramètres libres pouvant être optimisés selon les cas d'usage mais qui, en l'absence de toute optimisation sont usuellement fixés à ${\displaystyle k_{1}\in [1.2,2.0]}$ et ${\displaystyle b=0.75}$[2]. ${\displaystyle {\text{IDF}}(q_{i})}$ est la fréquence inverse de document pondérant le terme ${\displaystyle q_{i}}$ de la requête. En général, cela est calculé par:

${\displaystyle {\text{IDF}}(q_{i})=\log {\frac {N-n(q_{i})+0.5}{n(q_{i})+0.5}},}$

où N est le nombre de documents dans la collection et ${\displaystyle n(q_{i})}$ est le nombre de documents contenant ${\displaystyle q_{i}}$.

• TF-IDF
• Modèle probabiliste