Test du χ²

On observe un échantillon de données y₁, ..., y_N d'une variable aléatoire Y qui prend un nombre fini J de valeurs distinctes v₁, ..., v_J. On veut tester l'hypothèse nulle suivante : « la probabilité que Y prenne la valeur v_j vaut ${\displaystyle p_{j}}$, pour j allant de 1 à J, avec ${\displaystyle \sum _{j=1}^{J}p_{j}=1}$. »

On appelle ${\displaystyle {\hat {p_{j}}}}$ la probabilité empirique que Y prenne la valeur v_j , c'est-à-dire le nombre ${\displaystyle n_{j}}$ d'observations ${\displaystyle y_{i}}$ qui prennent la valeur v_j dans l'échantillon divisé par le nombre total N d'observations :

${\displaystyle {\hat {p_{j}}}={\frac {1}{N}}\sum _{i=1}^{N}1_{y_{i}=v_{j}}\ {\textrm {avec}}\ 1_{y_{i}=v_{j}}={\begin{cases}1&{\text{si }}y_{i}=v_{j}\\0&{\text{sinon}}\end{cases}}}$

On peut alors définir la statistique du χ² :

${\displaystyle T=\sum _{j=1}^{J}{\frac {(N{\hat {p_{j}}}-Np_{j})^{2}}{Np_{j}}}=\sum _{j=1}^{J}{\frac {(n_{j}-Np_{j})^{2}}{Np_{j}}}\ }$ où ${\displaystyle n_{j}=N{\hat {p_{j}}}=\sum _{i=1}^{N}1_{y_{i}=v_{j}}\ }$

Sous l'hypothèse nulle, cette statistique suit asymptotiquement une loi du χ² à (J – 1) degrés de liberté[4]. On peut donc construire un test de niveau α en rejetant l'hypothèse nulle lorsque la statistique de test T est plus grande que le quantile d'ordre 1 – α de la loi du χ² à (J – 1) degrés de liberté :

T ≥ F–1
χ²(J – 1)(1 – α) avec F–1
χ²(J – 1)(1 – α) le quantile d'ordre 1 – α de la loi du χ² à (J – 1) degrés de liberté.

Il s'agit de juger de l'adéquation entre une série de données statistiques et une loi de probabilité définie a priori. Dans le cas général, cette loi peut être celle d'une variable aléatoire Y prenant un nombre dénombrable de valeurs (comme une loi de Poisson ou une loi géométrique par exemple), ou bien une variable aléatoire continue (comme une loi exponentielle ou une loi normale).

Pour appliquer la méthode précédente pour laquelle Y prend un nombre fini J de valeurs, on découpe l'ensemble des valeurs que peut prendre y en J classes. Par exemple, pour tester l'adéquation avec une loi de Poisson, on pourra prendre les classes {0}, {1}, ..., {J-2}, {n>J-2}. On note alors ${\displaystyle {\hat {p_{j}}}}$ la probabilité empirique que Y appartienne à la classe j, et ${\displaystyle p_{j}}$ la probabilité théorique d'y appartenir. On peut alors appliquer le test précédent. Les classes doivent être assez nombreuses pour ne pas perdre trop d'information mais, à l'inverse, pour satisfaire les conditions requises par la méthode, elles ne doivent pas être trop petites. En théorie, il faudrait que les effectifs soient infinis pour que la loi normale s'applique mais il est généralement admis qu'il faut 5 éléments dans chaque classe. Cette règle a été très discutée et celle qui semble recueillir le plus de suffrages est due à Cochran : 80 % des classes doivent satisfaire la règle des cinq éléments tandis que les autres doivent être non vides.

Le critère porte sur les Np_i déduits de la loi de référence et non sur les n_i des données analysées. Il est souvent satisfait sans difficulté car, à la différence de la construction d'un histogramme, il est possible de jouer sur la largeur des classes.

Si la loi de probabilité théorique dépend de paramètres (moyenne, variance...) inconnus au moment du test, les données peuvent être utilisées pour estimer ceux-ci, ce qui facilite l'adéquation. Il faut alors diminuer le nombre de degrés de liberté du nombre de paramètres estimés. S'il y a s paramètres inconnus, le nombre de degrés de liberté sera J – s – 1. Ainsi, dans l'exemple de l'adéquation à une loi de Poisson de paramètre inconnu, on pourra estimer la valeur de ce paramètre par la moyenne empirique de Y, mais la loi du χ² à appliquer aura un nombre de degrés de liberté égal à J – 2 au lieu de J – 1[6].

Est-ce que le dé est bien équilibré ?

On souhaite tester l'hypothèse selon laquelle un dé à six faces n'est pas truqué, avec un risque α = 0,05. L'hypothèse que l'on souhaite rejeter (qu'on appelle hypothèse nulle et qu'on note ${\displaystyle H_{0}}$) est donc ici : « Le dé est équilibré ». Pour cela, le dé est lancé 600 fois de suite. S'il est équilibré, on s'attend que sur ces 600 jets, chaque chiffre tombe 100 fois. Supposons que notre expérience donne les résultats suivants :

c'est-à-dire nous avons obtenu 88 fois le chiffre 1, 109 fois le chiffre 2, etc. En considérant l'hypothèse nulle vraie, la variable T définie précédemment vaut :${\displaystyle {\frac {(88-100)^{2}}{100}}+{\frac {(109-100)^{2}}{100}}+{\frac {(107-100)^{2}}{100}}+{\frac {(94-100)^{2}}{100}}+{\frac {(105-100)^{2}}{100}}+{\frac {(97-100)^{2}}{100}}=3,\!44}$.

Le nombre de degrés de liberté est de 6 - 1 = 5. En effet, 88 + 109 + 107 + 94 + 105 + 97 = 600 et si l'on connaît par exemple les nombres de fois où l'on obtient les chiffres 1 à 5, on connaît le nombre de fois où l'on obtient le chiffre 6 : 600 - (88 + 109 + 107 + 94 + 105) = 97.

Ainsi, la statistique T suit la loi du χ² à cinq degrés de liberté. Cette loi du χ² donne la valeur en deçà de laquelle on considère le tirage comme conforme avec un risque α = 0,05 : P(T < 11,07) = 0,95. Puisque 3,44 < 11,07, on ne peut pas rejeter l'hypothèse nulle : ces données statistiques ne permettent pas de considérer que le dé est truqué.

Par contre, supposons que notre expérience donne le tirage suivant :

Dans ce cas, la variable T définie précédemment vaut : ${\displaystyle {\frac {(89-100)^{2}}{100}}+{\frac {(131-100)^{2}}{100}}+{\frac {(93-100)^{2}}{100}}+{\frac {(92-100)^{2}}{100}}+{\frac {(104-100)^{2}}{100}}+{\frac {(91-100)^{2}}{100}}=12,\!92}$.

Puisque 12,92 > 11,07, on peut cette fois rejeter l'hypothèse nulle : ces données statistiques permettent de considérer que le dé est truqué.

On considère une variable aléatoire Y prenant des valeurs entières positives ou nulles. Un échantillonnage de 100 valeurs de cette variable se répartit comme suit :

On souhaite tester l'hypothèse selon laquelle Y suit une loi de Poisson, avec un risque α = 0,05. La valeur du paramètre de cette loi de Poisson est obtenue en calculant l'espérance empirique de Y, ce qui donne ici λ = 1,02. Ce paramètre étant ici l'objet d'une estimation, on diminuera le nombre de degré de liberté d'une unité. Les effectifs attendus pour une loi de Poisson de paramètre λ sont :

On regroupe les effectifs supérieurs ou égaux à 3 dans une même classe, ceux supérieurs à 4 étant trop petits. La variable T prend alors la valeur 2,97. Or, la loi du χ² à deux degrés de liberté donne P(T < 5,99) = 0,95. Donc, on ne rejette pas l'hypothèse que la variable aléatoire Y suive une loi de Poisson, au risque d'erreur de 5 %.

On considère ici deux variables aléatoires X et Y et on souhaite tester le fait que ces deux variables sont indépendantes. Par exemple, X désigne une catégorie de population (salarié, employé, agriculteur, cadre supérieur, chômeur...) et Y un critère particulier (par exemple, le revenu réparti dans diverses tranches). L'hypothèse à tester est l'indépendance entre la population d'appartenance X de l'individu et la valeur Y du critère. L'hypothèse affirme donc que le fait de connaître la catégorie de population d'un individu n'influence pas la valeur des critères.

X et Y sont censées prendre un nombre fini de valeurs, I pour X, J pour Y. On dispose d'un échantillonnage de N données. Notons O_ij l'effectif observé de données pour lesquelles X prend la valeur i et Y la valeur j. Sous l'hypothèse d'indépendance, on s'attend à une valeur espérée E_ij définie comme suit :

${\displaystyle E_{ij}={\frac {O_{i+}\times O_{+j}}{N}}}$

où

${\displaystyle O_{i+}=\sum _{j=1}^{J}{O_{ij}}}$ (nombre de données pour lesquelles X = i)

et

${\displaystyle O_{+j}=\sum _{i=1}^{I}{O_{ij}}}$ (nombre de données pour lesquelles Y = j)

On calcule la distance entre les valeurs observées O_ij (ou valeurs empiriques) et les valeurs attendues s'il y avait indépendance E_ij (ou valeurs théoriques) au moyen de la formule :

${\displaystyle T=\sum _{i,j}{\frac {(O_{ij}-E_{ij})^{2}}{E_{ij}}}}$

On montre que la loi de T suit asymptotiquement une loi du χ² à (I – 1)(J – 1) degrés de liberté.

Le test d’indépendance du tableau de I × J cases équivaut au test d’adéquation à une loi multinomiale de probabilités Ep_ij estimées par p_ij = E_ij/N = p_i+ p_+j selon H₀, ce qui demande donc d’estimer I – 1 valeurs parmi p₁₊, ..., p_I+ (la I^e est forcée par ${\displaystyle \textstyle \sum _{i=1}^{I}p_{i+}=1}$) et J – 1 valeurs parmi p₊₁, ..., p_+J (la J^e est forcée par ${\displaystyle \textstyle \sum _{j=1}^{J}p_{+j}=1}$). On a donc au départ I × J – 1 degrés de liberté pour remplir les I × J cases du tableau, valeur de laquelle il faut retrancher les (I – 1) + (J – 1) estimations de paramètres (voir dernier paragraphe de la section #Cas général ci-dessus), ce qui donne un nombre total de degrés de liberté de (I × J – 1) – (I – 1) – (J – 1) = I × J – I – J + 1 = (I – 1)(J – 1)[7].

Considérons par exemple deux variables X et Y, X prenant les valeurs A ou B et Y prenant les valeurs entières de 1 à 4. Les lois de A et de B sont-elles différentes ? Une représentation sur une table de contingence des occurrences des variables permet d'illustrer la question.

Dans cet exemple, on remarque que les effectifs de B sont supérieurs à ceux de A dans les classes de faible valeur Y, et inférieur dans celles à haute valeur Y. Cette différence (c’est-à-dire cette dépendance entre les variables) est-elle statistiquement significative ? Le test du χ² aide à répondre à cette question.

On a ici I = 2 et J = 4, donc la loi du χ² utilisée aura trois degrés de liberté. Si on se donne un risque de se tromper (rejeter à tort l'hypothèse nulle) égal à 5 %, la valeur critique trouvée dans les tables est 7,81. Le calcul de la variable T donne comme résultat 2,42. Étant inférieure à la distance critique (7,81), les données recueillies ne permettent pas de remettre en cause l'indépendance de X et de Y, c'est-à-dire le fait que la répartition des valeurs de Y ne dépend pas de la valeur de X, avec un risque de se tromper égal à 5 %.

Plusieurs auteurs proposent des critères pour savoir si un test est valide, voir par exemple [PDF] The Power of Categorical Goodness-Of-Fit Test Statistics p. 19 (p. 11 du ch. 2), Michael C. Steele. On utilise en général le critère de Cochran de 1954 selon lequel toutes les classes i, j doivent avoir une valeur théorique non nulle (E _{i, j} ≥ 1), et que 80 % des classes doivent avoir une valeur théorique supérieure ou égale à 5 :

${\displaystyle E_{i,j}\geqslant 5}$

Lorsque le nombre de classes est petit, cela revient à dire que toutes les classes doivent contenir un effectif théorique supérieur ou égal à 5.

D'autres valeurs ont été proposées pour l'effectif théorique minimal : 5 ou 10 pour tous (Cochran, 1952), 10 (Cramér, 1946) ou 20 (Kendall, 1952). Dans tous les cas, ces valeurs sont arbitraires.

Certains auteurs ont proposé des critères basés sur des simulations, par exemple :

• effectif théorique supérieur à 5r/k pour chaque classe, où r est le nombre de classes ayant un effectif supérieur ou égal à 5 et k est le nombre de catégories (Yarnold, 1970) ;
• N²/k ≥ 10, où N est l'effectif total et k est toujours le nombre de catégories (Koehler et Larntz, 1980) ;
• des recommandations plus récentes se trouvent, par exemple, dans P. Greenwood et M. Nikulin, A Guide to Chi-Squared Testing, (1996), John Wiley and Sons.

Il s'agit du test du χ² le plus communément utilisé.

Une fois la corrélation entre deux variables établie, on peut utiliser le coefficient V de Cramer afin de mesurer l'intensité de la corrélation[8] :

${\displaystyle V={\sqrt {\frac {T}{N\times (\min(I,J)-1)}}}}$

Il est compris entre 0 et 1 : V = 0 si et seulement si on est en cas d'indépendance parfaite ; plus V est proche de 1, plus la corrélation est forte.

Le développement des méthodes bayésiennes – seules utilisables lorsqu'on n'a que peu de données sous la main – a dégagé un test de vraisemblance nommé le psi-test, dont Myron Tribus fait remarquer qu'il devient asymptotiquement identique au χ² à mesure que le nombre de données augmente[9]. Le test du rapport de vraisemblance est donc un test asymptotique qui devient identique au χ². Il teste s'il existe des preuves de la nécessité de passer d'un modèle simple à un modèle plus complexe (autrement dit si le modèle simple est imbriquée dans un modèle plus complexe).

Il s'agit d'un test exact qui peut s'apparenter à un test du χ².

L'utilisation de la loi du χ² pour interpréter un test du χ² de Pearson nécessite de supposer que la loi discrète des fréquences binomiales peut être estimée par la loi continue du χ². Cette hypothèse n'est pas tout à fait correcte et introduit une erreur.

Pour réduire l'erreur d'approximation, Frank Yates a suggéré une correction pour la continuité qui modifie légèrement la formule du test du χ² de Pearson en soustrayant 0,5 de la différence entre chaque valeur observée et sa valeur attendue dans un tableau de contingence 2x2. Ceci réduit la valeur du χ² obtenue et augmente ainsi sa valeur p.

• Test du χ² de Cochran-Mantel-Haenszel
• Test de McNemar
• Test d'additivité de Tukey
• Test du porte-manteau

• (en) Colin Cameron et Pravin Trivedi, Microeconometrics : Methods And Applications, Cambridge University Press, 2005, 1056 p. (ISBN 978-0-521-84805-3, lire en ligne).
• (en) P. E. Greenwood et M. S. Nikulin, A Guide to Chi-Squared Testing, John Wiley & Sons, 1996.

• Loi du χ²
• Valeur p

• Module 6 : Deux variables sont-elles liées ? [PDF], lms.fun-mooc.fr, « Capsule 2 : Le khi2 calculé et son interprétation ».
• Document d'introduction au test du χ²
• Notices d'autorité :

  • LCCN
  • Israël