Kappa de Fleiss

Le kappa de Fleiss est une généralisation de la statistique du Pi de Scott, Scott, W. (1955)[1], une mesure statistique de concordance[2]. Il est également lié à l'indicateur kappa de Cohen. Mais tandis que le Pi de Scott et le kappa de Cohen fonctionnent pour seulement deux observateurs, le kappa de Fleiss fonctionne pour n'importe quel nombre d'observateurs donnant une classification nominale, à un nombre fixe d'éléments. Il peut être interprété comme exprimant à quel point la valeur de concordance observée parmi les observateurs dépasse ce qui aurait pu être attendu si tous les observateurs avaient fait leur classification totalement au hasard. Il est important de noter que tandis que le kappa de Cohen considère que les deux mêmes observateurs classent un ensemble d'éléments, le kappa de Fleiss considère spécifiquement que bien qu'il y ait un nombre fixe d'observateurs (par exemple 3) par élément, les observateurs classant chaque élément sont sélectionnés aléatoirement (Fleiss, 1971, p. 378). Cela signifie que l'élément 1 est classé par les Observateurs A, B et C; mais l'élément 2 pourrait être classé par les Observateurs D, E et F. A fortiori, les éléments ne peuvent pas avoir tous été classifiés par exactement les mêmes sujets[3]. La concordance peut être considérée comme suit, si un nombre fixe de personnes assigne des classes numériques à un nombre d'éléments, alors le kappa va donner une mesure de la fiabilité de la classification. Kappa, ${\displaystyle \kappa \,}$, peut être défini comme,

(1)

${\displaystyle \kappa ={\frac {{\bar {P}}-{\bar {P_{e}}}}{1-{\bar {P_{e}}}}}}$

Le facteur ${\displaystyle 1-{\bar {P_{e}}}}$ donne le degré de concordance qui est réalisable au-delà du hasard, et, ${\displaystyle {\bar {P}}-{\bar {P_{e}}}}$ donne le degré de concordance réellement atteint au-dessus du hasard, si les observateurs sont en accord complet, alors ${\displaystyle \kappa =1~}$. S'il n'y a pas de concordance parmi les observateurs (autre que ce qui aurait pu être atteint par hasard) alors ${\displaystyle \kappa \leq 0}$.

Un exemple d'utilisation du Kappa de Fleiss peut être le suivant: Considérons qu'un groupe de m psychiatres (avec m>14) doivent observer 10 patients. Pour chacun des patients 14 des psychiatres donne un des cinq diagnostics possibles. Le kappa de Fleiss peut être calculé par la matrice (voir l'exemple ci-dessous) pour montrer le degré de concordance entre les psychiatres au-dessus du niveau de concordance attendu si réalisé au hasard.

Soit N le nombre total de sujets, soit n le nombre de classification par sujet, et soit k le nombre de catégorie dans laquelle les attributions sont faites. Les sujets sont indexés par i = 1, ... N les catégories sont indexées par j = 1, ... k. Soit n_ij qui représente le nombre d'observateurs qui attribuent le i-ème sujet à la j-ème catégorie.

Calculons d'abord p_j, la proportion de toutes les attributions à la j-ème catégorie:

(2)

${\displaystyle p_{j}={\frac {1}{Nn}}\sum _{i=1}^{N}n_{ij},\quad \quad 1=\sum _{j=1}^{k}p_{j}}$

Calculons maintenant ${\displaystyle P_{i}\,}$, qui représente à quel point les observateurs sont d'accord entre eux pour le i-ème sujet (c-à-d, combien d'observateurs--paires d'observateurs sont en accord comparativement au nombre total de l'ensemble des paires observateur-observateur possibles):

(3)

${\displaystyle P_{i}={\frac {1}{n(n-1)}}\sum _{j=1}^{k}n_{ij}(n_{ij}-1)}$

${\displaystyle ={\frac {1}{n(n-1)}}\sum _{j=1}^{k}(n_{ij}^{2}-n_{ij})}$

${\displaystyle ={\frac {1}{n(n-1)}}[(\sum _{j=1}^{k}n_{ij}^{2})-(n)]}$

Maintenant calculons ${\displaystyle {\bar {P}}}$, la moyenne de ${\displaystyle P_{i}\,}$'s, et ${\displaystyle {\bar {P_{e}}}}$ utilisé dans la formule de ${\displaystyle \kappa \,}$:

(4)

${\displaystyle {\bar {P}}={\frac {1}{N}}\sum _{i=1}^{N}P_{i}}$

${\displaystyle ={\frac {1}{Nn(n-1)}}(\sum _{i=1}^{N}\sum _{j=1}^{k}n_{ij}^{2}-Nn)}$

(5)

${\displaystyle {\bar {P_{e}}}=\sum _{j=1}^{k}p_{j}^{2}}$

Tableau de valeurs pour implémenter l'exemple

	1	2	3	4	5	${\displaystyle P_{i}\,}$
1	0	0	0	0	14	1.000
2	0	2	6	4	2	0.253
3	0	0	3	5	6	0.308
4	0	3	9	2	0	0.440
5	2	2	8	1	1	0.330
6	7	7	0	0	0	0.462
7	3	2	6	3	0	0.242
8	2	5	3	2	2	0.176
9	6	5	2	1	0	0.286
10	0	2	2	3	7	0.286
Total	20	28	39	21	32
${\displaystyle p_{j}\,}$	0.143	0.200	0.279	0.150	0.229

Dans l'exemple suivant, 10 "sujets" (${\displaystyle N}$) se voient attribuer chacun par 14 observateurs (${\displaystyle n}$) un total de 5 catégories (${\displaystyle k}$). Les catégories sont reprises dans les colonnes, tandis que les sujets sont présentés dans les lignes. Chaque case donne le nombre d'observateurs qui sont d'accord sur le fait qu'un sujet appartienne à une certaine catégorie.

Landis et Koch (1977) ont donné le tableau suivant pour interpréter la valeur de ${\displaystyle \kappa }$[4]. Cependant ce tableau n'est "en aucun cas universellement accepté. Il ne donne aucune preuve de soutenir cela, se basant plutôt sur des opinions personnelles. Il a été remarqué que ces lignes directrices pourraient être plus dangereuses qu'aidantes[5], puisque le nombre de catégories et de sujets vont affecter l'importance de la valeur. Le kappa va être supérieur quand il y a moins de catégories[6].

${\displaystyle \kappa }$	Interprétation
< 0	Pauvre concordance
0.01 – 0.20	Faible concordance
0.21 – 0.40	Légère concordance
0.41 – 0.60	Concordance moyenne
0.61 – 0.80	Concordance importante
0.81 – 1.00	Concordance presque parfaite

• Fleiss, J. L. and Cohen, J. (1973) "The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability" in Educational and Psychological Measurement, Vol. 33 p. 613–619
• Fleiss, J. L. (1981) Statistical methods for rates and proportions. 2nd ed. (New York: John Wiley) p. 38–46
• Gwet, K. L. (2008) "Computing inter-rater reliability and its variance in the presence of high agreement", British Journal of Mathematical and Statistical Psychology, Vol. 61, p. 29–48
• Gwet, K. L. (2010) Handbook of Inter-Rater Reliability (2^d Edition). (Gaithersburg : Advanced Analytics, LLC) (ISBN 978-0-9708062-2-2)

• Kappa: Pros and Cons contient une bonne bibliographie d'articles sur les coefficients.
• Online Kappa Calculator calcule les variations du kappa de Fleiss
• Online inter-rater agreement calculator inclus Fleiss' kappa.