Accueil🇫🇷Chercher

Kappa de Fleiss

Kappa de Fleiss (nommé d'après Joseph L. Fleiss) est une mesure statistique qui évalue la concordance lors de l'assignation qualitative d'objets au sein de catégories pour un certain nombre d'observateurs. Cela contraste avec d'autres kappas tel que le Kappa de Cohen, qui ne fonctionne que pour évaluer la concordance entre deux observateurs. La mesure calcule le degré de concordance de la classification par rapport à ce qui pourrait être attendu si elle était faite au hasard. Il n'y a pas de mesure significative convenue, bien que certaines lignes directrices aient été données.

Le Kappa de Fleiss peut être utilisé pour la classification binaire ou nominale. Il n'y a pas de version disponible pour les classifications de type ordonnée telles que celle de Likert.

Introduction

Le kappa de Fleiss est une généralisation de la statistique du Pi de Scott, Scott, W. (1955)[1], une mesure statistique de concordance[2]. Il est également lié à l'indicateur kappa de Cohen. Mais tandis que le Pi de Scott et le kappa de Cohen fonctionnent pour seulement deux observateurs, le kappa de Fleiss fonctionne pour n'importe quel nombre d'observateurs donnant une classification nominale, à un nombre fixe d'éléments. Il peut être interprété comme exprimant à quel point la valeur de concordance observée parmi les observateurs dépasse ce qui aurait pu être attendu si tous les observateurs avaient fait leur classification totalement au hasard. Il est important de noter que tandis que le kappa de Cohen considère que les deux mêmes observateurs classent un ensemble d'éléments, le kappa de Fleiss considère spécifiquement que bien qu'il y ait un nombre fixe d'observateurs (par exemple 3) par élément, les observateurs classant chaque élément sont sélectionnés aléatoirement (Fleiss, 1971, p. 378). Cela signifie que l'élément 1 est classé par les Observateurs A, B et C; mais l'élément 2 pourrait être classé par les Observateurs D, E et F. A fortiori, les éléments ne peuvent pas avoir tous été classifiés par exactement les mêmes sujets[3]. La concordance peut être considérée comme suit, si un nombre fixe de personnes assigne des classes numériques à un nombre d'éléments, alors le kappa va donner une mesure de la fiabilité de la classification. Kappa, , peut être défini comme,

(1)

Le facteur donne le degré de concordance qui est réalisable au-delà du hasard, et, donne le degré de concordance réellement atteint au-dessus du hasard, si les observateurs sont en accord complet, alors . S'il n'y a pas de concordance parmi les observateurs (autre que ce qui aurait pu être atteint par hasard) alors .

Un exemple d'utilisation du Kappa de Fleiss peut être le suivant: Considérons qu'un groupe de m psychiatres (avec m>14) doivent observer 10 patients. Pour chacun des patients 14 des psychiatres donne un des cinq diagnostics possibles. Le kappa de Fleiss peut être calculé par la matrice (voir l'exemple ci-dessous) pour montrer le degré de concordance entre les psychiatres au-dessus du niveau de concordance attendu si réalisé au hasard.

Équations

Soit N le nombre total de sujets, soit n le nombre de classification par sujet, et soit k le nombre de catégorie dans laquelle les attributions sont faites. Les sujets sont indexés par i = 1, ... N les catégories sont indexées par j = 1, ... k. Soit nij qui représente le nombre d'observateurs qui attribuent le i-ème sujet à la j-ème catégorie.

Calculons d'abord pj, la proportion de toutes les attributions à la j-ème catégorie:

(2)

Calculons maintenant , qui représente à quel point les observateurs sont d'accord entre eux pour le i-ème sujet (c-à-d, combien d'observateurs--paires d'observateurs sont en accord comparativement au nombre total de l'ensemble des paires observateur-observateur possibles):

(3)

Maintenant calculons , la moyenne de 's, et utilisé dans la formule de :

(4)

(5)

Exemple d'utilisation

12345
10000141.000
2026420.253
3003560.308
4039200.440
5228110.330
6770000.462
7326300.242
8253220.176
9652100.286
10022370.286
Total2028392132
0.1430.2000.2790.1500.229
Tableau de valeurs pour implémenter l'exemple

Dans l'exemple suivant, 10 "sujets" () se voient attribuer chacun par 14 observateurs () un total de 5 catégories (). Les catégories sont reprises dans les colonnes, tandis que les sujets sont présentés dans les lignes. Chaque case donne le nombre d'observateurs qui sont d'accord sur le fait qu'un sujet appartienne à une certaine catégorie.

Données

Voir le tableau à droite.

= 10, = 14, = 5

Somme des cases = 140
Somme de = 3.780

Calculs

Par exemple, en prenant la première colonne,

Et en prenant la seconde ligne,

Pour calculer , nous devons connaitre ,

À travers l'ensemble de la page,

Interprétation

Landis et Koch (1977) ont donné le tableau suivant pour interpréter la valeur de [4]. Cependant ce tableau n'est "en aucun cas universellement accepté. Il ne donne aucune preuve de soutenir cela, se basant plutôt sur des opinions personnelles. Il a été remarqué que ces lignes directrices pourraient être plus dangereuses qu'aidantes[5], puisque le nombre de catégories et de sujets vont affecter l'importance de la valeur. Le kappa va être supérieur quand il y a moins de catégories[6].

Interprétation
< 0Pauvre concordance
0.01 – 0.20Faible concordance
0.21 – 0.40Légère concordance
0.41 – 0.60Concordance moyenne
0.61 – 0.80Concordance importante
0.81 – 1.00Concordance presque parfaite

Notes et références

  1. "Reliability of content analysis: The case of nominal scale coding." Public Opinion Quarterly, Vol. 19, No. 3, p. 321–325
  2. Fleiss, J. L. (1971) "Measuring nominal scale agreement among many raters." Psychological Bulletin, Vol. 76, No. 5 p. 378–382
  3. Kevin A. Hallgren, « Computing Inter-Rater Reliability for Observational Data: An Overview and Tutorial », Tutorials in Quantitative Methods for Psychology, vol. 8,‎ , p. 23–34
  4. Landis, J. R. and Koch, G. G. (1977) "The measurement of observer agreement for categorical data" in Biometrics. Vol. 33, p. 159–174
  5. Gwet, K. (2001) Statistical Tables for Inter-Rater Agreement. (Gaithersburg : StatAxis Publishing)
  6. Sim, J. and Wright, C. C. (2005) "The Kappa Statistic in Reliability Studies: Use, Interpretation, and Sample Size Requirements" in Physical Therapy. Vol. 85, No. 3, p. 257–268

Lectures approfondies

  • Fleiss, J. L. and Cohen, J. (1973) "The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability" in Educational and Psychological Measurement, Vol. 33 p. 613–619
  • Fleiss, J. L. (1981) Statistical methods for rates and proportions. 2nd ed. (New York: John Wiley) p. 38–46
  • Gwet, K. L. (2008) "Computing inter-rater reliability and its variance in the presence of high agreement", British Journal of Mathematical and Statistical Psychology, Vol. 61, p. 29–48
  • Gwet, K. L. (2010) Handbook of Inter-Rater Reliability (2d Edition). (Gaithersburg : Advanced Analytics, LLC) (ISBN 978-0-9708062-2-2)

Liens externes

Cet article est issu de wikipedia. Text licence: CC BY-SA 4.0, Des conditions supplémentaires peuvent s’appliquer aux fichiers multimédias.