Test GRIM

Le test GRIM est un test direct. Pour chaque moyenne rapportée dans un article, la taille de l'échantillon (N) est trouvé, et toutes les fractions avec le dénominateur N sont calculées. La moyenne rapportée dans l'article est ensuite recherchée dans cette liste (en prenant garde au fait que les valeurs ont pu être arrondies de manière inconsistante, par exemple une moyenne de 1.123 peut être rapportée comme 1.12 ou 1.13). Si la moyenne n'est pas dans cette liste, elle est indiquée comme mathématiquement impossible[2] - [3].

Considérons une expérience dans laquelle un dé non pipé est lancé 20 fois. Chaque lancé produit un nombre entier entre 1 et 6, et l'espérance moyenne hypothétique est 3.5. Les résultats des lancés sont ensuite agrégés en une moyenne, et la moyenne est rapportée comme 3.48. Ce résultat est proche de la valeur hypothétique, et apparaît donc comme supportant l'hypothèse. Cependant, un test GRIM révèle que la moyenne rapportée est impossible, un résultat issu d'une division par 20 et écrit avec deux décimales doit être sous une forme X.X0 ou X.X5 : il n'est pas possible de produire un résultat qui finit par X.X8[4].

Si des données échouent au test GRIM, cela ne signifie pas qu'il y ait eu manipulation. Les erreurs dans les rapports de moyennes peuvent provenir d'une erreur de résultat de la part du testeur, d'une erreur typographique, d'une erreur de calcul ou de programmation, ou d'une erreur dans le rapport de la taille de l'échantillon (n)[2]. Cependant, cela peut être le signe que des données ont été exclues de manière inopportune ou que la moyenne a été inventée illégitimement pour faire apparaître des résultats comme plus significatifs qu'ils ne le sont. La localisation des erreurs peut être une indication de la cause sous-jacente : une moyenne impossible isolée peut être causée par une erreur innocente, des valeurs impossibles multiples dans la même ligne indiquent un taux de réponse pauvre, et de multiples valeurs impossibles dans la même colonne indiquent que la taille de l'échantillon rapportée est incorrecte. Des erreurs multiples disséminées dans l'ensemble de la table de données peut être un signe de problèmes plus profonds et d'autres tests statistiques peuvent être utilisés pour analyser les données suspectes[5]. Le test GRIM marche mieux quand le jeu de donnée possède : une taille d'échantillon relativement faible, un nombre de sous-composants dans les mesures composites relativement faibles également, et que la moyenne est rapportée avec plusieurs décimales[2]. Dans certains cas, une moyenne valide peut apparaître comme ayant raté le test si les données entrées ne sont pas discrétisées comme prévu - par exemple, s'il est demandé à des participants d'indiquer le nombre de parts de pizza mangées dans un buffet, certains peuvent répondre trois et demi au lieu d'un nombre entier comme prévu[5].

Brown et Heathers ont appliqué le test à 260 articles publiés dans Psychological Science, Journal of Experimental Psychology: General, et Journal of Personality and Social Psychology. Parmi ces articles, 71 ont été exploitables par GRIM, 36 possèdent au moins une valeur impossible, 16 contiennent de multiples valeurs impossibles[3]. Le test GRIM a joué un rôle important dans la révélation des erreurs dans les publications par le laboratoire Food and Brand de l'Université Cornell sous Brian Wansik. Le test GRIM a révélé qu'une série d'articles sur les effets du prix sur la consommation des buffets de pizza à volonté contient de nombreuses moyennes impossibles - des analyses approfondies des données brutes ont révélé que dans de nombreux cas, les tailles d'échantillon ont été incorrectement déclarées et les valeurs incorrectement calculées[1] - [5].

• Online GRIM test calculator