Chi-2 ou test de Fisher : lequel choisir et comment l'interpréter ?
Dès qu'on croise deux variables qualitatives — un statut et un groupe, un symptôme et un traitement — la question tombe : chi-2 ou test exact de Fisher ? La réponse tient à une seule condition, souvent mal comprise. Voici comment trancher, comment lire le résultat sans se tromper, et les pièges qui font tiquer un jury.
De quoi parle-t-on ? Le tableau de contingence
Comparer deux variables qualitatives (des catégories : oui/non, malade/sain, groupe A/B), c'est se demander si elles sont liées ou indépendantes. On commence toujours par les croiser dans un tableau de contingence : les modalités d'une variable en lignes, celles de l'autre en colonnes, et dans chaque case l'effectif correspondant.
En clair — un tableau de contingence, c'est juste un comptage croisé. Exemple : « combien de vaccinés et de non-vaccinés, parmi les diplômés du supérieur et les autres ? ». La question du test : la répartition est-elle la même dans les deux groupes, ou non ?
Le test du chi-2 : ce qu'il compare vraiment
Le test du chi-deux d'indépendance compare les effectifs observés dans votre tableau aux effectifs attendus si les deux variables étaient parfaitement indépendantes. Plus l'écart entre observé et attendu est grand, plus la statistique du chi-2 est élevée, et plus le lien est jugé improbable sous l'hypothèse d'indépendance.
En clair — l'« effectif attendu » d'une case, c'est ce qu'on devrait y trouver s'il n'y avait aucun lien (juste les proportions générales appliquées à chaque groupe). Le test mesure à quel point la réalité s'en écarte.
Condition d'application : les effectifs attendus doivent être suffisants — règle usuelle, tous ≥ 5, ou au plus 20 % des cases entre 1 et 5. Attention : c'est l'effectif attendu qui compte, pas l'observé. Une case observée à 2 n'est pas forcément un problème ; une case attendue à 2, oui.
Quand passer au test exact de Fisher
Si cette condition n'est pas respectée (petits échantillons, cases attendues faibles), le chi-2 devient peu fiable : on utilise alors le test exact de Fisher. Comme son nom l'indique, il calcule la probabilité exacte d'observer une répartition au moins aussi déséquilibrée, sans approximation.
En clair — Fisher est le « plan sûr » des petits effectifs. Historiquement réservé aux tableaux 2×2, il s'étend aux tableaux plus grands (extension de Freeman-Halton). En cas de doute sur la taille, le choisir n'est jamais une faute.
Une nuance que connaissent les jurys exigeants : le test de Fisher est exact, mais réputé conservateur — en conditionnant sur les marges fixées, il rend ses p légèrement trop prudents. Sans conséquence sur de petits effectifs ; mais sur de grands tableaux, ce conservatisme fait parfois préférer un chi-2 ou un test du rapport de vraisemblance.
Trois cas particuliers à connaître
- Correction de Yates (continuité) sur les tableaux 2×2 : longtemps automatique, elle est aujourd'hui jugée trop conservatrice par beaucoup ; sur petits effectifs, préférez directement Fisher plutôt que « chi-2 corrigé ».
- Test de McNemar pour des données appariées (mêmes sujets, deux temps ou deux examinateurs) : le chi-2 d'indépendance y est inadapté.
- Test de Cochran-Armitage lorsqu'une des variables est ordinale (dose faible/moyenne/forte) : il teste une tendance, plus puissant qu'un chi-2 qui ignorerait l'ordre des catégories.
Interpréter le résultat sans se tromper
Un p < 0,05 dit qu'un lien existe, pas qu'il est fort. Reportez systématiquement une taille d'effet :
- Tableau 2×2 : le phi (φ — égal au V de Cramér pour un 2×2) ou, plus parlant en santé, l'odds ratio. Préférez l'OR : il indique le sens du lien et, contrairement au φ, ne dépend pas des effectifs marginaux.
- Tableau plus grand : le V de Cramér (de 0 = aucun lien à 1 = lien parfait).
Pour savoir quelles cases portent l'association, examinez les résidus standardisés : une case dont le résidu dépasse ±2 contribue fortement à l'écart à l'indépendance. Sur un grand tableau, ce seuil ±2 multiplie les faux positifs : préférez alors les résidus standardisés ajustés (de Haberman), idéalement avec une correction de Bonferroni sur le nombre de cases — par cohérence avec le principe « plusieurs comparaisons = correction ».
En clair — l'odds ratio répond à : « dans le groupe A, l'événement est-il combien de fois plus (ou moins) probable que dans le groupe B ? ». OR = 1 : aucun lien ; OR > 1 : plus fréquent ; OR < 1 : moins fréquent.
Les pièges qui coûtent cher devant un jury
Conclure « lien fort » à partir d'un petit p. Sur un grand échantillon, un lien minuscule devient « significatif ». Sans taille d'effet (φ, V de Cramér, OR), la conclusion est incomplète.
- Confondre observé et attendu pour la règle des effectifs : c'est l'attendu qui décide chi-2 vs Fisher.
- Faire un chi-2 sur des données appariées : utilisez McNemar.
- Découper un grand tableau en multiples 2×2 sans correction : chaque test ajoute du risque de faux positif (voir Bonferroni, Holm, FDR).
- Oublier le sens du lien : le chi-2 dit « il y a un lien », pas « dans quel sens ». L'OR et les résidus le précisent.
En résumé
Croisez vos deux variables qualitatives dans un tableau de contingence, regardez les effectifs attendus : s'ils sont suffisants, chi-2 ; sinon, Fisher. Puis ne vous arrêtez jamais au p : ajoutez la taille d'effet (OR ou V de Cramér) et le sens du lien. C'est cette interprétation complète — pas le seul « significatif » — qui convainc un jury.