Les deux erreurs et le risque α
Un test peut-il se tromper ? Oui, de deux façons. Lesquelles, et à quoi sert ce fameux α que j'écris dans chaque conclusion ?
- Définir l'erreur de type I (faux positif) et l'erreur de type II (faux négatif)
- Remplir le tableau décision × réalité pour n'importe quelle situation
- Expliquer ce qu'est α, le seuil de signification, et comment le choisir
- Comprendre pourquoi on ne peut pas réduire α et β en même temps
- Relier α au niveau de confiance d'un intervalle (1 − α)
Un test ne prouve jamais rien : il décide à partir d'un échantillon, donc il peut se tromper. Cette leçon met un nom sur ces erreurs, et elle explique d'où vient le « 5 % » de chaque conclusion : c'est le risque α, et c'est toi qui le choisis. À l'examen, on te demande de définir l'erreur de type I et α : après cette leçon, tu sauras le faire avec tes mots.
1Ce que tu sais déjà
Un test oppose H0 (le statu quo, présumé vrai) à H1 (ce qu'on veut montrer). On décide ensuite : reject H0 si l'échantillon est loin de H0, fail to reject H0 sinon (leçon 1).
Mais l'échantillon peut nous jouer des tours. Au mariage, si tu interroges par hasard la table des enfants, ta moyenne d'âge sera très loin de la vraie, et tu rejetteras H0 à tort. Ce n'est pas une faute de calcul : c'est le hasard du tirage. Aucun test n'y échappe.
2L'idée : le test de grossesse d'Anna
C'est l'exemple du professeur. Ton entreprise fabrique des tests de grossesse, et Anna en utilise un. Anna est enceinte ou ne l'est pas : on ne peut pas être « à moitié » enceinte.
- H0 : Anna n'est pas enceinte (c'est la situation par défaut, le statu quo) ;
- H1 : Anna est enceinte.
Le test mesure un taux d'hormones. Au-dessus d'un certain seuil, il affiche « enceinte » (on rejette H0) ; en dessous, « pas enceinte » (on ne rejette pas H0). Problème : la biologie n'est pas parfaite. Une femme enceinte peut avoir un taux faible, et une femme non enceinte un taux élevé. Le test peut donc se tromper, de deux façons très différentes.
Le faux positif
Anna n'est pas enceinte, mais le test affiche « enceinte ». C'est une fausse alerte : on a rejeté H0 alors qu'elle était vraie.
Le faux négatif
Anna est enceinte, mais le test affiche « pas enceinte ». On est passé à côté : on n'a pas rejeté H0 alors que H1 était vraie.
Un test peut se tromper de deux façons : crier au loup alors qu'il n'y a pas de loup (faux positif, erreur de type I) ou ne pas voir le loup qui est là (faux négatif, erreur de type II).
On ne peut jamais supprimer ces deux risques. Mais on peut choisir le niveau du premier : c'est α.
3Le tableau décision × réalité
On croise ce que dit le test (la décision, qu'on connaît) avec ce qui est vrai dans la réalité (qu'on ne connaît pas). Quatre cas possibles : deux bons, deux erreurs.
| Décision du test | Réalité : H0 vraie (Anna n'est pas enceinte) | Réalité : H1 vraie (Anna est enceinte) |
|---|---|---|
| Ne pas rejeter H0 le test dit « pas enceinte » | ✓ Bonne décision probabilité 1 − α | ✗ Erreur de type II faux négatif probabilité β |
| Rejeter H0 le test dit « enceinte » | ✗ Erreur de type I faux positif probabilité α | ✓ Bonne décision probabilité 1 − β (la puissance) |
La barre « | » se lit « sachant que ».
\(\alpha\) : probabilité de conclure H1 alors que H0 est vraie (faux positif).
\(\beta\) : probabilité de garder H0 alors que H1 est vraie (faux négatif).
- Erreur de type I : rejeter H0 alors qu'elle est vraie. Probabilité α.
- Erreur de type II : ne pas rejeter H0 alors qu'elle est fausse. Probabilité β.
- Puissance (power) = 1 − β : la probabilité de détecter H1 quand elle est vraie. On la veut grande (proche de 1), ce qui revient à vouloir β petit.
Astuce : une erreur de type I n'est possible que si tu rejettes H0 ; une erreur de type II, que si tu ne la rejettes pas.
Pourquoi ne calcule-t-on jamais β ?
Ce semestre, on ne travaille que sur α : β et la puissance ne sont pas au programme de l'examen. La raison donnée par le professeur : pour calculer β, il faudrait connaître la vraie valeur dans la population (savoir « à quel point » H0 est fausse). Or, par définition, on ne la connaît pas. Retiens seulement l'idée : on veut β petit, donc une puissance grande.
4α, le seuil de signification
α (alpha) est la probabilité de commettre une erreur de type I. On l'appelle le seuil de signification, ou « risque α ». Et voici le point clé : c'est toi qui le choisis, avant de regarder les données (étape 5 des 8 étapes).
Comment le choix de α se traduit-il ? Par l'emplacement des bornes. Reprends le mariage : si H0 est vraie (µ = 30), la plupart des échantillons tombent près de 30… mais pas tous. Une petite part tombe quand même au-delà des bornes, par pur hasard. Pour ces échantillons-là, on rejettera H0 à tort. Cette part, c'est exactement α. Sur le schéma ci-dessous, les bornes 26 et 34 sont placées pour que α = 5 %.
Quelle valeur choisir ?
| α | Quand ? | Exemples |
|---|---|---|
| 5 % | Le choix courant, quand l'enjeu n'a rien de critique. | L'âge moyen au mariage, le panier moyen, la satisfaction client. |
| 1 % (ou moins) | Quand une fausse alerte (rejeter H0 à tort) serait grave ou très coûteuse. | Industrie alimentaire, aéronautique, médicaments. |
| 10 % (plus rare) | Étude exploratoire, où l'on accepte davantage de fausses alertes. | Un premier sondage marketing. |
Pour le mariage, le professeur le dit simplement : le sujet n'a rien de critique, donc α = 5 % est un choix raisonnable. Plus les conséquences d'un faux positif sont graves, plus on choisit un α petit.
5Le compromis entre α et β
Alors pourquoi ne pas prendre α = 0,0001 % pour ne jamais se tromper ? Parce que les deux erreurs sont liées. Reprends le test de grossesse : le fabricant peut régler le seuil d'hormones à partir duquel le test affiche « enceinte ».
- Seuil bas : le test « sonne » facilement. Il détecte presque toutes les grossesses (β petit)… mais il donne plus de fausses alertes (α plus grand).
- Seuil haut : le test est prudent. Peu de fausses alertes (α petit)… mais il rate plus de grossesses (β plus grand).
À taille d'échantillon fixée, diminuer α fait augmenter β, et inversement.
Le seul moyen de réduire les deux à la fois : un échantillon plus grand (plus de données, donc moins de place pour le hasard)… qui coûte plus cher.
C'est le dilemme du contrôle qualité vu en cours : tester des jouets coûte cher (il faut ouvrir l'emballage, essayer le jouet…). Plus l'échantillon est petit, moins c'est cher, mais plus on risque de ne pas détecter un lot qui contient trop de jouets défectueux.
6α et l'intervalle de confiance : 1 − α
Tu as déjà croisé α au chapitre 2 sans le savoir : le niveau de confiance d'un intervalle vaut toujours 1 − α. Un intervalle à 95 % va avec α = 5 %, un intervalle à 99 % avec α = 1 %.
| Niveau de confiance de l'intervalle | α du test | Valeur critique (loi normale) |
|---|---|---|
| 90 % | 10 % | 1,645 |
| 95 % | 5 % | 1,96 |
| 99 % | 1 % | 2,576 |
Ce n'est pas une coïncidence : si H0 est vraie, 95 % des échantillons tombent entre les bornes, exactement comme 95 % des intervalles de confiance contiennent la vraie moyenne. On en tire une règle pratique pour un test bilatéral sur une moyenne : si la valeur testée µ₀ est en dehors de l'intervalle de confiance à 1 − α, on rejette H0 au seuil α ; si elle est dedans, on ne la rejette pas.
Dans SPSS : même test, deux exigences
SPSS ne te demande jamais α : c'est toi qui compares la p-value à α (leçon 3). En revanche, le niveau de l'intervalle de confiance se règle dans les options. Exemple réel sur BankMarketing (979 clients) : la durée moyenne du dernier appel est-elle différente de 240 secondes ? H0 : µ = 240 ; H1 : µ ≠ 240.
→ Test Variable : Duration → Test Value : 240 → Options… → Confidence Interval Percentage : 95 (puis 99) → Continue → OK.
One-Sample Statistics
| N | Mean | Std. Deviation | Std. Error Mean | |
|---|---|---|---|---|
| Duration | 979 | 257.730 | 251.551 | 8.040 |
One-Sample Test (Confidence Interval Percentage = 95)
| Test Value = 240 | |||||||
|---|---|---|---|---|---|---|---|
| t | df | Significance | Mean Difference | 95% Confidence Interval of the Difference | |||
| One-Sided p | Two-Sided p | Lower | Upper | ||||
| Duration | 2.205 | 978 | .014 | .028 1 | 17.730 | 1.953 | 33.507 2 |
One-Sample Test (Confidence Interval Percentage = 99)
| Test Value = 240 | |||||||
|---|---|---|---|---|---|---|---|
| t | df | Significance | Mean Difference | 99% Confidence Interval of the Difference | |||
| One-Sided p | Two-Sided p | Lower | Upper | ||||
| Duration | 2.205 | 978 | .014 | .028 | 17.730 | -3.019 | 38.479 3 |
- 1La p-value bilatérale vaut 0,028, quelle que soit l'option choisie. Avec α = 5 % : 0,028 < 0,05, on rejette H0. Avec α = 1 % : 0,028 > 0,01, on ne rejette pas H0. Mêmes données, même p-value : seule l'exigence a changé.
- 2L'intervalle à 95 % de l'écart à 240 s, [1,953 ; 33,507], ne contient pas 0 : cohérent avec le rejet de H0 à 5 %.
- 3L'intervalle à 99 %, [−3,019 ; 38,479], est plus large et contient 0 : cohérent avec le non-rejet à 1 %. On détaille la lecture de ces intervalles dans la leçon 5.
Selon le seuil choisi à l'étape 5 :
At a 5% level of significance: the p-value (0.028) is smaller than 0.05, so we reject H0. There is enough statistical evidence to say that the mean call duration differs from 240 seconds.
At a 1% level of significance: the p-value (0.028) is larger than 0.01, so we fail to reject H0. There is not enough statistical evidence, at a 1% risk level, to say that the mean call duration differs from 240 seconds.
7Quelle erreur est la plus grave ?
Tout dépend du contexte. Pour chaque situation, pose-toi deux questions : « qu'est-ce que ça coûte de crier au loup pour rien ? » et « qu'est-ce que ça coûte de rater le loup ? ».
| Situation et H0 | Erreur de type I (faux positif) | Erreur de type II (faux négatif) | La plus grave ? |
|---|---|---|---|
| Justice H0 : l'accusé est innocent | Condamner un innocent | Acquitter un coupable | Le type I : toute la justice est construite pour l'éviter (présomption d'innocence, preuve « au-delà du doute raisonnable »). C'est un α très petit. |
| Test de grossesse H0 : Anna n'est pas enceinte | Annoncer une grossesse qui n'existe pas | Ne pas détecter une vraie grossesse | Souvent le type II, selon le professeur : Anna ignore qu'elle est enceinte et ne prend pas les précautions nécessaires. |
| Nouveau vaccin H0 : le vaccin n'a pas d'effet | Déclarer efficace un vaccin inutile | Abandonner un vaccin qui marchait | Le type I : on vaccinerait des millions de personnes en les croyant protégées. D'où un α très petit en médecine. |
| Healthy-Cereals H0 : le nettoyage des cuves n'a pas réduit la contamination | Croire les cuves assainies alors qu'elles ne le sont pas | Ne pas voir que le nettoyage a marché | Le type I : des clients intoxiqués. L'entreprise choisira α = 1 % ou moins. |
Règle pratique : plus un faux positif (rejeter H0 à tort) serait grave, plus on choisit α petit. Mais garde en tête le prix à payer : un α plus petit rend le test moins sensible (β plus grand), sauf si l'on augmente la taille de l'échantillon.
8Rédiger comme à l'examen
Définitions qui rapportent tous les points :
A Type I error consists in rejecting H0 while H0 is true (a false positive). Its probability is α, the level of significance, which we choose before running the test (usually 5%).
A Type II error consists in failing to reject H0 while H1 is true (a false negative). Its probability is β.
Et dans chaque conclusion, le risque α apparaît : « at a 5% level of significance » ou « at a 5% risk level ».
9Les pièges à éviter
« α = 5 %, donc H0 a 5 % de chances d'être vraie. »
Non. α est la probabilité de rejeter H0 si H0 est vraie. C'est un risque fixé à l'avance, pas une probabilité sur H0.
« Je choisis α après avoir vu la p-value. »
Non. α se fixe à l'étape 5, avant de lire la p-value (étape 6). Prendre α = 10 % parce que p = 0,07, c'est tricher : on ajuste la règle pour obtenir le résultat qu'on veut.
« Je n'ai pas rejeté H0, donc je ne risque aucune erreur. »
Non. Quand on ne rejette pas H0, on court le risque d'une erreur de type II (β) : passer à côté d'une vraie différence. On ne le calcule pas, mais il existe.
10Teste-toi
Le test de grossesse affiche « enceinte » alors qu'Anna ne l'est pas. De quelle erreur s'agit-il ?
- Une erreur de type I (faux positif) Oui : on a rejeté H0 (« pas enceinte ») alors qu'elle était vraie. C'est une fausse alerte, de probabilité α.
- Une erreur de type II (faux négatif) Non : le type II, c'est rater une grossesse réelle (ne pas rejeter H0 alors que H1 est vraie).
- Aucune erreur, puisque le test a rejeté H0 Rejeter H0 n'est une bonne décision que si H0 est fausse. Ici, elle était vraie.
Au tribunal (H0 : l'accusé est innocent), un coupable est acquitté faute de preuves. Quelle erreur ?
- Une erreur de type I Le type I serait de condamner un innocent (rejeter H0 alors qu'elle est vraie).
- Une erreur de type II Oui : H0 (« innocent ») est fausse, mais on ne l'a pas rejetée. C'est un faux négatif, de probabilité β.
- Pas d'erreur : faute de preuves, on doit acquitter La décision respecte la règle, mais elle est fausse par rapport à la réalité : c'est précisément ce qu'on appelle une erreur de type II.
Qu'est-ce que α ?
- La probabilité que H0 soit vraie Non : α se calcule en supposant H0 vraie, il ne mesure pas sa probabilité.
- La p-value Non : α est un seuil que tu fixes avant ; la p-value est calculée par SPSS à partir des données. On compare l'une à l'autre.
- La probabilité de rejeter H0 alors qu'elle est vraie Exact : c'est le risque d'erreur de type I, appelé seuil de signification.
- La probabilité de ne pas détecter H1 Ça, c'est β (erreur de type II).
Sans changer d'échantillon, tu passes de α = 5 % à α = 1 %. Que se passe-t-il ?
- Les deux risques d'erreur diminuent Impossible à échantillon fixé : les deux risques sont liés. Seul un échantillon plus grand réduit les deux.
- Moins de fausses alertes, mais plus de risque de rater un vrai effet Oui : α baisse, β augmente. C'est le compromis α / β.
- Rien ne change, seule la phrase de conclusion change Si : la décision peut changer. Avec p = 0,028, on rejette H0 à 5 % mais pas à 1 %.
L'intervalle de confiance à 99 % de l'écart entre la moyenne et la valeur testée contient 0. Que conclut le test bilatéral correspondant ?
- On rejette H0 au seuil de 1 % Non : si 0 est dans l'intervalle, la valeur testée est plausible, donc pas de rejet.
- On ne rejette pas H0 au seuil de 1 % Oui : confiance 99 % = α de 1 %. La valeur testée est dans l'intervalle, on ne peut pas la rejeter.
- On accepte H0 Bonne idée, mauvais mots : on ne dit jamais « accepter H0 ».
Un constructeur d'avions veut savoir si un nouveau rivet est plus solide que l'ancien (H0 : il n'est pas plus solide). Quel α choisir ?
- 10 %, pour avoir plus de chances de montrer que le rivet est meilleur C'est l'inverse de la prudence : on augmenterait le risque d'adopter un rivet qui n'est pas meilleur.
- 5 %, comme d'habitude 5 % convient quand l'enjeu n'est pas critique. Ici, une erreur peut coûter des vies.
- 1 % ou moins Oui : un faux positif (croire le rivet plus solide à tort) serait dangereux. On exige des preuves très fortes, donc un α petit.
En résumé
- Erreur de type I = rejeter H0 alors qu'elle est vraie (faux positif), probabilité α. Erreur de type II = ne pas rejeter H0 alors que H1 est vraie (faux négatif), probabilité β.
- α est le seuil de signification : tu le choisis avant le test, souvent 5 %, plus petit quand un faux positif serait grave.
- À échantillon fixé, baisser α fait monter β. Seul un plus grand échantillon réduit les deux.
- Niveau de confiance = 1 − α. Si µ₀ est hors de l'intervalle à 1 − α, on rejette H0 au seuil α.
- La puissance (1 − β) existe, on la veut grande, mais on ne la calcule pas ce semestre.
Pour t'entraîner : exercices du chapitre 3.
Tu as tout compris ?
Coche la leçon : ta progression s'affiche dans le menu.