La p-value, enfin expliquée
SPSS m'affiche « Sig. = ,005 ». Qu'est-ce que ça veut dire, et qu'est-ce que je dois conclure ?
- Expliquer avec tes propres mots ce qu'est une p-value
- Comparer la p-value au seuil α et prendre la bonne décision
- Trouver la p-value dans un tableau SPSS, quel que soit son nom
- Rédiger, en anglais, la conclusion attendue à l'examen
La p-value est le nombre le plus important de tout le cours : chaque test du chapitre 3 se termine par elle. Bonne nouvelle : tu n'as jamais à la calculer, SPSS le fait. Ton travail, c'est de la comprendre, de la comparer à α et de rédiger la conclusion. C'est exactement ce qu'on te demandera à l'examen.
1Ce que tu sais déjà
Dans la leçon 1, on a vu qu'un test met face à face deux affirmations :
- H0, l'hypothèse nulle : le statu quo, ce qu'on suppose vrai tant qu'on n'a pas de preuve du contraire (« l'âge moyen des invités est 30 ans ») ;
- H1, l'hypothèse alternative : ce qu'on cherche à montrer (« l'âge moyen n'est pas 30 ans »).
On regarde ensuite notre échantillon. S'il est proche de ce que prévoit H0, on garde H0. S'il en est très loin, on rejette H0. Toute la question est : à partir de quand est-ce « très loin » ?
La méthode des bornes (valeurs critiques lues dans une table) répond à cette question, mais elle est lourde. La p-value répond à la même question avec un seul nombre, toujours lu de la même façon, quel que soit le test.
2L'idée, avec une pièce de monnaie
Un ami te propose un jeu de pile ou face et t'assure que sa pièce est normale. C'est ton H0 : « la pièce n'est pas truquée ». Tu la lances 10 fois.
Tu te poses spontanément la bonne question : « si la pièce était vraiment normale, quelle serait la probabilité d'obtenir un résultat aussi extrême ? » Réponse : environ 0,2 % (une chance sur 512). C'est tellement rare que tu ne crois plus ton ami. Tu conclus que la pièce est truquée.
Ce 0,2 %, c'est une p-value. Voici ce qu'elle vaut selon le résultat :
| Résultat sur 10 lancers | p-value | Ta réaction |
|---|---|---|
| 6 faces | 0,754 | Rien d'étonnant : ça arrive tout le temps avec une pièce normale. Tu gardes H0. |
| 8 faces | 0,109 | Un peu bizarre, mais ça arrive 1 fois sur 9 environ. Pas assez pour accuser ton ami. |
| 9 faces | 0,021 | Ça devient vraiment rare (2 %). Tu commences à rejeter H0. |
| 10 faces | 0,002 | Quasi impossible avec une pièce normale. Tu rejettes H0. |
La p-value répond à une seule question :
« Si H0 était vraie, quelle serait la probabilité d'obtenir un échantillon au moins aussi éloigné de H0 que le mien ? »
Plus elle est petite, plus ton échantillon est incompatible avec H0, et plus tu as de raisons de rejeter H0.
Quand la p-value est minuscule, il n'y a que deux explications possibles :
Explication 1 : la malchance
H0 est vraie, mais on est tombé sur un échantillon très bizarre (au mariage, on a interrogé la table des enfants). Possible… mais très improbable.
Explication 2 : H0 est fausse
L'échantillon est normal, c'est H0 qui ne colle pas à la réalité. C'est l'explication la plus crédible quand p est petit, donc on rejette H0.
3Le retour au mariage : la p-value est une aire
Reprenons l'exemple du cours. Quelqu'un affirme que l'âge moyen des invités du mariage est de 30 ans (H0 : µ = 30). Ton échantillon donne une moyenne de 25 ans. Une fois « standardisé », cet écart correspond à une statistique t ≈ −2,7.
La courbe ci-dessous représente toutes les valeurs que pourrait donner un échantillon si H0 était vraie. Les valeurs proches du centre sont fréquentes, celles des bords sont rares.
- La p-value est une surface sous la courbe, donc une probabilité : elle est toujours comprise entre 0 et 1.
- Plus la valeur observée est loin du centre, plus l'aire orange est petite.
- Test bilatéral (H1 : ≠) : on colorie les deux côtés, car « aussi extrême » vaut dans les deux sens. Test unilatéral (H1 : < ou >) : un seul côté.
4La règle de décision : comparer p à α
Avant de regarder les données, on fixe α (alpha), le risque qu'on accepte de prendre : le plus souvent 5 %. α est le seuil en dessous duquel on considère qu'un résultat est « trop rare pour être un hasard ». Ensuite, une seule comparaison :
p < α
On rejette H0.
Le résultat est « statistiquement significatif ».
p ≥ α
On ne rejette pas H0.
Le résultat n'est « pas significatif ».
Moyen mnémotechnique (en anglais, comme à l'examen) : « If p is low, H0 must go. »
Remarque ce qui se passe quand la valeur observée franchit un trait rouge : la p-value passe pile sous α. C'est la preuve que les deux méthodes donnent toujours la même décision : comparer t à la valeur critique, ou comparer p à α. La p-value est simplement plus pratique.
Le vocabulaire de la « significativité »
Dans les articles et en entreprise, on traduit la p-value en mots. Le cours donne cette échelle :
| p-value | On dit que le résultat est… | En anglais |
|---|---|---|
| > 10 % | non significatif | not significant |
| entre 5 % et 10 % | peu significatif | not very significant |
| entre 1 % et 5 % | significatif | significant |
| entre 0,1 % et 1 % | très significatif | very significant |
| < 0,1 % | hautement significatif | highly significant |
5Trouver la p-value dans SPSS
SPSS ne l'appelle jamais « p-value ». Selon le test et la version, elle s'appelle :
Exemple réel sur le fichier StudentSurvey (111 étudiants). Question : la moyenne générale (GPA, sur 4) des étudiants est-elle différente de 3 ? H0 : µ = 3 ; H1 : µ ≠ 3.
→ Test Variable : GPA → Test Value : 3 → OK.
One-Sample Statistics
| N | Mean | Std. Deviation | Std. Error Mean | |
|---|---|---|---|---|
| GPA | 111 | 3.109 | .402 | .038 |
One-Sample Test
| Test Value = 3 1 | |||||||
|---|---|---|---|---|---|---|---|
| t | df | Significance | Mean Difference | 95% Confidence Interval of the Difference | |||
| One-Sided p | Two-Sided p | Lower | Upper | ||||
| GPA | 2.866 | 110 | .002 | .005 2 | .109 | .034 | .185 3 |
- 1La valeur testée (µ₀ = 3). Vérifie toujours que c'est bien celle de ta question !
- 2La p-value. Le test est bilatéral (H1 : ≠), on lit donc Two-Sided p = 0,005. Comme 0,005 < 0,05, on rejette H0.
- 3Bonus : l'intervalle de confiance de l'écart [0,034 ; 0,185] ne contient pas 0. C'est cohérent : on est confiant que la vraie moyenne est entre 3,034 et 3,185, donc différente de 3.
- « .000 » ou « <.001 » ne veut pas dire zéro. SPSS arrondit. Écris toujours p < 0,001, jamais « p = 0 ».
- One-Sided ou Two-Sided ? Depuis SPSS 29, les deux colonnes sont affichées. Si ton H1 contient « ≠ », lis Two-Sided p. C'est presque toujours le cas dans le cours.
- SPSS écrit les nombres à l'anglaise :
.005= 0,005.
6Rédiger la conclusion comme à l'examen
Le professeur insiste : chaque mot compte. Une bonne conclusion contient toujours ces trois éléments :
- La comparaisonLa p-value, le seuil α, et laquelle est la plus petite.
- La décision sur H0Reject H0 ou fail to reject H0, jamais « accept ».
- La phrase en contexteOn retraduit dans les mots de la question (GPA, prix, clients…), avec le risque.
Pour notre exemple GPA (p = 0,005) :
The p-value (0.005) is smaller than the 5% level of significance, so we reject H0. There is enough statistical evidence, at a 5% risk level, to say that the mean GPA of students is different from 3.
Et si on avait obtenu p = 0,425 (c'est le cas pour la question « les étudiants dépensent-ils 900 $ en moyenne par semestre ? ») :
The p-value (0.425) is larger than 0.05, so we fail to reject H0. There is not enough statistical evidence, at a 5% risk level, to say that the mean spending differs from $900.
✓ Ce qu'on écrit
“We reject H0.”
“We fail to reject H0” / “We cannot reject H0.”
“There is (not) enough statistical evidence, at a 5% level of significance, to say that…”
✗ Ce qu'on n'écrit jamais
“We accept H0.” / “H0 is true.”
“H1 is proven.”
“p = 0.000”
7Les quatre contresens à éviter
« p = 0,03, donc il y a 3 % de chances que H0 soit vraie. »
Non. La p-value se calcule en supposant H0 vraie : c'est la probabilité d'obtenir des données aussi extrêmes si H0 est vraie. Ce n'est pas la probabilité que H0 soit vraie.
« p = 0,40, donc H0 est vraie. »
Non. On n'a simplement pas assez de preuves pour la rejeter. Comme au tribunal : un accusé acquitté faute de preuves n'est pas forcément innocent. On dit fail to reject H0.
« p est minuscule, donc la différence est énorme. »
Non. Avec un grand échantillon, une toute petite différence peut être significative. Exemple réel (BankMarketing, 979 clients) : l'âge moyen est de 40,16 ans. Tester « µ = 41 » donne p = 0,005, donc significatif… pour un écart de moins d'un an ! Significatif ne veut pas dire important.
« p < 0,05, donc j'ai prouvé H1. »
Non. On ne prouve jamais rien avec un échantillon : on a 5 % de risque de rejeter H0 à tort (c'est l'erreur de type I, voir la leçon 2). On dit que les données rendent H1 plus crédible.
D'après le cours, on ne te demandera pas de calculs et tu n'as pas besoin de savoir lire une table statistique. On attend que tu saches :
- définir la p-value avec tes mots, de façon juste ;
- expliquer ce que veut dire « significatif » ;
- lire un tableau SPSS et y trouver la bonne p-value ;
- prendre la décision et rédiger la conclusion.
Une définition qui rapporte tous les points :
The p-value is the probability, if H0 is true, of observing a sample result at least as extreme as the one we observed. The smaller it is, the less H0 is compatible with our data.
8Teste-toi
Un test donne p = 0,032 avec α = 5 %. Que conclut-on ?
- On rejette H0 Oui : 0,032 < 0,05. Le résultat est significatif au seuil de 5 %.
- On accepte H0 Deux erreurs : 0,032 est plus petit que 0,05, et de toute façon on ne dit jamais « accepter H0 ».
- On ne peut pas conclure sans la valeur critique Pas besoin : comparer p à α donne exactement la même décision que comparer t à la valeur critique.
Règle unique : p < α → on rejette H0. Ici 3,2 % < 5 %.
Et si le même test avait été fait avec α = 1 % ?
- On rejette encore H0 Non : 0,032 est plus grand que 0,01.
- On ne rejette pas H0 Exact : 0,032 ≥ 0,01. Avec une exigence plus forte, la même preuve ne suffit plus.
La p-value ne change pas, c'est le seuil qui change. Plus α est petit, plus on est exigeant avant de rejeter H0 (par exemple dans l'industrie alimentaire ou aéronautique).
Quelle phrase définit correctement une p-value de 0,04 ?
- Il y a 4 % de chances que H0 soit vraie. C'est le contresens n° 1 : la p-value se calcule en supposant H0 vraie.
- Il y a 4 % de chances que le résultat soit faux. Non, ça ne veut rien dire de précis.
- Si H0 était vraie, on aurait 4 % de chances d'obtenir un échantillon au moins aussi extrême que le nôtre. C'est la bonne définition, celle du cours.
Dans le tableau SPSS d'un test bilatéral, tu vois « One-Sided p = .021 » et « Two-Sided p = .042 ». Avec α = 5 %, laquelle lis-tu et que décides-tu ?
- Two-Sided p = 0,042 : on rejette H0 Oui : test bilatéral (H1 : ≠), donc colonne Two-Sided. Et 0,042 < 0,05.
- One-Sided p = 0,021 : on rejette H0 La décision est la même ici, mais c'est la mauvaise colonne : à l'examen, tu perdrais des points, et dans d'autres cas la décision changerait.
- Two-Sided p = 0,042 : on ne rejette pas H0 Bonne colonne, mauvaise décision : 0,042 est plus petit que 0,05.
En résumé
- La p-value = la probabilité, si H0 est vraie, d'obtenir un résultat au moins aussi extrême que le nôtre.
- C'est une aire sous la courbe : plus le résultat est loin de H0, plus elle est petite.
- p < α → reject H0 ; p ≥ α → fail to reject H0. Jamais « accept ».
- Dans SPSS : Sig., Two-Sided p… Pour un test bilatéral, lis la colonne bilatérale.
- Significatif ne veut pas dire important, et ne prouve rien à 100 %.
Pour t'entraîner : exercices du chapitre 3.
Tu as tout compris ?
Coche la leçon : ta progression s'affiche dans le menu.