| Ou comment savoir si les différences entre deux résultats sont significatives ou non ?
Il existe plusieurs tests de significativité, les plus usuels sont :
1. Les intervalles de confiance :
La table de Gauss indique l'intervalle de confiance que l'on peut accorder à un résultat chiffré d'étude en fonction de la taille de l'échantillon, sur base d'échantillons aléatoires.
Le tri plat :
Significativité des Résultats
"La différence est-elle significative ?"
La Table des Intervalles de Confiance
|
% de
déclarations P
|
5
ou
95 |
10
ou
90 |
15
ou
85 |
20
ou
80 |
25
ou
75 |
30
ou
70 |
35
ou
65 |
40
ou
60 |
45
ou
55 |
50
ou
50 |
| 50 |
6,2 |
8,5 |
10,1 |
11,4 |
12,3 |
13 |
13,5 |
13,9 |
14,1 |
14,2 |
| 75 |
5 |
6,9 |
8,2 |
9,2 |
10 |
10,5 |
11 |
11,3 |
11,4 |
11,5 |
| 100 |
4,4 |
6 |
7,1 |
8 |
8,7 |
9,2 |
9,5 |
9,8 |
9,9 |
10 |
| 125 |
3,9 |
5,4 |
6,4 |
7,2 |
7,7 |
8,2 |
8,5 |
8,8 |
8,9 |
8,9 |
| 150 |
3,6 |
4,9 |
5,9 |
6,6 |
7,1 |
7,5 |
7,8 |
8 |
8,1 |
8,2 |
| 200 |
3,1 |
4,3 |
5,1 |
5,7 |
6,1 |
6,5 |
6,8 |
7 |
7 |
7,1 |
| 250 |
2,7 |
3,8 |
4,5 |
5 |
5,5 |
5,8 |
6 |
6,2 |
6,2 |
6,3 |
| 300 |
2,5 |
3,5 |
4,1 |
4,6 |
5 |
5,3 |
5,5 |
5,7 |
5,8 |
5,8 |
| 400 |
2,2 |
3 |
3,6 |
4 |
4,3 |
4,6 |
4,8 |
4,9 |
5 |
5 |
| 500 |
2 |
2,7 |
3,2 |
3,6 |
3,9 |
4,1 |
4,3 |
4,4 |
4,5 |
4,5 |
| 600 |
1,8 |
2,5 |
2,9 |
3,3 |
3,6 |
3,8 |
3,9 |
4 |
4,1 |
4,1 |
| 700 |
1,6 |
2,3 |
2,7 |
3 |
3,3 |
3,5 |
3,6 |
3,7 |
3,8 |
3,8 |
| 800 |
1,5 |
2,1 |
2,5 |
2,8 |
3 |
3,2 |
3,3 |
3,4 |
3,5 |
3,5 |
| 900 |
1,5 |
2 |
2,4 |
2,7 |
2,9 |
3,1 |
3,2 |
3,3 |
3,3 |
3,3 |
| 1000 |
1,4 |
1,9 |
2,3 |
2,5 |
2,8 |
2,9 |
3,1 |
3,1 |
3,2 |
3,2 |
| 1200 |
1,3 |
1,7 |
2,1 |
2,3 |
2,5 |
2,7 |
2,8 |
2,8 |
2,9 |
2,9 |
| 1400 |
1,2 |
1,6 |
1,9 |
2,1 |
2,3 |
2,4 |
2,6 |
2,6 |
2,7 |
2,7 |
| 1500 |
1,1 |
1,6 |
1,9 |
2,1 |
2,3 |
2,4 |
2,5 |
2,5 |
2,6 |
2,6 |
| 1600 |
1,1 |
1,5 |
1,8 |
2 |
2,2 |
2,3 |
2,4 |
2,4 |
2,5 |
2,5 |
| 1800 |
1 |
1,4 |
1,7 |
1,9 |
2 |
2,2 |
2,2 |
2,3 |
2,3 |
2,4 |
| 2000 |
0,96 |
1,3 |
1,6 |
1,8 |
1,9 |
2 |
2,1 |
2,2 |
2,2 |
2,2 |
| 2500 |
0,87 |
1,2 |
1,4 |
1,6 |
1,7 |
1,8 |
1,9 |
2 |
2 |
2 |
| 3000 |
0,79 |
1,1 |
1,3 |
1,4 |
1,6 |
1,7 |
1,7 |
1,8 |
1,8 |
1,8 |
| 3500 |
0,7 |
1 |
1,2 |
1,4 |
1,5 |
1,5 |
1,6 |
1,7 |
1,7 |
1,7 |
| 4000 |
0,69 |
0,95 |
1,1 |
1,3 |
1,4 |
1,4 |
1,5 |
1,5 |
1,6 |
1,6 |
| 4500 |
0,6 |
0,9 |
1,1 |
1,2 |
1,3 |
1,4 |
1,4 |
1,5 |
1,5 |
1,5 |
| 5000 |
0,62 |
0,85 |
1 |
1,1 |
1,2 |
1,3 |
1,4 |
1,4 |
1,4 |
1,4 |
| 6000 |
0,6 |
0,8 |
0,9 |
1 |
1,1 |
1,2 |
1,2 |
1,3 |
1,3 |
1,3 |
| 7000 |
0,5 |
0,7 |
0,9 |
1 |
1 |
1,1 |
1,1 |
1,2 |
1,2 |
1,2 |
| 10000 |
0,44 |
0,6 |
0,71 |
0,8 |
0,87 |
0,92 |
0,95 |
0,98 |
0,99 |
1 |
Cette table nous dit que pour un échantillon de 300, les résultats sont fiables à ± 2,5 % pour un résultat net (ex. : 5 % des interviewés ont choisi A) et à ± 5,8 % pour un résultat mitigé (50 % des interviewés ont choisi A).
- ex. : "Quel produit préférez-vous ?"
- A 5 % ± 2,5 %
- B 95 % ± 2,5 % N = 300
B est dans tous les cas meilleur que A.
Le problème se pose si l'on a :
- A = 45 % ± 5,8 %
Le score réel de A si l'on avait interrogé l'ensemble de la population aurait pu être compris entre 39,2 % et 50,8 %.
- B = 55 % ± 5,8 %
Le score réel de B si l'on avait interrogé l'ensemble de la population aurait pu être compris entre 49,2 % et 60,8 %.
Dans les cas extrêmes nous aurions pu avoir
- A = 50,8 %
- B = 49,2 % Ce qui change l'analyse
Pour qu'aucun doute ne soit permis
Il faut que les scores obtenus par l'étude +/- l'intervalle de confiance n'inversent en aucun cas l'ordre initial.
2. Le test du Chi 2 :
Le test du Chi 2 s'applique aux tris croisés, il s'agit de savoir si les différences entre deux sous - échantillons sont significatives. L'interprétation de la valeur du Chi 2 dépend du degré de liberté (noté d.d.l.) qui correspond à :
d.d.l. = (nombre de colonnes - 1) x (nombre de lignes - 1)
Le Chi 2 est la somme des écarts entre les valeurs réelles et les valeurs théoriques du tri croisé. La valeur théorique équivaut à la valeur du sous - échantillon s'il avait répondu de la même manière que l'échantillon global (c'est-à-dire s'il n'y avait pas de différences significatives). Une table de distribution théorique du Chi 2 en fonction du d.d.l. indique le seuil minimum au-dessus duquel les différences sont significatives.
Premier exemple :
valeur du KH12 : 11,8. Degrés de liberté : 4
Q20 :1
Avez vous plutôt...
Une bonne opinion de... (1)
ou une mauvaise opinion (2) |
Q48
A titre d'information, pouvez vous me communiquer votre âge? |
Ensemble
des
répondants |
Moins
de
25 ans |
25
à
55 ans |
Plus
de
55 ans |
|
Ensemble des répondants
|
1000
100
100
|
80
100
8
|
692
100
69
|
228
100
23
|
|
Oui
|
723
72
100
|
52
65
7
|
501
72
69
|
170
75
24
|
|
Non
|
160
16
100
|
16
20
10
|
124
18
78
|
20
9
13
|
|
Ne sait pas
|
97
10
100
|
8
10
8
|
65
9
67
|
25
11
25
|
La valeur théorique est 9,48 pour un d.d.l. de 4 11,8 est supérieur à 9,48. L'âge a donc un effet sur l'opinion.
Deuxième exemple :
Valeur du KH12 : 3,6. Degrés de liberté : 4
Q20 :2
Avez vous plutôt...
Evolue-t-elle à votre avis ? |
Q48
A titre d'information, pouvez vous me communiquer votre âge? |
Ensemble
des
répondants |
Moins
de
25 ans |
25
à
55 ans |
Plus
de
55 ans |
|
Ensemble des répondants
|
1000
100
100
|
80
100
8
|
692
100
69
|
228
100
23
|
|
Oui
|
723
72
100
|
52
65
7
|
501
72
69
|
170
75
24
|
|
Non
|
118
12
100
|
11
14
9
|
85
12
72
|
22
10
19
|
|
Ne sait pas
|
159
16
100
|
17
21
11
|
106
15
67
|
36
16
23
|
La valeur théorique est 9,48 pour un d.d.l. de 4 3,6 est inférieur à 9,48. L'âge n'a donc pas d'effet sur l'opinion.
Les astuces :
Un Chi 2 inférieur au d.d.l. n'est jamais significatif. S'il est supérieur, plus la différence avec le d.d.l. est grande, plus le Chi 2 a de chances d'être significatif.
3. Le test T de student :
Le calcul du test T de Student permet de savoir si la différence entre deux notes moyennes est significative.
Si le calcul suivant est supérieur à 1,96, seuil minimum pour un risque d'erreur de 5 %, alors les différences sont significatives à 95 % de chances :
 |
m1, m2 : les moyennes
O1, O2 : les écarts type
n1, n2 : les échantillons |
|
