C’est bien connu, les sondeurs utilisent la statistique pour analyser les résultats d’un sondage. Le calcul de la marge d’erreur en est un exemple.

Et il y a aussi les «différences statistiquement significatives»… On entend souvent l’expression, mais ça veut dire quoi, au juste? Qu’est-ce que ça implique pour les autres différences, celles qui ne sont pas «statistiquement significatives»?

Pour faire simple
Je ne veux pas entrer dans les explications longues et complexes. De toute façon, je ne suis pas statisticienne! Pour faire simple, je retiens la définition suivante tirée d’un glossaire du gouvernement du Canada :

Dans le domaine de la statistique, un résultat est dit significatif s’il est improbable qu’il se soit produit par hasard. Une différence statistiquement significative indique simplement qu’une preuve statistique montre qu’il existe une différence; cela ne signifie pas nécessairement que la différence est grande, importante ou revêt une signification pratique.

Pour illustrer cette explication, je vais prendre un extrait du récent sondage SOM/Branchez-vous sur les médias d’information. Les différences significatives, en plus ou en moins, sont indiquées par les symboles » et «. Pour déterminer si une différence est significative ou non, un spécialiste doit mener les analyses statistiques appropriées.

Quel média utilisez-vous le plus souvent pour vous informer?

% LIGNE	Radio	Télévision	Internet	Journaux
Ensemble (n : 899)	10	41	30	19
Sexe
Homme (n : 420)	11	35«	37»	17
Femme (n : 469)	9	48»	23«	20

Comment interpréter le tableau ci-dessus?
La question était posée aux internautes québécois. Dans l’ensemble, on peut donc dire que la télévision est le média le plus utilisé par les internautes québécois pour s’informer (41 %). Viennent ensuite Internet (pour 30 % des répondants, il s’agit du média le plus souvent utilisé pour s’informer), les journaux (19 %) et enfin la radio (10 %).

Des différences statistiquement significatives sont présentes lorsqu’on compare deux sous-groupes, soit les hommes et les femmes dans cet exemple. Ainsi, les hommes sont proportionnellement moins nombreux (35 %) que les femmes (48 %) à utiliser la télévision comme premier média d’information. À l’inverse, seulement 23 % des femmes utilisent le plus souvent Internet pour s’informer, comparativement à 37 % des hommes. Cette différence aussi est significative.

Qu’en est-il des autres différences? Par exemple, on remarque que 17 % des hommes contre 20 % des femmes utilisent les journaux comme première source d’information… Or, il est préférable de passer cette différence sous silence puisque nous n’avons pas la preuve statistique que les femmes utilisent plus les journaux pour s’informer.

En effet, l’écart entre les deux données est trop faible; la différence de 3 points qu’on obtient avec les données de l’échantillon pourrait être entièrement due au hasard. En présentant ces données comme étant différentes, on pourrait ainsi faussement conclure à l’existence d’une différence… Voilà pourquoi on ne souligne que les différences statistiquement significatives!

Pour faire un peu plus compliqué
Pour une explication technique des différences statistiquement significatives, je vous suggère cet article en français d’Elsevier Masson, un éditeur de publications scientifiques et médicales.