Un sondage dont les répondants n’ont pas été sélectionnés de façon aléatoire NE DOIT PAS afficher de marge d’erreur. C’est là l’une des normes fondamentales de l’Association de la recherche et de l’intelligence marketing (ARIM). Or, certaines firmes n’ont malheureusement aucun scrupule à berner le public ou, à tout le moins, à laisser planer le doute… exemples à l’appui!

La norme
L’ARIM est en quelque sorte le «chien de garde» de l’industrie du sondage au Canada. Entre autres activités, elle élabore et fait la promotion de normes professionnelles pour garantir des travaux de qualité et ainsi protéger les clients et le public. Selon le code de déontologie de l’ARIM :

Les membres doivent s’abstenir de faire des déclarations concernant les marges d’erreur d’un échantillonnage par rapport aux estimations démographiques quand ils n’utilisent pas des échantillonnages probabilistes.

Un échantillon est dit probabiliste lorsqu’il s’appuie sur le hasard pour sélectionner les individus qui le composent (tous ont une probabilité connue d’être sélectionnés). L’échantillon probabiliste, parce qu’il comporte des propriétés mathématiques connues, est le seul qui permet le calcul de l’erreur d’échantillonnage, communément appelée la marge d’erreur d’un sondage.

Où est le problème?
Avec la croissance des sondages Web, les firmes de sondage constituent maintenant des panels d’internautes. Ces internautes sont régulièrement invités à participer à des sondages en ligne. Dans certains panels, les individus sont des volontaires, c’est-à-dire des gens qui se sont eux-mêmes inscrits pour remplir des sondages. Dans ce cas, on parle d’autosélection, et non d’un échantillon de type probabiliste. Les firmes qui utilisent ce genre de panel ne devraient donc pas, selon les normes de l’ARIM, accompagner leurs résultats d’une marge d’erreur.

Des exemples douteux
Voici deux exemples qui illustrent mon propos. Le premier est tiré d’une présentation faite récemment par Madame Nathalie Madore, vice-présidente de l’Association des statisticiens et statisticiennes du Québec (ASSQ). La présentation s’intitulait Les mauvais usages de la statistique.

Ce sondage éclair a été réalisé par Internet le (date) auprès de 511 Québécois et Québécoises. Un échantillon probabiliste aléatoire de cette taille comporterait une marge d’erreur maximale de 3,4 % 19 fois sur 20.

Avez-vous remarqué l’utilisation du conditionnel dans cette phrase? «Comporterait»? C’est donc dire qu’il n’est pas probabiliste! Comme le mentionnait Madame Madore, la phrase donne au lecteur un sentiment de sécurité quant à la valeur de l’information recueillie qui ne reflète pas la réalité. (Qui plus est, il faut mentionner ici que la marge d’erreur rapportée par le journaliste est erronée! Un échantillon aléatoire simple non pondéré de 511 Québécois aurait plutôt une marge d’erreur de 4,4 %).

Le deuxième exemple, lu dans un journal, n’est pas nécessairement mauvais, mais il est suffisamment imprécis pour qu’on se pose des questions…

Les résultats du sondage proviennent d’un questionnaire en ligne rempli par 1003 adultes choisis au hasard parmi un groupe de répondants réguliers [de la firme]. La marge d’erreur est de 3,1 points de pourcentage, 19 fois sur 20.

C’est bien beau que les adultes aient été choisis au hasard… mais qu’en est-il du «groupe de répondants réguliers»? Les individus qui le composent ont-ils, eux, été sélectionnés au hasard? Ou s’agit-il plutôt d’un groupe de volontaires? Le texte ne le précise pas.

Comme quoi il faut toujours être vigilant lorsqu’on lit les résultats d’un sondage!