En effet, la statistique nous apprend qu’un échantillon de moins de 30 répondants ne vaut rien… Mais qu’à partir de 30, tout baigne. Alors d’où vient cette obsession de toujours vouloir interroger 400, 500 voire 1 000 répondants?

30, un chiffre «magique»?

Bien que techniquement, un échantillon de 30 répondants sélectionnés de manière probabiliste soit effectivement représentatif d’une population donnée, les résultats issus de cet échantillon souffriront d’une grande imprécision. D’où l’intérêt d’augmenter les tailles d’échantillon, particulièrement dans les cas où on souhaite un niveau de précision élevé par segment de marché.

Mais attention, votre enthousiasme pour les gros échantillons sera vite tempéré par des considérations budgétaires. En effet, bien qu’un échantillon de 1000 répondants soit deux fois plus coûteux (ou à peu près) qu’un échantillon de 500 répondants, il n’est pas deux fois plus précis. Il faut en fait quadrupler la taille d’un échantillon pour voir diminuer de moitié la marge d’erreur. C’est donc un pensez-y-bien!

La taille de l’échantillon dépend du niveau de précision souhaité

Mais revenons à l’échantillon représentatif de 30 répondants. En pratique, le strict minimum que l’on recommande à nos clients est généralement autour de 100. Au-delà de ce seuil, les tailles d’échantillon dépendent de la valeur que l’on accorde au niveau de précision accru que l’on obtient et à la présence ou non de segments de marché pour lesquels on veut obtenir un niveau de précision acceptable.

Quant à l’impact de la taille de la population sur la taille de l’échantillon, oubliez les rumeurs qui circulent à ce sujet. Dans des contextes de grandes populations (ex. : le Canada ou les États-Unis), la taille de la population n’a aucune incidence perceptible sur la taille de l’échantillon, pourvu que l’échantillon soit constitué au hasard (échantillon probabiliste). C’est pourquoi les sondages politiques, par exemple, sont généralement effectués avec 1 000 répondants, peu importe de quel côté de la frontière.

Pour vous convaincre de cette grande vérité, considérez l’exemple culinaire suivant. Lorsque vous cuisinez des pâtes pour un groupe de 8 personnes, vérifiez-vous la cuisson d’une plus grande quantité de pâtes avant de les servir que lorsque vous cuisinez seulement pour vous?

* Vincent Bouchard est vice-président Marketing chez SOM.

À lire aussi :

• Déterminer la taille d’un échantillon… sans y perdre son latin!
• L’ABC des méthodes d’échantillonnage (partie 1)
• L’ABC des méthodes d’échantillonnage (partie 2)

Dans les sondages par interception sur un site web, par exemple, où les taux de réponse sont relativement bas, ça peut prendre quelques semaines avant d’obtenir le nombre de répondants visés par l’étude. Lorsqu’on sonde les membres d’une association ou les représentants d’une entreprise au moyen d’un sondage en ligne, on peut aussi vouloir laisser un délai suffisant pour que tous aient la chance de répondre (1 ou 2 semaines par exemple).

En fait, il faut ajuster la période de collecte au type de répondants ciblés. Une période de collecte longue n’est pas un problème en soi, si l’échéancier le permet. C’est plutôt des sondages très rapides dont il faut se méfier.

La technologie permet la rapidité

Avec les sondages en ligne et les panels d’internautes, il est très facile de faire un sondage en quelques heures. Il n’est pas rare, aujourd’hui, de voir de tels sondages, surtout dans les médias. On rédige quelques questions, on lance une invitation à un grand nombre de panélistes… et hop! Deux heures plus tard, vous avez facilement 400 répondants voire 1000 qui ont dûment répondu au sondage.

La rigueur scientifique commande un minimum de temps de collecte

Le problème avec ce type de sondage, c’est que les réponses proviendront uniquement des personnes disponibles pendant ces quelques heures, celles qui étaient près de leur ordinateur et qui ont lu leur courriel d’invitation. Premier arrivé, premier répondu! Ce n’est pas plus scientifique qu’un «vox pop» réalisé au coin d’une rue où vous interceptez les premiers passants venus…

Dans la vraie vie, il y a toutes sortes d’internautes. Si certains sont branchés en permanence, d’autres prennent connaissance de leurs courriels à peine quelques fois par semaine. Certains le font au bureau, d’autres à la maison. De jour, de soir, de fin de semaine… les habitudes sont variées.

Qu’arrive-t-il donc si un sondage en ligne est fait en quelques heures? Il n’est pas représentatif des internautes, tout simplement. Et s’il n’est pas représentatif, il est impossible d’en généraliser les résultats.

Un sondage web devrait donc être mis en ligne au minimum plusieurs jours, incluant idéalement un week-end. De cette façon, on s’assure de sonder un échantillon beaucoup plus large et représentatif de la population internaute.

Aux États-Unis, plus de 25 % des ménages utiliseraient uniquement le cellulaire (source). Selon l’enquête sur le service téléphonique résidentiel de Statistique Canada, cette proportion était estimée à 8 % au Canada et à 6,7 % au Québec en 2008. Si on examine la distribution selon l’âge, on observe que 24,6 % des ménages québécois constitués uniquement de personnes âgées de 18 à 34 ans utiliseraient exclusivement le téléphone cellulaire. Comme ces données datent de 2008, on peut penser que ces proportions se sont légèrement accrues.

Les sondages téléphoniques traditionnels souffrent donc d’un problème de couverture et sont moins représentatifs qu’avant, particulièrement en ce qui concerne les ménages des 18-34 ans.

Dans un récent article de la revue Techniques d’enquête, des chercheurs expliquent les fondements statistiques des enquêtes par téléphone mobile. L’article est très (trop) technique, mais a le mérite de bien poser la problématique de la téléphonie cellulaire dans le contexte des sondages. Je me permets d’en citer quelques extraits (entre guillemets ci-dessous).

L’échantillonnage d’un sondage téléphonique traditionnel auprès de la population s’appuie sur la  génération aléatoire de numéros de téléphone (GANT) (en anglais Random Digit Dialing – RDD). Dans ce type d’enquête, « l’hypothèse est que le téléphone fixe est un appareil électroménager et que chaque personne faisant partie de la population n’est  attachée qu’à un seul ménage.» Ainsi, on n’échantillonne pas des individus, mais des ménages dans un premier temps. Ensuite, on peut sélectionner un individu au sein du ménage.

«L’enquête par téléphone mobile entraîne un changement de paradigme et pose de nouveaux défis. [...] Dans l’esprit de la plupart des gens, un téléphone mobile est un appareil personnel et non un appareil ménager. [...] Donc, dans les enquêtes par téléphone mobile le ménage ne représente plus forcément la même organisation unifiante que dans le cas des enquêtes par téléphone conventionnelles.»

Dans les faits donc, si on veut intégrer un échantillon de téléphones mobiles, on se retrouve avec deux bases de sondage complètement différentes (l’une dont l’unité est le ménage et l’autre dont l’unité est l’individu). Qui plus est, les deux bases de sondage se chevauchent, comme illustré dans le schéma ci-dessous : un nombre important de personnes sont joignables à la fois par ligne fixe ET par téléphone cellulaire.

Maintenant que la problématique est posée, quelle est la solution? Doit-on sonder les individus sur leur mobile? Ce n’est pas aussi simple qu’il y paraît. Je vous en reparle dans un prochain billet!

Il sera plutôt remplacé par une enquête à participation volontaire, soit l’enquête nationale auprès des ménages, qui ciblera le tiers des ménages canadiens. En revanche, la version courte du recensement demeurera obligatoire.

Les conséquences de cette décision seront dommageables pour toute l’industrie du sondage. Voici pourquoi.

Comme je l’expliquais dans mon précédent billet, nous utilisons les caractéristiques connues de la population pour pondérer les données de sondage. Or, plusieurs données relatives aux «caractéristiques connues de la population» sont directement issues… de la version longue du questionnaire de recensement! Le fait que cette enquête à participation obligatoire devienne facultative aura un effet certain sur le taux de réponse, diminuant ainsi la fiabilité des données et, par conséquent, la précision des sondages.

L’Institut de la statistique du Québec (ISQ) a d’ailleurs pris position hier sur les impacts de ce changement pour le Québec. Comme je ne saurais mieux l’expliquer en mes propres mots, je me permets de reprendre quelques extraits (voir l’analyse intégrale) :

Les impacts sont importants et concernent notamment trois dimensions de la qualité de l’information statistique : fiabilité, comparabilité et cohérence.

Tout d’abord, compte tenu du caractère facultatif de la nouvelle enquête, une diminution des taux de réponse est appréhendée. Cela laisserait présager une perte de la fiabilité des statistiques produites. [...]

Une perte de comparabilité pourrait également être observée à l’égard des statistiques relatives aux caractéristiques de la population obtenue au fil des ans. [...]

Enfin, il pourrait être difficile pour Statistique Canada d’assurer la cohérence des statistiques produites à la suite de la nouvelle enquête facultative avec celles produites à l’aide du questionnaire court du recensement de 2011 [...]

Ce questionnaire court obligatoire, rappelons-le, ne contient que 4 variables sociodémographiques : âge, sexe, état matrimonial et langue maternelle. C’est insuffisant pour les besoins liés à la pondération des données (voir la version 2011 du questionnaire court – à la suite du recensement sur l’agriculture).

Il n’y a pas que les sondeurs qui redoutent l’impact de cette décision, vous vous en doutez. Plusieurs groupes ont d’ailleurs fait connaître leur insatisfaction. Par exemple :

• L’Association canadienne des professeures et professeurs d’université exige que le gouvernement fédéral revienne sur sa décision en mentionnant les «conséquences désastreuses que cette mesure aura sur la compréhension scientifique de la société canadienne et sur la capacité de prendre des décisions éclairées relatives aux politiques sociales et économiques.»
• Le Commissaire aux langues officielles a entrepris une enquête sur la question en soulignant son inquiétude à l’égard «des répercussions possibles que pourrait avoir cette décision sur la vitalité des communautés de langue officielle et l’application de la Loi sur les langues officielles.»
• La Conférence des recteurs et des principaux des universités du Québec (CREPUQ) a également fait part de sa «consternation [à l'égard de] la décision du gouvernement fédéral.»
• Même le milieu des affaires s’est joint au débat pour dénoncer ce changement.

Les raisons évoquées par le gouvernement pour justifier cette décision sont pour le moins nébuleuses. Selon un article du quotidien Le Devoir, le ministre de l’Industrie, Tony Clement, parle de préoccupations liées à la vie privée et va même jusqu’à remettre en question la fiabilité des informations du recensement sous prétexte que les citoyens étaient obligés de répondre au questionnaire…

Ce qu’il semble ignorer, c’est que sa décision (prise semble-t-il sans aucune consultation des principaux utilisateurs des données du recensement) aura des conséquences encore pires sur la fiabilité des données. Et c’est sans compter que la nouvelle formule coûtera plus cher aux Canadiens puisque le questionnaire sera envoyé à un plus grand nombre de ménages : un «petit» 30 millions $ de plus, selon Cyberpresse…

Qu’est-ce que la pondération? Pourquoi pondérer les données?

La pondération des données consiste à accorder un coefficient de pondération (un poids) à chacun des individus d’un échantillon. L’objectif premier de l’exercice est de corriger la représentativité de l’échantillon en fonction de certaines variables clés afin d’être en mesure d’extrapoler les résultats du sondage à la population.

Exemple

• Prenons une population qui compte 10 000 individus et un nombre égal d’hommes et de femmes.
• Disons maintenant qu’on fait un sondage avec un échantillon de 1000 individus et, qu’à cause de certains facteurs (ex. : taux de réponse, stratification), on obtient 800 femmes et 200 hommes.
• On constate un déséquilibre, pour la variable «sexe», entre l’échantillon et la population : chaque homme de l’échantillon représente 25 hommes de la population (5000/200) alors que chaque femme de l’échantillon représente 6,25 femmes de la population (5000/800).
• On appliquera donc un coefficient de pondération qui aura pour effet de donner plus de poids aux réponses des 200 hommes (et moins à celles des femmes), et ce, afin de corriger le déséquilibre.

Les variables de pondération

Les variables qu’on utilisera pour pondérer les données d’un échantillon dépendent des caractéristiques de la population à l’étude.

Pour un sondage auprès de la population québécoise par exemple, la distribution des principales variables sociodémographiques sera examinée (ex. : âge, sexe, scolarité, nombre d’individus par ménage) et, s’il y a déséquilibre par rapport aux caractéristiques connues de la population, on appliquera le coefficient de pondération approprié. Ainsi, le poids qu’on attribue à un individu de l’échantillon correspond au poids que cet individu représente dans la population.

Note importante : La pondération ne compense pas une méthode d’échantillonnage inappropriée. Si, à la base, on ne dispose pas d’un échantillon probabiliste constitué dans les règles de l’art, la pondération ne peut pas prétendre rendre un échantillon représentatif.

Comme solution de rechange au RDD, une nouvelle tendance se dessine (surtout aux États-Unis pour le moment) : il s’agit de l’échantillonnage basé sur les adresses de résidence pour sélectionner les ménages qui répondront à un sondage (en anglais Address Based Sampling – ABS).

Pourquoi?

Pour tenter de joindre des groupes de répondants que les autres méthodes arrivent moins bien à joindre, notamment les jeunes (18-34 ans), les ménages qui utilisent exclusivement le téléphone cellulaire, certaines minorités ou encore les non-internautes (lorsqu’il s’agit de recherche en ligne).

En d’autres termes, il s’agit d’un moyen qui vise à améliorer la couverture des méthodes actuelles, c’est-à-dire le degré d’exhaustivité des renseignements relatifs à la population cible (pour plus de détails sur la couverture et les bases de sondage, voir la très claire explication de Statistique Canada).

Comment ça marche?

Il s’agit d’un processus en plusieurs étapes. Je m’inspire ici des quelques expériences documentées jusqu’à maintenant (voir les sources au bas de ce billet) et de la réflexion amorcée par SOM à ce sujet :

• Il faut d’abord disposer d’une base de sondage contenant toutes les adresses de la population cible dans un territoire donné.
• On tire ensuite un échantillon aléatoire d’adresses à partir de de cette base de sondage.
• Pour contacter les ménages sélectionnés, plusieurs options sont possibles : le téléphone (lorsqu’il est possible de trouver le numéro de téléphone correspondant à l’adresse), la poste ou encore une rencontre en personne. Évidemment, ce dernier moyen nécessite des ressources importantes.
• Les ménages contactés sont invités à faire partie d’un panel dont on contactera les membres pour divers sondages. Ils peuvent signifier leur intérêt à faire partie du panel par divers moyens (au téléphone, par la poste, par internet).
• Une rémunération (ou une autre forme d’incitatif) peut être proposée aux ménages pour joindre le panel et/ou participer à une recherche.
• Idéalement, les ménages recrutés doivent avoir le choix du moyen pour répondre à un sondage (téléphone traditionnel, téléphone cellulaire, internet, poste…), ce qui signifie des collectes mixtes ou multimodes.
• Les membres du panel ainsi formé doivent être régulièrement renouvelés, de façon à ce qu’on ne s’adresse pas toujours au même bassin de personnes.

Est-ce que ça marche?

Les deux premières références citées plus bas font chacune le bilan d’une expérience utilisant l’ABS. Voici en vrac quelques constats qui émergent de l’une ou l’autre de ces études :

• L’échantillonnage basé sur les adresses de résidence permet effectivement de joindre des groupes qu’il est difficile de joindre avec le RDD. Dans les deux cas, on a pu joindre une proportion intéressante de ménages n’utilisant que le téléphone cellulaire. L’une des études a par ailleurs mieux réussi à joindre des membres des minorités afro-américaine et hispanophone de même que des jeunes de moins de 35 ans.
• Les résultats non pondérés sont plus près des paramètres connus de la population avec l’ABS.
• Dans les deux cas, le taux de réponse est inférieur avec une approche ABS comparativement à l’approche traditionnelle de RDD.

Pour en savoir plus :

• Comparing Random Digit Dial (RDD) and United States Postal Service (USPS) Address-Based Sample Designs for a General Population Survey: The 2008 Massachusetts Health Insurance Survey [document PDF, Urban Institute et Social Science Research Solutions]
• Building a New Foundation : Transitioning to Address Based Sampling after Nearly 30 Years of RDD [document PDF, Nielsen Company]
• Address Based Sampling and Address Matching: Experience from REACH U.S. [document PDF, Université de Chicago]
• Meeting the Challenge of Cell Phone-Only Households, Young Adults and Minorities : Introducing Address-Based Sampling to KnowledgePanel® [Knowledge Networks]
• Recent Developments in Address-Based Sampling [document PDF, Marketing Systems Group]

Je vous parle aujourd’hui de la première recommandation des experts :

Les chercheurs devraient éviter d’utiliser des panels non probabilistes lorsque leur objectif est de généraliser des résultats à l’ensemble d’une population.

Évidemment, cette conclusion me réjouit puisque je m’évertue depuis des mois à expliquer la différence entre panel probabiliste (recrutement aléatoire de panélistes) et panel non probabiliste (panel de volontaires, qui s’inscrivent spontanément) ainsi que les implications de chacun à l’égard des résultats de recherche.

Argumentation des experts

Je ne prétends pas ici résumer les propos de ce volumineux rapport. Voici toutefois quelques-uns des arguments évoqués pour justifier cette position.

• Tous les panels d’internautes souffrent d’une erreur de couverture par rapport à la population en général (bien sûr, puisque les non-internautes en sont automatiquement exclus).
• Toutefois, les méthodes probabilistes de recrutement de panélistes (ex. : au téléphone, par la poste et même en personne) tendent à minimiser cette erreur.
• L’analyse d’un grand nombre d’études (le rapport comporte une bibliographie de 12 pages) qui comparent les résultats de sondage où l’échantillon est constitué de volontaires par rapport à des méthodes aléatoires (téléphone ou internet) continue de montrer que les échantillons probabilistes fournissent des résultats PLUS PRÉCIS. Une seule exception ici : dans quelques cas, les sondages non probabilistes sur les intentions de vote ont donné des résultats aussi précis ou même plus précis que les sondages probabilistes.
• L’étude des modèles d’ajustement des données (ex. : pondération) utilisés pour les panels non probabilistes n’est pas concluante en ce qui a trait à leur capacité de réduire les biais.
• Les préoccupations liées à la qualité des données dans les panels non probabilistes (ex. : présence de répondants «professionnels» ou même «fictifs») demeurent un enjeu majeur.
• Bref, il n’y a pas de cadre théorique généralement accepté qui permette de généraliser les résultats d’un panel de volontaires. Les experts sont par ailleurs clairs sur la prétention de représentativité, et je cite : «Thus, claims of « representativeness » should be avoided when using these sample sources [nonprobability online panels].»

Composition du groupe de travail

Le rapport de l’AAPOR est signé par 20 de ses membres, incluant certes des représentants de firmes privées (ex. : Gallup, SSI), mais également  huit chercheurs provenant de cinq universités (Stanford, Washington State, Michigan, UCLA, CUNY) et un membre du gouvernement américain (U.S. Centers for Disease Control and Prevention). Le président du groupe de travail, Reg Baker, tient par ailleurs un excellent blogue intitulé The Survey Geek.

Il se trouvera certainement encore des personnes pour clamer que les panels de volontaires peuvent atteindre la «représentativité parfaite». Elles devront toutefois se rendre à l’évidence : aucune étude sérieuse ne cautionne ce point de vue. C’est même tout le contraire.

*Le rapport complet du groupe de travail (80 pages) peut être consulté en ligne en format PDF.

À lire sur le même sujet :
Une étude confirme la supériorité des panels web avec recrutement aléatoire des répondants
Vrai ou faux? Les panels internet livrent des résultats représentatifs de la population
7 questions à poser aux firmes de sondage qui ont des panels web (partie 1, partie 2)

La norme
L’ARIM est en quelque sorte le «chien de garde» de l’industrie du sondage au Canada. Entre autres activités, elle élabore et fait la promotion de normes professionnelles pour garantir des travaux de qualité et ainsi protéger les clients et le public. Selon le code de déontologie de l’ARIM :

Les membres doivent s’abstenir de faire des déclarations concernant les marges d’erreur d’un échantillonnage par rapport aux estimations démographiques quand ils n’utilisent pas des échantillonnages probabilistes.

Un échantillon est dit probabiliste lorsqu’il s’appuie sur le hasard pour sélectionner les individus qui le composent (tous ont une probabilité connue d’être sélectionnés). L’échantillon probabiliste, parce qu’il comporte des propriétés mathématiques connues, est le seul qui permet le calcul de l’erreur d’échantillonnage, communément appelée la marge d’erreur d’un sondage.

Où est le problème?
Avec la croissance des sondages Web, les firmes de sondage constituent maintenant des panels d’internautes. Ces internautes sont régulièrement invités à participer à des sondages en ligne. Dans certains panels, les individus sont des volontaires, c’est-à-dire des gens qui se sont eux-mêmes inscrits pour remplir des sondages. Dans ce cas, on parle d’autosélection, et non d’un échantillon de type probabiliste. Les firmes qui utilisent ce genre de panel ne devraient donc pas, selon les normes de l’ARIM, accompagner leurs résultats d’une marge d’erreur.

Des exemples douteux
Voici deux exemples qui illustrent mon propos. Le premier est tiré d’une présentation faite récemment par Madame Nathalie Madore, vice-présidente de l’Association des statisticiens et statisticiennes du Québec (ASSQ). La présentation s’intitulait Les mauvais usages de la statistique.

Ce sondage éclair a été réalisé par Internet le (date) auprès de 511 Québécois et Québécoises. Un échantillon probabiliste aléatoire de cette taille comporterait une marge d’erreur maximale de 3,4 % 19 fois sur 20.

Avez-vous remarqué l’utilisation du conditionnel dans cette phrase? «Comporterait»? C’est donc dire qu’il n’est pas probabiliste! Comme le mentionnait Madame Madore, la phrase donne au lecteur un sentiment de sécurité quant à la valeur de l’information recueillie qui ne reflète pas la réalité. (Qui plus est, il faut mentionner ici que la marge d’erreur rapportée par le journaliste est erronée! Un échantillon aléatoire simple non pondéré de 511 Québécois aurait plutôt une marge d’erreur de 4,4 %).

Le deuxième exemple, lu dans un journal, n’est pas nécessairement mauvais, mais il est suffisamment imprécis pour qu’on se pose des questions…

Les résultats du sondage proviennent d’un questionnaire en ligne rempli par 1003 adultes choisis au hasard parmi un groupe de répondants réguliers [de la firme]. La marge d’erreur est de 3,1 points de pourcentage, 19 fois sur 20.

C’est bien beau que les adultes aient été choisis au hasard… mais qu’en est-il du «groupe de répondants réguliers»? Les individus qui le composent ont-ils, eux, été sélectionnés au hasard? Ou s’agit-il plutôt d’un groupe de volontaires? Le texte ne le précise pas.

Comme quoi il faut toujours être vigilant lorsqu’on lit les résultats d’un sondage!

Ici, je vous épargne les équations mathématiques… Je voulais simplement vous faire découvrir quelques outils sur le Web qui peuvent calculer pour vous la taille requise d’un échantillon.

Attention cependant! Ces outils sont utiles pour des échantillons aléatoires simples où chacun des individus de la population a une chance égale d’être sélectionné. Dès que le plan d’échantillonnage se complexifie, ne serait-ce qu’un peu, ils ne sont plus appropriés : c’est d’un expert dont vous aurez alors besoin!

Comment ça fonctionne?
La taille de l’échantillon est essentiellement conditionnée par la précision des résultats que l’on désire obtenir :

• Vous devez d’abord entrer la marge d’erreur que vous êtes prêts à accepter (ex. : 4 %).
• Il faut ensuite préciser le niveau de confiance dont vous avez besoin (on travaille presque toujours avec un niveau de confiance de 95 %, le fameux «19 fois sur 20»).
• On vous demande également d’indiquer la taille de la population à l’étude. Toutefois, lorsque la taille de la population est de plusieurs milliers d’individus, celle-ci n’a que peu d’influence sur la taille de l’échantillon.

Quelques outils
Il existe plusieurs outils pour calculer la taille d’un échantillon aléatoire simple (la plupart en langue anglaise, malheureusement). Ils sont plutôt équivalents, quoique certains vous proposent des options supplémentaires intéressantes (ex. : scénarios alternatifs selon différents niveaux de confiance, calcul de la marge d’erreur à partir de la taille de l’échantillon). Je vous donne des liens vers quelques-uns, mais une simple recherche sur Internet avec les mots clés «sample size calculator» vous en donnera certainement d’autres.

• GMI (en français)
• Raosoft (en anglais)
• CustomInsight (en anglais)
• MaCorr (en anglais)

Billets sur des sujets apparentés :

• Représentativité d’un échantillon : clin d’oeil historique
• L’ABC des méthodes d’échantillonnage (partie 1)
• L’ABC des méthodes d’échantillonnage (partie 2)
• Méthodes d’échantillonnage probabilistes et sondages Web

C’est le titre d’un article de Sheldon R. Gawiser et G. Evans Witt, du National Council on Public Polls, dont j’ai pris connaissance via le blogue de MarketResearch.

J’en ai déjà parlé, il arrive que les journalistes publient n’importe quoi en matière de sondage. Les questions qu’on retrouve dans cet article visent justement à aider les journalistes : ont-ils entre les mains un sondage scientifique? Doivent-ils rapporter les résultats de tel sondage?

Unscientific pseudo-polls are widespread and sometimes entertaining, but they never provide the kind of information that belongs in a serious report.

Les questions sont toutes accompagnées d’un commentaire. Je vous en rapporte quelques-unes ici.

• Qui a fait le sondage?
  C’est toujours la première question à poser. Si vous ne pouvez y répondre, vous ne pouvez répondre aux questions subséquentes.
• Qui paie pour faire le sondage et pourquoi est-il mené?
  Les sondages ne sont pas effectués pour le «bien-être de l’humanité». Quelqu’un, quelque part, a une raison bien précise de connaître l’opinion ou les perceptions de tel groupe d’individus.
• Comment les répondants ont-ils été choisis?
  Les méthodes d’échantillonnage y sont pour beaucoup dans la scientificité d’un sondage. C’est donc à examiner avec attention!
• Les résultats présentés sont-il basés sur l’ensemble des répondants?
  Il faut toujours se rappeler que lorsque des données sont présentées pour un sous-groupe de l’échantillon, la marge d’erreur est généralement plus élevée. Aussi, si on veut parler uniquement d’un sous-groupe il faut s’assurer que le nombre d’individus qui le composent est assez grand.
• Le sondage a-t-il été fait sur le Web?
  Les sondages Web peuvent être scientifiques s’ils respectent les règles de l’art. Mais attention! La méthode doit être scrupuleusement évaluée puisque de nombreux sondages Web font appel à des volontaires plutôt que d’utiliser des méthodes d’échantillonnage reconnues.
• Quand le sondage a-t-il été fait?
  Les événements peuvent dramatiquement changer l’opinion publique. Un exemple? Si vous aviez fait un sondage sur la perception de la population à l’égard de la menace d’une pandémie d’influenza la semaine dernière, il ne serait plus d’actualité! En effet, la nouvelle grippe porcine, que les médias s’efforcent de nous présenter comme la prochaine catastrophe, a sûrement un effet sur l’opinion publique!

Et il y a plusieurs autres questions et réponses toutes plus intéressantes les unes que les autres. C’est à lire!