Il sera plutôt remplacé par une enquête à participation volontaire, soit l’enquête nationale auprès des ménages, qui ciblera le tiers des ménages canadiens. En revanche, la version courte du recensement demeurera obligatoire.

Les conséquences de cette décision seront dommageables pour toute l’industrie du sondage. Voici pourquoi.

Comme je l’expliquais dans mon précédent billet, nous utilisons les caractéristiques connues de la population pour pondérer les données de sondage. Or, plusieurs données relatives aux «caractéristiques connues de la population» sont directement issues… de la version longue du questionnaire de recensement! Le fait que cette enquête à participation obligatoire devienne facultative aura un effet certain sur le taux de réponse, diminuant ainsi la fiabilité des données et, par conséquent, la précision des sondages.

L’Institut de la statistique du Québec (ISQ) a d’ailleurs pris position hier sur les impacts de ce changement pour le Québec. Comme je ne saurais mieux l’expliquer en mes propres mots, je me permets de reprendre quelques extraits (voir l’analyse intégrale) :

Les impacts sont importants et concernent notamment trois dimensions de la qualité de l’information statistique : fiabilité, comparabilité et cohérence.

Tout d’abord, compte tenu du caractère facultatif de la nouvelle enquête, une diminution des taux de réponse est appréhendée. Cela laisserait présager une perte de la fiabilité des statistiques produites. [...]

Une perte de comparabilité pourrait également être observée à l’égard des statistiques relatives aux caractéristiques de la population obtenue au fil des ans. [...]

Enfin, il pourrait être difficile pour Statistique Canada d’assurer la cohérence des statistiques produites à la suite de la nouvelle enquête facultative avec celles produites à l’aide du questionnaire court du recensement de 2011 [...]

Ce questionnaire court obligatoire, rappelons-le, ne contient que 4 variables sociodémographiques : âge, sexe, état matrimonial et langue maternelle. C’est insuffisant pour les besoins liés à la pondération des données (voir la version 2011 du questionnaire court – à la suite du recensement sur l’agriculture).

Il n’y a pas que les sondeurs qui redoutent l’impact de cette décision, vous vous en doutez. Plusieurs groupes ont d’ailleurs fait connaître leur insatisfaction. Par exemple :

• L’Association canadienne des professeures et professeurs d’université exige que le gouvernement fédéral revienne sur sa décision en mentionnant les «conséquences désastreuses que cette mesure aura sur la compréhension scientifique de la société canadienne et sur la capacité de prendre des décisions éclairées relatives aux politiques sociales et économiques.»
• Le Commissaire aux langues officielles a entrepris une enquête sur la question en soulignant son inquiétude à l’égard «des répercussions possibles que pourrait avoir cette décision sur la vitalité des communautés de langue officielle et l’application de la Loi sur les langues officielles.»
• La Conférence des recteurs et des principaux des universités du Québec (CREPUQ) a également fait part de sa «consternation [à l'égard de] la décision du gouvernement fédéral.»
• Même le milieu des affaires s’est joint au débat pour dénoncer ce changement.

Les raisons évoquées par le gouvernement pour justifier cette décision sont pour le moins nébuleuses. Selon un article du quotidien Le Devoir, le ministre de l’Industrie, Tony Clement, parle de préoccupations liées à la vie privée et va même jusqu’à remettre en question la fiabilité des informations du recensement sous prétexte que les citoyens étaient obligés de répondre au questionnaire…

Ce qu’il semble ignorer, c’est que sa décision (prise semble-t-il sans aucune consultation des principaux utilisateurs des données du recensement) aura des conséquences encore pires sur la fiabilité des données. Et c’est sans compter que la nouvelle formule coûtera plus cher aux Canadiens puisque le questionnaire sera envoyé à un plus grand nombre de ménages : un «petit» 30 millions $ de plus, selon Cyberpresse…

Qu’est-ce que la pondération? Pourquoi pondérer les données?

La pondération des données consiste à accorder un coefficient de pondération (un poids) à chacun des individus d’un échantillon. L’objectif premier de l’exercice est de corriger la représentativité de l’échantillon en fonction de certaines variables clés afin d’être en mesure d’extrapoler les résultats du sondage à la population.

Exemple

• Prenons une population qui compte 10 000 individus et un nombre égal d’hommes et de femmes.
• Disons maintenant qu’on fait un sondage avec un échantillon de 1000 individus et, qu’à cause de certains facteurs (ex. : taux de réponse, stratification), on obtient 800 femmes et 200 hommes.
• On constate un déséquilibre, pour la variable «sexe», entre l’échantillon et la population : chaque homme de l’échantillon représente 25 hommes de la population (5000/200) alors que chaque femme de l’échantillon représente 6,25 femmes de la population (5000/800).
• On appliquera donc un coefficient de pondération qui aura pour effet de donner plus de poids aux réponses des 200 hommes (et moins à celles des femmes), et ce, afin de corriger le déséquilibre.

Les variables de pondération

Les variables qu’on utilisera pour pondérer les données d’un échantillon dépendent des caractéristiques de la population à l’étude.

Pour un sondage auprès de la population québécoise par exemple, la distribution des principales variables sociodémographiques sera examinée (ex. : âge, sexe, scolarité, nombre d’individus par ménage) et, s’il y a déséquilibre par rapport aux caractéristiques connues de la population, on appliquera le coefficient de pondération approprié. Ainsi, le poids qu’on attribue à un individu de l’échantillon correspond au poids que cet individu représente dans la population.

Note importante : La pondération ne compense pas une méthode d’échantillonnage inappropriée. Si, à la base, on ne dispose pas d’un échantillon probabiliste constitué dans les règles de l’art, la pondération ne peut pas prétendre rendre un échantillon représentatif.

Comme solution de rechange au RDD, une nouvelle tendance se dessine (surtout aux États-Unis pour le moment) : il s’agit de l’échantillonnage basé sur les adresses de résidence pour sélectionner les ménages qui répondront à un sondage (en anglais Address Based Sampling – ABS).

Pourquoi?

Pour tenter de joindre des groupes de répondants que les autres méthodes arrivent moins bien à joindre, notamment les jeunes (18-34 ans), les ménages qui utilisent exclusivement le téléphone cellulaire, certaines minorités ou encore les non-internautes (lorsqu’il s’agit de recherche en ligne).

En d’autres termes, il s’agit d’un moyen qui vise à améliorer la couverture des méthodes actuelles, c’est-à-dire le degré d’exhaustivité des renseignements relatifs à la population cible (pour plus de détails sur la couverture et les bases de sondage, voir la très claire explication de Statistique Canada).

Comment ça marche?

Il s’agit d’un processus en plusieurs étapes. Je m’inspire ici des quelques expériences documentées jusqu’à maintenant (voir les sources au bas de ce billet) et de la réflexion amorcée par SOM à ce sujet :

• Il faut d’abord disposer d’une base de sondage contenant toutes les adresses de la population cible dans un territoire donné.
• On tire ensuite un échantillon aléatoire d’adresses à partir de de cette base de sondage.
• Pour contacter les ménages sélectionnés, plusieurs options sont possibles : le téléphone (lorsqu’il est possible de trouver le numéro de téléphone correspondant à l’adresse), la poste ou encore une rencontre en personne. Évidemment, ce dernier moyen nécessite des ressources importantes.
• Les ménages contactés sont invités à faire partie d’un panel dont on contactera les membres pour divers sondages. Ils peuvent signifier leur intérêt à faire partie du panel par divers moyens (au téléphone, par la poste, par internet).
• Une rémunération (ou une autre forme d’incitatif) peut être proposée aux ménages pour joindre le panel et/ou participer à une recherche.
• Idéalement, les ménages recrutés doivent avoir le choix du moyen pour répondre à un sondage (téléphone traditionnel, téléphone cellulaire, internet, poste…), ce qui signifie des collectes mixtes ou multimodes.
• Les membres du panel ainsi formé doivent être régulièrement renouvelés, de façon à ce qu’on ne s’adresse pas toujours au même bassin de personnes.

Est-ce que ça marche?

Les deux premières références citées plus bas font chacune le bilan d’une expérience utilisant l’ABS. Voici en vrac quelques constats qui émergent de l’une ou l’autre de ces études :

• L’échantillonnage basé sur les adresses de résidence permet effectivement de joindre des groupes qu’il est difficile de joindre avec le RDD. Dans les deux cas, on a pu joindre une proportion intéressante de ménages n’utilisant que le téléphone cellulaire. L’une des études a par ailleurs mieux réussi à joindre des membres des minorités afro-américaine et hispanophone de même que des jeunes de moins de 35 ans.
• Les résultats non pondérés sont plus près des paramètres connus de la population avec l’ABS.
• Dans les deux cas, le taux de réponse est inférieur avec une approche ABS comparativement à l’approche traditionnelle de RDD.

Pour en savoir plus :

• Comparing Random Digit Dial (RDD) and United States Postal Service (USPS) Address-Based Sample Designs for a General Population Survey: The 2008 Massachusetts Health Insurance Survey [document PDF, Urban Institute et Social Science Research Solutions]
• Building a New Foundation : Transitioning to Address Based Sampling after Nearly 30 Years of RDD [document PDF, Nielsen Company]
• Address Based Sampling and Address Matching: Experience from REACH U.S. [document PDF, Université de Chicago]
• Meeting the Challenge of Cell Phone-Only Households, Young Adults and Minorities : Introducing Address-Based Sampling to KnowledgePanel® [Knowledge Networks]
• Recent Developments in Address-Based Sampling [document PDF, Marketing Systems Group]

Twitter remplacera-t-il les sondages d’opinion?

La nouvelle a rapidement fait le tour du web. Et comme toujours lorsque des études montrent les avantages et les possibilités des réseaux sociaux, plusieurs ont sauté sur l’occasion pour annoncer la mort des sondages d’opinion. Une chose est sûre, ce n’est pas pour demain!

Pourquoi Twitter ne remplacera-t-il pas les sondages d’opinion?

• Au Québec, la proportion de personnes adeptes de Twitter est encore très faible (voir les données de décembre 2009). Il s’agit bien sûr d’internautes et, sans avoir de données sur le profil des utilisateurs, il s’agit certainement de gens plus scolarisés que la moyenne, partageant certaines caractéristiques moins répandues dans la population en général (ex. : le fait d’être très «techno»). Impossible de prétendre que l’opinion de ces personnes est représentative de l’ensemble de la population.
• Le sondage scientifique repose sur des théories éprouvées (probabilités, statistique) qui en font un outil unique. Une éventuelle utilisation de Twitter pour mesurer l’opinion publique ne pourrait offrir les mêmes gages de représentativité.
• Les propos diffusés sur Twitter sont… spontanés. Qu’arrive-t-il si on ne parle pas des sujets qui vous intéressent? Joanne Simonis, dans un billet publié sur le blogue de Cvent, fait une belle analogie en parlant de Twitter et des sondages; si les sondages sont un baromètre de l’opinion publique, Twitter s’apparente plutôt à un thermomètre : utile pour détecter les sujets «chauds» de l’heure, mais pas pour mesurer l’opinion publique.
• D’ailleurs, les sujets «chauds» enflamment souvent les esprits et déchaînent les passions. On peut penser que les opinions les plus polarisées sont celles qui ressortent du lot. Les utilisateurs plus modérés ou indifférents à l’égard d’un sujet donné se font certainement plus discrets sur Twitter.
• Les logiciels utilisés pour l’analyse de texte sont encore à l’état embryonnaire; ils classent les éléments textuels en repérant par exemple les mots à connotation négative et ceux à connotation positive. Je ne crois pas me tromper en disant qu’ils ne sont pas suffisamment sensibles pour détecter l’ironie ou l’humour. Aussi, la marge d’erreur associée à ce type de classement est nécessairement plus élevée que celle d’un sondage fait dans les règles.
• On dit que cette nouvelle méthode permettrait de sauver du temps par rapport à un sondage traditionnel. À la lecture de l’étude, je n’en suis pas si sûre. Les chercheurs ont analysé un milliard de «tweets» postés en 2008 et 2009… et publient les résultats de leur étude en 2010. Je serais curieuse de savoir combien d’heures de collecte, d’analyse et de vérification ont été investies dans le projet. Quant à l’utilité de données d’opinion qui remontent à 2008… sans commentaires.

Twitter, un complément possible aux sondages

L’étude des chercheurs américains demeure très intéressante. Dans une perspective non pas de sondage, mais plutôt de recherche qualitative, les propos véhiculés sur les médias sociaux sont une source de données à ne pas négliger. Mais de là à remplacer le sondage, il y a un pas impossible à franchir. C’est plutôt une nouvelle avenue de recherche qui s’offre à nous.

Je vous parle aujourd’hui de la première recommandation des experts :

Les chercheurs devraient éviter d’utiliser des panels non probabilistes lorsque leur objectif est de généraliser des résultats à l’ensemble d’une population.

Évidemment, cette conclusion me réjouit puisque je m’évertue depuis des mois à expliquer la différence entre panel probabiliste (recrutement aléatoire de panélistes) et panel non probabiliste (panel de volontaires, qui s’inscrivent spontanément) ainsi que les implications de chacun à l’égard des résultats de recherche.

Argumentation des experts

Je ne prétends pas ici résumer les propos de ce volumineux rapport. Voici toutefois quelques-uns des arguments évoqués pour justifier cette position.

• Tous les panels d’internautes souffrent d’une erreur de couverture par rapport à la population en général (bien sûr, puisque les non-internautes en sont automatiquement exclus).
• Toutefois, les méthodes probabilistes de recrutement de panélistes (ex. : au téléphone, par la poste et même en personne) tendent à minimiser cette erreur.
• L’analyse d’un grand nombre d’études (le rapport comporte une bibliographie de 12 pages) qui comparent les résultats de sondage où l’échantillon est constitué de volontaires par rapport à des méthodes aléatoires (téléphone ou internet) continue de montrer que les échantillons probabilistes fournissent des résultats PLUS PRÉCIS. Une seule exception ici : dans quelques cas, les sondages non probabilistes sur les intentions de vote ont donné des résultats aussi précis ou même plus précis que les sondages probabilistes.
• L’étude des modèles d’ajustement des données (ex. : pondération) utilisés pour les panels non probabilistes n’est pas concluante en ce qui a trait à leur capacité de réduire les biais.
• Les préoccupations liées à la qualité des données dans les panels non probabilistes (ex. : présence de répondants «professionnels» ou même «fictifs») demeurent un enjeu majeur.
• Bref, il n’y a pas de cadre théorique généralement accepté qui permette de généraliser les résultats d’un panel de volontaires. Les experts sont par ailleurs clairs sur la prétention de représentativité, et je cite : «Thus, claims of « representativeness » should be avoided when using these sample sources [nonprobability online panels].»

Composition du groupe de travail

Le rapport de l’AAPOR est signé par 20 de ses membres, incluant certes des représentants de firmes privées (ex. : Gallup, SSI), mais également  huit chercheurs provenant de cinq universités (Stanford, Washington State, Michigan, UCLA, CUNY) et un membre du gouvernement américain (U.S. Centers for Disease Control and Prevention). Le président du groupe de travail, Reg Baker, tient par ailleurs un excellent blogue intitulé The Survey Geek.

Il se trouvera certainement encore des personnes pour clamer que les panels de volontaires peuvent atteindre la «représentativité parfaite». Elles devront toutefois se rendre à l’évidence : aucune étude sérieuse ne cautionne ce point de vue. C’est même tout le contraire.

*Le rapport complet du groupe de travail (80 pages) peut être consulté en ligne en format PDF.

À lire sur le même sujet :
Une étude confirme la supériorité des panels web avec recrutement aléatoire des répondants
Vrai ou faux? Les panels internet livrent des résultats représentatifs de la population
7 questions à poser aux firmes de sondage qui ont des panels web (partie 1, partie 2)

Voici ce que dit l’étude originale :

Ipsos reports that for the first time ever in their tracking research, the weekly Internet usage of online Canadians has moved ahead of the number of hours spent watching television. [...] Overall, online Canadians are now spending more than 18 hours a week online, compared to 16.9 hours watching television.

Maintenant, voici des extraits de la nouvelle relayée par quelques médias :

Pour la première fois, les Canadiens passent plus de temps sur internet que devant leur téléviseur. (Radio-Canada)

Pour la première fois, les Canadiens passent plus de temps à surfer le Web qu’à regarder la télévision, selon un récent sondage. (Canoe)

Pour la première fois, les Canadiens passent plus de temps sur internet qu’à regarder la télévision, selon un sondage Ipsos Reid. (Cyberpresse)

Quelle est l’erreur commune dans ces trois extraits?

Ils font tous référence aux «Canadiens» alors que l’étude mentionne explicitement qu’il s’agit des «internautes canadiens» (online Canadians). Qu’est-ce que ça change? Beaucoup de choses! En fait, il ne s’agit pas du tout de la même population. Si certains résultats de sondage obtenus d’un panel d’internautes sont comparables aux données de la population en général, ce n’est certainement pas le cas des questions qui touchent de près ou de loin à l’utilisation des technologies et d’internet.

Si ce sondage avait été mené auprès de la population en général (incluant les personnes qui n’utilisent pas internet – et qui ne sont donc PAS des internautes), nous aurions nécessairement obtenu des données différentes (un nombre moyen d’heures passées sur internet plus faible). J’irais même jusqu’à parier que la télé est toujours au premier rang…

Je ne dis pas qu’il n’y a pas de changement important dans les habitudes d’utilisation des médias. C’est un fait maintes fois documenté. Toutefois, les articles publiés dans les médias sont trompeurs puisque le sondage d’Ipsos documente les habitudes des internautes et non pas celles des Canadiens.   

Vrai ou faux?
Les panels Internet livrent des résultats représentatifs de la population.

Réponse : FAUX!

Explication
Un panel Internet, aussi appelé panel Web ou panel d’internautes, est un groupe d’individus participant régulièrement à des sondages en ligne.

Même s’ils sont composés de dizaines de milliers d’individus et même si les individus qui le composent sont sélectionnés de façon aléatoire, les panels Internet NE PEUVENT PAS prétendre être représentatifs de l’ensemble de la population. Pourquoi? Parce que les panels laissent nécessairement de côté toutes les personnes qui n’utilisent pas Internet. Et il y en a encore beaucoup!

Certains argueront qu’en pondérant les données selon les caractéristiques de la population, on obtient des résultats représentatifs de cette dernière. Je vous confirme encore une fois que c’est faux, du moins en partie. Si certains résultats sont comparables aux données de la population en général, d’autres sont significativement différents. Les internautes possèdent des caractéristiques communes qui les différencient des autres. Par ailleurs, la pondération des données dans les sondages Web peut, au lieu de corriger le tir, amplifier les problèmes, selon M. Saulnier.

Que peut-on dire alors? Que les résultats sont représentatifs des internautes, tout simplement (pourvu que les répondants aient été sélectionnés de façon aléatoire).

Ici, je vous épargne les équations mathématiques… Je voulais simplement vous faire découvrir quelques outils sur le Web qui peuvent calculer pour vous la taille requise d’un échantillon.

Attention cependant! Ces outils sont utiles pour des échantillons aléatoires simples où chacun des individus de la population a une chance égale d’être sélectionné. Dès que le plan d’échantillonnage se complexifie, ne serait-ce qu’un peu, ils ne sont plus appropriés : c’est d’un expert dont vous aurez alors besoin!

Comment ça fonctionne?
La taille de l’échantillon est essentiellement conditionnée par la précision des résultats que l’on désire obtenir :

• Vous devez d’abord entrer la marge d’erreur que vous êtes prêts à accepter (ex. : 4 %).
• Il faut ensuite préciser le niveau de confiance dont vous avez besoin (on travaille presque toujours avec un niveau de confiance de 95 %, le fameux «19 fois sur 20»).
• On vous demande également d’indiquer la taille de la population à l’étude. Toutefois, lorsque la taille de la population est de plusieurs milliers d’individus, celle-ci n’a que peu d’influence sur la taille de l’échantillon.

Quelques outils
Il existe plusieurs outils pour calculer la taille d’un échantillon aléatoire simple (la plupart en langue anglaise, malheureusement). Ils sont plutôt équivalents, quoique certains vous proposent des options supplémentaires intéressantes (ex. : scénarios alternatifs selon différents niveaux de confiance, calcul de la marge d’erreur à partir de la taille de l’échantillon). Je vous donne des liens vers quelques-uns, mais une simple recherche sur Internet avec les mots clés «sample size calculator» vous en donnera certainement d’autres.

• GMI (en français)
• Raosoft (en anglais)
• CustomInsight (en anglais)
• MaCorr (en anglais)

Billets sur des sujets apparentés :

• Représentativité d’un échantillon : clin d’oeil historique
• L’ABC des méthodes d’échantillonnage (partie 1)
• L’ABC des méthodes d’échantillonnage (partie 2)
• Méthodes d’échantillonnage probabilistes et sondages Web

• La non-disponibilité des bases de sondage, c’est-à-dire de listes valables à partir desquelles sélectionner un échantillon aléatoire.
• S’il est aujourd’hui facile de générer des numéros de téléphone aléatoires pour effectuer des sondages téléphoniques représentatifs, il en va autrement des adresses de courriels. Un tel système ne peut que générer un nombre important d’adresses inexistantes ou inutilisées.
• La difficulté d’établir avec certitude l’identité du répondant. Il est fort possible, par exemple, qu’une adresse de courriel soit utilisée par plusieurs personnes. Aussi, la personne qui répond au sondage n’est pas nécessairement celle qui a été invitée à le faire.
• L’impossibilité de joindre les personnes qui n’ont pas accès à Internet.

Bien qu’imparfaites, il existe des méthodes d’échantillonnage probabilistes pour le Web, par exemple :

• La sélection aléatoire d’un échantillon à partir d’une liste de courriels (à condition évidemment que la liste soit à jour et qu’elle couvre l’ensemble de la population à l’étude).
• L’interception aléatoire de visiteurs sur un site Web (à condition d’avoir des données fiables sur le nombre total de visiteurs).
• La constitution de panels Web – mon collègue Éric Lacroix a déjà abordé la question de la représentativité des panels ici.

Peu importe la méthode utilisée, il est important d’en connaître les limites et, surtout, d’en tenir compte dans la généralisation et la publication des résultats.

Source : Sampling and Inference in Web surveys, Part I – Frames and Sampling (document PDF).

Les échantillons non probabilistes
Les méthodes d’échantillonnage non probabilistes, contrairement aux précédentes, ne s’appuient pas sur le hasard pour sélectionner les individus d’une population. Les échantillons ainsi constitués ne sont donc pas probabilistes et, de ce fait, on ne peut leur appliquer la notion de marge d’erreur statistique. Autrement dit, on ne connaît pas le niveau de précision des estimations ainsi produites. Ils présentent toutefois d’autres avantages, comme ceux d’être peu coûteux, rapides et faciles à utiliser.

Il faut bien voir également que ce ne sont pas tous les projets qui exigent des échantillons probabilistes; cela dépend des objectifs poursuivis. Ces méthodes sont fréquemment utilisées en recherche qualitative. Voici quelques exemples d’échantillons non probabilistes :

• L’échantillon accidentel. C’est la méthode des « premiers qui passent ». L’image type est le « vox pop »: on interroge les premières personnes qui se présentent à un endroit donné.
• L’échantillon typique. Appelé aussi échantillonnage par choix raisonné, cette méthode consiste à sélectionner les cas « types », par exemple, les cas extrêmes ou les phénomènes rares.
• L’échantillon de volontaires. Seules les personnes qui se portent volontaires font partie de ce type d’échantillon. Certains panels Web sont constitués exclusivement de cette façon.
• L’échantillon « boule de neige ». Dans ce type d’échantillon, appelé aussi échantillon par réseau, les individus sont sélectionnés en fonction de leurs liens avec un « noyau » d’individus. On se base par exemple sur les réseaux sociaux, les amitiés, les relations d’affaires, etc. pour recruter de nouveaux sujets.
• L’échantillon par quotas. Il s’agit de sélectionner des individus de façon « accidentelle », mais en tentant d’atteindre des quotas préalablement définis en fonction des caractéristiques de la population à l’étude (ex. : 50 % d’hommes et 50 % de femmes, X % de jeunes, etc.).

Sources
Recherche sociale : de la problématique à la collecte des données
Fondements et étapes du processus de la recherche