En effet, la statistique nous apprend qu’un échantillon de moins de 30 répondants ne vaut rien… Mais qu’à partir de 30, tout baigne. Alors d’où vient cette obsession de toujours vouloir interroger 400, 500 voire 1 000 répondants?

30, un chiffre «magique»?

Bien que techniquement, un échantillon de 30 répondants sélectionnés de manière probabiliste soit effectivement représentatif d’une population donnée, les résultats issus de cet échantillon souffriront d’une grande imprécision. D’où l’intérêt d’augmenter les tailles d’échantillon, particulièrement dans les cas où on souhaite un niveau de précision élevé par segment de marché.

Mais attention, votre enthousiasme pour les gros échantillons sera vite tempéré par des considérations budgétaires. En effet, bien qu’un échantillon de 1000 répondants soit deux fois plus coûteux (ou à peu près) qu’un échantillon de 500 répondants, il n’est pas deux fois plus précis. Il faut en fait quadrupler la taille d’un échantillon pour voir diminuer de moitié la marge d’erreur. C’est donc un pensez-y-bien!

La taille de l’échantillon dépend du niveau de précision souhaité

Mais revenons à l’échantillon représentatif de 30 répondants. En pratique, le strict minimum que l’on recommande à nos clients est généralement autour de 100. Au-delà de ce seuil, les tailles d’échantillon dépendent de la valeur que l’on accorde au niveau de précision accru que l’on obtient et à la présence ou non de segments de marché pour lesquels on veut obtenir un niveau de précision acceptable.

Quant à l’impact de la taille de la population sur la taille de l’échantillon, oubliez les rumeurs qui circulent à ce sujet. Dans des contextes de grandes populations (ex. : le Canada ou les États-Unis), la taille de la population n’a aucune incidence perceptible sur la taille de l’échantillon, pourvu que l’échantillon soit constitué au hasard (échantillon probabiliste). C’est pourquoi les sondages politiques, par exemple, sont généralement effectués avec 1 000 répondants, peu importe de quel côté de la frontière.

Pour vous convaincre de cette grande vérité, considérez l’exemple culinaire suivant. Lorsque vous cuisinez des pâtes pour un groupe de 8 personnes, vérifiez-vous la cuisson d’une plus grande quantité de pâtes avant de les servir que lorsque vous cuisinez seulement pour vous?

* Vincent Bouchard est vice-président Marketing chez SOM.

À lire aussi :

• Déterminer la taille d’un échantillon… sans y perdre son latin!
• L’ABC des méthodes d’échantillonnage (partie 1)
• L’ABC des méthodes d’échantillonnage (partie 2)

Dans les sondages par interception sur un site web, par exemple, où les taux de réponse sont relativement bas, ça peut prendre quelques semaines avant d’obtenir le nombre de répondants visés par l’étude. Lorsqu’on sonde les membres d’une association ou les représentants d’une entreprise au moyen d’un sondage en ligne, on peut aussi vouloir laisser un délai suffisant pour que tous aient la chance de répondre (1 ou 2 semaines par exemple).

En fait, il faut ajuster la période de collecte au type de répondants ciblés. Une période de collecte longue n’est pas un problème en soi, si l’échéancier le permet. C’est plutôt des sondages très rapides dont il faut se méfier.

La technologie permet la rapidité

Avec les sondages en ligne et les panels d’internautes, il est très facile de faire un sondage en quelques heures. Il n’est pas rare, aujourd’hui, de voir de tels sondages, surtout dans les médias. On rédige quelques questions, on lance une invitation à un grand nombre de panélistes… et hop! Deux heures plus tard, vous avez facilement 400 répondants voire 1000 qui ont dûment répondu au sondage.

La rigueur scientifique commande un minimum de temps de collecte

Le problème avec ce type de sondage, c’est que les réponses proviendront uniquement des personnes disponibles pendant ces quelques heures, celles qui étaient près de leur ordinateur et qui ont lu leur courriel d’invitation. Premier arrivé, premier répondu! Ce n’est pas plus scientifique qu’un «vox pop» réalisé au coin d’une rue où vous interceptez les premiers passants venus…

Dans la vraie vie, il y a toutes sortes d’internautes. Si certains sont branchés en permanence, d’autres prennent connaissance de leurs courriels à peine quelques fois par semaine. Certains le font au bureau, d’autres à la maison. De jour, de soir, de fin de semaine… les habitudes sont variées.

Qu’arrive-t-il donc si un sondage en ligne est fait en quelques heures? Il n’est pas représentatif des internautes, tout simplement. Et s’il n’est pas représentatif, il est impossible d’en généraliser les résultats.

Un sondage web devrait donc être mis en ligne au minimum plusieurs jours, incluant idéalement un week-end. De cette façon, on s’assure de sonder un échantillon beaucoup plus large et représentatif de la population internaute.

Aux États-Unis, plus de 25 % des ménages utiliseraient uniquement le cellulaire (source). Selon l’enquête sur le service téléphonique résidentiel de Statistique Canada, cette proportion était estimée à 8 % au Canada et à 6,7 % au Québec en 2008. Si on examine la distribution selon l’âge, on observe que 24,6 % des ménages québécois constitués uniquement de personnes âgées de 18 à 34 ans utiliseraient exclusivement le téléphone cellulaire. Comme ces données datent de 2008, on peut penser que ces proportions se sont légèrement accrues.

Les sondages téléphoniques traditionnels souffrent donc d’un problème de couverture et sont moins représentatifs qu’avant, particulièrement en ce qui concerne les ménages des 18-34 ans.

Dans un récent article de la revue Techniques d’enquête, des chercheurs expliquent les fondements statistiques des enquêtes par téléphone mobile. L’article est très (trop) technique, mais a le mérite de bien poser la problématique de la téléphonie cellulaire dans le contexte des sondages. Je me permets d’en citer quelques extraits (entre guillemets ci-dessous).

L’échantillonnage d’un sondage téléphonique traditionnel auprès de la population s’appuie sur la  génération aléatoire de numéros de téléphone (GANT) (en anglais Random Digit Dialing – RDD). Dans ce type d’enquête, « l’hypothèse est que le téléphone fixe est un appareil électroménager et que chaque personne faisant partie de la population n’est  attachée qu’à un seul ménage.» Ainsi, on n’échantillonne pas des individus, mais des ménages dans un premier temps. Ensuite, on peut sélectionner un individu au sein du ménage.

«L’enquête par téléphone mobile entraîne un changement de paradigme et pose de nouveaux défis. [...] Dans l’esprit de la plupart des gens, un téléphone mobile est un appareil personnel et non un appareil ménager. [...] Donc, dans les enquêtes par téléphone mobile le ménage ne représente plus forcément la même organisation unifiante que dans le cas des enquêtes par téléphone conventionnelles.»

Dans les faits donc, si on veut intégrer un échantillon de téléphones mobiles, on se retrouve avec deux bases de sondage complètement différentes (l’une dont l’unité est le ménage et l’autre dont l’unité est l’individu). Qui plus est, les deux bases de sondage se chevauchent, comme illustré dans le schéma ci-dessous : un nombre important de personnes sont joignables à la fois par ligne fixe ET par téléphone cellulaire.

Maintenant que la problématique est posée, quelle est la solution? Doit-on sonder les individus sur leur mobile? Ce n’est pas aussi simple qu’il y paraît. Je vous en reparle dans un prochain billet!

Dans l’ensemble, je retire des bénéfices de cette journée dans la mesure où plusieurs conférences ont stimulé ma réflexion. Voici quelques-unes de mes impressions à la suite de ce que j’y ai vu et entendu. Je vous parle brièvement des cinq conférences de la journée.

1. Évaluer l’efficacité d’un panel en ligne

Il y avait des éléments forts intéressants dans la présentation de M^me Christine Melançon, vice-présidente chez Ipsos. Entre autres, les procédures utilisées pour s’assurer du sérieux des répondants (ex. : questionnaire «piégé« à l’inscription pour vérifier que le répondant lit les questions) ou encore les panels «dédiés» (qu’on appelle aussi panels privés ou panels propriétaires), c’est-à-dire les communautés virtuelles exclusivement constituées pour une marque, une entreprise.

Malheureusement, je n’ai pu être d’accord avec l’ensemble de ses propos. Plus encore, je considère que M^me Melançon a induit le public en erreur en passant sous silence l’important débat de la représentativité des panels web. Pour elle, le fait de recruter les participants d’un panel de volontaires sur plusieurs sites web élimine les biais d’échantillonnage. Or, comme il s’agit d’un panel de volontaires et non d’un panel à recrutement aléatoire, non seulement les biais d’échantillonnage sont amplifiés, mais il est impossible de généraliser les résultats. De plus, elle affirme que les panels web sont représentatifs de la population en général… tout en présentant une diapo qui montre clairement que les panels excluent au minimum 25 % de la population, soit les gens qui n’utilisent pas internet régulièrement.

2. Engager le dialogue par la cocréation

Sans aucun doute la meilleure présentation de la journée! M. Alain Giguère, président de CROP, a exposé une approche intéressante basée sur l’utilisation du sondage. Pour faire court, disons que l’approche consiste à poser une question ouverte (ex. : quels sont vos sentiments à l’égard de telle marque?) et à soumettre les réponses proposées à d’autres répondants pour qu’ils les commentent à leur tour.

Seul bémol, la présentation ne spécifiait pas la méthode d’échantillonnage privilégiée pour sélectionner les répondants et ainsi apprécier la validité des résultats et leur possible généralisation à une population plus large… S’agit-il d’un échantillon probabiliste? Mystère!

3. Ce que vous devez connaître de vos compétiteurs en quelques clics

Conférence non dénuée d’intérêt, mais rien de vraiment nouveau sous le soleil. L’essentiel des propos de M. Frédéric Allard et de M^me Anne Roquecave, de la firme Ébullition, était à l’effet que le web, en particulier le web social, regorge d’information sur nos concurrents, exemples à l’appui. Un plaidoyer pour l’utilisation des médias sociaux à des fins de veille stratégique, mais sans vraiment proposer de démarche structurée.

4. Mesurer et écouter grâce aux outils en ligne

MM. Andréa Doyon (Hue – équation humaine) et Simon Francès (Cirque du soleil) ont présenté un outil de vigie qui vise à «agglomérer les premiers résultats de chaque moteur en leur attribuant une note de pertinence afin d’en dégager une tendance.» Peut-être est-ce le contexte de l’étude de cas (recrutement en ligne pour le Cirque du soleil) ou le support visuel déficient, mais toujours est-il que cette présentation n’a pas véritablement «accroché» mon intérêt.

5. La netnographie et l’étude des communautés virtuelles d’une marque

Enfin, les professeurs adjoints Jonathan Deschênes et Marie-Agnès Parmentier, de HEC Montréal, ont parlé de la «netnographie», soit l’application des principes de l’ethnographie aux communautés virtuelles. D’abord théorique, la présentation s’est ensuite attardée à l’étude d’un cas. Approche très intéressante, mais présentée dans une perspective académique (projet de recherche d’une durée de 2 ans). Cela dit, plusieurs idées me semblent applicables à la recherche marketing.

L’industrie de la recherche et du sondage est en profonde mutation depuis quelques années. Plusieurs nouvelles tendances ont vu le jour et se poursuivront sans aucun doute. Voici donc quelques «prédictions» pour le développement de la recherche en 2011…

L’exploration des médias sociaux à des fins de recherche

J’ai déjà écrit plusieurs billets sur le thème des médias sociaux, notamment l’état des lieux, l’analyse des humeurs et les considérations éthiques. L’utilisation des médias sociaux dans le contexte de la recherche marketing va certainement s’intensifier en 2011.

Je dirais qu’a priori, il y a deux choses importantes à retenir à propos de cette nouvelle tendance. D’abord, il s’agit d’une méthode exploratoire à utiliser avec prudence : il existe de nombreux outils dont l’efficacité n’a pas été prouvée et plusieurs défis demeurent, ne serait-ce que l’échantillonnage des propos analysés. Par ailleurs, n’oublions pas que cette méthode s’inscrit dans le champ de la recherche qualitative; en ce sens, les résultats obtenus ne peuvent prétendre être représentatifs d’une population donnée.

Toujours plus de sondages en ligne

Ce n’est un secret pour personne, les sondages en ligne ou sondages web sont généralement moins coûteux que les sondages téléphoniques traditionnels. De plus, les sondages téléphoniques, malgré qu’ils soient souvent plus efficaces que les sondages en ligne, souffrent d’un déficit d’image : on les considère dépassés ou trop envahissants. Aussi, nous assisterons encore, en 2011, à la progression du volume de sondages web par rapport aux sondages téléphoniques.

Le débat de la représentativité des panels web est loin d’être terminé!

La représentativité des sondages repose en grande partie sur un élément fondamental : le caractère probabiliste de l’échantillon (c’est-à-dire la sélection aléatoire des répondants). Or, de plus en plus de firmes proposent des sondages effectués à partir de panels de volontaires, soit des panels où les répondants s’inscrivent de leur propre initiative plutôt qu’être sélectionnés au hasard dans la population.

Ces pratiques vont à l’encontre de tous les principes scientifiques reconnus lorsqu’on veut généraliser les résultats d’un sondage à une population plus large. D’ailleurs, l’Association américaine de la recherche sur l’opinion publique (AAPOR) a officiellement recommandé, en 2010, les panels probabilistes. J’ai déjà écrit plusieurs billets sur ce thème, je vous invite à les consulter pour en savoir davantage :

• L’AAPOR recommande officiellement les panels probabilistes
• Une étude confirme la supériorité des panels web avec recrutement aléatoire des répondants
• Les sondés volontaires
• Sondages en ligne et marges d’erreur : ne vous laissez pas berner!
• Vrai ou faux? Les panels internet livrent des résultats représentatifs de la population

Ce débat continuera d’agiter l’industrie en 2011 en opposant d’une part la facilité et les coûts moindres (panels de volontaires) et, d’autre part, la rigueur scientifique et méthodologique (panels à recrutement aléatoire).

La téléphonie cellulaire et les sondages

Un nombre croissant de ménages n’utilisent plus de téléphone résidentiel fixe (ligne terrestre), mais optent plutôt pour le téléphone cellulaire exclusivement. Ce nouveau phénomène introduit un «biais de couverture» dans les sondages téléphoniques traditionnels : certains ménages ne sont plus joignables de cette façon. Pour remédier à ce problème, de nouvelles méthodes d’échantillonnage font leur apparition, lesquelles incluent des échanges téléphoniques propres au cellulaire.

Je parie que ce thème sera une grande préoccupation pour toute l’industrie de la recherche en 2011! Quoi qu’il en soit, j’y reviendrai dans un prochain billet pour vous parler du récent rapport de l’AAPOR entièrement consacré à cette question.

Voilà ce que je considère être les principales tendances pour 2011 dans l’industrie de la recherche et du sondage. Avez-vous d’autres idées?

Comme c’est la première fois que je lis un tel commentaire dans les journaux, je me permets d’en reproduire ici quelques extraits, que je commente. Je ne sais pas qui est M. Robert Pelley, mais je le remercie de son intervention… et lui emprunte le titre de sa missive!

Mais qui sont les membres [de ce panel]? Ce sont des gens qui, de façon volontaire, ont accepté de faire partie d’un groupe, étaient prêts à partager leur opinion sur des politiques ou des produits de consommation. Il va sans dire qu’un parti politique pourrait noyauter un tel forum.

Il est effectivement possible, dans les panels de volontaires, de créer de fausses identités (je l’ai déjà montré ici). C’est difficile, sinon impossible à contrôler. Il est évident que de «faux répondants» ou des gens qui ont créé plusieurs comptes dans un même panel vont biaiser les résultats. Cela dit, j’ose croire que le Québec n’est pas aussi corrompu que le prétend Maclean’s et que les membres d’un parti politique ne s’abaisseraient pas à infiltrer un panel de sondage!

Par ailleurs, seulement ceux qui sont familiers avec Internet peuvent participer.

Tout à fait. Selon les plus récentes données du CEFRIO, 75 % des adultes québécois ont utilisé internet au moins une fois par semaine en septembre 2010. Aussi, les sondages effectués par Internet ne peuvent prétendre être représentatifs de la population en général. Lorsqu’ils sont faits dans les règles de l’art, incluant le recrutement aléatoire de répondants, ils sont représentatifs des internautes.

Également, il y a seulement une certaine partie, alors non représentative, de la population qui est intéressée à donner constamment son opinion.

Il est certain que pour s’inscrire de sa propre initiative à un panel, il faut avoir à la base envie de donner son opinion. Avec un panel de volontaires, on ne rejoint pas ceux qui sont un peu plus rébarbatifs ou hésitants à s’exprimer.

De plus, en guise de remerciement, les membres pourraient [...] gagner des chèques-cadeaux, des produits ou de l’argent comptant. Plus on participe, plus on fait de l’argent, ce qui veut dire que ceux qui ont le plus besoin d’argent donnent leur opinion le plus souvent.

De façon générale, les récompenses offertes aux répondants restent relativement minimes et ne permettent pas vraiment de s’enrichir. Bien sûr, l’appât du gain peut être la motivation de certains répondants. On utilise parfois le terme «répondant professionnel» pour désigner les personnes qui s’inscrivent au plus grand nombre de panels possible afin de multiplier leurs chances de gagner quelque chose. Mais de là à dire que ceux qui ont le plus besoin d’argent donnent leur opinion le plus souvent, il y a un pas que je ne suis pas prête à franchir. Il ne faut pas oublier que les plus démunis d’entre nous sont moins nombreux à avoir accès à internet.

Il sera plutôt remplacé par une enquête à participation volontaire, soit l’enquête nationale auprès des ménages, qui ciblera le tiers des ménages canadiens. En revanche, la version courte du recensement demeurera obligatoire.

Les conséquences de cette décision seront dommageables pour toute l’industrie du sondage. Voici pourquoi.

Comme je l’expliquais dans mon précédent billet, nous utilisons les caractéristiques connues de la population pour pondérer les données de sondage. Or, plusieurs données relatives aux «caractéristiques connues de la population» sont directement issues… de la version longue du questionnaire de recensement! Le fait que cette enquête à participation obligatoire devienne facultative aura un effet certain sur le taux de réponse, diminuant ainsi la fiabilité des données et, par conséquent, la précision des sondages.

L’Institut de la statistique du Québec (ISQ) a d’ailleurs pris position hier sur les impacts de ce changement pour le Québec. Comme je ne saurais mieux l’expliquer en mes propres mots, je me permets de reprendre quelques extraits (voir l’analyse intégrale) :

Les impacts sont importants et concernent notamment trois dimensions de la qualité de l’information statistique : fiabilité, comparabilité et cohérence.

Tout d’abord, compte tenu du caractère facultatif de la nouvelle enquête, une diminution des taux de réponse est appréhendée. Cela laisserait présager une perte de la fiabilité des statistiques produites. [...]

Une perte de comparabilité pourrait également être observée à l’égard des statistiques relatives aux caractéristiques de la population obtenue au fil des ans. [...]

Enfin, il pourrait être difficile pour Statistique Canada d’assurer la cohérence des statistiques produites à la suite de la nouvelle enquête facultative avec celles produites à l’aide du questionnaire court du recensement de 2011 [...]

Ce questionnaire court obligatoire, rappelons-le, ne contient que 4 variables sociodémographiques : âge, sexe, état matrimonial et langue maternelle. C’est insuffisant pour les besoins liés à la pondération des données (voir la version 2011 du questionnaire court – à la suite du recensement sur l’agriculture).

Il n’y a pas que les sondeurs qui redoutent l’impact de cette décision, vous vous en doutez. Plusieurs groupes ont d’ailleurs fait connaître leur insatisfaction. Par exemple :

• L’Association canadienne des professeures et professeurs d’université exige que le gouvernement fédéral revienne sur sa décision en mentionnant les «conséquences désastreuses que cette mesure aura sur la compréhension scientifique de la société canadienne et sur la capacité de prendre des décisions éclairées relatives aux politiques sociales et économiques.»
• Le Commissaire aux langues officielles a entrepris une enquête sur la question en soulignant son inquiétude à l’égard «des répercussions possibles que pourrait avoir cette décision sur la vitalité des communautés de langue officielle et l’application de la Loi sur les langues officielles.»
• La Conférence des recteurs et des principaux des universités du Québec (CREPUQ) a également fait part de sa «consternation [à l'égard de] la décision du gouvernement fédéral.»
• Même le milieu des affaires s’est joint au débat pour dénoncer ce changement.

Les raisons évoquées par le gouvernement pour justifier cette décision sont pour le moins nébuleuses. Selon un article du quotidien Le Devoir, le ministre de l’Industrie, Tony Clement, parle de préoccupations liées à la vie privée et va même jusqu’à remettre en question la fiabilité des informations du recensement sous prétexte que les citoyens étaient obligés de répondre au questionnaire…

Ce qu’il semble ignorer, c’est que sa décision (prise semble-t-il sans aucune consultation des principaux utilisateurs des données du recensement) aura des conséquences encore pires sur la fiabilité des données. Et c’est sans compter que la nouvelle formule coûtera plus cher aux Canadiens puisque le questionnaire sera envoyé à un plus grand nombre de ménages : un «petit» 30 millions $ de plus, selon Cyberpresse…

Qu’est-ce que la pondération? Pourquoi pondérer les données?

La pondération des données consiste à accorder un coefficient de pondération (un poids) à chacun des individus d’un échantillon. L’objectif premier de l’exercice est de corriger la représentativité de l’échantillon en fonction de certaines variables clés afin d’être en mesure d’extrapoler les résultats du sondage à la population.

Exemple

• Prenons une population qui compte 10 000 individus et un nombre égal d’hommes et de femmes.
• Disons maintenant qu’on fait un sondage avec un échantillon de 1000 individus et, qu’à cause de certains facteurs (ex. : taux de réponse, stratification), on obtient 800 femmes et 200 hommes.
• On constate un déséquilibre, pour la variable «sexe», entre l’échantillon et la population : chaque homme de l’échantillon représente 25 hommes de la population (5000/200) alors que chaque femme de l’échantillon représente 6,25 femmes de la population (5000/800).
• On appliquera donc un coefficient de pondération qui aura pour effet de donner plus de poids aux réponses des 200 hommes (et moins à celles des femmes), et ce, afin de corriger le déséquilibre.

Les variables de pondération

Les variables qu’on utilisera pour pondérer les données d’un échantillon dépendent des caractéristiques de la population à l’étude.

Pour un sondage auprès de la population québécoise par exemple, la distribution des principales variables sociodémographiques sera examinée (ex. : âge, sexe, scolarité, nombre d’individus par ménage) et, s’il y a déséquilibre par rapport aux caractéristiques connues de la population, on appliquera le coefficient de pondération approprié. Ainsi, le poids qu’on attribue à un individu de l’échantillon correspond au poids que cet individu représente dans la population.

Note importante : La pondération ne compense pas une méthode d’échantillonnage inappropriée. Si, à la base, on ne dispose pas d’un échantillon probabiliste constitué dans les règles de l’art, la pondération ne peut pas prétendre rendre un échantillon représentatif.

Comme solution de rechange au RDD, une nouvelle tendance se dessine (surtout aux États-Unis pour le moment) : il s’agit de l’échantillonnage basé sur les adresses de résidence pour sélectionner les ménages qui répondront à un sondage (en anglais Address Based Sampling – ABS).

Pourquoi?

Pour tenter de joindre des groupes de répondants que les autres méthodes arrivent moins bien à joindre, notamment les jeunes (18-34 ans), les ménages qui utilisent exclusivement le téléphone cellulaire, certaines minorités ou encore les non-internautes (lorsqu’il s’agit de recherche en ligne).

En d’autres termes, il s’agit d’un moyen qui vise à améliorer la couverture des méthodes actuelles, c’est-à-dire le degré d’exhaustivité des renseignements relatifs à la population cible (pour plus de détails sur la couverture et les bases de sondage, voir la très claire explication de Statistique Canada).

Comment ça marche?

Il s’agit d’un processus en plusieurs étapes. Je m’inspire ici des quelques expériences documentées jusqu’à maintenant (voir les sources au bas de ce billet) et de la réflexion amorcée par SOM à ce sujet :

• Il faut d’abord disposer d’une base de sondage contenant toutes les adresses de la population cible dans un territoire donné.
• On tire ensuite un échantillon aléatoire d’adresses à partir de de cette base de sondage.
• Pour contacter les ménages sélectionnés, plusieurs options sont possibles : le téléphone (lorsqu’il est possible de trouver le numéro de téléphone correspondant à l’adresse), la poste ou encore une rencontre en personne. Évidemment, ce dernier moyen nécessite des ressources importantes.
• Les ménages contactés sont invités à faire partie d’un panel dont on contactera les membres pour divers sondages. Ils peuvent signifier leur intérêt à faire partie du panel par divers moyens (au téléphone, par la poste, par internet).
• Une rémunération (ou une autre forme d’incitatif) peut être proposée aux ménages pour joindre le panel et/ou participer à une recherche.
• Idéalement, les ménages recrutés doivent avoir le choix du moyen pour répondre à un sondage (téléphone traditionnel, téléphone cellulaire, internet, poste…), ce qui signifie des collectes mixtes ou multimodes.
• Les membres du panel ainsi formé doivent être régulièrement renouvelés, de façon à ce qu’on ne s’adresse pas toujours au même bassin de personnes.

Est-ce que ça marche?

Les deux premières références citées plus bas font chacune le bilan d’une expérience utilisant l’ABS. Voici en vrac quelques constats qui émergent de l’une ou l’autre de ces études :

• L’échantillonnage basé sur les adresses de résidence permet effectivement de joindre des groupes qu’il est difficile de joindre avec le RDD. Dans les deux cas, on a pu joindre une proportion intéressante de ménages n’utilisant que le téléphone cellulaire. L’une des études a par ailleurs mieux réussi à joindre des membres des minorités afro-américaine et hispanophone de même que des jeunes de moins de 35 ans.
• Les résultats non pondérés sont plus près des paramètres connus de la population avec l’ABS.
• Dans les deux cas, le taux de réponse est inférieur avec une approche ABS comparativement à l’approche traditionnelle de RDD.

Pour en savoir plus :

• Comparing Random Digit Dial (RDD) and United States Postal Service (USPS) Address-Based Sample Designs for a General Population Survey: The 2008 Massachusetts Health Insurance Survey [document PDF, Urban Institute et Social Science Research Solutions]
• Building a New Foundation : Transitioning to Address Based Sampling after Nearly 30 Years of RDD [document PDF, Nielsen Company]
• Address Based Sampling and Address Matching: Experience from REACH U.S. [document PDF, Université de Chicago]
• Meeting the Challenge of Cell Phone-Only Households, Young Adults and Minorities : Introducing Address-Based Sampling to KnowledgePanel® [Knowledge Networks]
• Recent Developments in Address-Based Sampling [document PDF, Marketing Systems Group]

Twitter remplacera-t-il les sondages d’opinion?

La nouvelle a rapidement fait le tour du web. Et comme toujours lorsque des études montrent les avantages et les possibilités des réseaux sociaux, plusieurs ont sauté sur l’occasion pour annoncer la mort des sondages d’opinion. Une chose est sûre, ce n’est pas pour demain!

Pourquoi Twitter ne remplacera-t-il pas les sondages d’opinion?

• Au Québec, la proportion de personnes adeptes de Twitter est encore très faible (voir les données de décembre 2009). Il s’agit bien sûr d’internautes et, sans avoir de données sur le profil des utilisateurs, il s’agit certainement de gens plus scolarisés que la moyenne, partageant certaines caractéristiques moins répandues dans la population en général (ex. : le fait d’être très «techno»). Impossible de prétendre que l’opinion de ces personnes est représentative de l’ensemble de la population.
• Le sondage scientifique repose sur des théories éprouvées (probabilités, statistique) qui en font un outil unique. Une éventuelle utilisation de Twitter pour mesurer l’opinion publique ne pourrait offrir les mêmes gages de représentativité.
• Les propos diffusés sur Twitter sont… spontanés. Qu’arrive-t-il si on ne parle pas des sujets qui vous intéressent? Joanne Simonis, dans un billet publié sur le blogue de Cvent, fait une belle analogie en parlant de Twitter et des sondages; si les sondages sont un baromètre de l’opinion publique, Twitter s’apparente plutôt à un thermomètre : utile pour détecter les sujets «chauds» de l’heure, mais pas pour mesurer l’opinion publique.
• D’ailleurs, les sujets «chauds» enflamment souvent les esprits et déchaînent les passions. On peut penser que les opinions les plus polarisées sont celles qui ressortent du lot. Les utilisateurs plus modérés ou indifférents à l’égard d’un sujet donné se font certainement plus discrets sur Twitter.
• Les logiciels utilisés pour l’analyse de texte sont encore à l’état embryonnaire; ils classent les éléments textuels en repérant par exemple les mots à connotation négative et ceux à connotation positive. Je ne crois pas me tromper en disant qu’ils ne sont pas suffisamment sensibles pour détecter l’ironie ou l’humour. Aussi, la marge d’erreur associée à ce type de classement est nécessairement plus élevée que celle d’un sondage fait dans les règles.
• On dit que cette nouvelle méthode permettrait de sauver du temps par rapport à un sondage traditionnel. À la lecture de l’étude, je n’en suis pas si sûre. Les chercheurs ont analysé un milliard de «tweets» postés en 2008 et 2009… et publient les résultats de leur étude en 2010. Je serais curieuse de savoir combien d’heures de collecte, d’analyse et de vérification ont été investies dans le projet. Quant à l’utilité de données d’opinion qui remontent à 2008… sans commentaires.

Twitter, un complément possible aux sondages

L’étude des chercheurs américains demeure très intéressante. Dans une perspective non pas de sondage, mais plutôt de recherche qualitative, les propos véhiculés sur les médias sociaux sont une source de données à ne pas négliger. Mais de là à remplacer le sondage, il y a un pas impossible à franchir. C’est plutôt une nouvelle avenue de recherche qui s’offre à nous.