De plus, on commet souvent la faute de diffuser une marge d’erreur avec les résultats d’un sondage non probabiliste (ex. : sondage mené auprès d’un panel de volontaires par opposition à un recrutement de panélistes aléatoire – voir à ce sujet la recommandation de l’Association américaine de la recherche sur l’opinion publique).

Mais je lève mon chapeau à l’Agence QMI et à Canoe qui publiaient ce matin les résultats d’un sondage CROP :

Les résultats du sondage reposent sur 1173 questionnaires complétés via Internet du 19 au 24 mars 2010 dans le cadre du sondage omnibus CROP-express. Compte tenu du caractère non probabiliste de l’échantillon web, le calcul de la marge d’erreur est impossible.

C’est la première fois que je vois autant de transparence à l’égard d’un sondage en ligne non probabiliste. J’ai été très agréablement surprise, pour ne pas dire émue!

Le principe du «répondant-mystère»

Grey Matter Research a inscrit plusieurs répondants-mystères à des panels de volontaires pour une période de 30 jours. [Évidemment, les panels à recrutement aléatoire sont exclus de l'étude puisqu'il est impossible de s'y joindre sans avoir préalablement reçu une invitation.] Les répondants-mystères avaient pour instructions de répondre de façon honnête aux questions posées et de noter leurs observations sur chacun des sondages.

L’objectif de l’enquête

La firme voulait surtout vérifier jusqu’à quel point les répondants de ces panels sont sollicités… ou sursollicités. En d’autres mots, si vous faites une étude à l’aide d’un panel, s’agit-il de la première ou de la dixième invitation qu’un répondant recevra? [Voir à ce sujet la question 6 d'un ancien billet : À quelle fréquence les panélistes sont-ils sollicités?] L’étude fait état d’un certain nombre de constats qui font réfléchir et qui, ma foi, interpellent l’éthique de la recherche.

Quelques constats

D’abord, je précise que l’étude identifie clairement les 12 panels concernés. Toutefois, les résultats individuels sont présentés de façon à ce qu’on ne sache pas de quel panel il s’agit (on parle plutôt de panel 1, panel 2, panel 3, etc.). Globalement, l’étude montre que la qualité des panels est très variable : il y a du très bon comme du très mauvais. Voici quelques-uns des pires exemples :

• Certains panels bombardent littéralement leurs panélistes d’invitations. Par exemple, dans deux panels, les répondants-mystères ont reçu en moyenne plus de 50 invitations en 30 jours!
• Dans deux des panels, chaque sondage mène à une nouvelle étude : le répondant peut ainsi répondre à plusieurs sondages les uns à la suite des autres… pendant plusieurs heures! Imaginez l’attention que reçoit une étude si elle se situe au milieu d’une série.
• Certains panels offrent des sondages de très longue durée : 50, 60 et même 75 minutes. Tout un fardeau pour le répondant, qui n’est sûrement pas aussi attentif aux questions à la fin.
• Parce que le nombre de répondants visé est atteint, plusieurs sondages sont fermés après seulement quelques heures. Ça veut dire que seuls les répondants qui étaient à leur ordinateur au cours de ces quelques heures ont la chance de participer. On peut imaginer les biais qui teintent de tels résultats.
• Dans deux panels, les répondants se voient systématiquement poser des questions de profilage avant d’accéder à une étude. Le client n’ayant pas de contrôle sur ces questions, on peut à juste titre se demander si elles ne biaisent pas les réponses de l’étude par la suite.
• Certains sondages sont inaccessibles à cause de problèmes techniques.

La morale de l’histoire

Par leurs pratiques, certains panels encouragent les comportements des «répondants professionnels», comportements qu’on devrait plutôt tenter de minimiser. Si vous voulez utiliser un panel d’internautes, renseignez-vous, posez des questions et évaluez la crédibilité des réponses. À ce sujet, je vous réfère à un billet que j’ai déjà publié : 7 questions à poser aux firmes qui ont des panels web (partie 1, partie 2).

*Au moment d’écrire ces lignes, le rapport est disponible sur demande seulement.

Je vous parle aujourd’hui de la première recommandation des experts :

Les chercheurs devraient éviter d’utiliser des panels non probabilistes lorsque leur objectif est de généraliser des résultats à l’ensemble d’une population.

Évidemment, cette conclusion me réjouit puisque je m’évertue depuis des mois à expliquer la différence entre panel probabiliste (recrutement aléatoire de panélistes) et panel non probabiliste (panel de volontaires, qui s’inscrivent spontanément) ainsi que les implications de chacun à l’égard des résultats de recherche.

Argumentation des experts

Je ne prétends pas ici résumer les propos de ce volumineux rapport. Voici toutefois quelques-uns des arguments évoqués pour justifier cette position.

• Tous les panels d’internautes souffrent d’une erreur de couverture par rapport à la population en général (bien sûr, puisque les non-internautes en sont automatiquement exclus).
• Toutefois, les méthodes probabilistes de recrutement de panélistes (ex. : au téléphone, par la poste et même en personne) tendent à minimiser cette erreur.
• L’analyse d’un grand nombre d’études (le rapport comporte une bibliographie de 12 pages) qui comparent les résultats de sondage où l’échantillon est constitué de volontaires par rapport à des méthodes aléatoires (téléphone ou internet) continue de montrer que les échantillons probabilistes fournissent des résultats PLUS PRÉCIS. Une seule exception ici : dans quelques cas, les sondages non probabilistes sur les intentions de vote ont donné des résultats aussi précis ou même plus précis que les sondages probabilistes.
• L’étude des modèles d’ajustement des données (ex. : pondération) utilisés pour les panels non probabilistes n’est pas concluante en ce qui a trait à leur capacité de réduire les biais.
• Les préoccupations liées à la qualité des données dans les panels non probabilistes (ex. : présence de répondants «professionnels» ou même «fictifs») demeurent un enjeu majeur.
• Bref, il n’y a pas de cadre théorique généralement accepté qui permette de généraliser les résultats d’un panel de volontaires. Les experts sont par ailleurs clairs sur la prétention de représentativité, et je cite : «Thus, claims of « representativeness » should be avoided when using these sample sources [nonprobability online panels].»

Composition du groupe de travail

Le rapport de l’AAPOR est signé par 20 de ses membres, incluant certes des représentants de firmes privées (ex. : Gallup, SSI), mais également  huit chercheurs provenant de cinq universités (Stanford, Washington State, Michigan, UCLA, CUNY) et un membre du gouvernement américain (U.S. Centers for Disease Control and Prevention). Le président du groupe de travail, Reg Baker, tient par ailleurs un excellent blogue intitulé The Survey Geek.

Il se trouvera certainement encore des personnes pour clamer que les panels de volontaires peuvent atteindre la «représentativité parfaite». Elles devront toutefois se rendre à l’évidence : aucune étude sérieuse ne cautionne ce point de vue. C’est même tout le contraire.

*Le rapport complet du groupe de travail (80 pages) peut être consulté en ligne en format PDF.

À lire sur le même sujet :
Une étude confirme la supériorité des panels web avec recrutement aléatoire des répondants
Vrai ou faux? Les panels internet livrent des résultats représentatifs de la population
7 questions à poser aux firmes de sondage qui ont des panels web (partie 1, partie 2)

L’appel d’offres
Récemment, nous avons perdu un appel d’offres au profit d’une firme concurrente. Jusque-là, rien d’anormal : on ne peut pas tous les gagner! L’appel d’offres, en provenance d’un organisme gouvernemental, requérait les services d’une firme pour effectuer un sondage auprès d’une tranche plutôt rare de la population. Pour réduire les coûts, l’appel d’offres spécifiait qu’une partie de la collecte des données devait s’effectuer par internet, auprès d’internautes recrutés de façon aléatoire. En principe donc, exit les panels d’internautes volontaires. Mais pour nous en assurer, nous avons communiqué avec le mandant. Voici sa réponse, fournie à tous les soumissionnaires :

Question
Au point 2.1.17 Stratégie de cueillette, approche Web, il est précisé que l’échantillon d’adresses Web doit être probabiliste. Ne pas respecter ce critère est-il une condition de disqualification?

Réponse
Oui, c’est une condition de disqualification, car il est bien écrit : «l’utilisation d’échantillons constitués de volontaires n’est pas accepté, ni un échantillon constitué par l’agrégation de sous-groupes.»

Comme nous sommes la seule firme québécoise à proposer un panel d’internautes recrutés exclusivement de façon aléatoire, nous avons été un peu surpris du choix de l’organisme gouvernemental. Mais bon, les choses changent vite parfois. Peut-être que cette firme, reconnue pour offrir un panel de volontaires, offre maintenant un service équivalent au nôtre. Comme nous en doutions fortement, nous avons décidé de tester le tout. Voici comment.

Création d’une identité fictive et inscription volontaire au panel du concurrent
À l’aide d’un véritable compte gmail mais d’un personnage tout à fait fictif, nous avons abonné «Amanda» aux sondages en ligne de ladite firme. Évidemment, nous avons pris soin de lui donner les caractéristiques de la «population rare» recherchée par l’organisme gouvernemental. Ensuite, nous avons attendu. Pas plus compliqué que ça.

Invitation à participer au sondage de l’organisme gouvernemental
Rapidement, nos doutes ont été confirmés. «Amanda» a reçu une invitation (courriel) pour participer au sondage de l’organisme gouvernemental qui, je le rappelle, mentionnait explicitement vouloir des répondants recrutés de façon aléatoire. «Amanda» a donc répondu au sondage en prenant soin de conserver les preuves de la supercherie (compte de courriel, invitation à répondre au sondage, captures d’écran du sondage, etc.).

Démarches auprès de l’organisme gouvernemental
Nous avons évidemment communiqué avec l’organisme gouvernemental pour lui faire part de nos découvertes et… de notre frustration. Perdre un contrat aux mains d’un concurrent qui joue franc jeu, c’est la vie. En perdre un contre quelqu’un qui promet un échantillon purement aléatoire (donc plus coûteux à recruter), mais qui utilise un panel à participation volontaire, c’est triplement fâchant. C’est d’abord fâchant pour l’entrepreneur honnête et rigoureux qui n’a aucune chance de gagner un appel d’offres dans ces conditions; c’est fâchant pour l’organisme qui a commandé le sondage puisque la fiabilité et la validité de ses données sont remises en question; c’est aussi fâchant pour le contribuable qui voit des fonds publics dépensés (gaspillés?) pour un sondage qui perd toute crédibilité scientifique.

Réponse de l’organisme gouvernemental
Dans un premier temps, l’organisme gouvernemental nous a mentionné que son service juridique examinait le dossier. Voici ensuite la réponse qu’on nous a fait parvenir par courriel:

Je viens vous donner quelques nouvelles et vous remercie encore de nous avoir fait parvenir votre information. Je puis vous dire que [l'organisme gouvernemental] s’est assuré que toutes les entrevues web de notre projet proviendront bien d’un échantillon aléatoire d’adresses web obtenues par téléphone, tel que le définissait notre appel d’offres.

Fin de l’histoire. Aucune excuse. Aucune considération pour la rigueur. C’est sans compter que l’organisme gouvernemental en question n’a probablement aucun moyen de «s’assurer que toutes les entrevues web proviendront bien d’un échantillon aléatoire d’adresses web obtenues par téléphone».

Et vous savez ce qui est le comble du ridicule? «Amanda» continue de recevoir des invitations pour participer à des sondages en ligne… Non, ce n’est pas un poisson d’avril.

Q5. Le profil des panélistes est-il mis à jour?
Si certaines données sociodémographiques ne requièrent pratiquement aucune mise à jour (ex. : date de naissance, sexe), d’autres sont appelées à changer au fil du temps : le statut civil et le revenu, par exemple, ou encore le fait d’être propriétaire ou locataire du logis familial.

La mise à jour des données sociodémographiques est importante pour au moins deux raisons. La première, c’est que ces données permettent de cibler les répondants à qui s’adresse un sondage. Par exemple, si on veut sonder uniquement les 18-34 ans, le panel Or de SOM permet d’envoyer des invitations ciblées. La deuxième raison est que les données sociodémograpiques sont utilisées comme variables de segmentation pour identifier les différences significatives entre les sous-groupes de l’échantillon. C’est de cette façon qu’on peut dire, par exemple, que les plus jeunes pensent ceci alors que les plus âgés pensent cela.

R5. Une mise à jour périodique
Dans le panel Or de SOM, les panélistes sont appelés périodiquement à mettre à jour leur profil. Un questionnaire semblable au questionnaire d’inscription (dont il était question plus haut) permet au répondant d’indiquer les changements survenus dans sa situation.

Q6. À quelle fréquence les panélistes sont-ils sollicités?
La «sursollicitation» des panélistes, c’est-à-dire un trop grand nombre d’invitations dans un court délai, peut entraîner de la lassitude chez le répondant. Les courriels d’invitation pourront même devenir des pourriels (spams) dans l’esprit des panélistes. De plus, il est probable que les échantillons compteront alors un plus grand nombre de «répondants professionnels». À l’inverse, la «sous-sollicitation» peut également être dommageable : des panélistes qui ont accepté de répondre à des sondages mais qui sont rarement ou jamais invités à le faire risquent d’abandonner le panel.

R6. Pas plus de quelques fois par mois
Dans le panel Or de SOM, on s’assure généralement que chaque panéliste soit invité à participer à un sondage au moins une fois par mois. On limite également les invitations à quelques fois par mois (2-3) afin d’éviter la «sursollicitation». Évidemment, la fréquence exacte varie d’un mois à l’autre, selon le nombre et la nature des projets en cours.

Q7. Comment contrôle-t-on la qualité des données?
Les conclusions d’une étude ne sont valables que si les données recueillies sont fiables. Pas besoin d’en dire plus, je crois. Dans ce contexte, comment la firme de sondage s’assure-t-elle de respecter des standards de qualité supérieure dans la gestion du panel?

R7. Des procédures de contrôle multiples
SOM a mis en place plusieurs procédures de contrôle pour assurer la qualité des répondants et des données de sondage. Étant donné que les panélistes sont recrutés par téléphone et qu’ils répondent déjà à un certain nombre de questions à ce moment, il est plus facile de vérifier l’identité des panélistes et la concordance des données. De plus, plusieurs moyens sont employés pour déceler les comportements douteux et rejeter ainsi les répondants moins sérieux ou dont l’identité est douteuse. Par exemple, on ne conservera pas les panélistes qui répondent trop rapidement aux questions (ce qui suppose que les questions ne sont pas lues ou qu’on répond n’importe quoi).

*La consultation des textes récents sur Quirk’s Marketing Research Review nécessite une inscription gratuite. L’article dont il est question dans ce billet s’intitule Questions you should ask when selecting a panel provider. Les auteurs (dont les noms sont inconnus) proviennent  d’e-Rewards (Dallas) et d’ESOMAR (Amsterdam).

À lire aussi :
Les questions 1 à 4 (7 questions à poser aux firmes de sondage qui ont des panels web)

Je vous rappelle au passage qu’un panel web est un échantillon d’internautes – souvent appelés panélistes – qui est régulièrement interrogé, au moyen de sondages en ligne, sur un phénomène, un comportement, une opinion, une perception, etc.

Q1. De quelle façon les panélistes sont-ils recrutés?
Il y a principalement deux méthodes de recrutement utilisées dans l’industrie de la recherche et du sondage. La première méthode est un recrutement dit « ouvert », où toute personne (ou presque) qui a accès à Internet peut s’inscrire au panel et participer à des sondages. La deuxième méthode requiert une invitation : seules les personnes préalablement sélectionnées et invitées pourront se joindre au panel.

R1. Le recrutement aléatoire du panel Or de SOM
Chez SOM, les panélistes sont recrutés de façon aléatoire, par téléphone, au sein de la population québécoise. Il s’agit donc d’un panel sur invitation seulement. En matière de représentativité et de qualité des résultats, ce type de recrutement conduit à des panels supérieurs. Par ailleurs, seul ce type de recrutement permet d’afficher des marges d’erreur avec des résultats de sondage en ligne issus d’un panel.

Q2. Comment s’effectue le processus d’inscription?
Cette étape est importante, ne serait-ce que dans l’optique de l’éthique de la recherche. Le processus d’inscription devrait comporter une étape finale de confirmation de la participation (« double opt-in »), et ce, pour s’assurer que la personne 1) veuille vraiment s’inscrire au panel et 2) qu’elle soit consciente de ce que ça implique. En d’autres mots, on s’assure ainsi d’obtenir le consentement éclairé des participants.

R2. Le processus d’inscription des panélistes de SOM
Une fois le panéliste recruté par téléphone, un courriel lui est immédiatement acheminé. Ce courriel explique brièvement ce qu’est le panel Or de SOM et invite le répondant à remplir un questionnaire d’inscription. Il y a donc un premier consentement par téléphone, puis une confirmation de ce consentement lorsque le répondant lit le courriel qui lui est envoyé et qu’il prend la peine de remplir le questionnaire d’inscription.

Q3. D’où proviennent les adresses de courriel?
Cette question est liée aux deux précédentes. Les adresses de courriel auxquelles sont envoyées des invitations pour un sondage proviennent-elles d’une liste quelconque (ex. : banque d’adresses de sources variées), ou est-elle plutôt le fruit combiné du recrutement et du processus d’inscription? Dans le premier cas, les invitations s’apparentent à des pourriels : les personnes n’ont pas donné leur consentement pour recevoir des invitations.

R3. Les adresses de courriel du panel Or sont communiquées par les panélistes
Évidemment, dans le cadre de son panel Or, SOM n’a recours à aucune liste ou banque d’adresses de courriel. Ce sont les répondants eux-mêmes qui nous fournissent leur adresse de courriel usuelle lorsqu’ils sont recrutés par téléphone. Cette adresse est validée par le courriel envoyé immédiatement après le recrutement téléphonique.

Q4. Les panélistes sont-ils récompensés?
Les récompenses ou les mesures incitatives associées à la réalisation de sondages en ligne peuvent être de plusieurs types, mais les incitatifs monétaires ou matériels sont les plus courants. Ils prennent la forme de montants d’argent, de points « fidélité » monnayables, de chèques-cadeaux ou de cadeaux. La valeur des incitatifs varie considérablement et est soit garantie (chaque participation est accompagnée d’une récompense), soit l’enjeu d’un tirage (instantané ou différé). Ils peuvent varier selon plusieurs facteurs comme la longueur du sondage, la sensibilité des thèmes abordés ou encore l’urgence de la collecte.

La question des récompenses est importante parce que celles-ci influencent la participation. En fait, plusieurs enjeux se rattachent à cette question. Si les récompenses garanties sont réputées meilleures pour optimiser le taux de réponse, elles ont également un effet pervers puisqu’elles sont courues par les «répondants professionnels», c’est-à-dire des personnes inscrites dans un grand nombre de panels et qui sont motivées surtout – pour ne pas dire uniquement - par les récompenses.

R4. Le tirage mensuel de SOM
SOM a choisi d’offrir une récompense de base à ses panélistes, soit une ou plusieurs chances (selon le cas) de gagner un prix mensuel de 500 $. À cette récompense de base peut s’ajouter, de façon ponctuelle et selon la nature du sondage, une compensation supplémentaire.

*La consultation des textes récents sur Quirk’s Marketing Research Review nécessite une inscription gratuite. L’article dont il est question dans ce billet s’intitule Questions you should ask when selecting a panel provider. Les auteurs (dont les noms sont inconnus) proviennent  d’e-Rewards (Dallas) et d’ESOMAR (Amsterdam).

À suivre! (Mise à jour : lire la suite ici)

La méthodologie que j’ai communiquée (sur ce blogue, sur bénéfice.net, dans le communiqué de presse) :

Ce sondage Web a été mené du 11 au 17 août 2009 auprès de 1297 internautes québécois qui travaillent en entreprise ou dans une organisation (et non à la maison). Cet échantillon est tiré du panel Or de SOM, lequel est constitué de répondants recrutés de façon aléatoire. La marge d’erreur maximale pour l’ensemble est de 4,8 %, 19 fois sur 20.

La méthodologie communiquée par le journaliste de La Presse Affaires hier :

Le sondage SOM, réalisé pour Branchez-Vous, a été effectué du 11 au 17 août dernier auprès de 1297 travailleurs. La marge d’erreur maximale est de 4,8%, 19 fois sur 20.

Voyez-vous la différence? En comprenez-vous les conséquences? Nous ne parlons pas de la même population! En effet, le sondage a été mené auprès des internautes qui travaillent en entreprise, et non auprès de l’ensemble des travailleurs. Si nous avions fait ce sondage auprès de l’ensemble des travailleurs (incluant les personnes qui n’utilisent pas Internet – et qui ne sont donc PAS des internautes), nous aurions nécessairement obtenu des pourcentages plus bas.

Donc, lorsque M. Gibeault déclare : «La moitié des travailleurs québécois reconnaissent utiliser le réseau internet à des fins personnelles sur leurs heures de travail», c’est inexact. Il aurait plutôt fallu lire : «Près de la moitié des internautes qui travaillent dans une organisation reconnaissent utiliser le réseau Internet à des fins personnelles sur leurs heures de travail.»

Si certaines caractéristiques sont identiques entre la «population des internautes québécois» et la «population québécoise», ce n’est certainement pas le cas des variables spécifiquement liées à l’utilisation d’Internet, comme dans ce sondage.

Il ne s’agit pas ici de simples nuances sémantiques : c’est un tout autre sens que M. Gibeault donne aux résultats du sondage SOM/Branchez-vous.com : il fait une affirmation que notre sondage ne permet pas de confirmer.

MAJ
M. Gibeault a fait une erreur et a modifié son article en conséquence. Il m’a d’ailleurs écrit pour me le mentionner.

À lire sur le même thème :
Entretenir le flou méthodologique
20 questions qu’un journaliste devrait poser avant de publier les résultats d’un sondage
Sondages en ligne et marges d’erreur : ne vous laissez pas berner!

L’étude en quelques mots
En utilisant un questionnaire identique, les chercheurs ont comparé la précision des résultats de plusieurs sondages utilisant des méthodes d’échantillonnage différentes :

• Un sondage téléphonique utilisant la génération aléatoire de numéros de téléphone (Random Digit Dialing – RDD);
• Un sondage Web à partir d’un panel dont les répondants ont été recrutés de façon aléatoire par téléphone (RDD).
• Cinq sondages Web fait à partir de panels de volontaires, c’est-à-dire des personnes qui, de leur propre initiative, sont allées sur un site Web pour s’inscrire à un panel (sans avoir été recrutés au préalable). Il s’agit d’échantillons non probabilistes puisqu’ils ne s’appuient pas sur le hasard pour la sélection des répondants.

Les résultats de chaque échantillon ont été comparés avec les données de la population. Le questionnaire mesurait notamment des variables sociodémographiques (âge, sexe, scolarité, etc.) et comportementales (ex. consommation de tabac). La méthodologie détaillée de l’étude est disponible dans un document distinct (PDF).

Les principaux résultats de l’étude
Ici, je préfère laisser parler les chercheurs :

Probability sample surveys done by telephone or the Internet were consistently higly accurate accross a set of demographics and non-demographics, especially after post-stratification with primary demographics.

Non-probability sample surveys done via the Internet were always less accurate, on average, than probability sample surveys and were less consistent in their level of accuracy. Thus, the accuracy of any one measure in a non-probability sample survey is of limited value for inferring the accuracy of other measures in such surveys.

Post-stratification with demographics sometimes improved the accuracy of non-probability sample surveys and sometimes reduced their accuracy, so this method cannot be relied upon to repair deficiencies in such samples.

En conclusion
Je ne vous cacherai pas que ces résultats ne me surprennent pas, mais qu’ils me font extrêmement plaisir! En effet, ils appuient ce que je ne cesse d’écrire dans ce blogue : la méthode et la rigueur scientifique ne peuvent souffrir aucun compromis. Ce n’est pas pour rien que nous avons baptisé notre panel Web «Le panel Or de SOM»…

À lire aussi :
Sondages en ligne et marges d’erreur : ne vous laissez pas berner!

Vrai ou faux?
Les panels Internet livrent des résultats représentatifs de la population.

Réponse : FAUX!

Explication
Un panel Internet, aussi appelé panel Web ou panel d’internautes, est un groupe d’individus participant régulièrement à des sondages en ligne.

Même s’ils sont composés de dizaines de milliers d’individus et même si les individus qui le composent sont sélectionnés de façon aléatoire, les panels Internet NE PEUVENT PAS prétendre être représentatifs de l’ensemble de la population. Pourquoi? Parce que les panels laissent nécessairement de côté toutes les personnes qui n’utilisent pas Internet. Et il y en a encore beaucoup!

Certains argueront qu’en pondérant les données selon les caractéristiques de la population, on obtient des résultats représentatifs de cette dernière. Je vous confirme encore une fois que c’est faux, du moins en partie. Si certains résultats sont comparables aux données de la population en général, d’autres sont significativement différents. Les internautes possèdent des caractéristiques communes qui les différencient des autres. Par ailleurs, la pondération des données dans les sondages Web peut, au lieu de corriger le tir, amplifier les problèmes, selon M. Saulnier.

Que peut-on dire alors? Que les résultats sont représentatifs des internautes, tout simplement (pourvu que les répondants aient été sélectionnés de façon aléatoire).

Mais, la bonne question à se poser serait plutôt : est-ce que cette absence de représentativité pose un problème? Dans certains cas, non. Par exemple, si on cherche à obtenir l’opinion de 500 buveurs de bière sur le nouveau design d’une étiquette, la représentativité de l’échantillon n’est probablement pas une nécessité fondamentale. Comme dans le cas des groupes de discussion, on cherche davantage des résultats qualitatifs que quantitatifs dans ce type de recherche.

Dans d’autre cas, par contre, l’impact peut être majeur. Par exemple, on sait qu’un internaute qui s’inscrit volontairement à un panel Web pour répondre à des sondages et participer à des concours est généralement plus actif sur le Web que l’internaute moyen : il magasine et dépense davantage en ligne, il est plus susceptible de transiger avec son institution financière, etc. Donc, essayer de quantifier de tels comportements à l’aide de panels Web va nécessairement entraîner des surestimations.

Ceux qui suivent le phénomène du commerce électronique depuis quelques années se rappelleront qu’au tournant de l’an 2000, certaines firmes visionnaires, sondages Web à l’appui, affirmaient que 10 % à 15 % du commerce de détails aux États-Unis se ferait sur le Web en 2005. La réalité est quelque peu différente : selon le US Census Bureau, cette proportion était à 2 % en 2005 et se situe aujourd’hui à 3,3 %. On est quand même assez loin du 10 % à 15 % prédit par des sondages… non représentatifs.

Bref, si vous considérez faire un sondage à l’aide d’un panel Web et que vous souhaitez avoir des résultats fiables, voici les deux premières questions à poser à votre fournisseur de sondages :

1. Cher sondeur, votre panel est-il représentatif (ou probabiliste) de la population que cible mon enquête ?
2. S’il n’est pas représentatif, quels sont les impacts potentiels sur mes objectifs de mesure?