C’est Reg Baker et son excellent blogue The Survey Geek qui ont porté à mon attention la nouvelle édition (2011) du document (PDF) Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys de l’AAPOR. Ce document, qui traite en long et en large des taux de réponse, comporte une section dédiée aux sondages web et aux panels d’internautes.

On y rappelle que les panels de volontaires (les compagnies qui recrutent sur des sites web par exemple) ne s’appuient pas sur des méthodes d’échantillonnage aléatoires. De ce fait, il est impossible de circonscrire la population à l’étude (qui a véritablement été exposé aux efforts de recrutement?) et on ne peut connaître la probabilité qu’a chaque individu d’être sélectionné dans l’échantillon.

Ainsi, en plus de ne pouvoir calculer de marge d’erreur, les panels de volontaires ne devraient jamais utiliser l’expression «taux de réponse», celle-ci étant associée aux méthodes d’échantillonnage probabilistes. L’AAPOR recommande plutôt, afin d’éviter toute confusion, que les panels de volontaires utilisent le terme «taux de participation».

Dans l’ensemble, je retire des bénéfices de cette journée dans la mesure où plusieurs conférences ont stimulé ma réflexion. Voici quelques-unes de mes impressions à la suite de ce que j’y ai vu et entendu. Je vous parle brièvement des cinq conférences de la journée.

1. Évaluer l’efficacité d’un panel en ligne

Il y avait des éléments forts intéressants dans la présentation de M^me Christine Melançon, vice-présidente chez Ipsos. Entre autres, les procédures utilisées pour s’assurer du sérieux des répondants (ex. : questionnaire «piégé« à l’inscription pour vérifier que le répondant lit les questions) ou encore les panels «dédiés» (qu’on appelle aussi panels privés ou panels propriétaires), c’est-à-dire les communautés virtuelles exclusivement constituées pour une marque, une entreprise.

Malheureusement, je n’ai pu être d’accord avec l’ensemble de ses propos. Plus encore, je considère que M^me Melançon a induit le public en erreur en passant sous silence l’important débat de la représentativité des panels web. Pour elle, le fait de recruter les participants d’un panel de volontaires sur plusieurs sites web élimine les biais d’échantillonnage. Or, comme il s’agit d’un panel de volontaires et non d’un panel à recrutement aléatoire, non seulement les biais d’échantillonnage sont amplifiés, mais il est impossible de généraliser les résultats. De plus, elle affirme que les panels web sont représentatifs de la population en général… tout en présentant une diapo qui montre clairement que les panels excluent au minimum 25 % de la population, soit les gens qui n’utilisent pas internet régulièrement.

2. Engager le dialogue par la cocréation

Sans aucun doute la meilleure présentation de la journée! M. Alain Giguère, président de CROP, a exposé une approche intéressante basée sur l’utilisation du sondage. Pour faire court, disons que l’approche consiste à poser une question ouverte (ex. : quels sont vos sentiments à l’égard de telle marque?) et à soumettre les réponses proposées à d’autres répondants pour qu’ils les commentent à leur tour.

Seul bémol, la présentation ne spécifiait pas la méthode d’échantillonnage privilégiée pour sélectionner les répondants et ainsi apprécier la validité des résultats et leur possible généralisation à une population plus large… S’agit-il d’un échantillon probabiliste? Mystère!

3. Ce que vous devez connaître de vos compétiteurs en quelques clics

Conférence non dénuée d’intérêt, mais rien de vraiment nouveau sous le soleil. L’essentiel des propos de M. Frédéric Allard et de M^me Anne Roquecave, de la firme Ébullition, était à l’effet que le web, en particulier le web social, regorge d’information sur nos concurrents, exemples à l’appui. Un plaidoyer pour l’utilisation des médias sociaux à des fins de veille stratégique, mais sans vraiment proposer de démarche structurée.

4. Mesurer et écouter grâce aux outils en ligne

MM. Andréa Doyon (Hue – équation humaine) et Simon Francès (Cirque du soleil) ont présenté un outil de vigie qui vise à «agglomérer les premiers résultats de chaque moteur en leur attribuant une note de pertinence afin d’en dégager une tendance.» Peut-être est-ce le contexte de l’étude de cas (recrutement en ligne pour le Cirque du soleil) ou le support visuel déficient, mais toujours est-il que cette présentation n’a pas véritablement «accroché» mon intérêt.

5. La netnographie et l’étude des communautés virtuelles d’une marque

Enfin, les professeurs adjoints Jonathan Deschênes et Marie-Agnès Parmentier, de HEC Montréal, ont parlé de la «netnographie», soit l’application des principes de l’ethnographie aux communautés virtuelles. D’abord théorique, la présentation s’est ensuite attardée à l’étude d’un cas. Approche très intéressante, mais présentée dans une perspective académique (projet de recherche d’une durée de 2 ans). Cela dit, plusieurs idées me semblent applicables à la recherche marketing.

L’industrie de la recherche et du sondage est en profonde mutation depuis quelques années. Plusieurs nouvelles tendances ont vu le jour et se poursuivront sans aucun doute. Voici donc quelques «prédictions» pour le développement de la recherche en 2011…

L’exploration des médias sociaux à des fins de recherche

J’ai déjà écrit plusieurs billets sur le thème des médias sociaux, notamment l’état des lieux, l’analyse des humeurs et les considérations éthiques. L’utilisation des médias sociaux dans le contexte de la recherche marketing va certainement s’intensifier en 2011.

Je dirais qu’a priori, il y a deux choses importantes à retenir à propos de cette nouvelle tendance. D’abord, il s’agit d’une méthode exploratoire à utiliser avec prudence : il existe de nombreux outils dont l’efficacité n’a pas été prouvée et plusieurs défis demeurent, ne serait-ce que l’échantillonnage des propos analysés. Par ailleurs, n’oublions pas que cette méthode s’inscrit dans le champ de la recherche qualitative; en ce sens, les résultats obtenus ne peuvent prétendre être représentatifs d’une population donnée.

Toujours plus de sondages en ligne

Ce n’est un secret pour personne, les sondages en ligne ou sondages web sont généralement moins coûteux que les sondages téléphoniques traditionnels. De plus, les sondages téléphoniques, malgré qu’ils soient souvent plus efficaces que les sondages en ligne, souffrent d’un déficit d’image : on les considère dépassés ou trop envahissants. Aussi, nous assisterons encore, en 2011, à la progression du volume de sondages web par rapport aux sondages téléphoniques.

Le débat de la représentativité des panels web est loin d’être terminé!

La représentativité des sondages repose en grande partie sur un élément fondamental : le caractère probabiliste de l’échantillon (c’est-à-dire la sélection aléatoire des répondants). Or, de plus en plus de firmes proposent des sondages effectués à partir de panels de volontaires, soit des panels où les répondants s’inscrivent de leur propre initiative plutôt qu’être sélectionnés au hasard dans la population.

Ces pratiques vont à l’encontre de tous les principes scientifiques reconnus lorsqu’on veut généraliser les résultats d’un sondage à une population plus large. D’ailleurs, l’Association américaine de la recherche sur l’opinion publique (AAPOR) a officiellement recommandé, en 2010, les panels probabilistes. J’ai déjà écrit plusieurs billets sur ce thème, je vous invite à les consulter pour en savoir davantage :

• L’AAPOR recommande officiellement les panels probabilistes
• Une étude confirme la supériorité des panels web avec recrutement aléatoire des répondants
• Les sondés volontaires
• Sondages en ligne et marges d’erreur : ne vous laissez pas berner!
• Vrai ou faux? Les panels internet livrent des résultats représentatifs de la population

Ce débat continuera d’agiter l’industrie en 2011 en opposant d’une part la facilité et les coûts moindres (panels de volontaires) et, d’autre part, la rigueur scientifique et méthodologique (panels à recrutement aléatoire).

La téléphonie cellulaire et les sondages

Un nombre croissant de ménages n’utilisent plus de téléphone résidentiel fixe (ligne terrestre), mais optent plutôt pour le téléphone cellulaire exclusivement. Ce nouveau phénomène introduit un «biais de couverture» dans les sondages téléphoniques traditionnels : certains ménages ne sont plus joignables de cette façon. Pour remédier à ce problème, de nouvelles méthodes d’échantillonnage font leur apparition, lesquelles incluent des échanges téléphoniques propres au cellulaire.

Je parie que ce thème sera une grande préoccupation pour toute l’industrie de la recherche en 2011! Quoi qu’il en soit, j’y reviendrai dans un prochain billet pour vous parler du récent rapport de l’AAPOR entièrement consacré à cette question.

Voilà ce que je considère être les principales tendances pour 2011 dans l’industrie de la recherche et du sondage. Avez-vous d’autres idées?

Comme c’est la première fois que je lis un tel commentaire dans les journaux, je me permets d’en reproduire ici quelques extraits, que je commente. Je ne sais pas qui est M. Robert Pelley, mais je le remercie de son intervention… et lui emprunte le titre de sa missive!

Mais qui sont les membres [de ce panel]? Ce sont des gens qui, de façon volontaire, ont accepté de faire partie d’un groupe, étaient prêts à partager leur opinion sur des politiques ou des produits de consommation. Il va sans dire qu’un parti politique pourrait noyauter un tel forum.

Il est effectivement possible, dans les panels de volontaires, de créer de fausses identités (je l’ai déjà montré ici). C’est difficile, sinon impossible à contrôler. Il est évident que de «faux répondants» ou des gens qui ont créé plusieurs comptes dans un même panel vont biaiser les résultats. Cela dit, j’ose croire que le Québec n’est pas aussi corrompu que le prétend Maclean’s et que les membres d’un parti politique ne s’abaisseraient pas à infiltrer un panel de sondage!

Par ailleurs, seulement ceux qui sont familiers avec Internet peuvent participer.

Tout à fait. Selon les plus récentes données du CEFRIO, 75 % des adultes québécois ont utilisé internet au moins une fois par semaine en septembre 2010. Aussi, les sondages effectués par Internet ne peuvent prétendre être représentatifs de la population en général. Lorsqu’ils sont faits dans les règles de l’art, incluant le recrutement aléatoire de répondants, ils sont représentatifs des internautes.

Également, il y a seulement une certaine partie, alors non représentative, de la population qui est intéressée à donner constamment son opinion.

Il est certain que pour s’inscrire de sa propre initiative à un panel, il faut avoir à la base envie de donner son opinion. Avec un panel de volontaires, on ne rejoint pas ceux qui sont un peu plus rébarbatifs ou hésitants à s’exprimer.

De plus, en guise de remerciement, les membres pourraient [...] gagner des chèques-cadeaux, des produits ou de l’argent comptant. Plus on participe, plus on fait de l’argent, ce qui veut dire que ceux qui ont le plus besoin d’argent donnent leur opinion le plus souvent.

De façon générale, les récompenses offertes aux répondants restent relativement minimes et ne permettent pas vraiment de s’enrichir. Bien sûr, l’appât du gain peut être la motivation de certains répondants. On utilise parfois le terme «répondant professionnel» pour désigner les personnes qui s’inscrivent au plus grand nombre de panels possible afin de multiplier leurs chances de gagner quelque chose. Mais de là à dire que ceux qui ont le plus besoin d’argent donnent leur opinion le plus souvent, il y a un pas que je ne suis pas prête à franchir. Il ne faut pas oublier que les plus démunis d’entre nous sont moins nombreux à avoir accès à internet.

De plus, on commet souvent la faute de diffuser une marge d’erreur avec les résultats d’un sondage non probabiliste (ex. : sondage mené auprès d’un panel de volontaires par opposition à un recrutement de panélistes aléatoire – voir à ce sujet la recommandation de l’Association américaine de la recherche sur l’opinion publique).

Mais je lève mon chapeau à l’Agence QMI et à Canoe qui publiaient ce matin les résultats d’un sondage CROP :

Les résultats du sondage reposent sur 1173 questionnaires complétés via Internet du 19 au 24 mars 2010 dans le cadre du sondage omnibus CROP-express. Compte tenu du caractère non probabiliste de l’échantillon web, le calcul de la marge d’erreur est impossible.

C’est la première fois que je vois autant de transparence à l’égard d’un sondage en ligne non probabiliste. J’ai été très agréablement surprise, pour ne pas dire émue!

Le principe du «répondant-mystère»

Grey Matter Research a inscrit plusieurs répondants-mystères à des panels de volontaires pour une période de 30 jours. [Évidemment, les panels à recrutement aléatoire sont exclus de l'étude puisqu'il est impossible de s'y joindre sans avoir préalablement reçu une invitation.] Les répondants-mystères avaient pour instructions de répondre de façon honnête aux questions posées et de noter leurs observations sur chacun des sondages.

L’objectif de l’enquête

La firme voulait surtout vérifier jusqu’à quel point les répondants de ces panels sont sollicités… ou sursollicités. En d’autres mots, si vous faites une étude à l’aide d’un panel, s’agit-il de la première ou de la dixième invitation qu’un répondant recevra? [Voir à ce sujet la question 6 d'un ancien billet : À quelle fréquence les panélistes sont-ils sollicités?] L’étude fait état d’un certain nombre de constats qui font réfléchir et qui, ma foi, interpellent l’éthique de la recherche.

Quelques constats

D’abord, je précise que l’étude identifie clairement les 12 panels concernés. Toutefois, les résultats individuels sont présentés de façon à ce qu’on ne sache pas de quel panel il s’agit (on parle plutôt de panel 1, panel 2, panel 3, etc.). Globalement, l’étude montre que la qualité des panels est très variable : il y a du très bon comme du très mauvais. Voici quelques-uns des pires exemples :

• Certains panels bombardent littéralement leurs panélistes d’invitations. Par exemple, dans deux panels, les répondants-mystères ont reçu en moyenne plus de 50 invitations en 30 jours!
• Dans deux des panels, chaque sondage mène à une nouvelle étude : le répondant peut ainsi répondre à plusieurs sondages les uns à la suite des autres… pendant plusieurs heures! Imaginez l’attention que reçoit une étude si elle se situe au milieu d’une série.
• Certains panels offrent des sondages de très longue durée : 50, 60 et même 75 minutes. Tout un fardeau pour le répondant, qui n’est sûrement pas aussi attentif aux questions à la fin.
• Parce que le nombre de répondants visé est atteint, plusieurs sondages sont fermés après seulement quelques heures. Ça veut dire que seuls les répondants qui étaient à leur ordinateur au cours de ces quelques heures ont la chance de participer. On peut imaginer les biais qui teintent de tels résultats.
• Dans deux panels, les répondants se voient systématiquement poser des questions de profilage avant d’accéder à une étude. Le client n’ayant pas de contrôle sur ces questions, on peut à juste titre se demander si elles ne biaisent pas les réponses de l’étude par la suite.
• Certains sondages sont inaccessibles à cause de problèmes techniques.

La morale de l’histoire

Par leurs pratiques, certains panels encouragent les comportements des «répondants professionnels», comportements qu’on devrait plutôt tenter de minimiser. Si vous voulez utiliser un panel d’internautes, renseignez-vous, posez des questions et évaluez la crédibilité des réponses. À ce sujet, je vous réfère à un billet que j’ai déjà publié : 7 questions à poser aux firmes qui ont des panels web (partie 1, partie 2).

*Au moment d’écrire ces lignes, le rapport est disponible sur demande seulement.

Je vous parle aujourd’hui de la première recommandation des experts :

Les chercheurs devraient éviter d’utiliser des panels non probabilistes lorsque leur objectif est de généraliser des résultats à l’ensemble d’une population.

Évidemment, cette conclusion me réjouit puisque je m’évertue depuis des mois à expliquer la différence entre panel probabiliste (recrutement aléatoire de panélistes) et panel non probabiliste (panel de volontaires, qui s’inscrivent spontanément) ainsi que les implications de chacun à l’égard des résultats de recherche.

Argumentation des experts

Je ne prétends pas ici résumer les propos de ce volumineux rapport. Voici toutefois quelques-uns des arguments évoqués pour justifier cette position.

• Tous les panels d’internautes souffrent d’une erreur de couverture par rapport à la population en général (bien sûr, puisque les non-internautes en sont automatiquement exclus).
• Toutefois, les méthodes probabilistes de recrutement de panélistes (ex. : au téléphone, par la poste et même en personne) tendent à minimiser cette erreur.
• L’analyse d’un grand nombre d’études (le rapport comporte une bibliographie de 12 pages) qui comparent les résultats de sondage où l’échantillon est constitué de volontaires par rapport à des méthodes aléatoires (téléphone ou internet) continue de montrer que les échantillons probabilistes fournissent des résultats PLUS PRÉCIS. Une seule exception ici : dans quelques cas, les sondages non probabilistes sur les intentions de vote ont donné des résultats aussi précis ou même plus précis que les sondages probabilistes.
• L’étude des modèles d’ajustement des données (ex. : pondération) utilisés pour les panels non probabilistes n’est pas concluante en ce qui a trait à leur capacité de réduire les biais.
• Les préoccupations liées à la qualité des données dans les panels non probabilistes (ex. : présence de répondants «professionnels» ou même «fictifs») demeurent un enjeu majeur.
• Bref, il n’y a pas de cadre théorique généralement accepté qui permette de généraliser les résultats d’un panel de volontaires. Les experts sont par ailleurs clairs sur la prétention de représentativité, et je cite : «Thus, claims of « representativeness » should be avoided when using these sample sources [nonprobability online panels].»

Composition du groupe de travail

Le rapport de l’AAPOR est signé par 20 de ses membres, incluant certes des représentants de firmes privées (ex. : Gallup, SSI), mais également  huit chercheurs provenant de cinq universités (Stanford, Washington State, Michigan, UCLA, CUNY) et un membre du gouvernement américain (U.S. Centers for Disease Control and Prevention). Le président du groupe de travail, Reg Baker, tient par ailleurs un excellent blogue intitulé The Survey Geek.

Il se trouvera certainement encore des personnes pour clamer que les panels de volontaires peuvent atteindre la «représentativité parfaite». Elles devront toutefois se rendre à l’évidence : aucune étude sérieuse ne cautionne ce point de vue. C’est même tout le contraire.

*Le rapport complet du groupe de travail (80 pages) peut être consulté en ligne en format PDF.

À lire sur le même sujet :
Une étude confirme la supériorité des panels web avec recrutement aléatoire des répondants
Vrai ou faux? Les panels internet livrent des résultats représentatifs de la population
7 questions à poser aux firmes de sondage qui ont des panels web (partie 1, partie 2)

L’appel d’offres
Récemment, nous avons perdu un appel d’offres au profit d’une firme concurrente. Jusque-là, rien d’anormal : on ne peut pas tous les gagner! L’appel d’offres, en provenance d’un organisme gouvernemental, requérait les services d’une firme pour effectuer un sondage auprès d’une tranche plutôt rare de la population. Pour réduire les coûts, l’appel d’offres spécifiait qu’une partie de la collecte des données devait s’effectuer par internet, auprès d’internautes recrutés de façon aléatoire. En principe donc, exit les panels d’internautes volontaires. Mais pour nous en assurer, nous avons communiqué avec le mandant. Voici sa réponse, fournie à tous les soumissionnaires :

Question
Au point 2.1.17 Stratégie de cueillette, approche Web, il est précisé que l’échantillon d’adresses Web doit être probabiliste. Ne pas respecter ce critère est-il une condition de disqualification?

Réponse
Oui, c’est une condition de disqualification, car il est bien écrit : «l’utilisation d’échantillons constitués de volontaires n’est pas accepté, ni un échantillon constitué par l’agrégation de sous-groupes.»

Comme nous sommes la seule firme québécoise à proposer un panel d’internautes recrutés exclusivement de façon aléatoire, nous avons été un peu surpris du choix de l’organisme gouvernemental. Mais bon, les choses changent vite parfois. Peut-être que cette firme, reconnue pour offrir un panel de volontaires, offre maintenant un service équivalent au nôtre. Comme nous en doutions fortement, nous avons décidé de tester le tout. Voici comment.

Création d’une identité fictive et inscription volontaire au panel du concurrent
À l’aide d’un véritable compte gmail mais d’un personnage tout à fait fictif, nous avons abonné «Amanda» aux sondages en ligne de ladite firme. Évidemment, nous avons pris soin de lui donner les caractéristiques de la «population rare» recherchée par l’organisme gouvernemental. Ensuite, nous avons attendu. Pas plus compliqué que ça.

Invitation à participer au sondage de l’organisme gouvernemental
Rapidement, nos doutes ont été confirmés. «Amanda» a reçu une invitation (courriel) pour participer au sondage de l’organisme gouvernemental qui, je le rappelle, mentionnait explicitement vouloir des répondants recrutés de façon aléatoire. «Amanda» a donc répondu au sondage en prenant soin de conserver les preuves de la supercherie (compte de courriel, invitation à répondre au sondage, captures d’écran du sondage, etc.).

Démarches auprès de l’organisme gouvernemental
Nous avons évidemment communiqué avec l’organisme gouvernemental pour lui faire part de nos découvertes et… de notre frustration. Perdre un contrat aux mains d’un concurrent qui joue franc jeu, c’est la vie. En perdre un contre quelqu’un qui promet un échantillon purement aléatoire (donc plus coûteux à recruter), mais qui utilise un panel à participation volontaire, c’est triplement fâchant. C’est d’abord fâchant pour l’entrepreneur honnête et rigoureux qui n’a aucune chance de gagner un appel d’offres dans ces conditions; c’est fâchant pour l’organisme qui a commandé le sondage puisque la fiabilité et la validité de ses données sont remises en question; c’est aussi fâchant pour le contribuable qui voit des fonds publics dépensés (gaspillés?) pour un sondage qui perd toute crédibilité scientifique.

Réponse de l’organisme gouvernemental
Dans un premier temps, l’organisme gouvernemental nous a mentionné que son service juridique examinait le dossier. Voici ensuite la réponse qu’on nous a fait parvenir par courriel:

Je viens vous donner quelques nouvelles et vous remercie encore de nous avoir fait parvenir votre information. Je puis vous dire que [l'organisme gouvernemental] s’est assuré que toutes les entrevues web de notre projet proviendront bien d’un échantillon aléatoire d’adresses web obtenues par téléphone, tel que le définissait notre appel d’offres.

Fin de l’histoire. Aucune excuse. Aucune considération pour la rigueur. C’est sans compter que l’organisme gouvernemental en question n’a probablement aucun moyen de «s’assurer que toutes les entrevues web proviendront bien d’un échantillon aléatoire d’adresses web obtenues par téléphone».

Et vous savez ce qui est le comble du ridicule? «Amanda» continue de recevoir des invitations pour participer à des sondages en ligne… Non, ce n’est pas un poisson d’avril.

Q5. Le profil des panélistes est-il mis à jour?
Si certaines données sociodémographiques ne requièrent pratiquement aucune mise à jour (ex. : date de naissance, sexe), d’autres sont appelées à changer au fil du temps : le statut civil et le revenu, par exemple, ou encore le fait d’être propriétaire ou locataire du logis familial.

La mise à jour des données sociodémographiques est importante pour au moins deux raisons. La première, c’est que ces données permettent de cibler les répondants à qui s’adresse un sondage. Par exemple, si on veut sonder uniquement les 18-34 ans, le panel Or de SOM permet d’envoyer des invitations ciblées. La deuxième raison est que les données sociodémograpiques sont utilisées comme variables de segmentation pour identifier les différences significatives entre les sous-groupes de l’échantillon. C’est de cette façon qu’on peut dire, par exemple, que les plus jeunes pensent ceci alors que les plus âgés pensent cela.

R5. Une mise à jour périodique
Dans le panel Or de SOM, les panélistes sont appelés périodiquement à mettre à jour leur profil. Un questionnaire semblable au questionnaire d’inscription (dont il était question plus haut) permet au répondant d’indiquer les changements survenus dans sa situation.

Q6. À quelle fréquence les panélistes sont-ils sollicités?
La «sursollicitation» des panélistes, c’est-à-dire un trop grand nombre d’invitations dans un court délai, peut entraîner de la lassitude chez le répondant. Les courriels d’invitation pourront même devenir des pourriels (spams) dans l’esprit des panélistes. De plus, il est probable que les échantillons compteront alors un plus grand nombre de «répondants professionnels». À l’inverse, la «sous-sollicitation» peut également être dommageable : des panélistes qui ont accepté de répondre à des sondages mais qui sont rarement ou jamais invités à le faire risquent d’abandonner le panel.

R6. Pas plus de quelques fois par mois
Dans le panel Or de SOM, on s’assure généralement que chaque panéliste soit invité à participer à un sondage au moins une fois par mois. On limite également les invitations à quelques fois par mois (2-3) afin d’éviter la «sursollicitation». Évidemment, la fréquence exacte varie d’un mois à l’autre, selon le nombre et la nature des projets en cours.

Q7. Comment contrôle-t-on la qualité des données?
Les conclusions d’une étude ne sont valables que si les données recueillies sont fiables. Pas besoin d’en dire plus, je crois. Dans ce contexte, comment la firme de sondage s’assure-t-elle de respecter des standards de qualité supérieure dans la gestion du panel?

R7. Des procédures de contrôle multiples
SOM a mis en place plusieurs procédures de contrôle pour assurer la qualité des répondants et des données de sondage. Étant donné que les panélistes sont recrutés par téléphone et qu’ils répondent déjà à un certain nombre de questions à ce moment, il est plus facile de vérifier l’identité des panélistes et la concordance des données. De plus, plusieurs moyens sont employés pour déceler les comportements douteux et rejeter ainsi les répondants moins sérieux ou dont l’identité est douteuse. Par exemple, on ne conservera pas les panélistes qui répondent trop rapidement aux questions (ce qui suppose que les questions ne sont pas lues ou qu’on répond n’importe quoi).

*La consultation des textes récents sur Quirk’s Marketing Research Review nécessite une inscription gratuite. L’article dont il est question dans ce billet s’intitule Questions you should ask when selecting a panel provider. Les auteurs (dont les noms sont inconnus) proviennent  d’e-Rewards (Dallas) et d’ESOMAR (Amsterdam).

À lire aussi :
Les questions 1 à 4 (7 questions à poser aux firmes de sondage qui ont des panels web)

Je vous rappelle au passage qu’un panel web est un échantillon d’internautes – souvent appelés panélistes – qui est régulièrement interrogé, au moyen de sondages en ligne, sur un phénomène, un comportement, une opinion, une perception, etc.

Q1. De quelle façon les panélistes sont-ils recrutés?
Il y a principalement deux méthodes de recrutement utilisées dans l’industrie de la recherche et du sondage. La première méthode est un recrutement dit « ouvert », où toute personne (ou presque) qui a accès à Internet peut s’inscrire au panel et participer à des sondages. La deuxième méthode requiert une invitation : seules les personnes préalablement sélectionnées et invitées pourront se joindre au panel.

R1. Le recrutement aléatoire du panel Or de SOM
Chez SOM, les panélistes sont recrutés de façon aléatoire, par téléphone, au sein de la population québécoise. Il s’agit donc d’un panel sur invitation seulement. En matière de représentativité et de qualité des résultats, ce type de recrutement conduit à des panels supérieurs. Par ailleurs, seul ce type de recrutement permet d’afficher des marges d’erreur avec des résultats de sondage en ligne issus d’un panel.

Q2. Comment s’effectue le processus d’inscription?
Cette étape est importante, ne serait-ce que dans l’optique de l’éthique de la recherche. Le processus d’inscription devrait comporter une étape finale de confirmation de la participation (« double opt-in »), et ce, pour s’assurer que la personne 1) veuille vraiment s’inscrire au panel et 2) qu’elle soit consciente de ce que ça implique. En d’autres mots, on s’assure ainsi d’obtenir le consentement éclairé des participants.

R2. Le processus d’inscription des panélistes de SOM
Une fois le panéliste recruté par téléphone, un courriel lui est immédiatement acheminé. Ce courriel explique brièvement ce qu’est le panel Or de SOM et invite le répondant à remplir un questionnaire d’inscription. Il y a donc un premier consentement par téléphone, puis une confirmation de ce consentement lorsque le répondant lit le courriel qui lui est envoyé et qu’il prend la peine de remplir le questionnaire d’inscription.

Q3. D’où proviennent les adresses de courriel?
Cette question est liée aux deux précédentes. Les adresses de courriel auxquelles sont envoyées des invitations pour un sondage proviennent-elles d’une liste quelconque (ex. : banque d’adresses de sources variées), ou est-elle plutôt le fruit combiné du recrutement et du processus d’inscription? Dans le premier cas, les invitations s’apparentent à des pourriels : les personnes n’ont pas donné leur consentement pour recevoir des invitations.

R3. Les adresses de courriel du panel Or sont communiquées par les panélistes
Évidemment, dans le cadre de son panel Or, SOM n’a recours à aucune liste ou banque d’adresses de courriel. Ce sont les répondants eux-mêmes qui nous fournissent leur adresse de courriel usuelle lorsqu’ils sont recrutés par téléphone. Cette adresse est validée par le courriel envoyé immédiatement après le recrutement téléphonique.

Q4. Les panélistes sont-ils récompensés?
Les récompenses ou les mesures incitatives associées à la réalisation de sondages en ligne peuvent être de plusieurs types, mais les incitatifs monétaires ou matériels sont les plus courants. Ils prennent la forme de montants d’argent, de points « fidélité » monnayables, de chèques-cadeaux ou de cadeaux. La valeur des incitatifs varie considérablement et est soit garantie (chaque participation est accompagnée d’une récompense), soit l’enjeu d’un tirage (instantané ou différé). Ils peuvent varier selon plusieurs facteurs comme la longueur du sondage, la sensibilité des thèmes abordés ou encore l’urgence de la collecte.

La question des récompenses est importante parce que celles-ci influencent la participation. En fait, plusieurs enjeux se rattachent à cette question. Si les récompenses garanties sont réputées meilleures pour optimiser le taux de réponse, elles ont également un effet pervers puisqu’elles sont courues par les «répondants professionnels», c’est-à-dire des personnes inscrites dans un grand nombre de panels et qui sont motivées surtout – pour ne pas dire uniquement - par les récompenses.

R4. Le tirage mensuel de SOM
SOM a choisi d’offrir une récompense de base à ses panélistes, soit une ou plusieurs chances (selon le cas) de gagner un prix mensuel de 500 $. À cette récompense de base peut s’ajouter, de façon ponctuelle et selon la nature du sondage, une compensation supplémentaire.

*La consultation des textes récents sur Quirk’s Marketing Research Review nécessite une inscription gratuite. L’article dont il est question dans ce billet s’intitule Questions you should ask when selecting a panel provider. Les auteurs (dont les noms sont inconnus) proviennent  d’e-Rewards (Dallas) et d’ESOMAR (Amsterdam).

À suivre! (Mise à jour : lire la suite ici)