Une enquête «répondants-mystères» révèle quelques horreurs sur les panels d’internautes
La firme Grey Matter Research (Phoenix, Arizona) vient de rendre public un rapport* plutôt accablant pour certains panels d’internautes. Intitulé Dirty Little Secrets of Online Panels, le rapport présente les résultats d’une enquête «répondants-mystères» auprès de 12 panels de volontaires de grandes compagnies (internationales ou américaines), incluant des panels bien connus ici comme Harris Interactive, Ipsos (I-Say) ou Global Test Market.
Le principe du «répondant-mystère»
Grey Matter Research a inscrit plusieurs répondants-mystères à des panels de volontaires pour une période de 30 jours. [Évidemment, les panels à recrutement aléatoire sont exclus de l’étude puisqu’il est impossible de s’y joindre sans avoir préalablement reçu une invitation.] Les répondants-mystères avaient pour instructions de répondre de façon honnête aux questions posées et de noter leurs observations sur chacun des sondages.
L’objectif de l’enquête
La firme voulait surtout vérifier jusqu’à quel point les répondants de ces panels sont sollicités… ou sursollicités. En d’autres mots, si vous faites une étude à l’aide d’un panel, s’agit-il de la première ou de la dixième invitation qu’un répondant recevra? [Voir à ce sujet la question 6 d’un ancien billet : À quelle fréquence les panélistes sont-ils sollicités?] L’étude fait état d’un certain nombre de constats qui font réfléchir et qui, ma foi, interpellent l’éthique de la recherche.
Quelques constats
D’abord, je précise que l’étude identifie clairement les 12 panels concernés. Toutefois, les résultats individuels sont présentés de façon à ce qu’on ne sache pas de quel panel il s’agit (on parle plutôt de panel 1, panel 2, panel 3, etc.). Globalement, l’étude montre que la qualité des panels est très variable : il y a du très bon comme du très mauvais. Voici quelques-uns des pires exemples :
- Certains panels bombardent littéralement leurs panélistes d’invitations. Par exemple, dans deux panels, les répondants-mystères ont reçu en moyenne plus de 50 invitations en 30 jours!
- Dans deux des panels, chaque sondage mène à une nouvelle étude : le répondant peut ainsi répondre à plusieurs sondages les uns à la suite des autres… pendant plusieurs heures! Imaginez l’attention que reçoit une étude si elle se situe au milieu d’une série.
- Certains panels offrent des sondages de très longue durée : 50, 60 et même 75 minutes. Tout un fardeau pour le répondant, qui n’est sûrement pas aussi attentif aux questions à la fin.
- Parce que le nombre de répondants visé est atteint, plusieurs sondages sont fermés après seulement quelques heures. Ça veut dire que seuls les répondants qui étaient à leur ordinateur au cours de ces quelques heures ont la chance de participer. On peut imaginer les biais qui teintent de tels résultats.
- Dans deux panels, les répondants se voient systématiquement poser des questions de profilage avant d’accéder à une étude. Le client n’ayant pas de contrôle sur ces questions, on peut à juste titre se demander si elles ne biaisent pas les réponses de l’étude par la suite.
- Certains sondages sont inaccessibles à cause de problèmes techniques.
La morale de l’histoire
Par leurs pratiques, certains panels encouragent les comportements des «répondants professionnels», comportements qu’on devrait plutôt tenter de minimiser. Si vous voulez utiliser un panel d’internautes, renseignez-vous, posez des questions et évaluez la crédibilité des réponses. À ce sujet, je vous réfère à un billet que j’ai déjà publié : 7 questions à poser aux firmes qui ont des panels web (partie 1, partie 2).
*Au moment d’écrire ces lignes, le rapport est disponible sur demande seulement.
Une réponse à “Une enquête «répondants-mystères» révèle quelques horreurs sur les panels d’internautes”
On aura beau éliminer tout les biais à la validité interne d’un panel de volontaires, tout ça ne restera que cosmétique. Vous aurez beau éliminer la sur-sollicitation des répondants, les questionnaires à la chaine, réduire la durée des sondages, ça ne servira à rien. Un panel de volontaires ça reste un panel de volontaires. On ne fera jamais du verre taillé avec une vieille cruche.
La représentativité des panels de volontaires est un déni de la science des sondages. On a l’impression de revenir au début des années 1930. À l’époque, Georges Gallup avait mis fin aux prétentions des illusionnistes en prédisant, à l’aide un échantillon probabiliste de 1 500 personnes, la réélection de Roosevelt. Faisant un pied de nez aux journaux qui, en s’appuyant sur des enquêtes menées auprès de 2 millions de leurs lecteurs volontaires, avaient prédit la victoire de son adversaire.
Ce qui est dommage, c’est qu’on semble n’avoir rien appris. Comme s’il n’existait aucun cumul de connaissances pour certains sondeurs. Faire l’éloge des panels de volontaires, c’est tirer un trait sur les acquis de la science.
En réalité, la seule chose qui pourrait être vérifié scientifiquement, c’est que même en 2010 on peut vendre n’importe quoi si on est bien branché dans les médias.