Il y a près de deux ans, une enquête «répondants-mystères» de Grey Matter Research révélait quelques horreurs sur les panels d’internautes, notamment la sursollicitation des panélistes, des sondages beaucoup trop longs, d’autres qui n’étaient accessibles que quelques heures, etc. (Vous pouvez relire le billet que j’avais écrit à ce sujet pour en savoir plus sur l’objectif de l’enquête et la méthode utilisée.)

Grey Matter Research récidive et vient de publier une nouvelle édition¹ de cette étude effectuée auprès d’une dizaine de grands panels (ex. : Clear Voice, e-Rewards, Global Opinion Panels). Encore une fois, on observe des pratiques pour le moins… embarrassantes pour l’industrie.

La grande conclusion de l’étude est que la qualité des panels varie énormément d’un fournisseur à l’autre : les pratiques de gestion des panels sont très inégales. Aussi, la première chose à faire lorsqu’un client veut faire appel à ce type de service est donc de s’informer!

Voici quelques-uns des problèmes soulevés par les auteurs. Pour en savoir plus, je vous invite à lire le document original.

L’utilisation «croisée» des panels. Les grands panels s’échangent des échantillons. Ainsi, même si vous faites affaire avec un panel en qui vous avez confiance et dont vous connaissez les pratiques, il est possible que vos répondants proviennent… d’un autre panel.

Des études à la fois trop longues… et trop courtes! En plus des [trop] longs questionnaires (18 minutes en moyenne, mais certains vont jusqu’à 80 minutes!), de nombreuses études sont «fermées» dans un délai inférieur à 24 heures (alors que la rigueur scientifique commande un minimum de temps de collecte).

Des questionnaires similaires pour différents clients et produits. Certaines compagnies sont passées maîtres dans le questionnaire «one size fits all.» Pour l’évaluation de campagnes publicitaires par exemple, des répondants ont été confrontés à des questionnaires tellement similaires qu’ils pouvaient deviner les questions. On peut penser que la standardisation des questions appelle une standardisation des réponses…

Des répondants mal ciblés. Un des grands avantages des panels, c’est qu’on peut cibler les répondants en fonction de leurs caractéristiques sociodémographiques. Or, dans de nombreux cas, des invitations mal ciblées font en sorte que les répondants ne se qualifient pas pour une étude – une situation plutôt frustrante.

Des sondages à répétition. Quelques panels encouragent les répondants à participer à plusieurs sondages successifs… espérons que le vôtre ne soit pas le dixième en ligne!

On constate que la situation ne s’est pas beaucoup améliorée depuis la parution de l’étude précédente. À la défense de ces pratiques, les auteurs font un commentaire intéressant : les grands panels ne font que s’adapter à la demande… qui exige toujours des résultats plus rapides et à moindre coût. Le problème, c’est que la qualité des résultats en souffre.

Pour que ça change, les clients doivent s’informer et s’assurer qu’on leur vend bien le produit auquel ils s’attendent. Ils doivent refuser la piètre qualité offerte par certains panels et réclamer la rigueur scientifique. Le jour où des décisions importantes (lire «des décisions qui impliquent beaucoup d’argent») seront prises sur la base de résultats farfelus, l’industrie frappera un mur. Si rien n’est fait, le mur risque de se rapprocher plus vite que prévu.

¹ L’étude, intitulée More Dirty Little Secrets of Online Panel Research, est disponible sur demande ici.

À lire aussi :

• Une enquête «répondants-mystères» révèle quelques horreurs sur les panels d’internautes
• Sondages en ligne : quelle durée pour la période de collecte?
• 7 questions à poser aux firmes de sondage qui ont des panels web (partie 1 – partie 2)