Vrai ou faux? Mythes et réalités des sondages en ligne (#3)
Je reviens aujourd’hui avec la suite des «mythes et réalités» des sondages en ligne (inspirés d’une présentation de M. Michel Saulnier, président du chapitre québécois de l’ARIM).
Vrai ou faux?
Les panels Internet sont tous semblables.
Réponse : FAUX!
Explication
La réponse était un peu trop évidente, je sais! Mais en quoi les panels Web (groupes d’internautes régulièrement invités à participer à des sondages en ligne) se distinguent-ils les uns des autres? Certains critères peuvent faire la différence. Par exemple :
Le recrutement des panélistes
Il y a plusieurs façons de recruter des gens qui accepteront de faire partie d’un panel et de participer à des sondages Web : sites Web, publicité, bouche à oreille, recrutement téléphonique, etc. Certaines méthodes s’appuient sur le hasard (échantillon probabiliste) et d’autres non. Il s’agit d’une différence fondamentale. Des sujets connexes ont déjà été abordés dans ce blogue (ici, ici et ici par exemple).
La gestion du panel
Comment gère-t-on les inscriptions? Y a-t-il des mécanismes systématiques pour assurer la qualité des répondants et des résultats? Ici, on peut penser à plusieurs actions, comme le recoupage des réponses pour assurer l’intégrité des données, l’élimination des panélistes ayant un comportement douteux (ex. : temps de réponse anormalement courts), le retrait des panélistes inactifs ou encore l’élimination des doublons (panélistes inscrits plus d’une fois).
Les incitatifs destinés aux panélistes
Les panélistes sont-ils récompensés pour leur participation à des sondages? Si oui, quelle est la nature de ces récompenses?
À noter, les différentes façons de constituer et de gérer un panel Web peuvent avoir un effet sur la qualité des résultats. À ce propos, Michel Saulnier cite une étude de NADBank comparant les résultats de quatre différents grands panels (sondage Web) et d’un sondage téléphonique. On y conclut notamment que les panels sont incapables de produire des résultats comparables entre eux et qu’aucun n’a réussi à générer des résultats semblables au suivi téléphonique.
Enfin, mentionnons également que les efforts investis pour améliorer la qualité d’un panel ont nécessairement un effet sur les coûts associés à la recherche qui utilise les panels.
À lire aussi :
Une réponse à “Vrai ou faux? Mythes et réalités des sondages en ligne (#3)”
Les récompenses pour un sondage en ligne, c’est un jeu qui peut être dangereux s’il n’y a pas un contrôle de la validation des données pour détecter des réponses trop vites – Greenfield Online est une des compagnie parmis d’autres qui utilisent un système pour détecter des temps trop courts, des réponses trop vites, et même jusqu’à detecter des réponses contradictoires et automatiquement met fin au sondage si tel est le cas et la personne ne qualifie pas. Malheureusement, ce genre de système n’est pas appliqué partout et lorsqu’on parle de récompenses, c’est souvent de $1, $2, $3 par sondage parfois pour des études de plus de 30 minutes – ce qui va parfois inciter les répondant à passer rapidement à travers le questionnaire sans lire. Je pense qu’une bonne stratégie serait de divulger la récompense à la FIN de l’étude après une validation automatique des réponses et du temps moyen de l’étude – ceci aurait comme effet d’écarter ceux qui répondent juste pour l,argent et avoir des réponses plus valides et fiables.