Une étude confirme la supériorité des panels Web avec recrutement aléatoire des répondants
ABC news commentait hier les résultats de cette étude (PDF) dirigée par deux professeurs de l’Université Stanford. (Merci à @JHenning d’avoir signalé cet article sur Twitter!)
L’étude en quelques mots
En utilisant un questionnaire identique, les chercheurs ont comparé la précision des résultats de plusieurs sondages utilisant des méthodes d’échantillonnage différentes :
- Un sondage téléphonique utilisant la génération aléatoire de numéros de téléphone (Random Digit Dialing – RDD);
- Un sondage Web à partir d’un panel dont les répondants ont été recrutés de façon aléatoire par téléphone (RDD).
- Cinq sondages Web fait à partir de panels de volontaires, c’est-à-dire des personnes qui, de leur propre initiative, sont allées sur un site Web pour s’inscrire à un panel (sans avoir été recrutés au préalable). Il s’agit d’échantillons non probabilistes puisqu’ils ne s’appuient pas sur le hasard pour la sélection des répondants.
Les résultats de chaque échantillon ont été comparés avec les données de la population. Le questionnaire mesurait notamment des variables sociodémographiques (âge, sexe, scolarité, etc.) et comportementales (ex. consommation de tabac). La méthodologie détaillée de l’étude est disponible dans un document distinct (PDF).
Les principaux résultats de l’étude
Ici, je préfère laisser parler les chercheurs :
Probability sample surveys done by telephone or the Internet were consistently higly accurate accross a set of demographics and non-demographics, especially after post-stratification with primary demographics.
Non-probability sample surveys done via the Internet were always less accurate, on average, than probability sample surveys and were less consistent in their level of accuracy. Thus, the accuracy of any one measure in a non-probability sample survey is of limited value for inferring the accuracy of other measures in such surveys.
Post-stratification with demographics sometimes improved the accuracy of non-probability sample surveys and sometimes reduced their accuracy, so this method cannot be relied upon to repair deficiencies in such samples.
En conclusion
Je ne vous cacherai pas que ces résultats ne me surprennent pas, mais qu’ils me font extrêmement plaisir! En effet, ils appuient ce que je ne cesse d’écrire dans ce blogue : la méthode et la rigueur scientifique ne peuvent souffrir aucun compromis. Ce n’est pas pour rien que nous avons baptisé notre panel Web «Le panel Or de SOM»…
À lire aussi :
Sondages en ligne et marges d’erreur : ne vous laissez pas berner!
4 réponses à “Une étude confirme la supériorité des panels Web avec recrutement aléatoire des répondants”
Il y a certains risques quant à la validité et la qualité des réponses lorsqu’on parle de panels webs. Pour les sondages par téléphones, les normes d’entrevues sont plus rigoureuses et il y a un certain contrôle de la qualité – le répondant doit répondre aux questions au fur et à mesure, tandis qu’un sondage web, il y a plus de place à la tricherie, surtout aux panels payants. Vous risquez d’avoir des réponses trop vite, des réponses ouvertes incohérantes et des temps de réponse trop courtes – malheureusement la plusparts des panel web n’ont pas ce système de contrôle de la qualité des répondant (analyse et validation du délai entre chaque question pour detecter le répondant qui répond trop vite sans lire……etc.)
Celà confirme aussi ce que je pense. Par contre les sondages volontaires en ligne sont souvent l’objet d’une stratégie de constitution de bases de données qui elles ont une « certaine valeur commerciale. » Tout dépend des objectifs et de la valeur de la mesure recherchée. Mais en termes de représentativité, on ne doit pas lésiner sur la qualité de l’échantillon, qu’il soit web ou téléphonique.
En effet Marlène, vous avez un bon point! Tout dépend des objectifs de l’étude. Dans certains cas, l’absence de représentativité de l’échantillon n’est pas un problème. Par exemple, comme le mentionnait Éric Lacroix dans un billet précédent : « Si on cherche à obtenir l’opinion de 500 buveurs de bière sur le nouveau design d’une étiquette, la représentativité de l’échantillon n’est probablement pas une nécessité fondamentale. Comme dans le cas des groupes de discussion, on cherche davantage des résultats qualitatifs que quantitatifs dans ce type de recherche. »
Il faut toutefois connaître les limites méthodologiques de telle ou telle approche – en d’autres mots, savoir ce qu’on achète – pour juger les implications pour les résultats d’une étude.
@Gilles : En effet, il faut démasquer les comportements douteux. Notre système nous permet par exemple de savoir exactement combien de temps une personne passe à répondre à chaque question. Lorsque la situation est problématique, un drapeau rouge nous l’indique. Ainsi, nous pouvons prendre les actions qui s’imposent. L’assurance qualité est essentielle pour garantir des résultats fiables et valides. Vous avez raison!