Dans un rapport* publié en mars 2010 (c’est tout frais!), l’American Association for Public Opinion Research (AAPOR) publie les conclusions d’un groupe de travail sur les panels d’internautes (online panels).

Je vous parle aujourd’hui de la première recommandation des experts :

Les chercheurs devraient éviter d’utiliser des panels non probabilistes lorsque leur objectif est de généraliser des résultats à l’ensemble d’une population.

Évidemment, cette conclusion me réjouit puisque je m’évertue depuis des mois à expliquer la différence entre panel probabiliste (recrutement aléatoire de panélistes) et panel non probabiliste (panel de volontaires, qui s’inscrivent spontanément) ainsi que les implications de chacun à l’égard des résultats de recherche.

Argumentation des experts

Je ne prétends pas ici résumer les propos de ce volumineux rapport. Voici toutefois quelques-uns des arguments évoqués pour justifier cette position.

• Tous les panels d’internautes souffrent d’une erreur de couverture par rapport à la population en général (bien sûr, puisque les non-internautes en sont automatiquement exclus).
• Toutefois, les méthodes probabilistes de recrutement de panélistes (ex. : au téléphone, par la poste et même en personne) tendent à minimiser cette erreur.
• L’analyse d’un grand nombre d’études (le rapport comporte une bibliographie de 12 pages) qui comparent les résultats de sondage où l’échantillon est constitué de volontaires par rapport à des méthodes aléatoires (téléphone ou internet) continue de montrer que les échantillons probabilistes fournissent des résultats PLUS PRÉCIS. Une seule exception ici : dans quelques cas, les sondages non probabilistes sur les intentions de vote ont donné des résultats aussi précis ou même plus précis que les sondages probabilistes.
• L’étude des modèles d’ajustement des données (ex. : pondération) utilisés pour les panels non probabilistes n’est pas concluante en ce qui a trait à leur capacité de réduire les biais.
• Les préoccupations liées à la qualité des données dans les panels non probabilistes (ex. : présence de répondants «professionnels» ou même «fictifs») demeurent un enjeu majeur.
• Bref, il n’y a pas de cadre théorique généralement accepté qui permette de généraliser les résultats d’un panel de volontaires. Les experts sont par ailleurs clairs sur la prétention de représentativité, et je cite : «Thus, claims of «representativeness» should be avoided when using these sample sources [nonprobability online panels].»

Composition du groupe de travail

Le rapport de l’AAPOR est signé par 20 de ses membres, incluant certes des représentants de firmes privées (ex. : Gallup, SSI), mais également  huit chercheurs provenant de cinq universités (Stanford, Washington State, Michigan, UCLA, CUNY) et un membre du gouvernement américain (U.S. Centers for Disease Control and Prevention). Le président du groupe de travail, Reg Baker, tient par ailleurs un excellent blogue intitulé The Survey Geek.

Il se trouvera certainement encore des personnes pour clamer que les panels de volontaires peuvent atteindre la «représentativité parfaite». Elles devront toutefois se rendre à l’évidence : aucune étude sérieuse ne cautionne ce point de vue. C’est même tout le contraire.

*Le rapport complet du groupe de travail (80 pages) peut être consulté en ligne en format PDF.

À lire sur le même sujet :
Une étude confirme la supériorité des panels web avec recrutement aléatoire des répondants
Vrai ou faux? Les panels internet livrent des résultats représentatifs de la population
7 questions à poser aux firmes de sondage qui ont des panels web (partie 1, partie 2)