Dans un billet récent, j’abordais la question de la représentativité des sondages avec l’anecdote historique de l’élection américaine de 1936. Bien des années ont passé, mais l’engouement récent pour les sondages en ligne ramène cette question de représentativité à l’avant-plan. En effet, quand un sondeur constitue un panel Web en recueillant des masses d’inscriptions d’internautes volontaires pour remplir des sondages et participer à des concours, peut-il prétendre être en mesure d’en tirer un échantillon représentatif de l’ensemble des internautes? Sans doute pas…

Mais, la bonne question à se poser serait plutôt : est-ce que cette absence de représentativité pose un problème? Dans certains cas, non. Par exemple, si on cherche à obtenir l’opinion de 500 buveurs de bière sur le nouveau design d’une étiquette, la représentativité de l’échantillon n’est probablement pas une nécessité fondamentale. Comme dans le cas des groupes de discussion, on cherche davantage des résultats qualitatifs que quantitatifs dans ce type de recherche.

Dans d’autre cas, par contre, l’impact peut être majeur. Par exemple, on sait qu’un internaute qui s’inscrit volontairement à un panel Web pour répondre à des sondages et participer à des concours est généralement plus actif sur le Web que l’internaute moyen : il magasine et dépense davantage en ligne, il est plus susceptible de transiger avec son institution financière, etc. Donc, essayer de quantifier de tels comportements à l’aide de panels Web va nécessairement entraîner des surestimations.

Ceux qui suivent le phénomène du commerce électronique depuis quelques années se rappelleront qu’au tournant de l’an 2000, certaines firmes visionnaires, sondages Web à l’appui, affirmaient que 10 % à 15 % du commerce de détails aux États-Unis se ferait sur le Web en 2005. La réalité est quelque peu différente : selon le US Census Bureau, cette proportion était à 2 % en 2005 et se situe aujourd’hui à 3,3 %. On est quand même assez loin du 10 % à 15 % prédit par des sondages… non représentatifs.

Bref, si vous considérez faire un sondage à l’aide d’un panel Web et que vous souhaitez avoir des résultats fiables, voici les deux premières questions à poser à votre fournisseur de sondages :

1. Cher sondeur, votre panel est-il représentatif (ou probabiliste) de la population que cible mon enquête ?
2. S’il n’est pas représentatif, quels sont les impacts potentiels sur mes objectifs de mesure?