Vrai ou faux? Mythes et réalités des sondages en ligne (#1)
Le 12 juin dernier, lors du colloque annuel de l’Association des statisticiennes et des statisticiens du Québec (ASSQ), M. Michel Saulnier, président du chapitre québécois de l’ARIM, faisait une présentation sur les «mythes et réalités» des sondages en ligne. Au cours de l’été, je reprendrai individuellement ces huit énoncés, que j’expliquerai à ma façon.
Vrai ou faux?
Les panels Internet livrent des résultats représentatifs de la population.
Réponse : FAUX!
Explication
Un panel Internet, aussi appelé panel Web ou panel d’internautes, est un groupe d’individus participant régulièrement à des sondages en ligne.
Même s’ils sont composés de dizaines de milliers d’individus et même si les individus qui le composent sont sélectionnés de façon aléatoire, les panels Internet NE PEUVENT PAS prétendre être représentatifs de l’ensemble de la population. Pourquoi? Parce que les panels laissent nécessairement de côté toutes les personnes qui n’utilisent pas Internet. Et il y en a encore beaucoup!
Certains argueront qu’en pondérant les données selon les caractéristiques de la population, on obtient des résultats représentatifs de cette dernière. Je vous confirme encore une fois que c’est faux, du moins en partie. Si certains résultats sont comparables aux données de la population en général, d’autres sont significativement différents. Les internautes possèdent des caractéristiques communes qui les différencient des autres. Par ailleurs, la pondération des données dans les sondages Web peut, au lieu de corriger le tir, amplifier les problèmes, selon M. Saulnier.
Que peut-on dire alors? Que les résultats sont représentatifs des internautes, tout simplement (pourvu que les répondants aient été sélectionnés de façon aléatoire).
3 réponses à “Vrai ou faux? Mythes et réalités des sondages en ligne (#1)”
Sujet Intéressant.
Même si je comprends votre raisonnement, je me pose plusieurs questions sur la représentativité des sondages web vs les sondages téléphoniques. S’il est vrai que les sondages web ne touchent qu’environ 70 à 80 % de la population, est-ce que vous avez déjà estimé la proportion de la population qui utilise leur téléphone cellulaire à titre de téléphone résidentiel et qu’ils sont donc invisibles par les firmes de recherche (à moins d’un récent changement). De plus, les taux de réponses pour les sondages téléphoniques sont souvent catastrophiques.
Pour ajouter à votre réflexion, je vous invite à trouver et consulter l’étude suivante écrite par un de vos concurrents et Monsieur Nantel :
Further Evidences about the Differences Between Response Characteristics from Web and Telephone Surveys: Could it be that Information Gathered from Web Surveys is More Valid?
Les résultats de leur étude auprès de 3000 Canadiens Web et téléphone sont particulièrement intéressant.
Merci pour votre commentaire Robert. Dans ce blogue, j’essaie du mieux possible de vulgariser les grandes questions qui touchent au domaine de la recherche, de la méthodologie et du sondage. Toutefois, ce n’est jamais aussi simple! Des tonnes d’articles ont été publiées sur le seul sujet de ce billet!
D’abord, pour répondre à votre question à propos des téléphones cellulaires, la proportion des ménages utilisant le cellulaire uniquement était de 6,4 % en décembre 2007, selon les données les plus récentes de Statistique Canada.
Il est certain qu’en matière de représentativité de la population en général, le sondage téléphonique n’est pas parfait : en plus de l’utilisation exclusive du téléphone cellulaire, il y a aussi la non-réponse. Toutefois, les taux de réponse aux sondages téléphoniques ne sont pas aussi catastrophiques que vous semblez le penser. Ils ont certes grandement chuté au cours des dernières années, mais il est encore possible d’atteindre des taux de réponse respectables (jusqu’à 60 % dans certaines études). C’est beaucoup plus que ce qu’il est possible d’atteindre dans les sondages en ligne lorsque l’échantillon est constitué de façon aléatoire (et non par des volontaires). Il tourne autour de 15 à 20 % (voir aussi ce billet sur les taux de réponse : https://blogue.som.ca/dites-moi-qui-est-votre-repondant-et-je-vous-parlerai-du-taux-de-reponse ).
Parlons maintenant de la représentativité de l’échantillon. La théorie de la statistique, qui permet de calculer des marges d’erreur et d’inférer les résultats d’un échantillon à une population plus large, est entièrement basée sur le caractère probabiliste de l’échantillon. À partir du moment où la constitution de l’échantillon ne s’appuie pas sur le hasard, il est impossible de calculer une marge d’erreur ou d’affirmer que le sondage est représentatif. (Je suis d’ailleurs en train d’écrire un billet sur les sondages en ligne et les marges d’erreur – à lire en début de semaine prochaine.)
À propos de l’étude que vous mentionnez, il est vrai qu’elle est intéressante. Comme je le disais dans mon billet, certains résultats obtenus d’un panel Web sont comparables aux données de la population en général. Nous avons nous aussi fait nos propres études pour comparer les résultats de notre panel à ceux que nous obtenons en faisant des sondages téléphoniques. Là où le bât blesse, c’est que d’autres résultats sont significativement différents. Il faut savoir que les gens qui acceptent de faire des sondages en ligne sont plus scolarisés que la population en général. De ce fait, ils sont également plus critiques. Aussi, on observe généralement, dans les études de satisfaction Web par exemple, des résultats plus faibles. Bien sûr, l’absence de l’intervieweur y est probablement pour quelque chose (dans un sondage Web, les répondants ne cherchent pas à « plaire » à l’intervieweur); toutefois, ça ne peut expliquer toutes les différences observées. Un autre exemple de données significativement différentes : les questions touchant de près ou de loin à l’utilisation des technologies fournissent des résultats significativement différents dans les panels comparativement à la population en général.
Voilà! J’espère que ça répond à vos interrogations. Je terminerais en disant qu’en recherche, aucune technique de collecte de données n’est parfaite… Ce qui est important, c’est d’en comprendre les limites et de les expliquer clairement. C’est la seule façon pour le lecteur d’en saisir la véritable portée.
Excellente commentaire. S’il est vrai que seulement 6,4% de la population utilise uniquement le cellulaire, on peut cependant spéculer que ce doit surtout être des gens assez jeunes. L’effet « cellulaire » doit se décupler chez les 18-24 ans. Or, les gens de cette tranche d’âge sont très branchés internet aussi. Je pense que les sondages qui fait par le Web ont probablement des chances supérieures d’être représentatifs lorsqu’ils s’adressent spécifiquement aux jeunes.