Dans un rapport* publié en mars 2010 (c’est tout frais!), l’American Association for Public Opinion Research (AAPOR) publie les conclusions d’un groupe de travail sur les panels d’internautes (online panels).
Je vous parle aujourd’hui de la première recommandation des experts :
Lundi soir, c’était la première émission du «Verdict» de Véronique Cloutier. J’avais entendu parler du concept de l’émission, que je trouve plutôt original et non dépourvu d’intérêt soit dit en passant, mais bien honnêtement, j’ai complètement oublié de regarder la première lundi. Mais après que mon collègue Francis Dufour ait piqué ma curiosité ce matin sur la méthodologie utilisée, je me suis reprise en visionnant quelques extraits sur internet.
D’entrée de jeu, l’animatrice explique brièvement la méthodologie des sondages sur lesquels s’appuie l’émission :
Les sondages […] sont faits avec un échantillon qui représente 5,9 millions de Québécois francophones avec une marge d’erreur de 4 %, 19 fois sur 20.
Cette toute petite phrase comporte pas moins de trois erreurs (sans compter les omissions). Pourriez-vous les trouver?
Je continue ma série de billets sur les indicateurs les plus pertinents à suivre au cours d’un sondage en ligne. Aujourd’hui, il sera question de la durée du sondage et du temps de réponse par question.
La notion de durée est bien différente dans un sondage web par rapport au sondage téléphonique. Comme le sondage web est «auto-administré», le répondant peut prendre tout le temps nécessaire pour participer au sondage, incluant des pauses plus ou moins longues. En calculant la durée moyenne pour l’ensemble des participants, on a toutefois une bonne idée de l’investissement requis par le répondant. Lorsqu’on conçoit un questionnaire, il faut toujours garder à l’esprit que la longueur d’un sondage fait partie des facteurs qui influencent le taux de réponse, particulièrement dans les sondages en ligne : un sondage trop long pourra générer davantage d’abandons.
Mais en matière de durée, la situation est encore plus problématique lorsque le répondant est… trop rapide!
À la fin de ce billet, vous comprendrez que «léger» est un euphémisme. En fait, je suis carrément soufflée par ce qui est, ni plus ni moins, que de la concurrence déloyale. «Welcome to the real world, m’a dit l’un des patrons de SOM, ça arrive tout le temps». C’en était fait du peu de naïveté et d’idéalisme qu’il me restait.
L’appel d’offres
Récemment, nous avons perdu un appel d’offres au profit d’une firme concurrente. Jusque-là, rien d’anormal : on ne peut pas tous les gagner! L’appel d’offres, en provenance d’un organisme gouvernemental, requérait les services d’une firme pour effectuer un sondage auprès d’une tranche plutôt rare de la population. Pour réduire les coûts, l’appel d’offres spécifiait qu’une partie de la collecte des données devait s’effectuer par internet, auprès d’internautes recrutés de façon aléatoire. En principe donc, exit les panels d’internautes volontaires. Mais pour nous en assurer, nous avons communiqué avec le mandant. Voici sa réponse, fournie à tous les soumissionnaires :
La semaine dernière, un intéressant sondage d’Ipsos mentionnait que, pour la première fois, le nombre d’heures consacrées à internet en une semaine dépassait le nombre d’heures passées à regarder la télé. Plusieurs médias et blogues ont relayé la nouvelle en faisant tous la même erreur d’interprétation. Pouvez-vous trouver de quelle erreur il s’agit?
Voici ce que dit l’étude originale :
Ipsos reports that for the first time ever in their tracking research, the weekly Internet usage of online Canadians has moved ahead of the number of hours spent watching television. […] Overall, online Canadians are now spending more than 18 hours a week online, compared to 16.9 hours watching television.
Selon un récent sondage SOM, 17 % des adultes québécois disent avoir investi dans un compte d’épargnes libre d’impôt (CELI) depuis son instauration le 1er janvier 2009. Ça équivaut à un peu plus d’un million de personnes.
Définition du CELI
Depuis le 1er janvier 2009, les résidents canadiens qui sont âgés de 18 ans ou plus, sont admissibles à cotiser jusqu’à 5 000 $ annuellement à un CELI. La cotisation initiale ainsi que les revenus gagnés dans le compte (par exemple, les revenus de placement et les gains en capital) ne sont pas imposables, même lors des retraits.
Contrairement à ce qu’on aurait pu penser, l’âge n’est pas un facteur décisif pour détenir un CELI. Il y a bien une tendance à cet égard, mais les écarts ne sont pas statistiquement significatifs.
Un sondage SOM mené pour le compte de Radio-Canada révèle que trois citoyens de Québec sur quatre appuient la candidature de Québec pour les Jeux olympiques d’hiver de 2022 ou 2026. Attention cependant, le sondage a été fait en pleine effervescence olympique… ce qui peut avoir pour effet d’accroître l’enthousiasme!
On peut voir le reportage (vidéo et article) où M. Gilles Therrien, président et chef de la direction de SOM, commente les résultats.
J’entends souvent des gens mépriser les sondages : «C’est vous, ça, qui nous appelez à l’heure du souper?» ou pire encore «Arrêtez donc de me déranger pendant que j’écoute Virginie!»
Aujourd’hui, il est de bon ton de critiquer les sondeurs. Or, ce que certains oublient, c’est que les sondages produisent une information utile pour la société. Évidemment, je ne parle pas ici des sondages à saveur sensationnaliste. Je parle des sondages sérieux, qui portent sur des sujets sérieux, et qui sont menés avec toute la rigueur méthodologique nécessaire.
À titre d’exemple, je vous entretiendrai brièvement aujourd’hui du taux de chômage. Beaucoup de gens sont surpris d’apprendre que cet indicateur économique publié tous les mois est issu… d’un sondage.
Dans la foulée de la série de billets «Sondages en ligne : quels indicateurs suivre?», je vous parle aujourd’hui du taux d’accès à un sondage en ligne.
Le taux d’accès correspond à la proportion de personnes qui accèdent au sondage, peu importe qu’elles y répondent ou non. Il inclut donc les «curieux», par exemple ceux qui ne font que cliquer sur le lien d’invitation sans aller plus loin.
J’ai lu un article* fort intéressant à propos du taux de réponse dans les sondages web. Contrairement à certaines croyances, les sondages en ligne présentent souvent des taux de réponse inférieurs aux autres modes de collecte des données.
Les auteurs, professeurs à la State University of New York, font un inventaire exhaustif des facteurs qui influencent le taux de réponse. Il ne s’agit pas vraiment d’éléments nouveaux, mais l’article a l’avantage de les regrouper et de les présenter en fonction du processus de réalisation d’un sondage web. En voici les grandes lignes…
(adapté de Fan et Yan*)
