Tag: panel Web

Résultats de sondage dans les médias : un exemple rafraichissant!

Résultats de sondage dans les médias : un exemple rafraichissant!

Comments 0 Commentaire

Loupe-graphique2Il m’arrive souvent de critiquer les résultats de sondage qui paraissent dans les médias (ici et ici par exemple). Trop souvent, la méthodologie est incomplète, trompeuse ou carrément erronée.

De plus, on commet souvent la faute de diffuser une marge d’erreur avec les résultats d’un sondage non probabiliste (ex. : sondage mené auprès d’un panel de volontaires par opposition à un recrutement de panélistes aléatoire – voir à ce sujet la recommandation de l’Association américaine de la recherche sur l’opinion publique).

Mais je lève mon chapeau à l’Agence QMI et à Canoe qui publiaient ce matin les résultats d’un sondage CROP :

Les résultats du sondage reposent sur 1173 questionnaires complétés via Internet du 19 au 24 mars 2010 dans le cadre du sondage omnibus CROP-express. Compte tenu du caractère non probabiliste de l’échantillon web, le calcul de la marge d’erreur est impossible.

C’est la première fois que je vois autant de transparence à l’égard d’un sondage en ligne non probabiliste. J’ai été très agréablement surprise, pour ne pas dire émue!

Une enquête «répondants-mystères» révèle quelques horreurs sur les panels d’internautes

Une enquête «répondants-mystères» révèle quelques horreurs sur les panels d’internautes

Comments 1 commentaire

Detective-enqueteLa firme Grey Matter Research (Phoenix, Arizona) vient de rendre public un rapport* plutôt accablant pour certains panels d’internautes. Intitulé Dirty Little Secrets of Online Panels, le rapport présente les résultats d’une enquête «répondants-mystères» auprès de 12 panels de volontaires de grandes compagnies (internationales ou américaines), incluant des panels bien connus ici comme Harris Interactive, Ipsos (I-Say) ou Global Test Market.

Le principe du «répondant-mystère»

Grey Matter Research a inscrit plusieurs répondants-mystères à des panels de volontaires pour une période de 30 jours. [Évidemment, les panels à recrutement aléatoire sont exclus de l’étude puisqu’il est impossible de s’y joindre sans avoir préalablement reçu une invitation.] Les répondants-mystères avaient pour instructions de répondre de façon honnête aux questions posées et de noter leurs observations sur chacun des sondages.

Lire la suiteLire la suite

L’AAPOR recommande officiellement les panels probabilistes (recrutement aléatoire des panélistes)

L’AAPOR recommande officiellement les panels probabilistes (recrutement aléatoire des panélistes)

Comments 0 Commentaire

sondageweb-bleu2Dans un rapport* publié en mars 2010 (c’est tout frais!), l’American Association for Public Opinion Research (AAPOR) publie les conclusions d’un groupe de travail sur les panels d’internautes (online panels).

Je vous parle aujourd’hui de la première recommandation des experts :

Les chercheurs devraient éviter d’utiliser des panels non probabilistes lorsque leur objectif est de généraliser des résultats à l’ensemble d’une population.

Lire la suiteLire la suite

Un léger manque d’éthique

Un léger manque d’éthique

Comments 8 commentaires

1-Poisson-ethiqueÀ la fin de ce billet, vous comprendrez que «léger» est un euphémisme. En fait, je suis carrément soufflée par ce qui est, ni plus ni moins, que de la concurrence déloyale. «Welcome to the real world, m’a dit l’un des patrons de SOM, ça arrive tout le temps». C’en était fait du peu de naïveté et d’idéalisme qu’il me restait.

L’appel d’offres
Récemment, nous avons perdu un appel d’offres au profit d’une firme concurrente. Jusque-là, rien d’anormal : on ne peut pas tous les gagner! L’appel d’offres, en provenance d’un organisme gouvernemental, requérait les services d’une firme pour effectuer un sondage auprès d’une tranche plutôt rare de la population. Pour réduire les coûts, l’appel d’offres spécifiait qu’une partie de la collecte des données devait s’effectuer par internet, auprès d’internautes recrutés de façon aléatoire. En principe donc, exit les panels d’internautes volontaires. Mais pour nous en assurer, nous avons communiqué avec le mandant. Voici sa réponse, fournie à tous les soumissionnaires :

Lire la suiteLire la suite

7 questions à poser aux firmes de sondage qui ont des panels web (questions 5 à 7)

7 questions à poser aux firmes de sondage qui ont des panels web (questions 5 à 7)

Comments 0 Commentaire

Sondage-en-ligne-(ordi)2En lien avec le dernier billet que j’ai publié,  je poursuis aujourd’hui les 7 questions que vous devriez poser pour choisir un fournisseur de panel (je m’inspire de l’infolettre d’octobre, de Quirk’s Marketing ResearchReview*).

Q5. Le profil des panélistes est-il mis à jour?
Si certaines données sociodémographiques ne requièrent pratiquement aucune mise à jour (ex. : date de naissance, sexe), d’autres sont appelées à changer au fil du temps : le statut civil et le revenu, par exemple, ou encore le fait d’être propriétaire ou locataire du logis familial.

La mise à jour des données sociodémographiques est importante pour au moins deux raisons. La première, c’est que ces données permettent de cibler les répondants à qui s’adresse un sondage. Par exemple, si on veut sonder uniquement les 18-34 ans, le panel Or de SOM permet d’envoyer des invitations ciblées. La deuxième raison est que les données sociodémograpiques sont utilisées comme variables de segmentation pour identifier les différences significatives entre les sous-groupes de l’échantillon. C’est de cette façon qu’on peut dire, par exemple, que les plus jeunes pensent ceci alors que les plus âgés pensent cela.

Lire la suiteLire la suite

7 questions à poser aux firmes de sondage qui ont des panels web (questions 1 à 4)

7 questions à poser aux firmes de sondage qui ont des panels web (questions 1 à 4)

Comments 2 commentaires

Sondage-en-ligne-(ordi)2Dans son infolettre d’octobre, Quirk’s Marketing ResearchReview publie les « 7 questions que vous devriez poser pour choisir un fournisseur de panel* ». À chacune des questions correspondent des enjeux importants qui touchent notamment la méthodologie et l’éthique. Je reprends les mêmes questions (aujourd’hui les questions 1 à 4), mais je les explique à ma façon et je vous fournis en prime les réponses… pour le panel Or de SOM.

Je vous rappelle au passage qu’un panel web est un échantillon d’internautes – souvent appelés panélistes – qui est régulièrement interrogé, au moyen de sondages en ligne, sur un phénomène, un comportement, une opinion, une perception, etc.

Q1. De quelle façon les panélistes sont-ils recrutés?
Il y a principalement deux méthodes de recrutement utilisées dans l’industrie de la recherche et du sondage. La première méthode est un recrutement dit « ouvert », où toute personne (ou presque) qui a accès à Internet peut s’inscrire au panel et participer à des sondages. La deuxième méthode requiert une invitation : seules les personnes préalablement sélectionnées et invitées pourront se joindre au panel.

Lire la suiteLire la suite

Je suis victime d’un raccourci méthodologique dans La Presse Affaires

Je suis victime d’un raccourci méthodologique dans La Presse Affaires

Comments 4 commentaires

pt-exclamation2Éric-Pierre Gibeault, dans un article de La Presse Affaires, fait référence au plus récent sondage SOM/BRANCHEZ-VOUS.COM portant sur l’utilisation personnelle d’Internet au travail. Voilà qui est très bien! J’aurais toutefois aimé qu’il ne tombe pas dans le piège de ce que je dénonce souvent sur ce blogue : une méthodologie non pas floue dans ce cas-ci, mais carrément amputée des détails les plus importants. Voyez par vous-même…

La méthodologie que j’ai communiquée (sur ce blogue, sur bénéfice.net, dans le communiqué de presse) :

Ce sondage Web a été mené du 11 au 17 août 2009 auprès de 1297 internautes québécois qui travaillent en entreprise ou dans une organisation (et non à la maison). Cet échantillon est tiré du panel Or de SOM, lequel est constitué de répondants recrutés de façon aléatoire. La marge d’erreur maximale pour l’ensemble est de 4,8 %, 19 fois sur 20.

La méthodologie communiquée par le journaliste de La Presse Affaires hier :

Le sondage SOM, réalisé pour Branchez-Vous, a été effectué du 11 au 17 août dernier auprès de 1297 travailleurs. La marge d’erreur maximale est de 4,8%, 19 fois sur 20.

Lire la suiteLire la suite

Une étude confirme la supériorité des panels Web avec recrutement aléatoire des répondants

Une étude confirme la supériorité des panels Web avec recrutement aléatoire des répondants

Comments 4 commentaires

ABC news commentait hier les résultats de cette étude (PDF) dirigée par deux professeurs de l’Université Stanford. (Merci à @JHenning d’avoir signalé cet article sur Twitter!)

L’étude en quelques mots
En utilisant un questionnaire identique, les chercheurs ont comparé la précision des résultats de plusieurs sondages utilisant des méthodes d’échantillonnage différentes :

  • Un sondage téléphonique utilisant la génération aléatoire de numéros de téléphone (Random Digit Dialing – RDD);
  • Un sondage Web à partir d’un panel dont les répondants ont été recrutés de façon aléatoire par téléphone (RDD).
  • Cinq sondages Web fait à partir de panels de volontaires, c’est-à-dire des personnes qui, de leur propre initiative, sont allées sur un site Web pour s’inscrire à un panel (sans avoir été recrutés au préalable). Il s’agit d’échantillons non probabilistes puisqu’ils ne s’appuient pas sur le hasard pour la sélection des répondants.

Lire la suiteLire la suite

Vrai ou faux? Mythes et réalités des sondages en ligne (#1)

Vrai ou faux? Mythes et réalités des sondages en ligne (#1)

Comments 3 commentaires

Le 12 juin dernier, lors du colloque annuel de l’Association des statisticiennes et des statisticiens du Québec (ASSQ), M. Michel Saulnier, président du chapitre québécois de l’ARIM, faisait une présentation sur les «mythes et réalités» des sondages en ligne. Au cours de l’été, je reprendrai individuellement ces huit énoncés, que j’expliquerai à ma façon.

Vrai ou faux?
Les panels Internet livrent des résultats représentatifs de la population.

Lire la suiteLire la suite

La représentativité des sondages Web

La représentativité des sondages Web

Comments 0 Commentaire

Dans un billet récent, j’abordais la question de la représentativité des sondages avec l’anecdote historique de l’élection américaine de 1936. Bien des années ont passé, mais l’engouement récent pour les sondages en ligne ramène cette question de représentativité à l’avant-plan. En effet, quand un sondeur constitue un panel Web en recueillant des masses d’inscriptions d’internautes volontaires pour remplir des sondages et participer à des concours, peut-il prétendre être en mesure d’en tirer un échantillon représentatif de l’ensemble des internautes? Sans doute pas…

Mais, la bonne question à se poser serait plutôt : est-ce que cette absence de représentativité pose un problème? Dans certains cas, non. Par exemple, si on cherche à obtenir l’opinion de 500 buveurs de bière sur le nouveau design d’une étiquette, la représentativité de l’échantillon n’est probablement pas une nécessité fondamentale. Comme dans le cas des groupes de discussion, on cherche davantage des résultats qualitatifs que quantitatifs dans ce type de recherche.

Lire la suiteLire la suite