Archive pour le sujet ‘panel Web’

Publié par Julie Fortin le 22 janvier 2014

L’utilisation des appareils mobiles pour participer aux sondages

Téléphone-tablette2En décembre dernier, le CEFRIO annonçait une «montée en flèche» de la mobilité au Québec : 44 % des adultes québécois possèderaient un téléphone mobile intelligent et 25 %, une tablette numérique.

Il n’est donc pas surprenant de constater que de plus en plus d’internautes utilisent leur appareil mobile pour répondre à des sondages en ligne. À titre d’exemple, dans un sondage récent sur les cartes de souhaits, 20 % des répondants ont rempli le sondage à l’aide d’un appareil mobile, soit 11 % avec un téléphone et 9 % avec une tablette.

À elles seules, ces données montrent l’importance d’adapter le design des questionnaires aux différents appareils. Elles sont toutefois appuyées par plusieurs études sur le sujet.

Lire la suite »

Loupe-graphique2Tout a commencé lorsque je faisais ma veille hebdomadaire pour repérer les articles intéressants de la semaine. Je suis tombée sur cet article de Mick P. Couper qui, bien que ce ne soit pas son objectif premier, porte sur les perceptions de la population néerlandaise à l’égard des immigrants.

En voyant les 10 énoncés utilisés par l’auteur, je me suis dit: «Que voilà des questions intéressantes à poser aux internautes québécois, en particulier dans le contexte de la Charte des valeurs québécoises

Le sondage était donc lancé… Or, voilà qu’une station de radio bien connue a eu vent, par un répondant, des questions posées. Aussi, bien que le sondage n’était pas nécessairement destiné à être publié, l’intérêt suscité par les dites questions nous a pratiquement forcé la main…! Voici donc les résultats tant attendus.

Lire la suite »

Publié par Julie Fortin le 19 septembre 2012

Fracture numérique et sondages web

CrackLa notion de fracture numérique, initialement utilisée pour décrire le fossé entre les individus qui avaient accès aux technologies et les autres, s’est élargie pour inclure plusieurs disparités, notamment en ce qui concerne les infrastructures de connexion, les habiletés à utiliser les technologies, la sophistication des activités réalisées en ligne et la fréquence d’utilisation.

Dans un récent article de la revue Quality & Quantity*, des chercheuses portugaises s’intéressent aux différences qui caractérisent la fréquence d’utilisation d’internet et, surtout, à leurs impacts sur les sondages web.

Lire la suite »

Poisson-migration-sondageBeaucoup de clients mènent des études de suivi, que ce soit pour analyser l’évolution d’une marque (tracking), pour comparer des taux de satisfaction ou encore pour mesurer l’impact d’une intervention. Par «étude de suivi», j’entends une étude récurrente qui pose les mêmes questions à une même population dans une perspective de comparaison des résultats.

Ces études, traditionnellement effectuées par sondage téléphonique, migrent de plus en plus vers les sondages en ligne. Comme les sondages par internet offrent des résultats souvent plus rapides et à moindre coût, la tentation est forte de changer le mode de collecte.

Or, beaucoup de clients s’interrogent : quels sont les facteurs à considérer pour migrer une étude et, surtout, quelles seront les implications sur les résultats? Lire la suite »

Publié par Julie Fortin le 9 mars 2012

Panel et sondage en ligne : la voix du répondant

SourisSondageWeb3On les appelle communément des «panélistes». Ce sont des personnes qui – sur invitation dans le cas du panel Or de SOM – ont accepté d’être membre d’un panel web et de répondre à des sondages en ligne. Mais que pensent ces panélistes des sondages auxquels ils participent?

Dans un récent colloque du CASRO (Council of American Survey Research Organizations) qui s’est tenu à Las Vegas, l’une des conférences regroupait huit «panélistes» venus partager leur expérience à titre de membre d’un ou de plusieurs panels web. Reg Baker en a fait un billet dans son [excellent] blogue The Survey Geek. Je me permets de reprendre ici quelques extraits (traduction libre). Un des messages? Les panélistes aimeraient bien que les chercheurs fassent de meilleurs sondages!

Lire la suite »

Publié par Julie Fortin le 17 février 2012

Panels web : des pratiques embarrassantes pour l’industrie

Detective-enqueteIl y a près de deux ans, une enquête «répondants-mystères» de Grey Matter Research révélait quelques horreurs sur les panels d’internautes, notamment la sursollicitation des panélistes, des sondages beaucoup trop longs, d’autres qui n’étaient accessibles que quelques heures, etc. (Vous pouvez relire le billet que j’avais écrit à ce sujet pour en savoir plus sur l’objectif de l’enquête et la méthode utilisée.)

Grey Matter Research récidive et vient de publier une nouvelle édition1 de cette étude effectuée auprès d’une dizaine de grands panels (ex. : Clear Voice, e-Rewards, Global Opinion Panels). Encore une fois, on observe des pratiques pour le moins… embarrassantes pour l’industrie.

Lire la suite »

pt-exclamation2Selon l’Association américaine de recherche sur l’opinion publique (AAPOR), seuls les panels probabilistes (avec recrutement aléatoire des répondants) devraient utiliser le terme «taux de réponse». Les panels de volontaires devraient plutôt parler de «taux de participation».

Lire la suite »

Publié par Julie Fortin le 10 janvier 2011

Retour sur la journée Infopresse – vigie et recherche marketing

ConferenceLe 8 décembre dernier, j’assistais à la  journée Infopresse dédiée aux nouvelles tendances de la recherche marketing. Je n’ai malheureusement pas eu le temps de vous en parler avant, mais vaut mieux tard que jamais!

Dans l’ensemble, je retire des bénéfices de cette journée dans la mesure où plusieurs conférences ont stimulé ma réflexion. Voici quelques-unes de mes impressions à la suite de ce que j’y ai vu et entendu. Je vous parle brièvement des cinq conférences de la journée.

Lire la suite »

Publié par Julie Fortin le 6 janvier 2011

Que nous réserve 2011 en matière de recherche et sondage?

boule-de-cristal2D’abord, j’aimerais souhaiter à tous les lecteurs de ce blogue une bonne et heureuse année 2011! Mes billets se sont faits un peu plus rares ces derniers temps, mais je prends la ferme résolution de revenir à un rythme plus régulier dès aujourd’hui…!

L’industrie de la recherche et du sondage est en profonde mutation depuis quelques années. Plusieurs nouvelles tendances ont vu le jour et se poursuivront sans aucun doute. Voici donc quelques «prédictions» pour le développement de la recherche en 2011…

Lire la suite »

Publié par Julie Fortin le 30 septembre 2010

Les sondés volontaires

SourisSondageWeb3Dans son édition «papier» de mercredi (29 septembre 2010), le quotidien Le Soleil publiait la lettre d’un lecteur inquiet de la validité des sondages effectués à l’aide de panels de volontaires (par opposition aux panels avec recrutement aléatoire de répondants).

Comme c’est la première fois que je lis un tel commentaire dans les journaux, je me permets d’en reproduire ici quelques extraits, que je commente. Je ne sais pas qui est M. Robert Pelley, mais je le remercie de son intervention… et lui emprunte le titre de sa missive!

Lire la suite »

Loupe-graphique2Il m’arrive souvent de critiquer les résultats de sondage qui paraissent dans les médias (ici et ici par exemple). Trop souvent, la méthodologie est incomplète, trompeuse ou carrément erronée.

De plus, on commet souvent la faute de diffuser une marge d’erreur avec les résultats d’un sondage non probabiliste (ex. : sondage mené auprès d’un panel de volontaires par opposition à un recrutement de panélistes aléatoire – voir à ce sujet la recommandation de l’Association américaine de la recherche sur l’opinion publique).

Mais je lève mon chapeau à l’Agence QMI et à Canoe qui publiaient ce matin les résultats d’un sondage CROP :

Les résultats du sondage reposent sur 1173 questionnaires complétés via Internet du 19 au 24 mars 2010 dans le cadre du sondage omnibus CROP-express. Compte tenu du caractère non probabiliste de l’échantillon web, le calcul de la marge d’erreur est impossible.

C’est la première fois que je vois autant de transparence à l’égard d’un sondage en ligne non probabiliste. J’ai été très agréablement surprise, pour ne pas dire émue!

Detective-enqueteLa firme Grey Matter Research (Phoenix, Arizona) vient de rendre public un rapport* plutôt accablant pour certains panels d’internautes. Intitulé Dirty Little Secrets of Online Panels, le rapport présente les résultats d’une enquête «répondants-mystères» auprès de 12 panels de volontaires de grandes compagnies (internationales ou américaines), incluant des panels bien connus ici comme Harris Interactive, Ipsos (I-Say) ou Global Test Market.

Le principe du «répondant-mystère»

Grey Matter Research a inscrit plusieurs répondants-mystères à des panels de volontaires pour une période de 30 jours. [Évidemment, les panels à recrutement aléatoire sont exclus de l'étude puisqu'il est impossible de s'y joindre sans avoir préalablement reçu une invitation.] Les répondants-mystères avaient pour instructions de répondre de façon honnête aux questions posées et de noter leurs observations sur chacun des sondages.

Lire la suite »

sondageweb-bleu2Dans un rapport* publié en mars 2010 (c’est tout frais!), l’American Association for Public Opinion Research (AAPOR) publie les conclusions d’un groupe de travail sur les panels d’internautes (online panels).

Je vous parle aujourd’hui de la première recommandation des experts :

Les chercheurs devraient éviter d’utiliser des panels non probabilistes lorsque leur objectif est de généraliser des résultats à l’ensemble d’une population.

Lire la suite »

Publié par Julie Fortin le 1 avril 2010

Un léger manque d’éthique

1-Poisson-ethiqueÀ la fin de ce billet, vous comprendrez que «léger» est un euphémisme. En fait, je suis carrément soufflée par ce qui est, ni plus ni moins, que de la concurrence déloyale. «Welcome to the real world, m’a dit l’un des patrons de SOM, ça arrive tout le temps». C’en était fait du peu de naïveté et d’idéalisme qu’il me restait.

L’appel d’offres
Récemment, nous avons perdu un appel d’offres au profit d’une firme concurrente. Jusque-là, rien d’anormal : on ne peut pas tous les gagner! L’appel d’offres, en provenance d’un organisme gouvernemental, requérait les services d’une firme pour effectuer un sondage auprès d’une tranche plutôt rare de la population. Pour réduire les coûts, l’appel d’offres spécifiait qu’une partie de la collecte des données devait s’effectuer par internet, auprès d’internautes recrutés de façon aléatoire. En principe donc, exit les panels d’internautes volontaires. Mais pour nous en assurer, nous avons communiqué avec le mandant. Voici sa réponse, fournie à tous les soumissionnaires :

Lire la suite »

Sondage-en-ligne-(ordi)2En lien avec le dernier billet que j’ai publié,  je poursuis aujourd’hui les 7 questions que vous devriez poser pour choisir un fournisseur de panel (je m’inspire de l’infolettre d’octobre, de Quirk’s Marketing ResearchReview*).

Q5. Le profil des panélistes est-il mis à jour?
Si certaines données sociodémographiques ne requièrent pratiquement aucune mise à jour (ex. : date de naissance, sexe), d’autres sont appelées à changer au fil du temps : le statut civil et le revenu, par exemple, ou encore le fait d’être propriétaire ou locataire du logis familial.

La mise à jour des données sociodémographiques est importante pour au moins deux raisons. La première, c’est que ces données permettent de cibler les répondants à qui s’adresse un sondage. Par exemple, si on veut sonder uniquement les 18-34 ans, le panel Or de SOM permet d’envoyer des invitations ciblées. La deuxième raison est que les données sociodémograpiques sont utilisées comme variables de segmentation pour identifier les différences significatives entre les sous-groupes de l’échantillon. C’est de cette façon qu’on peut dire, par exemple, que les plus jeunes pensent ceci alors que les plus âgés pensent cela.

Lire la suite »

Sondage-en-ligne-(ordi)2Dans son infolettre d’octobre, Quirk’s Marketing ResearchReview publie les « 7 questions que vous devriez poser pour choisir un fournisseur de panel* ». À chacune des questions correspondent des enjeux importants qui touchent notamment la méthodologie et l’éthique. Je reprends les mêmes questions (aujourd’hui les questions 1 à 4), mais je les explique à ma façon et je vous fournis en prime les réponses… pour le panel Or de SOM.

Je vous rappelle au passage qu’un panel web est un échantillon d’internautes – souvent appelés panélistes – qui est régulièrement interrogé, au moyen de sondages en ligne, sur un phénomène, un comportement, une opinion, une perception, etc.

Q1. De quelle façon les panélistes sont-ils recrutés?
Il y a principalement deux méthodes de recrutement utilisées dans l’industrie de la recherche et du sondage. La première méthode est un recrutement dit « ouvert », où toute personne (ou presque) qui a accès à Internet peut s’inscrire au panel et participer à des sondages. La deuxième méthode requiert une invitation : seules les personnes préalablement sélectionnées et invitées pourront se joindre au panel.

Lire la suite »

Publié par Julie Fortin le 24 septembre 2009

Je suis victime d’un raccourci méthodologique dans La Presse Affaires

pt-exclamation2Éric-Pierre Gibeault, dans un article de La Presse Affaires, fait référence au plus récent sondage SOM/BRANCHEZ-VOUS.COM portant sur l’utilisation personnelle d’Internet au travail. Voilà qui est très bien! J’aurais toutefois aimé qu’il ne tombe pas dans le piège de ce que je dénonce souvent sur ce blogue : une méthodologie non pas floue dans ce cas-ci, mais carrément amputée des détails les plus importants. Voyez par vous-même…

La méthodologie que j’ai communiquée (sur ce blogue, sur bénéfice.net, dans le communiqué de presse) :

Ce sondage Web a été mené du 11 au 17 août 2009 auprès de 1297 internautes québécois qui travaillent en entreprise ou dans une organisation (et non à la maison). Cet échantillon est tiré du panel Or de SOM, lequel est constitué de répondants recrutés de façon aléatoire. La marge d’erreur maximale pour l’ensemble est de 4,8 %, 19 fois sur 20.

La méthodologie communiquée par le journaliste de La Presse Affaires hier :

Le sondage SOM, réalisé pour Branchez-Vous, a été effectué du 11 au 17 août dernier auprès de 1297 travailleurs. La marge d’erreur maximale est de 4,8%, 19 fois sur 20.

Lire la suite »

ABC news commentait hier les résultats de cette étude (PDF) dirigée par deux professeurs de l’Université Stanford. (Merci à @JHenning d’avoir signalé cet article sur Twitter!)

L’étude en quelques mots
En utilisant un questionnaire identique, les chercheurs ont comparé la précision des résultats de plusieurs sondages utilisant des méthodes d’échantillonnage différentes :

  • Un sondage téléphonique utilisant la génération aléatoire de numéros de téléphone (Random Digit Dialing – RDD);
  • Un sondage Web à partir d’un panel dont les répondants ont été recrutés de façon aléatoire par téléphone (RDD).
  • Cinq sondages Web fait à partir de panels de volontaires, c’est-à-dire des personnes qui, de leur propre initiative, sont allées sur un site Web pour s’inscrire à un panel (sans avoir été recrutés au préalable). Il s’agit d’échantillons non probabilistes puisqu’ils ne s’appuient pas sur le hasard pour la sélection des répondants.

Lire la suite »

Publié par Julie Fortin le 8 juillet 2009

Vrai ou faux? Mythes et réalités des sondages en ligne (#1)

Le 12 juin dernier, lors du colloque annuel de l’Association des statisticiennes et des statisticiens du Québec (ASSQ), M. Michel Saulnier, président du chapitre québécois de l’ARIM, faisait une présentation sur les «mythes et réalités» des sondages en ligne. Au cours de l’été, je reprendrai individuellement ces huit énoncés, que j’expliquerai à ma façon.

Vrai ou faux?
Les panels Internet livrent des résultats représentatifs de la population.

Lire la suite »

Publié par Eric Lacroix le 25 juin 2008

La représentativité des sondages Web

Dans un billet récent, j’abordais la question de la représentativité des sondages avec l’anecdote historique de l’élection américaine de 1936. Bien des années ont passé, mais l’engouement récent pour les sondages en ligne ramène cette question de représentativité à l’avant-plan. En effet, quand un sondeur constitue un panel Web en recueillant des masses d’inscriptions d’internautes volontaires pour remplir des sondages et participer à des concours, peut-il prétendre être en mesure d’en tirer un échantillon représentatif de l’ensemble des internautes? Sans doute pas…

Mais, la bonne question à se poser serait plutôt : est-ce que cette absence de représentativité pose un problème? Dans certains cas, non. Par exemple, si on cherche à obtenir l’opinion de 500 buveurs de bière sur le nouveau design d’une étiquette, la représentativité de l’échantillon n’est probablement pas une nécessité fondamentale. Comme dans le cas des groupes de discussion, on cherche davantage des résultats qualitatifs que quantitatifs dans ce type de recherche.

Lire la suite »