Introduire des questions ouvertes dans un sondage en ligne est très pertinent. Le répondant peut prendre le temps nécessaire pour écrire sa réponse et, contrairement au sondage téléphonique, il n’y a pas d’intermédiaire (intervieweur) : ce sont les mots exacts choisis par le répondant.

L’expérience montre d’ailleurs que les répondants n’hésitent pas à répondre aux questions ouvertes d’un sondage web; ils ne sont pas avares de détails et, dans certains cas, peuvent même être très bavards!

Ainsi, le taux de réponse pour ce type de question est généralement bon. La qualité des réponses également. Mais pour cela, certains éléments spécifiques aux sondages en ligne doivent être pris en considération (en plus des éléments communs à tout type de sondage).

Lire la suite »

Plusieurs facteurs peuvent influencer le taux de réponse des sondages en ligne. Parmi ceux-là, un certain nombre est attribuable au design du questionnaire, c’est-à-dire à la conception de l’interface web du sondage.

Dans un récent article* de la Social Science Computer Review, deux chercheuses font le bilan de la recherche empirique sur cette question : quelles caractéristiques du design d’un sondage web peuvent contribuer à diminuer la non-réponse? Bien sûr, cela peut varier selon les contextes. Voici tout de même quelques pistes tirées de l’article.

Lire la suite »

Pour clore ma série de billets sur les indicateurs les plus pertinents à suivre au cours d’un sondage en ligne, je vous parle aujourd’hui du suivi des données recueillies. Ce n’est pas un indicateur au même sens que les précédents, mais il est tout aussi important, particulièrement en début de collecte.

Suivi des données

Faire le suivi des données, ça veut tout simplement dire d’examiner les réponses fournies par les répondants. Comme notre système nous permet d’accéder aux données individuelles (réponses) et collectives (fréquences) en temps réel, cette tâche est simple.

Lire la suite »

Il m’arrive souvent de critiquer les résultats de sondage qui paraissent dans les médias (ici et ici par exemple). Trop souvent, la méthodologie est incomplète, trompeuse ou carrément erronée.

De plus, on commet souvent la faute de diffuser une marge d’erreur avec les résultats d’un sondage non probabiliste (ex. : sondage mené auprès d’un panel de volontaires par opposition à un recrutement de panélistes aléatoire – voir à ce sujet la recommandation de l’Association américaine de la recherche sur l’opinion publique).

Mais je lève mon chapeau à l’Agence QMI et à Canoe qui publiaient ce matin les résultats d’un sondage CROP :

Les résultats du sondage reposent sur 1173 questionnaires complétés via Internet du 19 au 24 mars 2010 dans le cadre du sondage omnibus CROP-express. Compte tenu du caractère non probabiliste de l’échantillon web, le calcul de la marge d’erreur est impossible.

C’est la première fois que je vois autant de transparence à l’égard d’un sondage en ligne non probabiliste. J’ai été très agréablement surprise, pour ne pas dire émue!

Je vous ai déjà parlé en détail du prétest d’un sondage téléphonique. Mais qu’en est-il du prétest d’un sondage en ligne? Il est tout aussi important, mais se présente différemment.

Le prétest est «l’épreuve que subit la première mise en forme d’un questionnaire d’enquête ou d’un test auprès d’un échantillon réduit afin d’en déceler les défauts et d’y faire les corrections qui s’imposent.»
Source : Grand dictionnaire terminologique

Une des particularités du sondage web par rapport au sondage téléphonique, c’est qu’en plus du contenu, il faut aussi tester le contenant. En effet, le répondant doit avoir autant de facilité à lire et à comprendre les questions qu’à naviguer sur les pages web du sondage. On doit donc considérer l’ergonomie du sondage (nombre de questions par page, format et emplacement des questions, boutons, etc.) et le fonctionnement technique (chargement des pages, sauts de question, questions facultatives ou obligatoires, etc.).

Lire la suite »

La firme Grey Matter Research (Phoenix, Arizona) vient de rendre public un rapport* plutôt accablant pour certains panels d’internautes. Intitulé Dirty Little Secrets of Online Panels, le rapport présente les résultats d’une enquête «répondants-mystères» auprès de 12 panels de volontaires de grandes compagnies (internationales ou américaines), incluant des panels bien connus ici comme Harris Interactive, Ipsos (I-Say) ou Global Test Market.

Le principe du «répondant-mystère»

Grey Matter Research a inscrit plusieurs répondants-mystères à des panels de volontaires pour une période de 30 jours. [Évidemment, les panels à recrutement aléatoire sont exclus de l'étude puisqu'il est impossible de s'y joindre sans avoir préalablement reçu une invitation.] Les répondants-mystères avaient pour instructions de répondre de façon honnête aux questions posées et de noter leurs observations sur chacun des sondages.

Lire la suite »

Dans un rapport* publié en mars 2010 (c’est tout frais!), l’American Association for Public Opinion Research (AAPOR) publie les conclusions d’un groupe de travail sur les panels d’internautes (online panels).

Je vous parle aujourd’hui de la première recommandation des experts :

Les chercheurs devraient éviter d’utiliser des panels non probabilistes lorsque leur objectif est de généraliser des résultats à l’ensemble d’une population.

Lire la suite »

Lundi soir, c’était la première émission du «Verdict» de Véronique Cloutier. J’avais entendu parler du concept de l’émission, que je trouve plutôt original et non dépourvu d’intérêt soit dit en passant, mais bien honnêtement, j’ai complètement oublié de regarder la première lundi. Mais après que mon collègue Francis Dufour ait piqué ma curiosité ce matin sur la méthodologie utilisée, je me suis reprise en visionnant quelques extraits sur internet.

D’entrée de jeu, l’animatrice explique brièvement la méthodologie des sondages sur lesquels s’appuie l’émission :

Les sondages [...] sont faits avec un échantillon qui représente 5,9 millions de Québécois francophones avec une marge d’erreur de 4 %, 19 fois sur 20.

Cette toute petite phrase comporte pas moins de trois erreurs (sans compter les omissions). Pourriez-vous les trouver?

Lire la suite »

Je continue ma série de billets sur les indicateurs les plus pertinents à suivre au cours d’un sondage en ligne. Aujourd’hui, il sera question de la durée du sondage et du temps de réponse par question.

Durée du sondage

La notion de durée est bien différente dans un sondage web par rapport au sondage téléphonique. Comme le sondage web est «auto-administré», le répondant peut prendre tout le temps nécessaire pour participer au sondage, incluant des pauses plus ou moins longues. En calculant la durée moyenne pour l’ensemble des participants, on a toutefois une bonne idée de l’investissement requis par le répondant. Lorsqu’on conçoit un questionnaire, il faut toujours garder à l’esprit que la longueur d’un sondage fait partie des facteurs qui influencent le taux de réponse, particulièrement dans les sondages en ligne : un sondage trop long pourra générer davantage d’abandons.

Mais en matière de durée, la situation est encore plus problématique lorsque le répondant est… trop rapide!
Lire la suite »

La semaine dernière, un intéressant sondage d’Ipsos mentionnait que, pour la première fois, le nombre d’heures consacrées à internet en une semaine dépassait le nombre d’heures passées à regarder la télé. Plusieurs médias et blogues ont relayé la nouvelle en faisant tous la même erreur d’interprétation. Pouvez-vous trouver de quelle erreur il s’agit?

Voici ce que dit l’étude originale :

Ipsos reports that for the first time ever in their tracking research, the weekly Internet usage of online Canadians has moved ahead of the number of hours spent watching television. [...] Overall, online Canadians are now spending more than 18 hours a week online, compared to 16.9 hours watching television.

Lire la suite »

Dans la foulée de la série de billets «Sondages en ligne : quels indicateurs suivre?», je vous parle aujourd’hui du taux d’accès à un sondage en ligne.

Définition du taux d’accès

Le taux d’accès correspond à la proportion de personnes qui accèdent au sondage, peu importe qu’elles y répondent ou non. Il inclut donc les «curieux», par exemple ceux qui ne font que cliquer sur le lien d’invitation sans aller plus loin.

Lire la suite »

J’ai lu un article* fort intéressant à propos du taux de réponse dans les sondages web. Contrairement à certaines croyances, les sondages en ligne présentent souvent des taux de réponse inférieurs aux autres modes de collecte des données.

Les auteurs, professeurs à la State University of New York, font un inventaire exhaustif des facteurs qui influencent le taux de réponse. Il ne s’agit pas vraiment d’éléments nouveaux, mais l’article a l’avantage de les regrouper et de les présenter en fonction du processus de réalisation d’un sondage web. En voici les grandes lignes…

Le processus de réalisation d’un sondage web

(adapté de Fan et Yan*)

Lire la suite »

Je poursuis ma série de billets sur les indicateurs les plus pertinents à suivre au cours d’un sondage web. Aujourd’hui, je vous parle du taux d’abandon.

Définition du taux d’abandon

Le taux d’abandon, comme son nom l’indique, est assez simple : il s’agit de la proportion des personnes qui entreprennent un sondage mais qui, pour une raison ou pour une autre, abandonnent en cours de route.

Petite nuance : il ne faut pas confondre interruption et abandon. En effet, nos sondages en ligne permettent aux répondants d’interrompre leur participation et de la reprendre plus tard sans perte d’information (lors de la reprise, le répondant continue là où il était rendu).

Lire la suite »

Le système intégré de collecte de données de SOM permet, lorsqu’un sondage est en cours, de suivre un grand nombre d’indicateurs en «temps réel». Dans le cas particulier des sondages web, quels indicateurs sont les plus pertinents? Comment doit-on les interpréter?

Je commence une série de courts billets qui donnent quelques trucs et astuces sur les principaux indicateurs (je remercie mon collègue Francis Pelletier pour ses précieux commentaires). Aujourd’hui : le nombre de répondants et le taux de réponse, deux indicateurs intimement liés qui sont certes simples, mais ô combien utiles!

Lire la suite »

Suivant la recommandation de la Table québécoise de la sécurité routière, le gouvernement du Québec envisage de réduire la limite d’alcool permise pour les conducteurs d’un véhicule. Ainsi, le taux d’alcoolémie passerait de 0,08 % à 0,05 %. Êtes-vous d’accord avec cette mesure?

Globalement, 61 % des internautes québécois sont d’accord avec la nouvelle mesure (tout à fait d’accord : 42 %; plutôt d’accord : 19 %). Proportionnellement, les femmes sont plus nombreuses à être d’accord (69 %) que les hommes (53 %).

A-t-on encore affaire au «mystère Québec»?

Lire la suite »

Depuis 2003, la firme Rockhopper Research (Summit, New Jersey) et ses partenaires publient annuellement les tendances de l’industrie de la recherche marketing. Il s’agit en fait d’un sondage mené auprès de divers intervenants du domaine aux États-Unis (ex. : firmes spécialisées, consultants, clients qui achètent des services de recherche, chercheurs).

La base de sondage provient de listes fournies par les partenaires de la recherche et ne peut donc prétendre être représentative de l’ensemble de l’industrie. Il est toutefois intéressant de voir quelles tendances se dégagent d’une partie des entreprises américaines qui côtoient la recherche. Le sondage de l’édition 2009 (voir les résultats en PDF) a été effectué au mois d’août dernier et compte 512 répondants. Les résultats viennent tout juste d’être publiés. Voici quelques-uns des faits saillants qui ont attiré mon attention.

Lire la suite »

En lien avec le dernier billet que j’ai publié,  je poursuis aujourd’hui les 7 questions que vous devriez poser pour choisir un fournisseur de panel (je m’inspire de l’infolettre d’octobre, de Quirk’s Marketing ResearchReview*).

Q5. Le profil des panélistes est-il mis à jour?
Si certaines données sociodémographiques ne requièrent pratiquement aucune mise à jour (ex. : date de naissance, sexe), d’autres sont appelées à changer au fil du temps : le statut civil et le revenu, par exemple, ou encore le fait d’être propriétaire ou locataire du logis familial.

La mise à jour des données sociodémographiques est importante pour au moins deux raisons. La première, c’est que ces données permettent de cibler les répondants à qui s’adresse un sondage. Par exemple, si on veut sonder uniquement les 18-34 ans, le panel Or de SOM permet d’envoyer des invitations ciblées. La deuxième raison est que les données sociodémograpiques sont utilisées comme variables de segmentation pour identifier les différences significatives entre les sous-groupes de l’échantillon. C’est de cette façon qu’on peut dire, par exemple, que les plus jeunes pensent ceci alors que les plus âgés pensent cela.

Lire la suite »

Dans son infolettre d’octobre, Quirk’s Marketing ResearchReview publie les « 7 questions que vous devriez poser pour choisir un fournisseur de panel* ». À chacune des questions correspondent des enjeux importants qui touchent notamment la méthodologie et l’éthique. Je reprends les mêmes questions (aujourd’hui les questions 1 à 4), mais je les explique à ma façon et je vous fournis en prime les réponses… pour le panel Or de SOM.

Je vous rappelle au passage qu’un panel web est un échantillon d’internautes – souvent appelés panélistes – qui est régulièrement interrogé, au moyen de sondages en ligne, sur un phénomène, un comportement, une opinion, une perception, etc.

Q1. De quelle façon les panélistes sont-ils recrutés?
Il y a principalement deux méthodes de recrutement utilisées dans l’industrie de la recherche et du sondage. La première méthode est un recrutement dit « ouvert », où toute personne (ou presque) qui a accès à Internet peut s’inscrire au panel et participer à des sondages. La deuxième méthode requiert une invitation : seules les personnes préalablement sélectionnées et invitées pourront se joindre au panel.

Lire la suite »

Les trois quarts des internautes québécois jugent que la crise économique qui frappe le Québec et le Canada est soit moins grave (38 %), soit d’une gravité équivalente (39 %) à ce qu’on nous avait annoncé

Près d’un internaute sur 4 (23 %) estiment plutôt que la crise est «plus grave» ou «beaucoup plus grave» que prévu. Cette proportion est significativement différente dans certains groupes. Par exemple :

• Les plus jeunes sont moins nombreux à faire ce constat (15 %) que les plus âgés (45-54 ans : 28 %; 55 ans et plus : 33 %). L’insouciance de la jeunesse?
• Les mieux nantis (revenu personnel de 55 000 $ et plus ; revenu familial de 75 000 $ et plus) sont également moins nombreux à juger la crise plus grave (18 %). Avoir plus d’argent met-il à l’abri?

Lire la suite »

Dans mon billet précédent, je vous parlais du sondage SOM-webcom-rezopointzero sur l’adoption du web 2.0 par les entreprises ayant participé aux différentes éditions de webcom.

Durant le webcom, Christian Aubry animait le «webcom live», une série d’entrevues présentées en direct sur internet. Vous pouvez visionner ci-dessous une entrevue avec Éric Lacroix, vice-président Solutions Web chez SOM, qui explique et commente les résultats du sondage.

Lire la suite »