J’entends souvent des gens mépriser les sondages : «C’est vous, ça, qui nous appelez à l’heure du souper?» ou pire encore «Arrêtez donc de me déranger pendant que j’écoute Virginie!»

Aujourd’hui, il est de bon ton de critiquer les sondeurs. Or, ce que certains oublient, c’est que les sondages produisent une information utile pour la société. Évidemment, je ne parle pas ici des sondages à saveur sensationnaliste. Je parle des sondages sérieux, qui portent sur des sujets sérieux, et qui sont menés avec toute la rigueur méthodologique nécessaire.

À titre d’exemple, je vous entretiendrai brièvement aujourd’hui du taux de chômage. Beaucoup de gens sont surpris d’apprendre que cet indicateur économique publié tous les mois est issu… d’un sondage.

Lire la suite »

Dans la foulée de la série de billets «Sondages en ligne : quels indicateurs suivre?», je vous parle aujourd’hui du taux d’accès à un sondage en ligne.

Définition du taux d’accès

Le taux d’accès correspond à la proportion de personnes qui accèdent au sondage, peu importe qu’elles y répondent ou non. Il inclut donc les «curieux», par exemple ceux qui ne font que cliquer sur le lien d’invitation sans aller plus loin.

Lire la suite »

J’ai lu un article* fort intéressant à propos du taux de réponse dans les sondages web. Contrairement à certaines croyances, les sondages en ligne présentent souvent des taux de réponse inférieurs aux autres modes de collecte des données.

Les auteurs, professeurs à la State University of New York, font un inventaire exhaustif des facteurs qui influencent le taux de réponse. Il ne s’agit pas vraiment d’éléments nouveaux, mais l’article a l’avantage de les regrouper et de les présenter en fonction du processus de réalisation d’un sondage web. En voici les grandes lignes…

Le processus de réalisation d’un sondage web

(adapté de Fan et Yan*)

Lire la suite »

Je poursuis ma série de billets sur les indicateurs les plus pertinents à suivre au cours d’un sondage web. Aujourd’hui, je vous parle du taux d’abandon.

Définition du taux d’abandon

Le taux d’abandon, comme son nom l’indique, est assez simple : il s’agit de la proportion des personnes qui entreprennent un sondage mais qui, pour une raison ou pour une autre, abandonnent en cours de route.

Petite nuance : il ne faut pas confondre interruption et abandon. En effet, nos sondages en ligne permettent aux répondants d’interrompre leur participation et de la reprendre plus tard sans perte d’information (lors de la reprise, le répondant continue là où il était rendu).

Lire la suite »

Le système intégré de collecte de données de SOM permet, lorsqu’un sondage est en cours, de suivre un grand nombre d’indicateurs en «temps réel». Dans le cas particulier des sondages web, quels indicateurs sont les plus pertinents? Comment doit-on les interpréter?

Je commence une série de courts billets qui donnent quelques trucs et astuces sur les principaux indicateurs (je remercie mon collègue Francis Pelletier pour ses précieux commentaires). Aujourd’hui : le nombre de répondants et le taux de réponse, deux indicateurs intimement liés qui sont certes simples, mais ô combien utiles!

Lire la suite »

Lorsqu’on parle de recherche, peu importe le domaine, c’est la méthode qui garantit la validité et la fiabilité des résultats. Mais qu’arrive-t-il lorsque la rigueur méthodologique est absente? Les conséquences peuvent être graves et coûteuses.

Quelques exemples

En recherche marketing, par exemple, des clients vont investir des sommes considérables dans le développement d’un nouveau produit à la suite de tests concluants. Vous imaginez les pertes considérables que pourrait subir une entreprise si les résultats n’étaient pas fiables?

C’est la même chose en évaluation de programmes publics (mon champ de spécialisation). Lorsque j’évalue un programme gouvernemental, les résultats et les recommandations que je fournis alimentent des décisions administratives : reconduction ou remise en question d’un programme, réinvestissement de ressources. Vous imaginez le gaspillage potentiel de fonds publics si les résultats s’appuyaient sur une méthodologie déficiente?

Lire la suite »

Dans mon dernier billet, je vous disais que j’aborderais une autre initiative axée sur la transparence; il s’agit de la Foundation for Transparency in Offshoring. D’abord, je précise que le terme «offshoring» renvoie ici à la délocalisation, c’est-à-dire au fait de confier en sous-traitance à l’extérieur du pays l’ensemble ou une partie des activités de recherche et de collecte des données.

Lire la suite »

Ceux qui me lisent régulièrement savent que je dénonce à l’occasion le manque de transparence dans la publication des résultats de sondage (surtout de la méthodologie qui les accompagne; voir par exemple ce billet et celui-ci). Je ne peux malheureusement pas rapporter tous les cas douteux – il y a en chaque semaine dans les médias : des méthodologies écourtées ou trompeuses, des généralisations abusives voire des sondages de pacotille qui ne servent qu’à faire la nouvelle.

Je ne suis certainement pas la seule que ce manque d’éthique chatouille. D’ailleurs, preuve que le charlatanisme est à la hausse, l’AAPOR a lancé récemment The Transparency Initiave. Je vous en parle brièvement aujourd’hui.

Lire la suite »

Depuis 2003, la firme Rockhopper Research (Summit, New Jersey) et ses partenaires publient annuellement les tendances de l’industrie de la recherche marketing. Il s’agit en fait d’un sondage mené auprès de divers intervenants du domaine aux États-Unis (ex. : firmes spécialisées, consultants, clients qui achètent des services de recherche, chercheurs).

La base de sondage provient de listes fournies par les partenaires de la recherche et ne peut donc prétendre être représentative de l’ensemble de l’industrie. Il est toutefois intéressant de voir quelles tendances se dégagent d’une partie des entreprises américaines qui côtoient la recherche. Le sondage de l’édition 2009 (voir les résultats en PDF) a été effectué au mois d’août dernier et compte 512 répondants. Les résultats viennent tout juste d’être publiés. Voici quelques-uns des faits saillants qui ont attiré mon attention.

Lire la suite »

En lien avec le dernier billet que j’ai publié,  je poursuis aujourd’hui les 7 questions que vous devriez poser pour choisir un fournisseur de panel (je m’inspire de l’infolettre d’octobre, de Quirk’s Marketing ResearchReview*).

Q5. Le profil des panélistes est-il mis à jour?
Si certaines données sociodémographiques ne requièrent pratiquement aucune mise à jour (ex. : date de naissance, sexe), d’autres sont appelées à changer au fil du temps : le statut civil et le revenu, par exemple, ou encore le fait d’être propriétaire ou locataire du logis familial.

La mise à jour des données sociodémographiques est importante pour au moins deux raisons. La première, c’est que ces données permettent de cibler les répondants à qui s’adresse un sondage. Par exemple, si on veut sonder uniquement les 18-34 ans, le panel Or de SOM permet d’envoyer des invitations ciblées. La deuxième raison est que les données sociodémograpiques sont utilisées comme variables de segmentation pour identifier les différences significatives entre les sous-groupes de l’échantillon. C’est de cette façon qu’on peut dire, par exemple, que les plus jeunes pensent ceci alors que les plus âgés pensent cela.

Lire la suite »

Dans son infolettre d’octobre, Quirk’s Marketing ResearchReview publie les « 7 questions que vous devriez poser pour choisir un fournisseur de panel* ». À chacune des questions correspondent des enjeux importants qui touchent notamment la méthodologie et l’éthique. Je reprends les mêmes questions (aujourd’hui les questions 1 à 4), mais je les explique à ma façon et je vous fournis en prime les réponses… pour le panel Or de SOM.

Je vous rappelle au passage qu’un panel web est un échantillon d’internautes – souvent appelés panélistes – qui est régulièrement interrogé, au moyen de sondages en ligne, sur un phénomène, un comportement, une opinion, une perception, etc.

Q1. De quelle façon les panélistes sont-ils recrutés?
Il y a principalement deux méthodes de recrutement utilisées dans l’industrie de la recherche et du sondage. La première méthode est un recrutement dit « ouvert », où toute personne (ou presque) qui a accès à Internet peut s’inscrire au panel et participer à des sondages. La deuxième méthode requiert une invitation : seules les personnes préalablement sélectionnées et invitées pourront se joindre au panel.

Lire la suite »

C’est un court billet de Joe Hopper (Versta Research) qui m’a fait réfléchir à cette question : les sondages Web sont-ils en train de remplacer les groupes de discussion traditionnels? Dans certains cas, oui. Grâce aux possibilités offertes par les sondages en ligne, de plus en plus de clients choisissent ce moyen. Mais le groupe de discussion (ou focus group) a toujours sa place en recherche!

Les sondages en ligne

En fait, les sondages en ligne se substituent parfois aux groupes de discussion, mais dans des cas bien précis, particulièrement en recherche marketing. Par exemple, les tests de produits et l’évaluation de campagnes publicitaires, qui s’effectuaient souvent au moyen de groupes de discussion, se prêtent  bien aux sondages Web. Pourquoi?

Lire la suite »

Éric-Pierre Gibeault, dans un article de La Presse Affaires, fait référence au plus récent sondage SOM/BRANCHEZ-VOUS.COM portant sur l’utilisation personnelle d’Internet au travail. Voilà qui est très bien! J’aurais toutefois aimé qu’il ne tombe pas dans le piège de ce que je dénonce souvent sur ce blogue : une méthodologie non pas floue dans ce cas-ci, mais carrément amputée des détails les plus importants. Voyez par vous-même…

La méthodologie que j’ai communiquée (sur ce blogue, sur bénéfice.net, dans le communiqué de presse) :

Ce sondage Web a été mené du 11 au 17 août 2009 auprès de 1297 internautes québécois qui travaillent en entreprise ou dans une organisation (et non à la maison). Cet échantillon est tiré du panel Or de SOM, lequel est constitué de répondants recrutés de façon aléatoire. La marge d’erreur maximale pour l’ensemble est de 4,8 %, 19 fois sur 20.

La méthodologie communiquée par le journaliste de La Presse Affaires hier :

Le sondage SOM, réalisé pour Branchez-Vous, a été effectué du 11 au 17 août dernier auprès de 1297 travailleurs. La marge d’erreur maximale est de 4,8%, 19 fois sur 20.

Lire la suite »

Je sais, je ne devrais pas dénigrer nos concurrents. Ce n’est pas bien. Mais si je tais le nom dudit concurrent, me permettez-vous une toute petite pointe?

À moins que vous ne soyez nouveau ou nouvelle ici, vous savez toute l’importance que j’accorde à la méthodologie rigoureuse et à la transparence, notamment lorsqu’il est question d’expliquer la méthodologie utilisée pour un sondage. Ce sont là deux valeurs extrêmement importantes pour SOM.

Quand j’ai vu ceci dans un journal récemment, j’ai d’abord été intriguée. Après vérification, je suis tout simplement choquée… Lisez d’abord l’extrait, je vous expliquerai pourquoi ensuite.

Lire la suite »

L’oculométrie (eye-tracking) regroupe un ensemble de techniques permettant d’enregistrer les mouvements oculaires. Plus précisément, des images de l’oeil sont capturées par une caméra infrarouge, lesquelles permettent de déterminer le «point du regard», c’est-à-dire là où l’œil se pose (source : wikipédia).

L’oculométrie est utilisée dans plusieurs domaines, notamment dans les tests publicitaires et les études d’utilisabilité des sites Web. Entre «sites Web» et «sondages Web» il n’y a qu’un pas… qu’ont franchi UX Research, MBA Recherche et Element 54. En partenariat, ces trois entreprises ont réalisé une étude qui compare le comportement des répondants dans deux versions d’un même sondage. L’étude, judicieusement nommée Eyes don’t lie, a été présentée au dernier colloque de l’ARIM en mai à Montréal.

Lire la suite »

Mais non, il ne s’agit pas d’une blague de blondes… ce n’était que pour attirer votre attention! Je suis de retour de vacances et dangereusement en forme! Mais sérieusement, savez-vous combien de personnes travailleront ensemble pour faire en sorte que votre sondage respecte toutes les normes de qualité de SOM? Vous pourriez être surpris!

Les dangers de tout faire soi-même…
Dans un billet du blogue de Vovici, Jeffrey Henning fait une mise en garde sur les dangers de tout faire soi-même en recherche. C’est ce qui m’a donné l’idée de vous parler un peu de notre organisation du travail. Son argumentation, à laquelle j’adhère entièrement, est la suivante : il existe de plus en plus de logiciels et d’applications Web gratuites vous permettant de faire vous-même des sondages Web. Soit! Mais il ne s’agit là que d’outils.

Lire la suite »

Un sondage dont les répondants n’ont pas été sélectionnés de façon aléatoire NE DOIT PAS afficher de marge d’erreur. C’est là l’une des normes fondamentales de l’Association de la recherche et de l’intelligence marketing (ARIM). Or, certaines firmes n’ont malheureusement aucun scrupule à berner le public ou, à tout le moins, à laisser planer le doute… exemples à l’appui!

La norme
L’ARIM est en quelque sorte le «chien de garde» de l’industrie du sondage au Canada. Entre autres activités, elle élabore et fait la promotion de normes professionnelles pour garantir des travaux de qualité et ainsi protéger les clients et le public. Selon le code de déontologie de l’ARIM :

Lire la suite »

Il est fréquent d’entendre, de la part d’un client désespéré, «On ne peut pas faire un sondage, c’est la période des vacances!» Et alors? À moins que vos répondants soient en vacances tout l’été, il n’y a pas de raison de se priver parce que c’est l’été… au contraire, c’est même souvent moins cher!

Sondage téléphonique
Il est possible d’adapter la collecte téléphonique pour tenir compte de la période des vacances. Par exemple :

Lire la suite »

Combien d’individus devrais-je interroger, lors d’un sondage, pour obtenir des résultats représentatifs de la population à l’étude? En d’autres mots, quelle devrait être la taille de l’échantillon?

Ici, je vous épargne les équations mathématiques… Je voulais simplement vous faire découvrir quelques outils sur le Web qui peuvent calculer pour vous la taille requise d’un échantillon.

Attention cependant! Ces outils sont utiles pour des échantillons aléatoires simples où chacun des individus de la population a une chance égale d’être sélectionné. Dès que le plan d’échantillonnage se complexifie, ne serait-ce qu’un peu, ils ne sont plus appropriés : c’est d’un expert dont vous aurez alors besoin!

Lire la suite »

Il y a évidemment plusieurs facteurs qui peuvent influencer le taux de réponse d’un sondage Web : longueur du questionnaire, intérêt du sujet, rémunération des répondants, formulation des questions, qualité du courriel d’invitation, rappels auprès des non-répondants, etc. Mais la relation entre l’organisation cliente du sondage (celle qui «commande» le sondage) et la population cible peut aussi être déterminante.

Dans un document dont je vous ai déjà parlé, intitulé Survey Software Success et produit par la firme Vovici, on présente une fourchette approximative des taux de réponse à un sondage en ligne en fonction de la relation qui unit le répondant et l’organisation qui commande le sondage. C’est fort intéressant! Je n’ai pas fait de calcul, mais à vue de nez, ça rejoint plutôt bien les taux de réponse que SOM obtient dans ces différents contextes de sondage Web. Notez toutefois qu’il y a des exceptions…

Lire la suite »