C’est un court billet de Joe Hopper (Versta Research) qui m’a fait réfléchir à cette question : les sondages Web sont-ils en train de remplacer les groupes de discussion traditionnels? Dans certains cas, oui. Grâce aux possibilités offertes par les sondages en ligne, de plus en plus de clients choisissent ce moyen. Mais le groupe de discussion (ou focus group) a toujours sa place en recherche!

Les sondages en ligne

En fait, les sondages en ligne se substituent parfois aux groupes de discussion, mais dans des cas bien précis, particulièrement en recherche marketing. Par exemple, les tests de produits et l’évaluation de campagnes publicitaires, qui s’effectuaient souvent au moyen de groupes de discussion, se prêtent  bien aux sondages Web. Pourquoi?

Lire la suite »

Éric-Pierre Gibeault, dans un article de La Presse Affaires, fait référence au plus récent sondage SOM/BRANCHEZ-VOUS.COM portant sur l’utilisation personnelle d’Internet au travail. Voilà qui est très bien! J’aurais toutefois aimé qu’il ne tombe pas dans le piège de ce que je dénonce souvent sur ce blogue : une méthodologie non pas floue dans ce cas-ci, mais carrément amputée des détails les plus importants. Voyez par vous-même…

La méthodologie que j’ai communiquée (sur ce blogue, sur bénéfice.net, dans le communiqué de presse) :

Ce sondage Web a été mené du 11 au 17 août 2009 auprès de 1297 internautes québécois qui travaillent en entreprise ou dans une organisation (et non à la maison). Cet échantillon est tiré du panel Or de SOM, lequel est constitué de répondants recrutés de façon aléatoire. La marge d’erreur maximale pour l’ensemble est de 4,8 %, 19 fois sur 20.

La méthodologie communiquée par le journaliste de La Presse Affaires hier :

Le sondage SOM, réalisé pour Branchez-Vous, a été effectué du 11 au 17 août dernier auprès de 1297 travailleurs. La marge d’erreur maximale est de 4,8%, 19 fois sur 20.

Lire la suite »

Je sais, je ne devrais pas dénigrer nos concurrents. Ce n’est pas bien. Mais si je tais le nom dudit concurrent, me permettez-vous une toute petite pointe?

À moins que vous ne soyez nouveau ou nouvelle ici, vous savez toute l’importance que j’accorde à la méthodologie rigoureuse et à la transparence, notamment lorsqu’il est question d’expliquer la méthodologie utilisée pour un sondage. Ce sont là deux valeurs extrêmement importantes pour SOM.

Quand j’ai vu ceci dans un journal récemment, j’ai d’abord été intriguée. Après vérification, je suis tout simplement choquée… Lisez d’abord l’extrait, je vous expliquerai pourquoi ensuite.

Lire la suite »

L’oculométrie (eye-tracking) regroupe un ensemble de techniques permettant d’enregistrer les mouvements oculaires. Plus précisément, des images de l’oeil sont capturées par une caméra infrarouge, lesquelles permettent de déterminer le «point du regard», c’est-à-dire là où l’œil se pose (source : wikipédia).

L’oculométrie est utilisée dans plusieurs domaines, notamment dans les tests publicitaires et les études d’utilisabilité des sites Web. Entre «sites Web» et «sondages Web» il n’y a qu’un pas… qu’ont franchi UX Research, MBA Recherche et Element 54. En partenariat, ces trois entreprises ont réalisé une étude qui compare le comportement des répondants dans deux versions d’un même sondage. L’étude, judicieusement nommée Eyes don’t lie, a été présentée au dernier colloque de l’ARIM en mai à Montréal.

Lire la suite »

Mais non, il ne s’agit pas d’une blague de blondes… ce n’était que pour attirer votre attention! Je suis de retour de vacances et dangereusement en forme! Mais sérieusement, savez-vous combien de personnes travailleront ensemble pour faire en sorte que votre sondage respecte toutes les normes de qualité de SOM? Vous pourriez être surpris!

Les dangers de tout faire soi-même…
Dans un billet du blogue de Vovici, Jeffrey Henning fait une mise en garde sur les dangers de tout faire soi-même en recherche. C’est ce qui m’a donné l’idée de vous parler un peu de notre organisation du travail. Son argumentation, à laquelle j’adhère entièrement, est la suivante : il existe de plus en plus de logiciels et d’applications Web gratuites vous permettant de faire vous-même des sondages Web. Soit! Mais il ne s’agit là que d’outils.

Lire la suite »

Un sondage dont les répondants n’ont pas été sélectionnés de façon aléatoire NE DOIT PAS afficher de marge d’erreur. C’est là l’une des normes fondamentales de l’Association de la recherche et de l’intelligence marketing (ARIM). Or, certaines firmes n’ont malheureusement aucun scrupule à berner le public ou, à tout le moins, à laisser planer le doute… exemples à l’appui!

La norme
L’ARIM est en quelque sorte le «chien de garde» de l’industrie du sondage au Canada. Entre autres activités, elle élabore et fait la promotion de normes professionnelles pour garantir des travaux de qualité et ainsi protéger les clients et le public. Selon le code de déontologie de l’ARIM :

Lire la suite »

Il est fréquent d’entendre, de la part d’un client désespéré, «On ne peut pas faire un sondage, c’est la période des vacances!» Et alors? À moins que vos répondants soient en vacances tout l’été, il n’y a pas de raison de se priver parce que c’est l’été… au contraire, c’est même souvent moins cher!

Sondage téléphonique
Il est possible d’adapter la collecte téléphonique pour tenir compte de la période des vacances. Par exemple :

Lire la suite »

Combien d’individus devrais-je interroger, lors d’un sondage, pour obtenir des résultats représentatifs de la population à l’étude? En d’autres mots, quelle devrait être la taille de l’échantillon?

Ici, je vous épargne les équations mathématiques… Je voulais simplement vous faire découvrir quelques outils sur le Web qui peuvent calculer pour vous la taille requise d’un échantillon.

Attention cependant! Ces outils sont utiles pour des échantillons aléatoires simples où chacun des individus de la population a une chance égale d’être sélectionné. Dès que le plan d’échantillonnage se complexifie, ne serait-ce qu’un peu, ils ne sont plus appropriés : c’est d’un expert dont vous aurez alors besoin!

Lire la suite »

Il y a évidemment plusieurs facteurs qui peuvent influencer le taux de réponse d’un sondage Web : longueur du questionnaire, intérêt du sujet, rémunération des répondants, formulation des questions, qualité du courriel d’invitation, rappels auprès des non-répondants, etc. Mais la relation entre l’organisation cliente du sondage (celle qui «commande» le sondage) et la population cible peut aussi être déterminante.

Dans un document dont je vous ai déjà parlé, intitulé Survey Software Success et produit par la firme Vovici, on présente une fourchette approximative des taux de réponse à un sondage en ligne en fonction de la relation qui unit le répondant et l’organisation qui commande le sondage. C’est fort intéressant! Je n’ai pas fait de calcul, mais à vue de nez, ça rejoint plutôt bien les taux de réponse que SOM obtient dans ces différents contextes de sondage Web. Notez toutefois qu’il y a des exceptions…

Lire la suite »

La firme américaine Vovici a publié un livre blanc* intitulé Survey Software Success qui présente, sans égard au type de logiciel utilisé, ce que l’auteur considère comme les bonnes pratiques à adopter dans la conduite de sondages Web. J’ai déjà traité de plusieurs d’entre elles sur ce blogue. Je retiens toutefois un certain nombre d’éléments intéressants ou qui suscitent la réflexion :

Lire la suite »

Je ne parle pas ici du cumulonimbus, mais bien du nuage de mots-clés (tag cloud). À l’origine conçus pour le Web, les nuages de mots-clés sont une représentation visuelle des mots-clés (ou tags) les plus utilisés sur un site ou un blogue. La taille des mots varie généralement selon leur occurrence (source : Wikipédia). Vous n’avez d’ailleurs qu’à regarder à la gauche de votre écran pour en voir un exemple : les sujets du blogue de SOM sont présentés ainsi.

Depuis quelque temps toutefois, on voit apparaître de nouveaux usages du nuage de mots-clés. C’est le cas notamment en recherche qualitative : on utilise des applications comme Wordle ou TagCrowd pour créer des nuages de mots à partir de données textuelles (ex. : transcription d’entrevues ou de groupes de discussion). On a qu’à «coller» le texte visé dans l’espace prévu à cet effet. Voilà à quoi ça peut ressembler :

Lire la suite »

Dans un article* publié sur le site de Quirk’s Marketing Research Review, Nate Hardy, de la firme de sondage américaine Plus Sign Market Research, nous suggère une dizaine de trucs pour accroître la satisfaction des répondants (et ainsi s’assurer de leur fidélité, particulièrement lorsqu’il s’agit d’un panel d’internautes).

Globalement, les façons de faire proposées poursuivent toutes le même objectif : rendre l’expérience du répondant plus agréable lorsqu’il participe à un sondage Web. Laissez-moi toutefois être en désaccord avec quelques-uns des points soulevés…

Lire la suite »

Dans le temps où les bons vieux sondages «papier» étaient courants, les sondeurs faisaient face à un problème récurrent : les données manquantes! Lorsqu’un répondant laisse une case en blanc dans un sondage, qu’est-ce que ça veut dire au juste? Est-ce…

• qu’il n’était pas intéressé par la question?
• qu’il a tout simplement «oublié» d’y répondre?
• qu’il n’avait pas d’opinion sur la question?
• que la situation décrite ne s’appliquait pas à lui?
• qu’il préférait ne pas répondre, tout simplement?

Avec les sondages téléphoniques, le problème ne se pose pas puisque l’intervieweur est là pour «cliquer» sur une réponse. On peut donc relancer le répondant au besoin pour stimuler une réponse et, sinon, faire la différence, par exemple, entre les «je ne sais pas» ou les «ça ne s’applique pas».

Avec les sondages en ligne, la technologie offre de nouvelles possibilités. On peut en effet rendre une question «obligatoire» : pour continuer le sondage, le répondant doit alors absolument inscrire une réponse. Mais ce n’est pas toujours la meilleure solution…

Lire la suite »

Dans un sondage en ligne, comparativement à un sondage téléphonique par exemple, les répondants sont laissés à eux-mêmes. Comment s’assurer qu’ils lisent bien les instructions et les questions en entier? Si ce n’est pas le cas, cela peut-il biaiser les résultats?

J’ai pris connaissance d’une expérience fort intéressante à ce sujet via le blogue de la BAQMAR, soit la Belgian Association for Quantitative & Qualitative Marketing Research. Les auteurs de l’article font l’hypothèse que les répondants optent pour la loi du moindre effort : ils vont en lire le minimum!

Lire la suite »

Lorsqu’on parle de sondage, en particulier de sondage téléphonique, le prétest est incontournable pour assurer la qualité des travaux de recherche. Ayant eu à en faire un pas plus tard qu’hier, je me suis dit : «Tiens, pourquoi ne pas partager nos façons de faire?»

Le prétest est «l’épreuve que subit la première mise en forme d’un questionnaire d’enquête ou d’un test auprès d’un échantillon réduit afin d’en déceler les défauts et d’y faire les corrections qui s’imposent.»
Source : Grand dictionnaire terminologique

Le prétest est incontournable puisqu’un outil de collecte de données mal conçu et mal «administré» conduira inévitablement à des données biaisées. En plus de permettre l’amélioration des questionnaires, le prétest aide le chargé de projet à valider la durée estimée des entrevues (la durée des entrevues téléphoniques, on le comprend aisément, est un facteur important dans l’établissement du budget du projet).

Comment ça fonctionne concrètement chez SOM?

Lire la suite »

Dans un sondage, la formulation des questions est de la plus haute importance. Des questions difficiles à comprendre conduisent inévitablement le répondant à adopter sa propre interprétation et à répondre en fonction de cette interprétation. Si tous les répondants ont une interprétation différente de la question, qu’arrive-t-il? Les données recueillies sont biaisées!

Mais qu’est-ce qui, précisément, rend une question difficile à comprendre? Faass et al. (2008) soulignent sept déterminants psycholinguistiques auxquels on devrait porter une attention particulière :

Lire la suite »

…avant de publier les résultats d’un sondage!

C’est le titre d’un article de Sheldon R. Gawiser et G. Evans Witt, du National Council on Public Polls, dont j’ai pris connaissance via le blogue de MarketResearch.

J’en ai déjà parlé, il arrive que les journalistes publient n’importe quoi en matière de sondage. Les questions qu’on retrouve dans cet article visent justement à aider les journalistes : ont-ils entre les mains un sondage scientifique? Doivent-ils rapporter les résultats de tel sondage?

Lire la suite »

Lorsque des événements touristiques sont financés en partie par des fonds publics, les organisateurs doivent rendre des comptes sur les résultats de l’événement en question… Quoi de plus naturel? Il s’agit après tout de l’argent des contribuables!

Par exemple, dans le cadre du volet 1 du programme Aide financière aux festivals et aux événements touristiques, le ministère du Tourisme du Québec demande que les 10 indicateurs suivants soient documentés par une firme de recherche et de sondage indépendante :

Lire la suite »

Stéphanie Le Rouzic, du blogue La Recherche 2.0, a mis en ligne une présentation très intéressante sur la mesure de l’efficacité d’une campagne publicitaire. Elle y décrit de façon claire et simple une méthodologie pour le prétest et le post-test publicitaires. Je reprends ici sa présentation, avec son aimable autorisation :

On vous a déjà posé des questions sensibles, intimes, personnelles et même taboues… auxquelles vous ne vouliez pas répondre? Peut-être, aussi, aviez-vous envie d’embellir un peu la vérité pour plaire à votre interlocuteur? C’est le phénomène de la désirabilité sociale, comme le définit Wikipédia :

Le concept de désirabilité sociale désigne le biais qui consiste à vouloir se présenter sous un jour favorable à ses interlocuteurs. Ce mécanisme psychologique peut s’exercer de façon implicite, sans qu’on en ait conscience, ou au contraire être le résultat d’une volonté consciente de manipuler son image aux yeux des autres.

Il arrive que certains sondages contiennent des questions très sensibles. Des exemples? Les habitudes sexuelles et les infections sexuellement transmissibles, les tendances suicidaires, la consommation de certaines substances…

Lire la suite »