J’entends souvent des gens mépriser les sondages : «C’est vous, ça, qui nous appelez à l’heure du souper?» ou pire encore «Arrêter donc de me déranger pendant que j’écoute Virginie!»

Aujourd’hui, il est de bon ton de critiquer les sondeurs. Or, ce que certains oublient, c’est que les sondages produisent une information utile pour la société. Évidemment, je ne parle pas ici des sondages à saveur sensationnaliste. Je parle des sondages sérieux, qui portent sur des sujets sérieux, et qui sont menés avec toute la rigueur méthodologique nécessaire.

À titre d’exemple, je vous entretiendrai brièvement aujourd’hui du taux de chômage. Beaucoup de gens sont surpris d’apprendre que cet indicateur économique publié tous les mois est issu… d’un sondage.

Lire la suite »

Dans la foulée de la série de billets «Sondages en ligne : quels indicateurs suivre?», je vous parle aujourd’hui du taux d’accès à un sondage en ligne.

Définition du taux d’accès

Le taux d’accès correspond à la proportion de personnes qui accèdent au sondage, peu importe qu’elles y répondent ou non. Il inclut donc les «curieux», par exemple ceux qui ne font que cliquer sur le lien d’invitation sans aller plus loin.

Lire la suite »

J’ai lu un article* fort intéressant à propos du taux de réponse dans les sondages web. Contrairement à certaines croyances, les sondages en ligne présentent souvent des taux de réponse inférieurs aux autres modes de collecte des données.

Les auteurs, professeurs à la State University of New York, font un inventaire exhaustif des facteurs qui influencent le taux de réponse. Il ne s’agit pas vraiment d’éléments nouveaux, mais l’article a l’avantage de les regrouper et de les présenter en fonction du processus de réalisation d’un sondage web. En voici les grandes lignes…

Le processus de réalisation d’un sondage web

(adapté de Fan et Yan*)

Lire la suite »

Je poursuis ma série de billets sur les indicateurs les plus pertinents à suivre au cours d’un sondage web. Aujourd’hui, je vous parle du taux d’abandon.

Définition du taux d’abandon

Le taux d’abandon, comme son nom l’indique, est assez simple : il s’agit de la proportion des personnes qui entreprennent un sondage mais qui, pour une raison ou pour une autre, abandonnent en cours de route.

Petite nuance : il ne faut pas confondre interruption et abandon. En effet, nos sondages en ligne permettent aux répondants d’interrompre leur participation et de la reprendre plus tard sans perte d’information (lors de la reprise, le répondant continue là où il était rendu).

Lire la suite »

Le système intégré de collecte de données de SOM permet, lorsqu’un sondage est en cours, de suivre un grand nombre d’indicateurs en «temps réel». Dans le cas particulier des sondages web, quels indicateurs sont les plus pertinents? Comment doit-on les interpréter?

Je commence une série de courts billets qui donnent quelques trucs et astuces sur les principaux indicateurs (je remercie mon collègue Francis Pelletier pour ses précieux commentaires). Aujourd’hui : le nombre de répondants et le taux de réponse, deux indicateurs intimement liés qui sont certes simples, mais ô combien utiles!

Lire la suite »

Lorsqu’on parle de recherche, peu importe le domaine, c’est la méthode qui garantit la validité et la fiabilité des résultats. Mais qu’arrive-t-il lorsque la rigueur méthodologique est absente? Les conséquences peuvent être graves et coûteuses.

Quelques exemples

En recherche marketing, par exemple, des clients vont investir des sommes considérables dans le développement d’un nouveau produit à la suite de tests concluants. Vous imaginez les pertes considérables que pourrait subir une entreprise si les résultats n’étaient pas fiables?

C’est la même chose en évaluation de programmes publics (mon champ de spécialisation). Lorsque j’évalue un programme gouvernemental, les résultats et les recommandations que je fournis alimentent des décisions administratives : reconduction ou remise en question d’un programme, réinvestissement de ressources. Vous imaginez le gaspillage potentiel de fonds publics si les résultats s’appuyaient sur une méthodologie déficiente?

Lire la suite »

Dans un récent billet, je vous parlais de plusieurs méthodes qui permettent de recruter des participants pour des groupes de discussion (focus groups), des entrevues en profondeur ou encore des tests d’utilisabilité. Une nouvelle tendance se dessine en la matière, que j’appellerais le recrutement de participants 2.0.

Qu’est-ce que le recrutement de participants 2.0?
C’est tout simplement l’utilisation des outils du web 2.0 pour recruter des participants. Pour ceux qui l’ignoreraient encore, le «web 2.0» désigne une étape de l’évolution du web où des sites et des applications permettent le partage de contenus et l’interaction entre les internautes (ex. : blogues, wikis, partage de vidéos, réseaux sociaux, etc.) (voir une définition plus détaillée).

Lire la suite »

Le gouvernement du Québec a mis en ligne une consultation publique sur l’économie et les finances publiques. Il s’agit d’une initiative fort louable et j’encourage l’utilisation de tels mécanismes démocratiques. Le site a d’ailleurs le mérite de regrouper une mine de renseignements utiles (voir la section Je m’informe). Il propose également une section consacrée aux discussions ainsi qu’un questionnaire pour donner son opinion.

Bon, je suis certaine que vous me voyez venir, là! En fait, j’ai voulu participer à cette consultation en remplissant le dit questionnaire… mais les quelques frustrations que j’ai éprouvées m’ont empêchée d’aller jusqu’au bout. Si on avait suivi quelques principes fondamentaux qui guident la conception de questionnaires, l’expérience du répondant (le citoyen dans ce cas-ci) aurait été grandement améliorée.

Lire la suite »

Que vous fassiez des entrevues individuelles, des groupes de discussion ou encore des tests d’utilisabilité, comment vous y prendrez-vous pour recruter les personnes qui y participeront? SOM effectue des dizaines de mandats de recrutement chaque année. Voici quelques renseignements et conseils tirés de notre expérience.

Les paramètres de la recherche

Il faut d’abord établir les différents paramètres qui guideront la démarche :

• Combien d’entrevues, de groupes de discussion ou de tests d’utilisabilité seront nécessaires pour atteindre vos objectifs?
• Combien de personnes devront être recrutées?
• Où se tiendront les activités de recherche? Un seul endroit? Plusieurs?
• Quelle sera la durée des entrevues, groupes, tests?
• Quels équipements seront utiles pour les mener à bien?
• Quel est le meilleur moment pour tenir ce type d’activité?
• Les participants seront-ils rémunérés? Combien recevront-ils?

Lire la suite »

Petit billet léger en ce vendredi… Il faut bien se détendre un peu! Comme j’en ai déjà parlé dans ce blogue, les sondages «express» de type «question du jour» que les médias affectionnent n’ont aucune valeur scientifique (en fait, aucune valeur du tout si vous voulez mon avis). Quoi qu’il en soit, les médias persistent. En plus d’être inutiles, ces sondages frisent parfois le ridicule : des questions futiles ou biaisées, des choix de réponse aberrants. Voici quelques perles que j’ai relevées pour vous… vaut mieux en rire!

Lire la suite »

Dans un billet que j’écrivais avant les fêtes en réaction à la création de la Foundation for Transparency in Offshoring, je posais la question suivante : «Est-ce que SOM fait dans l’offshoring?» La réponse est non. Nous avons par contre effectué dans le passé trois projets pilotes… qui se sont avérés non concluants. Je vous explique comment et pourquoi.

Pourquoi délocaliser une partie des activités de collecte?

En fait, la question n’est pas tant la délocalisation elle-même que la sous-traitance. Malgré une équipe variant entre 150 et 200 intervieweurs selon la période de l’année, la rareté de la main-d’œuvre, jumelée à une période de pointe, nous a quelquefois amenés à confier une partie des activités de collecte téléphonique à un tiers. Se pose alors LA grande question : qui sera l’heureux élu?

Lire la suite »

Suivant la recommandation de la Table québécoise de la sécurité routière, le gouvernement du Québec envisage de réduire la limite d’alcool permise pour les conducteurs d’un véhicule. Ainsi, le taux d’alcoolémie passerait de 0,08 % à 0,05 %. Êtes-vous d’accord avec cette mesure?

Globalement, 61 % des internautes québécois sont d’accord avec la nouvelle mesure (tout à fait d’accord : 42 %; plutôt d’accord : 19 %). Proportionnellement, les femmes sont plus nombreuses à être d’accord (69 %) que les hommes (53 %).

A-t-on encore affaire au «mystère Québec»?

Lire la suite »

Comme mes amis facebook le savent, je suis arrivée lundi d’une merveilleuse croisière dans les Caraïbes! À bord du Costa Mediterranea – un paquebot italien – nous avons visité plusieurs îles, notamment Antigua, St-Martin, les Îles vierges britanniques et la Guadeloupe.

À la fin du voyage, les passagers étaient invités à remplir un questionnaire de satisfaction…

Le questionnaire de satisfaction

Il s’agissait d’un questionnaire «papier» à déposer à la réception avant le débarquement. Bien que je l’aie rempli – déformation professionnelle je crois – je dois avouer que je n’étais pas vraiment en mode « formulaire ». J’aurais apprécié qu’on m’offre la possibilité de le compléter en ligne, à tête reposée, à mon retour. Première prise.

Lire la suite »

Veuillez prendre note que nos bureaux fermeront aujourd’hui (le 22 décembre) à 17h pour la période des fêtes. Et bien qu’ils ouvriront officiellement le 4 janvier, je ne serai de retour qu’à partir du 6 janvier 2010.

D’ici là, portez-vous bien, prenez soin de vous et passez de très heureuses fêtes! Je vous donne rendez-vous en 2010…

Dans mon dernier billet, je vous disais que j’aborderais une autre initiative axée sur la transparence; il s’agit de la Foundation for Transparency in Offshoring. D’abord, je précise que le terme «offshoring» renvoie ici à la délocalisation, c’est-à-dire au fait de confier en sous-traitance à l’extérieur du pays l’ensemble ou une partie des activités de recherche et de collecte des données.

Lire la suite »

Ceux qui me lisent régulièrement savent que je dénonce à l’occasion le manque de transparence dans la publication des résultats de sondage (surtout de la méthodologie qui les accompagne; voir par exemple ce billet et celui-ci). Je ne peux malheureusement pas rapporter tous les cas douteux – il y a en chaque semaine dans les médias : des méthodologies écourtées ou trompeuses, des généralisations abusives voire des sondages de pacotille qui ne servent qu’à faire la nouvelle.

Je ne suis certainement pas la seule que ce manque d’éthique chatouille. D’ailleurs, preuve que le charlatanisme est à la hausse, l’AAPOR a lancé récemment The Transparency Initiave. Je vous en parle brièvement aujourd’hui.

Lire la suite »

SOM réalise chaque année des centaines d’études de satisfaction pour le compte de toutes sortes de clients, petits et grands. À la lecture des résultats, il arrive – parfois – que le client ait un choc : malgré de bons taux de satisfaction, le rapport est principalement axé sur l’insatisfaction. Abomination!

Il est «normal» d’être satisfait
D’abord, il faut bien comprendre que lorsqu’on demande ou qu’on reçoit un service, peu importe l’entreprise avec laquelle on fait affaire, il n’est que normal d’être satisfait. Pensez à vos derniers achats : sans même vous poser la question, vous vous attendiez, j’en suis sûre, à recevoir un bon service.

Je n’entrerai pas dans le débat des échelles de mesure de la satisfaction – ça pourra faire l’objet d’un billet en soi. Mais disons que je simplifierai ainsi :

Lire la suite »

Vous vous seriez attendu à plus? Moi aussi! Twitter serait-il encore l’apanage des «geeks»? Voici les premiers résultats sur l’utilisation de Twitter au Québec, issus d’un sondage SOM/Branchez-vous.com mené au mois d’octobre. On y apprend que Twitter est connu de moins de la moitié de la population adulte québécoise et qu’il est utilisé par 2% des adultes de la province.

Lire la suite »

Vous aimez les grands crus? Vous vous fiez au jugement des experts pour choisir une bonne bouteille? Vous êtes attiré par les vins médaillés? Sachez alors qu’un statisticien a montré que l’évaluation des vins par les experts n’était pas très différente… du hasard!

Je vous invite à lire cet article de Leonard Mlodinow paru dans le Wall Street Journal un peu plus tôt ce mois-ci… Comme quoi la statistique est utile dans tous les domaines!

Pour faire une histoire courte, le statisticien Robert Hodgson, professeur retraité de la Humboldt State University et propriétaire d’un petit vignoble, s’est demandé pourquoi un vin pouvait gagner une médaille dans une compétition et être déchu dans une autre… Il n’en fallait pas plus pour qu’il étudie la question d’un point de vue statistique. Ses conclusions ont fait l’objet de deux articles dans le Journal of Wine Economics.

Voici quelques-unes de ses observations :

Lire la suite »

Depuis 2003, la firme Rockhopper Research (Summit, New Jersey) et ses partenaires publient annuellement les tendances de l’industrie de la recherche marketing. Il s’agit en fait d’un sondage mené auprès de divers intervenants du domaine aux États-Unis (ex. : firmes spécialisées, consultants, clients qui achètent des services de recherche, chercheurs).

La base de sondage provient de listes fournies par les partenaires de la recherche et ne peut donc prétendre être représentative de l’ensemble de l’industrie. Il est toutefois intéressant de voir quelles tendances se dégagent d’une partie des entreprises américaines qui côtoient la recherche. Le sondage de l’édition 2009 (voir les résultats en PDF) a été effectué au mois d’août dernier et compte 512 répondants. Les résultats viennent tout juste d’être publiés. Voici quelques-uns des faits saillants qui ont attiré mon attention.

Lire la suite »