En consultant l’un de mes blogues préférés, celui de Vovici, je suis tombée sur cet encart méthodologique (voir plus bas), qui est en fait un formulaire standard de l’AAPOR (American Association for Public Opinion Research). En un clin d’œil, on a accès à tous les renseignements méthodologiques nécessaires pour comprendre la portée des résultats et évaluer la crédibilité des données présentées.

Source : Blogue de Vovici

Il me semble que ce format conviendrait particulièrement bien aux médias; tout en renseignant le lecteur adéquatement, cela montrerait un souci de préserver la rigueur scientifique…!

J’en conviens, la question peut paraître étrange à première vue : comment pourrait-on être trop éthique en recherche? Évidemment, je ne remets pas en question le respect des principes éthiques de la recherche. Mais je me questionne sur la façon dont on les applique parfois – et je parle ici des principes éthiques à l’égard des sujets qui participent à la recherche (ex. : répondants). Sur le plan pratique, il arrive que la «sur-éthique» nous joue des tours.

Éthique de la recherche : les origines

Les principes éthiques qui guident la recherche aujourd’hui tirent leur origine du procès de Nuremberg (1945-1946) intenté contre les principaux dirigeants de l’Allemagne nazie. Parmi les accusés, on retrouvait plusieurs médecins ayant mené des expériences sur les détenus des camps de concentration. Le code de Nuremberg (1947), élaboré à l’issue du procès, regroupe dix principes éthiques à respecter lors d’expérimentations avec des sujets humains.

Lire la suite »

Pour clore ma série de billets sur les indicateurs les plus pertinents à suivre au cours d’un sondage en ligne, je vous parle aujourd’hui du suivi des données recueillies. Ce n’est pas un indicateur au même sens que les précédents, mais il est tout aussi important, particulièrement en début de collecte.

Suivi des données

Faire le suivi des données, ça veut tout simplement dire d’examiner les réponses fournies par les répondants. Comme notre système nous permet d’accéder aux données individuelles (réponses) et collectives (fréquences) en temps réel, cette tâche est simple.

Lire la suite »

Depuis environ 25 ans au Québec, on utilise la génération aléatoire de numéros de téléphone (GANT) (en anglais Random Digit Dialing – RDD) pour constituer des échantillons probabilistes. SOM a d’ailleurs utilisé cette méthode dès sa fondation en 1986.

Comme solution de rechange au RDD, une nouvelle tendance se dessine (surtout aux États-Unis pour le moment) : il s’agit de l’échantillonnage basé sur les adresses de résidence pour sélectionner les ménages qui répondront à un sondage (en anglais Address Based Sampling – ABS).

Lire la suite »

La revue scientifique Recherches qualitatives consacre entièrement son premier numéro de 2010 aux entretiens de groupe (groupe de discussion, focus group, entrevue de groupe…).

Je parle rarement de recherche qualitative sur ce blogue. Pourtant, ces méthodes sont très utilisées en recherche marketing et sociale. Et comme je viens d’animer une série de 12 groupes de discussion, les textes proposés par Recherches qualitatives m’ont particulièrement intéressée. Je vous en recommande d’ailleurs vivement la lecture; tous les articles présentent un intérêt! Je vous parle brièvement de trois d’entre eux qui ont particulièrement attiré mon attention.

Lire la suite »

Il m’arrive souvent de critiquer les résultats de sondage qui paraissent dans les médias (ici et ici par exemple). Trop souvent, la méthodologie est incomplète, trompeuse ou carrément erronée.

De plus, on commet souvent la faute de diffuser une marge d’erreur avec les résultats d’un sondage non probabiliste (ex. : sondage mené auprès d’un panel de volontaires par opposition à un recrutement de panélistes aléatoire – voir à ce sujet la recommandation de l’Association américaine de la recherche sur l’opinion publique).

Mais je lève mon chapeau à l’Agence QMI et à Canoe qui publiaient ce matin les résultats d’un sondage CROP :

Les résultats du sondage reposent sur 1173 questionnaires complétés via Internet du 19 au 24 mars 2010 dans le cadre du sondage omnibus CROP-express. Compte tenu du caractère non probabiliste de l’échantillon web, le calcul de la marge d’erreur est impossible.

C’est la première fois que je vois autant de transparence à l’égard d’un sondage en ligne non probabiliste. J’ai été très agréablement surprise, pour ne pas dire émue!

Je vous ai déjà parlé en détail du prétest d’un sondage téléphonique. Mais qu’en est-il du prétest d’un sondage en ligne? Il est tout aussi important, mais se présente différemment.

Le prétest est «l’épreuve que subit la première mise en forme d’un questionnaire d’enquête ou d’un test auprès d’un échantillon réduit afin d’en déceler les défauts et d’y faire les corrections qui s’imposent.»
Source : Grand dictionnaire terminologique

Une des particularités du sondage web par rapport au sondage téléphonique, c’est qu’en plus du contenu, il faut aussi tester le contenant. En effet, le répondant doit avoir autant de facilité à lire et à comprendre les questions qu’à naviguer sur les pages web du sondage. On doit donc considérer l’ergonomie du sondage (nombre de questions par page, format et emplacement des questions, boutons, etc.) et le fonctionnement technique (chargement des pages, sauts de question, questions facultatives ou obligatoires, etc.).

Lire la suite »

Je continue ma série de billets sur les indicateurs les plus pertinents à suivre au cours d’un sondage en ligne. Aujourd’hui, il sera question de la durée du sondage et du temps de réponse par question.

Durée du sondage

La notion de durée est bien différente dans un sondage web par rapport au sondage téléphonique. Comme le sondage web est «auto-administré», le répondant peut prendre tout le temps nécessaire pour participer au sondage, incluant des pauses plus ou moins longues. En calculant la durée moyenne pour l’ensemble des participants, on a toutefois une bonne idée de l’investissement requis par le répondant. Lorsqu’on conçoit un questionnaire, il faut toujours garder à l’esprit que la longueur d’un sondage fait partie des facteurs qui influencent le taux de réponse, particulièrement dans les sondages en ligne : un sondage trop long pourra générer davantage d’abandons.

Mais en matière de durée, la situation est encore plus problématique lorsque le répondant est… trop rapide!
Lire la suite »

La semaine dernière, un intéressant sondage d’Ipsos mentionnait que, pour la première fois, le nombre d’heures consacrées à internet en une semaine dépassait le nombre d’heures passées à regarder la télé. Plusieurs médias et blogues ont relayé la nouvelle en faisant tous la même erreur d’interprétation. Pouvez-vous trouver de quelle erreur il s’agit?

Voici ce que dit l’étude originale :

Ipsos reports that for the first time ever in their tracking research, the weekly Internet usage of online Canadians has moved ahead of the number of hours spent watching television. [...] Overall, online Canadians are now spending more than 18 hours a week online, compared to 16.9 hours watching television.

Lire la suite »

J’entends souvent des gens mépriser les sondages : «C’est vous, ça, qui nous appelez à l’heure du souper?» ou pire encore «Arrêtez donc de me déranger pendant que j’écoute Virginie!»

Aujourd’hui, il est de bon ton de critiquer les sondeurs. Or, ce que certains oublient, c’est que les sondages produisent une information utile pour la société. Évidemment, je ne parle pas ici des sondages à saveur sensationnaliste. Je parle des sondages sérieux, qui portent sur des sujets sérieux, et qui sont menés avec toute la rigueur méthodologique nécessaire.

À titre d’exemple, je vous entretiendrai brièvement aujourd’hui du taux de chômage. Beaucoup de gens sont surpris d’apprendre que cet indicateur économique publié tous les mois est issu… d’un sondage.

Lire la suite »

Dans la foulée de la série de billets «Sondages en ligne : quels indicateurs suivre?», je vous parle aujourd’hui du taux d’accès à un sondage en ligne.

Définition du taux d’accès

Le taux d’accès correspond à la proportion de personnes qui accèdent au sondage, peu importe qu’elles y répondent ou non. Il inclut donc les «curieux», par exemple ceux qui ne font que cliquer sur le lien d’invitation sans aller plus loin.

Lire la suite »

J’ai lu un article* fort intéressant à propos du taux de réponse dans les sondages web. Contrairement à certaines croyances, les sondages en ligne présentent souvent des taux de réponse inférieurs aux autres modes de collecte des données.

Les auteurs, professeurs à la State University of New York, font un inventaire exhaustif des facteurs qui influencent le taux de réponse. Il ne s’agit pas vraiment d’éléments nouveaux, mais l’article a l’avantage de les regrouper et de les présenter en fonction du processus de réalisation d’un sondage web. En voici les grandes lignes…

Le processus de réalisation d’un sondage web

(adapté de Fan et Yan*)

Lire la suite »

Je poursuis ma série de billets sur les indicateurs les plus pertinents à suivre au cours d’un sondage web. Aujourd’hui, je vous parle du taux d’abandon.

Définition du taux d’abandon

Le taux d’abandon, comme son nom l’indique, est assez simple : il s’agit de la proportion des personnes qui entreprennent un sondage mais qui, pour une raison ou pour une autre, abandonnent en cours de route.

Petite nuance : il ne faut pas confondre interruption et abandon. En effet, nos sondages en ligne permettent aux répondants d’interrompre leur participation et de la reprendre plus tard sans perte d’information (lors de la reprise, le répondant continue là où il était rendu).

Lire la suite »

Le système intégré de collecte de données de SOM permet, lorsqu’un sondage est en cours, de suivre un grand nombre d’indicateurs en «temps réel». Dans le cas particulier des sondages web, quels indicateurs sont les plus pertinents? Comment doit-on les interpréter?

Je commence une série de courts billets qui donnent quelques trucs et astuces sur les principaux indicateurs (je remercie mon collègue Francis Pelletier pour ses précieux commentaires). Aujourd’hui : le nombre de répondants et le taux de réponse, deux indicateurs intimement liés qui sont certes simples, mais ô combien utiles!

Lire la suite »

Lorsqu’on parle de recherche, peu importe le domaine, c’est la méthode qui garantit la validité et la fiabilité des résultats. Mais qu’arrive-t-il lorsque la rigueur méthodologique est absente? Les conséquences peuvent être graves et coûteuses.

Quelques exemples

En recherche marketing, par exemple, des clients vont investir des sommes considérables dans le développement d’un nouveau produit à la suite de tests concluants. Vous imaginez les pertes considérables que pourrait subir une entreprise si les résultats n’étaient pas fiables?

C’est la même chose en évaluation de programmes publics (mon champ de spécialisation). Lorsque j’évalue un programme gouvernemental, les résultats et les recommandations que je fournis alimentent des décisions administratives : reconduction ou remise en question d’un programme, réinvestissement de ressources. Vous imaginez le gaspillage potentiel de fonds publics si les résultats s’appuyaient sur une méthodologie déficiente?

Lire la suite »

Dans mon dernier billet, je vous disais que j’aborderais une autre initiative axée sur la transparence; il s’agit de la Foundation for Transparency in Offshoring. D’abord, je précise que le terme «offshoring» renvoie ici à la délocalisation, c’est-à-dire au fait de confier en sous-traitance à l’extérieur du pays l’ensemble ou une partie des activités de recherche et de collecte des données.

Lire la suite »

Ceux qui me lisent régulièrement savent que je dénonce à l’occasion le manque de transparence dans la publication des résultats de sondage (surtout de la méthodologie qui les accompagne; voir par exemple ce billet et celui-ci). Je ne peux malheureusement pas rapporter tous les cas douteux – il y a en chaque semaine dans les médias : des méthodologies écourtées ou trompeuses, des généralisations abusives voire des sondages de pacotille qui ne servent qu’à faire la nouvelle.

Je ne suis certainement pas la seule que ce manque d’éthique chatouille. D’ailleurs, preuve que le charlatanisme est à la hausse, l’AAPOR a lancé récemment The Transparency Initiave. Je vous en parle brièvement aujourd’hui.

Lire la suite »

Depuis 2003, la firme Rockhopper Research (Summit, New Jersey) et ses partenaires publient annuellement les tendances de l’industrie de la recherche marketing. Il s’agit en fait d’un sondage mené auprès de divers intervenants du domaine aux États-Unis (ex. : firmes spécialisées, consultants, clients qui achètent des services de recherche, chercheurs).

La base de sondage provient de listes fournies par les partenaires de la recherche et ne peut donc prétendre être représentative de l’ensemble de l’industrie. Il est toutefois intéressant de voir quelles tendances se dégagent d’une partie des entreprises américaines qui côtoient la recherche. Le sondage de l’édition 2009 (voir les résultats en PDF) a été effectué au mois d’août dernier et compte 512 répondants. Les résultats viennent tout juste d’être publiés. Voici quelques-uns des faits saillants qui ont attiré mon attention.

Lire la suite »

En lien avec le dernier billet que j’ai publié,  je poursuis aujourd’hui les 7 questions que vous devriez poser pour choisir un fournisseur de panel (je m’inspire de l’infolettre d’octobre, de Quirk’s Marketing ResearchReview*).

Q5. Le profil des panélistes est-il mis à jour?
Si certaines données sociodémographiques ne requièrent pratiquement aucune mise à jour (ex. : date de naissance, sexe), d’autres sont appelées à changer au fil du temps : le statut civil et le revenu, par exemple, ou encore le fait d’être propriétaire ou locataire du logis familial.

La mise à jour des données sociodémographiques est importante pour au moins deux raisons. La première, c’est que ces données permettent de cibler les répondants à qui s’adresse un sondage. Par exemple, si on veut sonder uniquement les 18-34 ans, le panel Or de SOM permet d’envoyer des invitations ciblées. La deuxième raison est que les données sociodémograpiques sont utilisées comme variables de segmentation pour identifier les différences significatives entre les sous-groupes de l’échantillon. C’est de cette façon qu’on peut dire, par exemple, que les plus jeunes pensent ceci alors que les plus âgés pensent cela.

Lire la suite »

Dans son infolettre d’octobre, Quirk’s Marketing ResearchReview publie les « 7 questions que vous devriez poser pour choisir un fournisseur de panel* ». À chacune des questions correspondent des enjeux importants qui touchent notamment la méthodologie et l’éthique. Je reprends les mêmes questions (aujourd’hui les questions 1 à 4), mais je les explique à ma façon et je vous fournis en prime les réponses… pour le panel Or de SOM.

Je vous rappelle au passage qu’un panel web est un échantillon d’internautes – souvent appelés panélistes – qui est régulièrement interrogé, au moyen de sondages en ligne, sur un phénomène, un comportement, une opinion, une perception, etc.

Q1. De quelle façon les panélistes sont-ils recrutés?
Il y a principalement deux méthodes de recrutement utilisées dans l’industrie de la recherche et du sondage. La première méthode est un recrutement dit « ouvert », où toute personne (ou presque) qui a accès à Internet peut s’inscrire au panel et participer à des sondages. La deuxième méthode requiert une invitation : seules les personnes préalablement sélectionnées et invitées pourront se joindre au panel.

Lire la suite »