Comme c’est la première fois que je lis un tel commentaire dans les journaux, je me permets d’en reproduire ici quelques extraits, que je commente. Je ne sais pas qui est M. Robert Pelley, mais je le remercie de son intervention… et lui emprunte le titre de sa missive!

Mais qui sont les membres [de ce panel]? Ce sont des gens qui, de façon volontaire, ont accepté de faire partie d’un groupe, étaient prêts à partager leur opinion sur des politiques ou des produits de consommation. Il va sans dire qu’un parti politique pourrait noyauter un tel forum.

Il est effectivement possible, dans les panels de volontaires, de créer de fausses identités (je l’ai déjà montré ici). C’est difficile, sinon impossible à contrôler. Il est évident que de «faux répondants» ou des gens qui ont créé plusieurs comptes dans un même panel vont biaiser les résultats. Cela dit, j’ose croire que le Québec n’est pas aussi corrompu que le prétend Maclean’s et que les membres d’un parti politique ne s’abaisseraient pas à infiltrer un panel de sondage!

Par ailleurs, seulement ceux qui sont familiers avec Internet peuvent participer.

Tout à fait. Selon les plus récentes données du CEFRIO, 75 % des adultes québécois ont utilisé internet au moins une fois par semaine en septembre 2010. Aussi, les sondages effectués par Internet ne peuvent prétendre être représentatifs de la population en général. Lorsqu’ils sont faits dans les règles de l’art, incluant le recrutement aléatoire de répondants, ils sont représentatifs des internautes.

Également, il y a seulement une certaine partie, alors non représentative, de la population qui est intéressée à donner constamment son opinion.

Il est certain que pour s’inscrire de sa propre initiative à un panel, il faut avoir à la base envie de donner son opinion. Avec un panel de volontaires, on ne rejoint pas ceux qui sont un peu plus rébarbatifs ou hésitants à s’exprimer.

De plus, en guise de remerciement, les membres pourraient [...] gagner des chèques-cadeaux, des produits ou de l’argent comptant. Plus on participe, plus on fait de l’argent, ce qui veut dire que ceux qui ont le plus besoin d’argent donnent leur opinion le plus souvent.

De façon générale, les récompenses offertes aux répondants restent relativement minimes et ne permettent pas vraiment de s’enrichir. Bien sûr, l’appât du gain peut être la motivation de certains répondants. On utilise parfois le terme «répondant professionnel» pour désigner les personnes qui s’inscrivent au plus grand nombre de panels possible afin de multiplier leurs chances de gagner quelque chose. Mais de là à dire que ceux qui ont le plus besoin d’argent donnent leur opinion le plus souvent, il y a un pas que je ne suis pas prête à franchir. Il ne faut pas oublier que les plus démunis d’entre nous sont moins nombreux à avoir accès à internet.

Source : Blogue de Vovici

Il me semble que ce format conviendrait particulièrement bien aux médias; tout en renseignant le lecteur adéquatement, cela montrerait un souci de préserver la rigueur scientifique…!

De plus, on commet souvent la faute de diffuser une marge d’erreur avec les résultats d’un sondage non probabiliste (ex. : sondage mené auprès d’un panel de volontaires par opposition à un recrutement de panélistes aléatoire – voir à ce sujet la recommandation de l’Association américaine de la recherche sur l’opinion publique).

Mais je lève mon chapeau à l’Agence QMI et à Canoe qui publiaient ce matin les résultats d’un sondage CROP :

Les résultats du sondage reposent sur 1173 questionnaires complétés via Internet du 19 au 24 mars 2010 dans le cadre du sondage omnibus CROP-express. Compte tenu du caractère non probabiliste de l’échantillon web, le calcul de la marge d’erreur est impossible.

C’est la première fois que je vois autant de transparence à l’égard d’un sondage en ligne non probabiliste. J’ai été très agréablement surprise, pour ne pas dire émue!

D’entrée de jeu, l’animatrice explique brièvement la méthodologie des sondages sur lesquels s’appuie l’émission :

Les sondages [...] sont faits avec un échantillon qui représente 5,9 millions de Québécois francophones avec une marge d’erreur de 4 %, 19 fois sur 20.

Cette toute petite phrase comporte pas moins de trois erreurs (sans compter les omissions). Pourriez-vous les trouver?

Pour vous aider, voici ce qui était précisé à la toute fin de l’émission, juste avant le générique (oubliez les deux fautes d’orthographe) :

Les trois erreurs

1. Comme il s’agit d’un sondage en ligne, l’échantillon ne représente pas les «Québécois francophones», mais bien les internautes québécois francophones. Ça fait plusieurs fois que j’aborde cette question dans ce blogue (ici et ici par exemple), alors je n’irai pas plus loin. Cela dit, considérant le type de questions posées, il est fort possible que les résultats seraient semblables si l’ensemble de la population (et pas seulement les internautes) avait été interrogée.
2. Évidemment, étant donné qu’on parle des internautes québécois francophones, on ne peut parler de 5,9 millions de personnes. Les internautes québécois adultes qui parlent français représentent tout au plus 4 millions d’individus.
3. Enfin, comme indiqué ci-dessus, il ne s’agit pas d’un échantillon probabiliste (vous avez remarqué l’utilisation du conditionnel «présenterait»?). Dans ce cas, il est impossible de calculer une marge d’erreur et en plus de la diffuser! (Pour plus de détails à ce sujet, lire «Sondages en ligne et marges d’erreur : ne vous laissez pas berner!»)

Par ailleurs, sur une note plus technique, pour que la marge d’erreur maximale soit de 4 % avec un échantillon de 600 répondants (au niveau de confiance de 95 %), il faudrait que les données n’aient pas été pondérées, ce qui est peu probable.

Mon verdict
Ce n’est qu’un «show» de télé, conçu pour divertir. Tourner les coins ronds ne porte donc pas vraiment à conséquence… Mais quand même, provenant d’une société d’État dont j’ai déjà vanté les normes rigoureuses en matière de sondage, on s’attendrait à ce que la méthodologie soit mentionnée clairement et sans erreur, même si c’est en tout petits caractères!

Mise à jour du 13 avril 2010
Ce soir, j’ai pris le temps de regarder (en différé via tou.tv) le deuxième épisode de l’émission. J’ai pu constater avec plaisir que 1) Madame Cloutier ne mentionnait plus de méthodologie erronée (en fait, elle n’en mentionne plus du tout, mais dans mon esprit, vaut mieux ça qu’une métho truffée d’erreurs) et 2) à la fin de l’émission, la note méthodologique ne faisait plus référence à un échantillon probabiliste, comme le montre la capture d’écran ci-dessous. Ça me redonne espoir!!

Question : Avec quel chef de parti fédéral iriez-vous prendre une bière? (Cyberpresse)

• Je ne sais pas pour vous, mais pour moi ce n’est pas une option. Si c’était Brad Pitt, je ne dis pas…

Question : À partir de quel niveau d’augmentation de la température moyenne du globe pensez-vous qu’il y aura un danger majeur pour la vie de l’homme (sic) sur la Terre? (expression publique.com, partenaire du quotidien Le Monde.fr)

• Entre vous et moi, y a-t-il vraiment quelqu’un sur la Terre qui connaît la réponse à cette question?

Question : Êtes-vous satisfaits des cadeaux que vous avez reçus? (Cyberpresse)

• Qui a rédigé cette question? Le Père Noël?

Question : Un sondage affirme que les 35 heures sont encore populaires. Et pour vous? (L’Express.fr)

• Faire un sondage sur un sondage… il me semble que c’est pousser un peu loin.

Question : Est-ce que le temps des Fêtes est propice aux chicanes dans votre famille? (Cyberpresse)

• Honnêtement, on ne veut pas le savoir. Lavez votre linge sale en famille!

Question : Traitées récemment dans la section Points de vue du Soleil, l’homosexualité et l’homophobie font réagir. Alors, posons la question centrale : la sexualité doit-elle uniquement servir à la procréation? (Cyberpresse)

• Je ne peux pas croire qu’on pose ce type de question en 2010! Et dire qu’on en fait une question «centrale»… ouf.

Question : Lorsque vous vous levez pour aller travailler, de quelle humeur êtes-vous? (Cyberpresse)

• En supposant que vous avez un travail et que vous vous levez toujours d’humeur égale, voilà une question qui fera certainement avancer la science! Merci de nous en informer…

Question : Manger du thon rouge, c’est… délicieux/révoltant!/pas bon, j’aime pas le poisson…/le cadet de mes soucis! (L’Express.fr)

• Évidemment, vos préférences en matière de thon rouge sont de la plus haute importance!

Question : Séisme en Haïti : la générosité des Québécois et des Canadiens vous surprend-elle? (Canoë – TVA)

• Le séisme en Haïti est une terrible catastrophe. Mais en quoi cette question est-elle utile? Ne perdons pas notre temps à y répondre, faisons plutôt un don!

L’Observatoire des sondages

Dans la foulée de ces quelques perles, j’ai récemment découvert un nouveau site fort intéressant : l’Observatoire des sondages. Il s’agit en fait d’un regroupement d’universitaires français qui exercent une veille scientifique sur les différentes facettes des sondages (aspects méthodologiques, publication des résultats, commentaires des politiciens et des journalistes, etc.). On y retrouve notamment quelques sections des plus amusantes, comme un «bêtisier», une section «trucs, astuces et impostures» ainsi qu’une page sur les «sondages pourris». Ce n’est certes pas politiquement correct… et c’est d’autant plus savoureux!

Je ne suis certainement pas la seule que ce manque d’éthique chatouille. D’ailleurs, preuve que le charlatanisme est à la hausse, l’AAPOR a lancé récemment The Transparency Initiave. Je vous en parle brièvement aujourd’hui.

L’initiative de transparence de l’AAPOR

L’AAPOR est l’association américaine de la recherche sur l’opinion publique. Lancée en novembre, l’initiative «Transparence» vise à encourager les firmes de recherche  – mais aussi toute autre organisation qui diffuse les résultats d’un sondage – à détailler la méthodologie, à être transparentes sur les méthodes employées.

Pourquoi? Parce que la recherche à rabais gagne du terrain; parce que trop de personnes s’improvisent spécialistes; parce que les pratiques frauduleuses de certains contribuent à discréditer le véritable sondage d’opinion et à semer le cynisme à l’égard des résultats de sondage.

The AAPOR Transparency Initiative is a program to place the value of openness at the center of our work. It should include:

• our Association’s public recognition of excellence in transparency;
• a system for collecting and archiving disclosure information;
• education for organizations in how to make disclosure a routine part of their work;
• outreach to survey sponsors, users of survey data and the public to reinforce the value of transparency and to publicize the organizations that participate in the initiative;
• collaboration with other associations (e.g., ASA, CASRO, ESOMAR, NCPP, WAPOR) and academic disciplines in these activities.

Il s’agit d’un programme en devenir, puisque seules les bases ont été établies pour le moment. Une discussion a d’ailleurs été ouverte sur le site de Survey Practice pour permettre aux professionnels de la recherche de s’exprimer.

Oui, mais…

Bien sûr, l’initiative est fort louable et j’en appuie les principes. Le premier bémol est qu’il s’agit bel et bien d’un projet d’une association américaine – et non canadienne. Mais peut-être que les associations d’ici – je pense en particulier à l’ARIM – suivront la tendance? C’est à espérer.

Par ailleurs, je me demande si les moyens mis en œuvre sont suffisants pour faire changer les choses. En fait, j’en doute fortement. Prenez l’exemple du Québec : même si les firmes fautives reçoivent en théorie des avertissements de la part de l’ARIM, je ne vois pas beaucoup d’évolution à ce sujet… C’est un dossier à suivre!

Enfin, une autre initiative ayant trait à la transparence vient d’être lancée, toujours aux États-Unis, mais sur un tout autre sujet : la sous-traitance. Je vous en parle dans un prochain billet!

La méthodologie que j’ai communiquée (sur ce blogue, sur bénéfice.net, dans le communiqué de presse) :

Ce sondage Web a été mené du 11 au 17 août 2009 auprès de 1297 internautes québécois qui travaillent en entreprise ou dans une organisation (et non à la maison). Cet échantillon est tiré du panel Or de SOM, lequel est constitué de répondants recrutés de façon aléatoire. La marge d’erreur maximale pour l’ensemble est de 4,8 %, 19 fois sur 20.

La méthodologie communiquée par le journaliste de La Presse Affaires hier :

Le sondage SOM, réalisé pour Branchez-Vous, a été effectué du 11 au 17 août dernier auprès de 1297 travailleurs. La marge d’erreur maximale est de 4,8%, 19 fois sur 20.

Voyez-vous la différence? En comprenez-vous les conséquences? Nous ne parlons pas de la même population! En effet, le sondage a été mené auprès des internautes qui travaillent en entreprise, et non auprès de l’ensemble des travailleurs. Si nous avions fait ce sondage auprès de l’ensemble des travailleurs (incluant les personnes qui n’utilisent pas Internet – et qui ne sont donc PAS des internautes), nous aurions nécessairement obtenu des pourcentages plus bas.

Donc, lorsque M. Gibeault déclare : «La moitié des travailleurs québécois reconnaissent utiliser le réseau internet à des fins personnelles sur leurs heures de travail», c’est inexact. Il aurait plutôt fallu lire : «Près de la moitié des internautes qui travaillent dans une organisation reconnaissent utiliser le réseau Internet à des fins personnelles sur leurs heures de travail.»

Si certaines caractéristiques sont identiques entre la «population des internautes québécois» et la «population québécoise», ce n’est certainement pas le cas des variables spécifiquement liées à l’utilisation d’Internet, comme dans ce sondage.

Il ne s’agit pas ici de simples nuances sémantiques : c’est un tout autre sens que M. Gibeault donne aux résultats du sondage SOM/Branchez-vous.com : il fait une affirmation que notre sondage ne permet pas de confirmer.

MAJ
M. Gibeault a fait une erreur et a modifié son article en conséquence. Il m’a d’ailleurs écrit pour me le mentionner.

À lire sur le même thème :
Entretenir le flou méthodologique
20 questions qu’un journaliste devrait poser avant de publier les résultats d’un sondage
Sondages en ligne et marges d’erreur : ne vous laissez pas berner!

À moins que vous ne soyez nouveau ou nouvelle ici, vous savez toute l’importance que j’accorde à la méthodologie rigoureuse et à la transparence, notamment lorsqu’il est question d’expliquer la méthodologie utilisée pour un sondage. Ce sont là deux valeurs extrêmement importantes pour SOM.

Quand j’ai vu ceci dans un journal récemment, j’ai d’abord été intriguée. Après vérification, je suis tout simplement choquée… Lisez d’abord l’extrait, je vous expliquerai pourquoi ensuite.

Les sondages de [nom de la firme] sont menés sur l’Internet grâce au [nom du panel], un groupe de plusieurs répondants recrutés par un processus de pointe qui comprend une invitation aléatoire à grande échelle et une sélection en trois étapes. Ce panel consultatif est géré grâce à des techniques d’échantillonnage raffinées et fait l’objet de fréquentes vérifications de l’identité personnelle, des coordonnées ainsi que des données démographiques. Cette méthode permet d’obtenir des résultats d’une grande justesse.

Premières impressions
D’abord, je n’étais pas sûre de ce que voulait dire ce paragraphe. Il y a beaucoup de mots qui sonnent un peu creux à mes oreilles… un processus «de pointe»? (On parle de quoi, là?) Des techniques d’échantillonnage «raffinées»? (Lesquelles?) Une sélection en «trois étapes»? (Mais encore?)

Évidemment, en voyant que le processus de recrutement comprenait «une invitation aléatoire à grande échelle», je me suis dit : ça y est, voilà un concurrent sérieux qui, lui aussi, donne plus de valeur aux panels Web avec recrutement aléatoire des répondants. Trois ou quatre personnes de mon entourage, à qui j’ai fait lire l’extrait, ont aussi interprété le texte de cette façon.

En regardant de plus près…
Comme le journal donnait également l’URL dudit panel de ladite firme, je suis allée voir de quoi il retournait. En fait, il s’agit d’un panel de volontaires et non d’un panel où les répondants sont recrutés de façon aléatoire. Je le sais, puisque tout un chacun peut s’inscrire. J’en déduis donc que la fameuse «invitation aléatoire» fait plutôt référence à une invitation à participer à un sondage. Quant à la «sélection en trois étapes», il semble s’agir essentiellement d’un processus d’inscription en trois étapes (la dernière consiste à cliquer sur un lien dans un courriel – que je n’ai jamais reçu).

Ce qui me choque
Ce n’est pas que la firme utilise un panel de volontaires. Malgré ses défauts, ce type de panel peut être très utile pour certaines études, à la condition qu’on en connaisse les limites et leur influence sur les résultats.

Non, ce qui me choque, c’est que ce paragraphe semble avoir été rédigé pour tromper le lecteur. Que cette description de la méthodologie, à l’instar d’autres exemples douteux, donne un faux sentiment de sécurité à l’égard des résultats. Que le fait de juxtaposer de beaux grands mots ne garantit en rien la «justesse des résultats». Bref, on revient au point de départ de ce billet : que la rigueur peut-être, mais surtout la transparence, sont écorchées au passage.

En me «promenant» sur Internet, je suis récemment tombée sur les normes de production de Radio-Canada en matière de sondages, que j’ai trouvées exemplaires! On insiste sur l’importance de la rigueur méthodologique et l’information à transmettre au public.

La validité et la fiabilité des résultats de sondages dépendent de l’application rigoureuse de méthodes de recherche éprouvées et reconnues. Il faut diffuser, en même temps que les résultats d’un sondage, les informations pertinentes sur la méthode utilisée et, s’il y a lieu, en signaler les failles à l’auditoire.

À propos spécifiquement de la diffusion des résultats d’un sondage, les normes précisent que les journalistes doivent :

(a) accorder la priorité aux données factuelles sur leur interprétation;

(b) fournir à l’auditoire le contexte du sondage, soit : le nom de la personne ou de l’organisme qui a réalisé le sondage et, s’il y a lieu, ses allégeances politiques; le nom du commanditaire du sondage, s’il y en a un; la population sondée et la période du sondage, la taille de l’échantillon, le taux de réponse et la marge d’erreur;

(c) se garder d’accorder quelque valeur de prédiction que ce soit aux résultats de sondages d’opinion publique.

La partie qui traite des sondages non scientifiques est aussi très claire :

Les sondages qui ne sont pas faits selon une méthode reconnue ne fournissent pas de résultats valides ni d’information fiable.

Il faut apporter un soin particulier à la présentation de séries de déclarations qui pourraient avoir l’allure de réponses à un sondage. [...] Il faut prendre garde de laisser croire qu’elles reflètent l’opinion publique sur une question donnée. De même, on peut résumer les commentaires reçus sur un sujet; mais on ne peut, en aucun cas, en donner le décompte.

Enfin, on aborde également le vote téléphonique (invitation faite au public d’appeler pour donner son opinion) qui, parfois, peut avoir l’air d’un sondage. (Ici, on devrait ajouter les fameux «sondages éclair» qui pullulent sur le Web.)

Ce genre d’initiatives peut être manipulé par n’importe quel groupe de pression. Non seulement elle ne génère pas d’information valable; elle est généralement trompeuse.

Après un tour d’horizon rapide sur le Web, je n’ai pas trouvé l’équivalent sur les sites des autres médias francophones ni dans le code de déontologie de la Fédération professionnelle des journalistes du Québec.

À lire aussi :
20 questions qu’un journaliste devrait poser…

C’est le titre d’un article de Sheldon R. Gawiser et G. Evans Witt, du National Council on Public Polls, dont j’ai pris connaissance via le blogue de MarketResearch.

J’en ai déjà parlé, il arrive que les journalistes publient n’importe quoi en matière de sondage. Les questions qu’on retrouve dans cet article visent justement à aider les journalistes : ont-ils entre les mains un sondage scientifique? Doivent-ils rapporter les résultats de tel sondage?

Unscientific pseudo-polls are widespread and sometimes entertaining, but they never provide the kind of information that belongs in a serious report.

Les questions sont toutes accompagnées d’un commentaire. Je vous en rapporte quelques-unes ici.

• Qui a fait le sondage?
  C’est toujours la première question à poser. Si vous ne pouvez y répondre, vous ne pouvez répondre aux questions subséquentes.
• Qui paie pour faire le sondage et pourquoi est-il mené?
  Les sondages ne sont pas effectués pour le «bien-être de l’humanité». Quelqu’un, quelque part, a une raison bien précise de connaître l’opinion ou les perceptions de tel groupe d’individus.
• Comment les répondants ont-ils été choisis?
  Les méthodes d’échantillonnage y sont pour beaucoup dans la scientificité d’un sondage. C’est donc à examiner avec attention!
• Les résultats présentés sont-il basés sur l’ensemble des répondants?
  Il faut toujours se rappeler que lorsque des données sont présentées pour un sous-groupe de l’échantillon, la marge d’erreur est généralement plus élevée. Aussi, si on veut parler uniquement d’un sous-groupe il faut s’assurer que le nombre d’individus qui le composent est assez grand.
• Le sondage a-t-il été fait sur le Web?
  Les sondages Web peuvent être scientifiques s’ils respectent les règles de l’art. Mais attention! La méthode doit être scrupuleusement évaluée puisque de nombreux sondages Web font appel à des volontaires plutôt que d’utiliser des méthodes d’échantillonnage reconnues.
• Quand le sondage a-t-il été fait?
  Les événements peuvent dramatiquement changer l’opinion publique. Un exemple? Si vous aviez fait un sondage sur la perception de la population à l’égard de la menace d’une pandémie d’influenza la semaine dernière, il ne serait plus d’actualité! En effet, la nouvelle grippe porcine, que les médias s’efforcent de nous présenter comme la prochaine catastrophe, a sûrement un effet sur l’opinion publique!

Et il y a plusieurs autres questions et réponses toutes plus intéressantes les unes que les autres. C’est à lire!