Le «Verdict» : est-ce vraiment votre opinion?
Lundi soir, c’était la première émission du «Verdict» de Véronique Cloutier. J’avais entendu parler du concept de l’émission, que je trouve plutôt original et non dépourvu d’intérêt soit dit en passant, mais bien honnêtement, j’ai complètement oublié de regarder la première lundi. Mais après que mon collègue Francis Dufour ait piqué ma curiosité ce matin sur la méthodologie utilisée, je me suis reprise en visionnant quelques extraits sur internet.
D’entrée de jeu, l’animatrice explique brièvement la méthodologie des sondages sur lesquels s’appuie l’émission :
Les sondages […] sont faits avec un échantillon qui représente 5,9 millions de Québécois francophones avec une marge d’erreur de 4 %, 19 fois sur 20.
Cette toute petite phrase comporte pas moins de trois erreurs (sans compter les omissions). Pourriez-vous les trouver?
Pour vous aider, voici ce qui était précisé à la toute fin de l’émission, juste avant le générique (oubliez les deux fautes d’orthographe) :
Les trois erreurs
- Comme il s’agit d’un sondage en ligne, l’échantillon ne représente pas les «Québécois francophones», mais bien les internautes québécois francophones. Ça fait plusieurs fois que j’aborde cette question dans ce blogue (ici et ici par exemple), alors je n’irai pas plus loin. Cela dit, considérant le type de questions posées, il est fort possible que les résultats seraient semblables si l’ensemble de la population (et pas seulement les internautes) avait été interrogée.
- Évidemment, étant donné qu’on parle des internautes québécois francophones, on ne peut parler de 5,9 millions de personnes. Les internautes québécois adultes qui parlent français représentent tout au plus 4 millions d’individus.
- Enfin, comme indiqué ci-dessus, il ne s’agit pas d’un échantillon probabiliste (vous avez remarqué l’utilisation du conditionnel «présenterait»?). Dans ce cas, il est impossible de calculer une marge d’erreur et en plus de la diffuser! (Pour plus de détails à ce sujet, lire «Sondages en ligne et marges d’erreur : ne vous laissez pas berner!»)
Par ailleurs, sur une note plus technique, pour que la marge d’erreur maximale soit de 4 % avec un échantillon de 600 répondants (au niveau de confiance de 95 %), il faudrait que les données n’aient pas été pondérées, ce qui est peu probable.
Mon verdict
Ce n’est qu’un «show» de télé, conçu pour divertir. Tourner les coins ronds ne porte donc pas vraiment à conséquence… Mais quand même, provenant d’une société d’État dont j’ai déjà vanté les normes rigoureuses en matière de sondage, on s’attendrait à ce que la méthodologie soit mentionnée clairement et sans erreur, même si c’est en tout petits caractères!
Mise à jour du 13 avril 2010
Ce soir, j’ai pris le temps de regarder (en différé via tou.tv) le deuxième épisode de l’émission. J’ai pu constater avec plaisir que 1) Madame Cloutier ne mentionnait plus de méthodologie erronée (en fait, elle n’en mentionne plus du tout, mais dans mon esprit, vaut mieux ça qu’une métho truffée d’erreurs) et 2) à la fin de l’émission, la note méthodologique ne faisait plus référence à un échantillon probabiliste, comme le montre la capture d’écran ci-dessous. Ça me redonne espoir!! 🙂
10 réponses à “Le «Verdict» : est-ce vraiment votre opinion?”
Si j’ai bien compris, la société n’a pas fait d’erreur, puisqu’ils présentent la méthodologie en petits caractères à la fin de l’émission, vrai ? 😉 C’est plutôt les propos de l’animatrice ne début d’émission qui sont erronés.
Personnellement, je n’ai pas écouter justement parce que je m’attendais à ce genre d’erreur… Et que faire de la statistique à cœur de jour veut probablement dire que je suis incapable d’être amusé par des statistiques mal présentées…
Bon assez chialé, la première chose qui m’a accroché ici est le fait de dire qu’il est peu probable que les données aient été pondérées. Comme je ne suis pas expert en sondage, parles-tu ici de poids d’échantillonnage (ce qui me semble étrange si on n’a pas affaire à un échantillon probabiliste) ?
Autre point, les internautes francophones québécois représente quelle fraction de la population francophone québécoise ? N’est-il pas possible qu’éventuellement ces deux populations n’en soient qu’une seule ? En particulier, est-ce que l’auditoire de l’émission est principalement composé d’internautes francophones québécois (qui se considèrent probablement comme étant uniquement des québécois francophones…) ?
C’est une mine à sondage cette émission de sondage… 🙂
C’est quand même une émission de variétés… Ont-ils impliqué dans la production, ou même consulté des professionnels de l’information normalement affectés à RDI ou au Téléjournal? J’ai l’impression que non!
J’imagine qu’à l’interne il doit avoir quelques journalistes de mauvaise humeur!
@Pierre-Hugues : En fait, la méthodologie présentée en petits caractères est incomplète – je considère qu’il s’agit d’une erreur. Par ailleurs, même si l’utilisation du conditionnel pour parler de la marge d’erreur fait en sorte qu’il ne s’agit pas d’une erreur à proprement parler, ça reste trompeur puisque ça laisse croire qu’on peut calculer une marge d’erreur, ce qui n’est pas le cas puisque ce n’est pas un échantillon probabiliste. Mais comme tu le dis si bien, on pouvait s’y attendre.
À propos de la pondération, je dis plutôt qu’il est peu probable que les données n’aient PAS été pondérées, surtout qu’il s’agit d’un échantillon non probabiliste. Ici, je parle de pondération des résultats en fonction de caractéristiques connues de la population à l’étude (ex. : âge, sexe) pour rétablir le poids de chacun des groupes. Comme il s’agit d’un échantillon non probabiliste, on a probablement pondéré pour tenter de refléter le mieux possible certaines caractéristiques de la population à l’étude. Or, pour que la marge d’erreur maximale soit de 4 % avec un échantillon de 600 répondants (au niveau de confiance de 95 %), il faudrait que les données n’aient PAS été pondérées.
Pour ce qui est de ton dernier point, je n’ai pas la donnée proche (je pourrai te la retrouver et te l’envoyer). Mais il est certain que la population francophone québécoise est plus grande que la population internaute francophone québécoise (ce n’est pas encore tout le monde qui est branché!). Et il est évident que les gens qui répondent à un sondage sur internet sont des internautes (!). Les deux populations présentent des caractéristiques différentes qui, pour certaines questions d’un sondage, donnent des résultats très différents. Par contre, comme je le mentionnais, dans ce cas-ci, le type de questions posées pourrait donner des résultats similaires dans l’une et l’autre des populations – ce serait à vérifier.
Quant à l’auditoire de l’émission, c’est sûr qu’il contient à la fois des internautes et des non-internautes (avec une majorité d’internautes). Mais ça n’a pas de lien avec les résultats de sondage…
@Frédéric : Tu as raison, c’est une émission de variété… Alors ce n’est pas bien grave tout ça. La plupart des gens ne remarqueront absolument rien. Et si j’étais journaliste, je crois que je serais encore plus de mauvaise humeur pour les fautes d’orthographe… 😉
Mais, un sondage téléphonique n’est pas totalement inclusif non plus. Ce sont des québécois francophones avec le téléphone filaire à la maison. Un service que de plus en plus de monde abandonne pour un cellulaire uniquement. Aussi, l’heure d’appel segmente beaucoup les groupes d’âge.
Il n’y a pas vraiment de façon d’avoir un groupe complètement représentatif. Même dans une élection, ce sont des gens politisés qui vont voter.
Tu as raison Nicolas. Mais j’aimerais préciser quelques points :
– Ici, il n’est pas seulement question d’un sondage auprès des internautes, mais auprès d’internautes volontaires, c’est-à-dire qui n’ont pas été recrutés de façon aléatoire (la notion d’échantillon non probabiliste).
– Je suis entièrement en faveur de l’utilisation des sondages web – on en fait énormément. Ce qui me dérange, c’est lorsqu’on essaie de tromper les gens en laissant croire qu’il s’agit d’un échantillon probabiliste. Si on avait tout simplement été transparent sur la méthode (ex. : ne pas citer de marge d’erreur), il n’y aurait même pas eu matière à faire ce billet.
– Les sondages téléphoniques ne sont pas parfaits non plus. La proportion de gens qui utilisent exclusivement un téléphone cellulaire est en augmentation, mais elle est toujours inférieure à celle des gens qui n’utilisent pas internet.
– Pour ce qui est des heures d’appels, elles sont très étendues, mais elles peuvent en effet ne pas permettre de joindre tout le monde. Cela dit, un problème de même nature se pose pour les sondages en ligne : si on obtenait le nombre de répondants requis en 24 heures par exemple, seuls ceux qui prennent leur courriel très régulièrement (donc les « plus » internautes) seraient inclus dans l’étude.
– Bref, aucune méthode n’est parfaite et chacune a ses avantages et ses inconvénients – et c’est là mon point. L’important est d’expliquer clairement la méthode pour qu’on puisse en comprendre la portée et les limites.
Bonjour à tous,
J’ai lu avec beaucoup d’intérêt les différents propos concernant les aspects méthodologiques du sondage effectué dans le cadre de la toute première émission «Le verdict »
Tout d’abord, les propos de l’animatrice Véronique Cloutier concernant la portée méthodologique du sondage furent involontairement mentionnés de façon erronée ainsi que la note méthodologique écrite au bas de l’écran n’étant pas «techniquement »complet. (Il ne s’agit pas d’une note d’un rapport d’analyse mais d’une note dans le cadre d’un show de télévision)
Suite au premier visionnement de l’émission ce 5 avril, CROP a immédiatement communiqué avec l’équipe de production pour s’assurer lors des prochaines émissions, de la description exacte du cadre méthodologique de ces sondages.
CROP, membre Or de l’ARIM, est soucieux et conscient des règles méthodologiques en sondage et je crois que plusieurs autres firmes de recherche au Québec partagent aussi ces préoccupations.
En terminant, je suis heureux de constater la vigilance de certains lorsqu’il est question de sondages et de leurs portées réelles.
Respectueusement vôtre!
Sylvain Gauthier, CMRP
Vice-président
CROP
Merci pour votre commentaire M. Gauthier. Je ne remets pas en question votre travail; CROP est une firme sérieuse et le fait que vous ayez voulu rétablir le cadre méthodologique diffusé par la SRC est une bonne nouvelle. Reste donc à voir si ce sera fait!
Cela dit, ça reste un « show de télé », j’en suis très consciente. Mais étant donné la popularité de ce type d’émission, c’est un très bon exemple à utiliser pour vulgariser les différentes méthodes de sondage et leurs limites.
Bonjour M. Gauthier,
pour avoir livré des résultats de sondage à plusieurs reprises à des médias, que ce soit télé, radio ou journaux, je conçois très bien que le sondeur n’a pas toujours le contrôle sur ce qui est publié ou diffusé au public, notamment concernant la méthodologie.
J’espère que ce fut le cas de CROP ici et que votre firme, que j’ai toujours perçue comme très sérieuse, n’est pas en train de tomber dans le piège de faire valoir des panels de volontaires comme des échantillons probabilistes. Ce serait amèrement décevant.
Je compte sur vous pour vous joindre à nous et dénoncer ce genre de pratique. Même si les nouvelles technologies nous poussent à développer de nouveaux modes de collecte (et c’est bien ainsi), on dirait que la théorie qui sous-tend les sondages est bafouée par l’industrie. En terme de théorie, nous sommes en train de revenir à l’ère pré-Gallup où les sondages se faisaient auprès d’abonnés de magazines d’actualités.
Merci de porter attention à ce commentaire.
Avis à ceux qui ont commenté ce billet : j’ai ajouté une mise à jour puisque j’ai eu l’occasion de visionner, ce soir, le deuxième épisode de la série. En plus de me redonner espoir sur la rigueur méthodologique, je constate que les fautes d’orthographe ont été corrigées… 😉
Ne t’inquiète pas Michel, nous sommes d’accord sur ce point.