Entretenir le flou méthodologique
Je sais, je ne devrais pas dénigrer nos concurrents. Ce n’est pas bien. Mais si je tais le nom dudit concurrent, me permettez-vous une toute petite pointe?
À moins que vous ne soyez nouveau ou nouvelle ici, vous savez toute l’importance que j’accorde à la méthodologie rigoureuse et à la transparence, notamment lorsqu’il est question d’expliquer la méthodologie utilisée pour un sondage. Ce sont là deux valeurs extrêmement importantes pour SOM.
Quand j’ai vu ceci dans un journal récemment, j’ai d’abord été intriguée. Après vérification, je suis tout simplement choquée… Lisez d’abord l’extrait, je vous expliquerai pourquoi ensuite.
Les sondages de [nom de la firme] sont menés sur l’Internet grâce au [nom du panel], un groupe de plusieurs répondants recrutés par un processus de pointe qui comprend une invitation aléatoire à grande échelle et une sélection en trois étapes. Ce panel consultatif est géré grâce à des techniques d’échantillonnage raffinées et fait l’objet de fréquentes vérifications de l’identité personnelle, des coordonnées ainsi que des données démographiques. Cette méthode permet d’obtenir des résultats d’une grande justesse.
Premières impressions
D’abord, je n’étais pas sûre de ce que voulait dire ce paragraphe. Il y a beaucoup de mots qui sonnent un peu creux à mes oreilles… un processus «de pointe»? (On parle de quoi, là?) Des techniques d’échantillonnage «raffinées»? (Lesquelles?) Une sélection en «trois étapes»? (Mais encore?)
Évidemment, en voyant que le processus de recrutement comprenait «une invitation aléatoire à grande échelle», je me suis dit : ça y est, voilà un concurrent sérieux qui, lui aussi, donne plus de valeur aux panels Web avec recrutement aléatoire des répondants. Trois ou quatre personnes de mon entourage, à qui j’ai fait lire l’extrait, ont aussi interprété le texte de cette façon.
En regardant de plus près…
Comme le journal donnait également l’URL dudit panel de ladite firme, je suis allée voir de quoi il retournait. En fait, il s’agit d’un panel de volontaires et non d’un panel où les répondants sont recrutés de façon aléatoire. Je le sais, puisque tout un chacun peut s’inscrire. J’en déduis donc que la fameuse «invitation aléatoire» fait plutôt référence à une invitation à participer à un sondage. Quant à la «sélection en trois étapes», il semble s’agir essentiellement d’un processus d’inscription en trois étapes (la dernière consiste à cliquer sur un lien dans un courriel – que je n’ai jamais reçu).
Ce qui me choque
Ce n’est pas que la firme utilise un panel de volontaires. Malgré ses défauts, ce type de panel peut être très utile pour certaines études, à la condition qu’on en connaisse les limites et leur influence sur les résultats.
Non, ce qui me choque, c’est que ce paragraphe semble avoir été rédigé pour tromper le lecteur. Que cette description de la méthodologie, à l’instar d’autres exemples douteux, donne un faux sentiment de sécurité à l’égard des résultats. Que le fait de juxtaposer de beaux grands mots ne garantit en rien la «justesse des résultats». Bref, on revient au point de départ de ce billet : que la rigueur peut-être, mais surtout la transparence, sont écorchées au passage.
20 réponses à “Entretenir le flou méthodologique”
Je vais aller pleurer un peu… Non seulement tout ce paragraphe est vague, mais que veut-on dire par justesse des résultats ? Qu’ils reflètent la réalité ? Qu’ils ne sont pas biaisés ? Qu’ils sont précis (ont une faible variance) ?
Je crois que ce genre de formulation est un signe du manque de compréhension statistique dans notre société qui dépend de la statistique pour prendre ses décisions. On veut être rassuré que les chiffres sont bons sans vouloir comprendre pourquoi ils sont bons. Comme toute science, la statistique prend toute sa valeur quand elle est critiquée, mais pour pouvoir la critiquer, il faut y mettre un certain effort.
J’aime bien la description du Panel de SOM, mais je serais curieux de savoir quelle proportion des clients demandent des précisions (car des précisions pourraient être données).
@ Pierre-Hugues : Merci pour ton commentaire. Ça me rassure de voir que je ne suis pas la seule à percevoir le « flou méthodologique »!
Pour ce qui est du Panel de SOM, parles-tu de la description que l’on retrouve sur notre site Web? Parce qu’en effet, ce n’est qu’une vitrine. Lorsque nous faisons affaire avec un client, c’est le rôle du chargé de projet de donner au client toutes les précisions requises et de le conseiller, en fonction des objectifs poursuivis, sur la pertinence d’utiliser le panel ou de se tourner plutôt vers une autre source de données.
J’oubliais aussi : les résultats d’un sondage (ou de tout autre type de collecte de données) sont toujours accompagnés d’un rapport méthodologique détaillé qui inclut, entre autres éléments, la méthode d’échantillonnage, la pondération, la marge d’erreur, etc. Le client a tous les renseignements qu’il faut pour dupliquer la recherche au besoin mais également pour en comprendre les limites et la portée des résultats.
@ Pierre-Hugues: Je ne pense pas que c’est le « manque de compréhension » qui est à la base de ce flou méthodologique, non. En fait, c’est la tromperie pure et simple qui en est le coeur. Parler « d’invitation aléatoire » et de « techniques d’échantillonnage raffinées » lorsqu’il s’agit d’un panel de volontaires c’est vouloir tromper ses clients et le public, et volontairement qui plus est. Quiconque travaille dans le domaine de la recherche marketing fera très bien la différence entre entre un sondage populationnel par sélection aléatoire et un sondage par panel de volontaires (mais pas le public). Les panels de volontaires peuvent avoir leur utilité, par exemple, pour déterminer le prochain gagnant de Star Académie, mais ils sont aussi et surtout beaucoup moins coûteux à constituer et entretenir que n’importe quelle autre méthode de recherche vraiment aléatoire. D’où l’avantage à mousser auprès de ses clients que « cette méthode permet d’obtenir des résultats d’une grande justesse »: ce n’est pas vrai, mais c’est payant de le faire croire.
@ Jean-Marc: Je suis tout à fait d’accord qu’il s’agit de manipulation de la part des auteurs du texte. Toutefois, le fait qu’un tel « flou méthodologique » continue à être publié sans questionnement m’indique que le public n’est peut-être pas suffisamment « éduqué » en statistique pour pouvoir détecter cette manipulation.
@ Julie: Je parlais bien de de la description sur le web. C’est très bien qu’un conseiller travaille avec le client pour présenter les détails. Ma question avait plutôt trait au client: en gros, quel est le niveau de sophistication statistique de la plupart des clients ?
D’abord, un commentaire général : À la décharge de la firme dont il est question, rappelons qu’il y a un intermédiaire ici, soit le journal qui a publié le sondage. À l’origine (c’est-à-dire dans les documents produits par la firme), la métho était peut-être plus détaillée que ce que le journal a choisi de publier. Mais nous n’avons aucun moyen de le vérifier.
@Pierre-Hugues : En effet, le grand public manque certainement de notions statistiques pour distinguer transparence vs manipulation. Ainsi, souvent, ils n’ont d’autre choix que de faire confiance aux médias qui publient les sondages. En ce qui a trait spécifiquement aux clients, je te dirais que c’est très variable: certains sont statisticiens alors que d’autres n’ont que très peu de notions en la matière.
Selon le moi, le problème est beaucoup plus fondamental que de simples tentatives de bien faire paraître les résultats publiés (ou non publiés d’ailleurs). Je sais que les propos que je vais tenir ne seront pas très populaires, mais c’est la vie.
Une quantité inquiétante de gens œuvrant dans notre industrie ne savent même pas que l’on ne peut pas utiliser le calcul de la marge d’erreur lors de l’utilisation d’un échantillon non-probabiliste et ce, que ce soit en ligne ou au téléphone, comme lors de l’utilisation d’un échantillon de convenance.
La marge d’erreur et sa capacité à témoigner de la représentativité d’un projet de recherche en ont fait un indice de confiance qui, bien que son fonctionnement soit incompris par le public, est l’équivalent d’un « seal of approval » qui DOIT accompagner tout résultat. Si la marge d’erreur n’est pas présente, les journalistes se méfient.
Cela a donc ouvert la voie à des « prophètes » donc l’objectif est de profiter du vide méthodologique afin de pondre de « nouvelles techniques » comme le « propensity weighting » dont l’objectif est de détourner l’attention des véritables problèmes méthodologiques en offrant des réponses toutes simples sous formes de boîtes noires (évidemment ces approches sont propriétaires…).
Donc comment pouvons-nous nous attendre à ce que les clients et le public soient correctement informés si, en tant qu’industrie, nous ne sommes même pas capables de nous tenir debout devant des abus méthodologiques si grossièrement évidents?
Voir une offre panel parlant de tirages aléatoires ou bien des résultats de sondages en lignes publiés avec des marges d’erreur rédigées au conditionnel (comme si cela « serait » aussi efficace) ne me surprend aucunement.
Mais qu’attendons-nous pour mettre fin à ces abus?
Merci pour votre commentaire Maxime. Si, comme vous le dites, il y a un manque de compétences au sein même des travailleurs de l’industrie, le problème est beaucoup plus profond que je ne l’imaginais, puisqu’il s’ajoute à une apparence de « mauvaise foi » de la part de certaines firmes.
Quant aux abus méthodologiques, je m’efforce de les dénoncer ici, sur le blogue de SOM. Mais j’ai parfois l’impression de « prêcher dans le désert »! Comment pourrions-nous y mettre fin une fois pour toutes? Voilà une excellente question qui mérite réflexion. Sensibiliser davantage le public? Les journalistes? Les travailleurs de l’industrie? Peut-être, mais par quel moyen?
M. Bourbonnais, je dois avouer que vos propos me font réagir… je trouve assez « gratuit » le fait d’affirmer que des gens de l’industrie ne savent pas qu’il est impossible d’utiliser une marge d’erreur avec un échantillon qui n’est pas aléatoire. Je ne serais pas de cet avis car je crois que la majorité des gens qui oeuvrent dans ce domaine sont compétents, et s’ils ne le sont pas j’ose espérer qu’ils seront en mesure de s’entourer de gens qui le sont.
Cela dit, je ne crois pas que le grand public doit connaître les méthodes statistiques et les détails des calculs de marge d’erreur. Chacun son domaine d’expertise. Je crois par contre que les gens responsable des sondages ont la responsabilité éthique de transparence dans la publication de résultats. Et si la publication est réalisée dans un journal, une revue ou peu importe, les professionnels doivent s’assurer de la véracité et de la transparence de la publication de la méthodologie et des données.
Malheureusement, je crois que nous faisons face à deux enjeux, celui de l’appât du gain par rapport à celui de l’éthique professionnel… cet exemple soulevé par Mme Fortin nous laisse croire que la première option est parfois choisie au détriment de la seconde! Il y a donc une responsabilité morale qui incombe à chaque professionnel du sondage, afin d’éviter de publier des trucs aussi abérrants que l’exemple amené par Mme Fortin. Alors comment éviter de telles grossièretés ?? Je crois que les professionnels qui doivent s’assurer de la qualité de la publication des résultats de sondage. Il est possible d’informer le public, mais le public est-il vraiment intéressé à connaitre les détails du calcul d’une marge d’erreur… permettez-moi d’en douter.
@Merci M. Dionne pour votre contribution à la discussion! Vous avez certainement raison sur l’intérêt du grand public à connaître les détails du calcul de la marge d’erreur. Mais je ne suis pas certaine que M. Bourbonnais ait tort lorsqu’il parle d’incompétence de certains travailleurs de l’industrie. Malheureusement, il y a encore de l’improvisation, de nos jours, dans le domaine de la recherche et du sondage. Si les clients ne sont pas vigilants, ils peuvent se faire berner.
Comme vous, je crois qu’il revient d’abord aux firmes de sondage d’être transparentes et de vulgariser les renseignements méthodologiques, de façon à ce que leurs clients puissent saisir la portée et les limites des résultats d’une étude. Mais je crois également qu’un tiers qui diffuse les résultats d’un sondage a une grande responsabilité. Dans l’exemple que je cite, je suis d’avis que le journal n’aurait jamais dû accepter de publier la méthodologie du sondage telle quelle. Le journaliste aurait dû poser des questions, être critique!
Je suis tout à fait d’accord avec Maxime. Les abus délibérés de certains joueurs de la recherche marketing nuisent à la crédibilité de toute l’industrie et constitue une forme de concurrence déloyale pour ceux qui pratiquent le métier dans les règles de l’art. Il est facile d’offrir des prix très bas quand on ne paie pas le coût associé à la production de résultats valides. Pour nos clients, il est, hélas, trop facile de n’y voir que du feu.
@ M. Dionne, sachez que je ne me permets pas de commentaires gratuits et que mes propos sont toujours longuement réfléchis avant d’être immortalisés sur Internet. J’ai avancé qu’il y a un problème de compétence parce que celui-ci est bien réel et que j’ai de multiples exemples (dont je ne parlerai évidemment pas explicitement sur un blogue) à l’appui.
Je me permettrai cependant de dire que pour moi, la différence entre incompétence et négligence est très mince. Une personne négligente ne peut être considérée compétente et une personne compétente ne peut se permettre d’être négligente. Vous comprenez donc sûrement mieux ma position en ce qui concerne les notes méthodologiques trompeuses ainsi que l’utilisation des marges d’erreur lorsque cela n’est pas méthodologiquement permis.
@ TOUS, je ne tiens pas ces propos pour attaquer une personne en particulier ou bien une entreprise en particulier, mais bien afin de confronter l’industrie à ses propres pratiques. Je dois être honnête, j’ai honte de voir l’industrie de la recherche se laisser tenter par l’appât du gain d’une telle façon et j’ai aussi peur lorsque je réfléchis aux conséquences éventuelles de ces pratiques…
Il ne faut pas se leurrer, Internet offre maintenant la possibilité à presque n’importe qui de faire de la recherche en ligne par l’entremise d’outils et de méthodologies allant des meilleures jusqu’au plus exécrables et la seule chose qui nous distingue de ces compétiteurs qui souvent ne proviennent même pas du domaine de la recherche, c’est notre rigueur méthodologique.
C’est cette rigueur qui nous permet d’offrir à la société des données fiables et la société se fit sur nous pour lui fournir ces données. Nous avons donc la responsabilité éthique, professionnelle, civile et sociale de respecter les plus hauts standards méthodologiques, celle-ci accompagnée d’une transparence totale. Il s’agit d’une responsabilité et non d’un droit.
Maxime mentionne un élément très important : l’idée n’est pas de s’acharner sur une entreprise ou une personne en particulier. C’est d’ailleurs pourquoi j’ai volontairement tu le nom de la firme dont il est question dans ce billet. Mais ces pratiques doivent être dénoncées puisque c’est la crédibilité de toute l’industrie de la recherche et du sondage qui est en jeu!
@ M. Bourbonnais peut-être suis-je idéaliste…. pour ma part, je travaille dans le domaine public et nous gérons à l’interne nos sondages . Par contre, nous travaillons avec un consultant en méthodologie de manière à valider notre processus. Je ne suis pas au courant de ce qui se fait au privé, alors peut-être que mes propos était un peu « gratuit » à votre égard, veuillez m’en excuser 😉 Je crois comprendre que vous avez sufffisament d’expérience pour avoir vécu des situations où l’incompétence des gens était une réalité…
Dans le domaine public, bien des opérations de sondages sont menés par un peu n’importe qui, un peu n’importe comment et les décisions qui en résultent sont un peu n’importe quoi finalement. Les décideurs veulent un résultat pour demain, alors ils prennent le chemin le plus court pour y arriver. Lorsqu’on est un professionnel dans le domaine de l’évaluation et qu’on met sur table les enjeux rattachés à la méthodologie, on ne sent pas toujours l’intérêt. Le gestionnaire veut un résultat le plus rapidement possible au plus faible coût. Or la rigueur ça demande un certain temps et par conséquent ça coûte quelque chose.
@ Mme Fortin, j’ai assisté à une présentation de votre part sur la firme SOM dans le cadre d’un cours en évaluation de programmes à l’ENAP et j’ai été impressionné de la rigueur avec laquelle vous travaillez. Malheureusement, la rigueur a un prix et ce n’est pas toutes les entreprises qui sont prêtes à déployer les ressources nécessaire ou qui sont consciente de l’importance de cette rigueur. Alors lorsqu’un concurrent arrive et offre un sondage à meilleur prix, pourquoi payer plus… un « fast-food survey » : on ne sait pas ce que contient la boulette, mais on ne pose pas de question et on l’avale.
Alors quelle est la solution ? Éduquer le public ? dénoncer les charlattans ? toutes ces réponses ? ne s’applique pas ??
@M. Dionne : À propos de votre dernière question, je répondrais sans hésiter «toutes ces réponses»! 😉
Et j’aime bien votre image du «fast-food survey»… La bonne chère, c’est mieux… mais ça peut parfois être plus cher en effet!
@ M. Dionne, excuses acceptées 🙂
Vous avez tout à fait raison en décrivant le processus de fast-food survey. Il s’agit d’un phénomène de société de vouloir tout plus vite et pour moins cher mais la recherche ne se prête pas du tout à ce paradigme.
Comme Mme Fortin, je pense que nous devons nous tenir les coudes et éduquer (et lorsque nécessaire attaquer) les cibles listées ci-haut.
Si nous ne le faisons pas, personne ne le fera et la situation n’ira qu’en empirant. Je ne veux pas avoir l’air défaitiste ou pessimiste en disant cela, mais il est de mon expérience que la situation va en se dégradant et non en s’améliorant…