Vous avez tout à fait raison en décrivant le processus de fast-food survey. Il s’agit d’un phénomène de société de vouloir tout plus vite et pour moins cher mais la recherche ne se prête pas du tout à ce paradigme.

Comme Mme Fortin, je pense que nous devons nous tenir les coudes et éduquer (et lorsque nécessaire attaquer) les cibles listées ci-haut.

Si nous ne le faisons pas, personne ne le fera et la situation n’ira qu’en empirant. Je ne veux pas avoir l’air défaitiste ou pessimiste en disant cela, mais il est de mon expérience que la situation va en se dégradant et non en s’améliorant…

Et j’aime bien votre image du «fast-food survey»… La bonne chère, c’est mieux… mais ça peut parfois être plus cher en effet!

Dans le domaine public, bien des opérations de sondages sont menés par un peu n’importe qui, un peu n’importe comment et les décisions qui en résultent sont un peu n’importe quoi finalement. Les décideurs veulent un résultat pour demain, alors ils prennent le chemin le plus court pour y arriver. Lorsqu’on est un professionnel dans le domaine de l’évaluation et qu’on met sur table les enjeux rattachés à la méthodologie, on ne sent pas toujours l’intérêt. Le gestionnaire veut un résultat le plus rapidement possible au plus faible coût. Or la rigueur ça demande un certain temps et par conséquent ça coûte quelque chose.

@ Mme Fortin, j’ai assisté à une présentation de votre part sur la firme SOM dans le cadre d’un cours en évaluation de programmes à l’ENAP et j’ai été impressionné de la rigueur avec laquelle vous travaillez. Malheureusement, la rigueur a un prix et ce n’est pas toutes les entreprises qui sont prêtes à déployer les ressources nécessaire ou qui sont consciente de l’importance de cette rigueur. Alors lorsqu’un concurrent arrive et offre un sondage à meilleur prix, pourquoi payer plus… un « fast-food survey » : on ne sait pas ce que contient la boulette, mais on ne pose pas de question et on l’avale.

Alors quelle est la solution ? Éduquer le public ? dénoncer les charlattans ? toutes ces réponses ? ne s’applique pas ??

Je me permettrai cependant de dire que pour moi, la différence entre incompétence et négligence est très mince. Une personne négligente ne peut être considérée compétente et une personne compétente ne peut se permettre d’être négligente. Vous comprenez donc sûrement mieux ma position en ce qui concerne les notes méthodologiques trompeuses ainsi que l’utilisation des marges d’erreur lorsque cela n’est pas méthodologiquement permis.

@ TOUS, je ne tiens pas ces propos pour attaquer une personne en particulier ou bien une entreprise en particulier, mais bien afin de confronter l’industrie à ses propres pratiques. Je dois être honnête, j’ai honte de voir l’industrie de la recherche se laisser tenter par l’appât du gain d’une telle façon et j’ai aussi peur lorsque je réfléchis aux conséquences éventuelles de ces pratiques…

Il ne faut pas se leurrer, Internet offre maintenant la possibilité à presque n’importe qui de faire de la recherche en ligne par l’entremise d’outils et de méthodologies allant des meilleures jusqu’au plus exécrables et la seule chose qui nous distingue de ces compétiteurs qui souvent ne proviennent même pas du domaine de la recherche, c’est notre rigueur méthodologique.

C’est cette rigueur qui nous permet d’offrir à la société des données fiables et la société se fit sur nous pour lui fournir ces données. Nous avons donc la responsabilité éthique, professionnelle, civile et sociale de respecter les plus hauts standards méthodologiques, celle-ci accompagnée d’une transparence totale. Il s’agit d’une responsabilité et non d’un droit.

Comme vous, je crois qu’il revient d’abord aux firmes de sondage d’être transparentes et de vulgariser les renseignements méthodologiques, de façon à ce que leurs clients puissent saisir la portée et les limites des résultats d’une étude. Mais je crois également qu’un tiers qui diffuse les résultats d’un sondage a une grande responsabilité. Dans l’exemple que je cite, je suis d’avis que le journal n’aurait jamais dû accepter de publier la méthodologie du sondage telle quelle. Le journaliste aurait dû poser des questions, être critique!

Cela dit, je ne crois pas que le grand public doit connaître les méthodes statistiques et les détails des calculs de marge d’erreur. Chacun son domaine d’expertise. Je crois par contre que les gens responsable des sondages ont la responsabilité éthique de transparence dans la publication de résultats. Et si la publication est réalisée dans un journal, une revue ou peu importe, les professionnels doivent s’assurer de la véracité et de la transparence de la publication de la méthodologie et des données.

Malheureusement, je crois que nous faisons face à deux enjeux, celui de l’appât du gain par rapport à celui de l’éthique professionnel… cet exemple soulevé par Mme Fortin nous laisse croire que la première option est parfois choisie au détriment de la seconde! Il y a donc une responsabilité morale qui incombe à chaque professionnel du sondage, afin d’éviter de publier des trucs aussi abérrants que l’exemple amené par Mme Fortin. Alors comment éviter de telles grossièretés ?? Je crois que les professionnels qui doivent s’assurer de la qualité de la publication des résultats de sondage. Il est possible d’informer le public, mais le public est-il vraiment intéressé à connaitre les détails du calcul d’une marge d’erreur… permettez-moi d’en douter.

Quant aux abus méthodologiques, je m’efforce de les dénoncer ici, sur le blogue de SOM. Mais j’ai parfois l’impression de « prêcher dans le désert »! Comment pourrions-nous y mettre fin une fois pour toutes? Voilà une excellente question qui mérite réflexion. Sensibiliser davantage le public? Les journalistes? Les travailleurs de l’industrie? Peut-être, mais par quel moyen?