En 12 ans, la proportion de refus passe du simple au double au Québec alors que les taux de réponse chutent quasiment dans la même proportion. Pourtant, notre situation est privilégiée par rapport au reste du Canada et aux États-Unis! Le Council for Marketing and Opinion Research (CMOR), une association américaine, publiait en 2004 des statistiques sur les taux de réponse moyens aux États-Unis. Pour les enquêtes téléphoniques «grand public» avec composition aléatoire des numéros de téléphone, le taux de réponse moyen se situait à… 9,2%!

Évolution des taux de réponse aux sondages omnibus téléphoniques du mois de mars
(1 000 répondants par sondage – 2 à 5 sondages par mois)

Un rapport fréquemment cité concernant la chute des taux de réponse est celui du sondage national sur les attitudes des consommateurs (National Survey of Consumer Attitudes) de l’Université du Michigan. Celui-ci montre une baisse moyenne annuelle de 1 % du taux de réponse depuis les 25 dernières années. Ce sondage, réputé pour sa qualité, obtenait un taux de réponse de 72 % en 1979. Malgré des efforts soutenus et très coûteux, le taux de réponse a décliné jusqu’à 48 % en 2003 – et même plus bas dans les zones urbaines (source : Richard Curtin, Stanley Presser et Eleanor Singer (2005), «Changes in Telephone Survey Nonresponse over the Past Quarter Century», Public Opinion Quarterly, vol. 69, no 1, p. 87-98).

On peut penser sans trop exagérer que nous nous trouvons en ce moment au Québec dans la situation où se trouvaient les États-Unis il y a vingt ans. Il semble inévitable que nous nous dirigions vers des taux de refus similaires dans un futur assez rapproché. La détérioration rapide et importante des taux de réponse aux sondages préoccupe un grand nombre de chercheurs, car elle pose la difficile question de la représentativité de nos études. Est-ce que l’information que nous donnons aux décideurs, au public ou à la communauté scientifique est valable? Certains songent à se tourner vers les sondages web, mais le taux de réponse diminue là également. Les sondages Web comportent par ailleurs d’autres types de limites.

Voilà un bien sombre tableau pour l’avenir de la recherche quantitative diront certains! Comme tout problème, je pense qu’il doit être considéré comme une opportunité de changement et de développement… j’y reviendrai dans un prochain billet.

Environ trois semaines avant les élections du Québec – j’étais alors au même resto rapide dont Julie parlait ici - je suis tombé, entre deux bouchées de mon succulent burger, sur un article de Marie-France Bazzo publié dans le journal de Québec. Elle y explique pourquoi elle n’ira pas voter. En substance, l’élection ne l’inspire pas car nos politiciens ne comprennent pas la «soif d’idéal» de l’électorat; elle recommande même de ne pas aller voter et d’alerter ainsi la classe politique «par un significatif ras-le-bol, quelque chose comme à peine 50 % de taux de participation.» (Elle doit être contente, il y a eu 57 % de participation à l’élection du 8 décembre.) Pour moi, c’est un triste moment de journalisme que cette promotion de l’abstention!

Un passage de son article m’apparaît cependant plus intéressant :

Comme citoyenne, je peux m’exprimer à travers des groupes, des lobbys, intervenir sur la place publique. En ce moment, ce pouvoir est plus précieux et plus efficace que mon vote.

Là, je suis entièrement d’accord. Il y a bien d’autres moyens pour exprimer son opinion! Le sondage d’opinion publique est l’un de ceux-là – et je ne parle pas que des sondages sur les intentions de vote. Une myriade de dimensions de notre vie collective sont touchées et mesurées par le sondage d’opinion.

Cependant, la population semble se retirer tout autant des sondages que des élections. J’ai fait l’exercice de comparer les taux de réponse des 15 dernières années de nos sondages omnibus téléphoniques réalisés auprès du grand public, avec les taux de participation aux élections générales du Québec, depuis 1994. Voyez plutôt…

Les taux de réponse ont chuté depuis 12 ans, enregistrant une variation à la baisse de 27%! Aux élections générales, le taux de participation des citoyens passent de 81% à 57% entre 1994 et 2008, soit une diminution de 24% en 14 ans. Le parallèle entre ces deux courbes est troublant : l’évolution du comportement de la population à l’égard des sondages et des élections est tellement similaire… Je ne me risquerai cependant pas à essayer d’expliquer cette similarité. Bien sûr, on pourrait dire que le sondage d’opinion est un dinosaure en voie de disparition (comme les élections?). Mais l’explication me semble un peu facile…

Dans un prochain billet, je parlerai de l’évolution des taux de réponse au Québec, au Canada et aux États-Unis. On verra que le phénomène observé depuis les 15 dernières années là-bas n’est qu’un prélude à ce qui pourrait se passer ici à l’avenir. Si mon hypothèse voulant que les taux de réponse aux sondages et les taux de participation aux élections suivent une courbe parallèle s’avère, le Québec, hélas, semble simplement en passe de rattraper le «retard» qu’il avait pris au chapitre du désengagement civique.

Sources des données
Les taux de réponse sont ceux du mois de mars de chaque année du sondage omnibus téléphonique de SOM (le SOM-R), 1 000 répondants par sondage, 2 à 5 sondages téléphoniques par mois. Les taux de participation aux élections générales proviennent du site Web du Directeur général des élections (document PDF).

En 1936, six candidats s’affrontaient pour la présidence des États-Unis, dont le démocrate Franklin D. Roosevelt, président en poste, et son principal adversaire, le Républicain Alfred M. Landon. Avant l’élection, la revue Literary Digest distribua un sondage afin d’anticiper l’issue du scrutin. Près de dix millions de bulletins de sondage furent distribués aux abonnés du magazine, à des gens figurant au bottin téléphonique, à des propriétaires d’automobiles et à des gens inscrits sur les listes électorales. Bien que la participation au sondage se faisait volontairement, plus de deux millions de bulletins ont été retournés. Le Literary Digest ayant prédit correctement le résultat des cinq élections présidentielles précédentes, toute l’Amérique s’attendait à une passation des pouvoirs lorsqu’il annonça que le prochain président serait Alfred M. Landon.

Pendant ce temps, un sondeur peu connu du nom de George Gallup organisa lui aussi un sondage pour déterminer le gagnant de l’élection. Contrairement au Literary Digest, qui s’en remettait à la participation volontaire des nombreux individus contactés, Gallup contacta seulement quelques individus sélectionnés à la suite d’un échantillonnage aléatoire. Sûr de ses moyens, il fit non pas une, mais deux prédictions : 1) le Literary Digest annoncera la victoire de Landon, et 2) Roosevelt remportera l’élection. Dans les deux cas, Gallup visa juste.

George Gallup marquait ainsi l’histoire des sondages! Mais au-delà de son intérêt historique, l’anecdote rappelle un fait fondamental : même si on interroge un très grand nombre de répondants, rien ne garantit que l’échantillon soit représentatif si des mesures ne sont pas prises en ce sens. La manière de sélectionner les individus à sonder influence fortement les résultats qu’on va obtenir.