D’entrée de jeu, l’animatrice explique brièvement la méthodologie des sondages sur lesquels s’appuie l’émission :

Les sondages [...] sont faits avec un échantillon qui représente 5,9 millions de Québécois francophones avec une marge d’erreur de 4 %, 19 fois sur 20.

Cette toute petite phrase comporte pas moins de trois erreurs (sans compter les omissions). Pourriez-vous les trouver?

Pour vous aider, voici ce qui était précisé à la toute fin de l’émission, juste avant le générique (oubliez les deux fautes d’orthographe) :

Les trois erreurs

1. Comme il s’agit d’un sondage en ligne, l’échantillon ne représente pas les «Québécois francophones», mais bien les internautes québécois francophones. Ça fait plusieurs fois que j’aborde cette question dans ce blogue (ici et ici par exemple), alors je n’irai pas plus loin. Cela dit, considérant le type de questions posées, il est fort possible que les résultats seraient semblables si l’ensemble de la population (et pas seulement les internautes) avait été interrogée.
2. Évidemment, étant donné qu’on parle des internautes québécois francophones, on ne peut parler de 5,9 millions de personnes. Les internautes québécois adultes qui parlent français représentent tout au plus 4 millions d’individus.
3. Enfin, comme indiqué ci-dessus, il ne s’agit pas d’un échantillon probabiliste (vous avez remarqué l’utilisation du conditionnel «présenterait»?). Dans ce cas, il est impossible de calculer une marge d’erreur et en plus de la diffuser! (Pour plus de détails à ce sujet, lire «Sondages en ligne et marges d’erreur : ne vous laissez pas berner!»)

Par ailleurs, sur une note plus technique, pour que la marge d’erreur maximale soit de 4 % avec un échantillon de 600 répondants (au niveau de confiance de 95 %), il faudrait que les données n’aient pas été pondérées, ce qui est peu probable.

Mon verdict
Ce n’est qu’un «show» de télé, conçu pour divertir. Tourner les coins ronds ne porte donc pas vraiment à conséquence… Mais quand même, provenant d’une société d’État dont j’ai déjà vanté les normes rigoureuses en matière de sondage, on s’attendrait à ce que la méthodologie soit mentionnée clairement et sans erreur, même si c’est en tout petits caractères!

Mise à jour du 13 avril 2010
Ce soir, j’ai pris le temps de regarder (en différé via tou.tv) le deuxième épisode de l’émission. J’ai pu constater avec plaisir que 1) Madame Cloutier ne mentionnait plus de méthodologie erronée (en fait, elle n’en mentionne plus du tout, mais dans mon esprit, vaut mieux ça qu’une métho truffée d’erreurs) et 2) à la fin de l’émission, la note méthodologique ne faisait plus référence à un échantillon probabiliste, comme le montre la capture d’écran ci-dessous. Ça me redonne espoir!!

Bon, je suis certaine que vous me voyez venir, là! En fait, j’ai voulu participer à cette consultation en remplissant le dit questionnaire… mais les quelques frustrations que j’ai éprouvées m’ont empêchée d’aller jusqu’au bout. Si on avait suivi quelques principes fondamentaux qui guident la conception de questionnaires, l’expérience du répondant (le citoyen dans ce cas-ci) aurait été grandement améliorée.

Contexte des questions
Il est important de faire attention au «contexte» des questions. Dans un questionnaire web en particulier, le moindre petit élément peut influencer le répondant (formulation des questions, design du questionnaire, présence d’images, etc.). Prenons par exemple la question 3 de la consultation prébudgétaire :

Cette question, tout à fait légitime en soi, est précédée d’une longue mise en contexte dans laquelle on précise explicitement : «Il serait difficile de réduire encore plus la croissance de nos dépenses.» C’est peut-être vrai, et je n’entrerai pas dans ce débat – ce n’est pas l’objet de mon propos. Tout ce que je veux montrer, c’est que cet élément peut fortement influencer la réponse.

Logique des questions
Il arrive souvent qu’un questionnaire comporte plusieurs «embranchements». Par exemple, selon qu’on réponde oui ou non à une question, la question suivante peut être différente. Dans l’exemple cité plus haut, on s’attendrait à un tel scénario. Or, même si je choisis de «resserrer davantage les dépenses», la question 4 me demande mes préférences pour «augmenter les revenus»!

Je me serais plutôt attendue à une question du genre : «Quelle approche devrait-il privilégier pour resserrer davantage ses dépenses?» Mais de ça, il n’en est point question… étrange logique, si je puis me permettre.

Questions obligatoires ou facultatives
Les finances publiques ne sont pas une mince affaire : c’est un sujet complexe qui mérite réflexion et analyse. Le site donne d’ailleurs accès à plusieurs sources d’information pour aider le citoyen à se faire une idée. Malgré cela, il est fort possible que nous n’arrivions pas à nous faire une opinion sur une question donnée! Le questionnaire aurait dû prévoir une telle éventualité, soit en rendant les questions facultatives (pouvoir passer à la suivante sans répondre) soit en ajoutant un choix «je ne sais pas» ou «je préfère ne pas répondre». (J’ai déjà écrit un billet à ce sujet.) Dans notre exemple, même si je suis indécise quant aux solutions à mettre de l’avant ou, pire encore, si je suis en désaccord avec les choix de réponse proposés, je suis dans l’obligation d’inscrire une réponse pour continuer.

Des bons points aussi
Dans une perspective pédagogique, je mets évidemment l’accent sur les éléments à améliorer. Mais le questionnaire a également du bon. Par exemple, plusieurs questions fermées sont accompagnées d’un espace pour commenter ses réponses. De plus, le questionnaire comporte deux questions complètement ouvertes pour permettre aux citoyens de s’exprimer librement.

Représentativité et utilisation des résultats de la consultation
Évidemment, il ne s’agit pas d’un sondage, mais d’une consultation publique. C’est sûrement de la «déformation professionnelle», mais j’ai hâte de voir ce qu’on fera des résultats. La nature même de la consultation (participation en ligne volontaire) fait en sorte qu’elle ne peut être représentative de l’ensemble des Québécois… Il sera donc très intéressant de voir comment les données seront interprétées et utilisées.

Globalement, 61 % des internautes québécois sont d’accord avec la nouvelle mesure (tout à fait d’accord : 42 %; plutôt d’accord : 19 %). Proportionnellement, les femmes sont plus nombreuses à être d’accord (69 %) que les hommes (53 %).

A-t-on encore affaire au «mystère Québec»?

Les internautes qui résident dans la région de Québec ont une opinion carrément opposée au reste de la province! En effet, comme le montre le graphique ci-dessous, 66 % des internautes de la région de Montréal sont tout à fait ou plutôt d’accord pour qu’on réduise le taux d’alcoolémie à 0,05… contre seulement 38 % chez les internautes de la région de Québec. Ailleurs en région, ce taux est de 61 %. Voilà de quoi alimenter à nouveau les spéculations sur le « mystère de Québec »!

Êtes-vous d’accord avec cette mesure? (n : 1 113)
Pourcentage des internautes qui se disent d’accord (tout à fait d’accord ou plutôt d’accord)

Pourquoi vouloir mettre en place des mesures qu’on juge inefficaces?

Bonne question, n’est-ce pas? Paradoxalement, même si les gens sont majoritairement d’accord avec la mesure proposée (61 %), les deux tiers (66 %) des internautes croient qu’une telle mesure sera «peu» ou «pas du tout» efficace pour diminuer le nombre d’accidents liés à l’alcool au volant. Cette proportion est significativement plus élevée à Québec (76 %) et parmi les hommes (71 %).

À propos des habitudes de consommation d’alcool et de conduite

Le sondage s’attardait également à quelques questions sur les habitudes de consommation d’alcool et de conduite. Voici les principales ainsi que les réponses obtenues.

Q. Vous arrive-t-il de consommer des boissons alcoolisées (ex. : bière, vin, spiritueux)? (Base : tous; n : 1116)

• Souvent : 28 %
• Occasionnellement : 50 %
• Rarement : 15 %
• Jamais : 7 %

La proportion des internautes qui consomment « souvent » est significativement plus élevée dans les groupes suivants : les résidents de la région de Québec (41 %); les mieux nantis (revenu familial de 75 000 $ et plus : 37 %); les individus qui ont une scolarité universitaire (34 %); les hommes (31 %).

Q. Vous arrive-t-il de conduire un véhicule après avoir bu, ne serait-ce qu’un seul verre? (Base : tous, à l’exclusion de ceux qui ne boivent « jamais »; n : 1026)

• Souvent : 8 %
• Occasionnellement : 25 %
• Rarement : 32 %
• Jamais : 26 %
• Ne conduit jamais/n’a pas de permis de conduire : 9 %

La proportion des internautes qui conduisent « souvent » un véhicule après avoir bu au moins un verre est plus élevée parmi les résidents de la région de Québec (16 %), les hommes (13 %) et ceux qui ont une scolarité universitaire (11 %).

Q. Si vous croyez avoir dépassé la limite d’alcool permise lorsque vous êtes conducteur, quel comportement adoptez-vous? Choisissez celui qui vous ressemble le plus. (Base : ceux à qui il arrive de conduire un véhicule après avoir bu, ne serait-ce qu’un seul verre; n : 684)

• Demande à quelqu’un de venir le reconduire : 43 %
• Ne dépasse jamais la limite d’alcool permise : 23 % [Cette proportion est significativement plus forte chez les femmes (29 %) et les internautes de 55 ans ou plus (38 %) alors qu'elle est plus faible chez les hommes (19 %) et les jeunes de 18 à 34 ans (14 %).]
• Prend un taxi : 15 %
• Appelle Opération Nez Rouge : 6 % [45-54 ans : 11 %]
• Conduit tout de même son véhicule : 6 % [18-34 ans : 23 %; 55 ans ou plus : 7 %]
• Rentre à pied : 3 %
• Autre : 4 %

Méthodologie

Ce sondage en ligne a été mené du 16 au 21 décembre 2009 auprès de 1 116 internautes québécois. Cet échantillon est tiré du panel Or de SOM, lequel est constitué de répondants recrutés de façon aléatoire. La marge d’erreur maximale pour l’ensemble est de 3,3 %, 19 fois sur 20. Elle augmente toutefois lorsque les questions portent sur un sous-groupe de l’échantillon.

Pour plus d’information sur les résultats du sondage, communiquez avec moi par courriel (jfortin@som.ca) ou par téléphone au (418) 687-8025.

Un sondage SOM pour le Bureau d’assurance du Canada

Saviez-vous que le constat amiable, ce formulaire à remplir lors d’un accident d’automobile où il n’y a pas de blessés, fête ses 30 ans? C’est en effet en 1979 qu’il a fait son apparition dans nos voitures (ou dans celles de nos parents pour certains!).

Un récent sondage SOM mené pour le compte du Bureau d’assurance du Canada (BAC) révèle que le constat amiable est un outil bien connu, mais relativement peu utilisé :

• Deux tiers des Québécois (67 %) affirment bien ou très bien connaître le constat amiable.
• En revanche, cet outil demeure peu utilisé à l’extérieur de Montréal et de Québec. En effet, seulement 28 % des automobilistes l’ont utilisé pour rapporter un accident sans blessés (comparativement à 58 % à Montréal et à 48 % à Québec).

Le sondage montre aussi que quelques mythes perdurent… Par exemple :

• Une majorité de répondants (59 %) croient – à tort – que c’est le policier appelé sur les lieux qui détermine la part de responsabilité de chacune des parties impliquées dans un accident. Or, c’est l’assureur qui établit le niveau de responsabilité de son client à l’aide de la Convention d’indemnisation directe (CID).
• 68 % des Québécois font fausse route en pensant que remplir ce document constitue une reconnaissance de responsabilité.

Voir le communiqué de presse du Bureau d’assurance du Canada pour plus de détails sur les résultats, mais également sur la façon d’utiliser un constat amiable.

Méthodologie
Ce sondage téléphonique a été mené du 17 au 26 juin 2009 auprès de 1006 adultes québécois. Les données ont été pondérées afin de refléter les caractéristiques de la population. La marge d’erreur pour l’ensemble des répondants est de 4,0 %, 19 fois sur 20. Elle augmente toutefois lorsque les données concernent un sous-groupe de l’échantillon.

Près d’un internaute sur 4 (23 %) estiment plutôt que la crise est «plus grave» ou «beaucoup plus grave» que prévu. Cette proportion est significativement différente dans certains groupes. Par exemple :

• Les plus jeunes sont moins nombreux à faire ce constat (15 %) que les plus âgés (45-54 ans : 28 %; 55 ans et plus : 33 %). L’insouciance de la jeunesse?
• Les mieux nantis (revenu personnel de 55 000 $ et plus ; revenu familial de 75 000 $ et plus) sont également moins nombreux à juger la crise plus grave (18 %). Avoir plus d’argent met-il à l’abri?

Seuls 6 % des internautes disent avoir «grandement souffert» de la crise économique

En fait, 29 % des internautes disent avoir soit grandement (6 %) soit moyennement (23 %) souffert de la crise économique, comme le montre le graphique ci-dessous. Les internautes les plus touchés (ceux qui disent avoir «grandement souffert») sont proportionnellement plus nombreux parmi les segments suivants :

• Ceux qui ont les revenus les plus bas (revenu personnel de moins de 15 000 $ : 13 %; revenu familial de moins de 15 000 $ : 17 %);
• Les locataires (9 % contre 4 % chez les propriétaires d’une résidence);
• Les moins scolarisés (aucun diplôme ou diplôme d’études secondaires : 8 %).

Jusqu’à maintenant, avez-vous personnellement souffert de la crise économique?
(n : 2 215)

Les internautes d’abord touchés par la diminution de la valeur de leurs épargnes (15 %) et une baisse considérable du revenu annuel (13 %)

Ceux qui ont souffert de la crise économique étaient invités à indiquer de quelle façon la crise économique les a affectés. En recalculant les réponses sur la base de tous les internautes, on peut faire les constats suivants :

• Un peu moins d’un internaute sur cinq (15 %) a vu ses épargnes diminuer de façon significative;
• 13 % d’entre eux ont constaté une diminution considérable du revenu familial;
• 12 % des internautes québécois disent avoir dû reporter l’achat de biens importants;
• 11 % ont modifié des projets de vacances.

Comment la crise économique vous a-t-elle affecté? Cochez toutes les réponses qui s’appliquent à votre situation.
(n : 2237; plusieurs réponses possibles)

Perception du rôle des gouvernements : une majorité d’internautes (60 %) en désaccord avec les subventions accordées aux entreprises privées

• Les mesures mises en place par les gouvernements du Québec et du Canada (ex. : dépenses publiques, programmes de subventions) sont jugées adéquates par près de la moitié des internautes (47 %); 11 % d’entre eux croient plutôt qu’elles sont trop généreuses alors que pour 42 % des internautes, les mesures sont insuffisantes.
• Dans le contexte de la crise économique, 60 % des internautes sont en désaccord (plutôt en désaccord, tout à fait en désaccord) avec les subventions aux entreprises privées, comme ce fut le cas pour GM par exemple.
• Plus de la moitié des internautes (56 %) croient que l’intervention des gouvernements a permis de réduire les effets négatifs de la crise économique. Les plus convaincus à cet égard sont les 65 ans et plus (71 %), ceux qui ont un diplôme universitaire (65 %), les hommes (64%) ainsi que les résidents de la région de Québec (62 %).

Méthodologie
Ce sondage Web a été mené du 25 au 30 septembre 2009 auprès de 2 237 internautes québécois. Cet échantillon est tiré du panel Or de SOM, lequel est constitué de répondants recrutés de façon aléatoire. La marge d’erreur maximale pour l’ensemble est de 3,1 %, 19 fois sur 20.

Ainsi, en 2007-2008, 446 projets d’une valeur de près de 25 millions de dollars ont été coordonnés par la Direction de la recherche sur l’opinion publique (volume en diminution par rapport à l’année précédente). Les ministères les plus actifs ont été Santé Canada, Ressources humaines et Développement social Canada, l’Agence du revenu du Canada, la Défense nationale et Ressources naturelles du Canada.

Le rapport présente également les faits saillants des projets financés. Ceux-ci prennent plusieurs formes (recherche quantitative et recherche qualitative) et portent sur des sujets variés (ex. : consommation de tabac chez les jeunes, attitudes des Canadiens à l’égard des enjeux du milieu du travail, évaluation des services gouvernementaux électroniques, etc.).

Quels avantages pour les Canadiens?

Pourquoi, en effet, payer pour faire de la recherche sur l’opinion publique? Parce qu’à part les élections, c’est probablement le meilleur moyen de dire au(x) gouvernement(s) ce que vous pensez vraiment…

La recherche sur l’opinion publique (ROP) profite aux Canadiens. C’est un outil important dont dispose le gouvernement pour intégrer le public au processus démocratique. En comprenant mieux les opinions et les attitudes des citoyens, le gouvernement peut élaborer des politiques, des programmes et des services plus significatifs et communiquer plus efficacement avec les personnes qu’il dessert. La ROP est également utilisée pour jauger le niveau de rendement des programmes du gouvernement et pour améliorer la qualité de ses opérations. (Cet extrait du rapport se retrouve ici.)

Si on considère que les dernières élections fédérales ont coûté à elles seules près de 300 millions de dollars (source : Rapport du Directeur général des élections du Canada sur la 40e élection générale du 14 octobre 2008 – format PDF – p. 35), la recherche sur l’opinion publique s’avère relativement peu coûteuse pour connaître les opinions et perceptions de l’ensemble des Canadiens.

Le rapport annuel sur la recherche sur l’opinion publique au Canada est entièrement consultable en format HTML, mais également disponible en format PDF.

Environ trois semaines avant les élections du Québec – j’étais alors au même resto rapide dont Julie parlait ici - je suis tombé, entre deux bouchées de mon succulent burger, sur un article de Marie-France Bazzo publié dans le journal de Québec. Elle y explique pourquoi elle n’ira pas voter. En substance, l’élection ne l’inspire pas car nos politiciens ne comprennent pas la «soif d’idéal» de l’électorat; elle recommande même de ne pas aller voter et d’alerter ainsi la classe politique «par un significatif ras-le-bol, quelque chose comme à peine 50 % de taux de participation.» (Elle doit être contente, il y a eu 57 % de participation à l’élection du 8 décembre.) Pour moi, c’est un triste moment de journalisme que cette promotion de l’abstention!

Un passage de son article m’apparaît cependant plus intéressant :

Comme citoyenne, je peux m’exprimer à travers des groupes, des lobbys, intervenir sur la place publique. En ce moment, ce pouvoir est plus précieux et plus efficace que mon vote.

Là, je suis entièrement d’accord. Il y a bien d’autres moyens pour exprimer son opinion! Le sondage d’opinion publique est l’un de ceux-là – et je ne parle pas que des sondages sur les intentions de vote. Une myriade de dimensions de notre vie collective sont touchées et mesurées par le sondage d’opinion.

Cependant, la population semble se retirer tout autant des sondages que des élections. J’ai fait l’exercice de comparer les taux de réponse des 15 dernières années de nos sondages omnibus téléphoniques réalisés auprès du grand public, avec les taux de participation aux élections générales du Québec, depuis 1994. Voyez plutôt…

Les taux de réponse ont chuté depuis 12 ans, enregistrant une variation à la baisse de 27%! Aux élections générales, le taux de participation des citoyens passent de 81% à 57% entre 1994 et 2008, soit une diminution de 24% en 14 ans. Le parallèle entre ces deux courbes est troublant : l’évolution du comportement de la population à l’égard des sondages et des élections est tellement similaire… Je ne me risquerai cependant pas à essayer d’expliquer cette similarité. Bien sûr, on pourrait dire que le sondage d’opinion est un dinosaure en voie de disparition (comme les élections?). Mais l’explication me semble un peu facile…

Dans un prochain billet, je parlerai de l’évolution des taux de réponse au Québec, au Canada et aux États-Unis. On verra que le phénomène observé depuis les 15 dernières années là-bas n’est qu’un prélude à ce qui pourrait se passer ici à l’avenir. Si mon hypothèse voulant que les taux de réponse aux sondages et les taux de participation aux élections suivent une courbe parallèle s’avère, le Québec, hélas, semble simplement en passe de rattraper le «retard» qu’il avait pris au chapitre du désengagement civique.

Sources des données
Les taux de réponse sont ceux du mois de mars de chaque année du sondage omnibus téléphonique de SOM (le SOM-R), 1 000 répondants par sondage, 2 à 5 sondages téléphoniques par mois. Les taux de participation aux élections générales proviennent du site Web du Directeur général des élections (document PDF).

En 1936, six candidats s’affrontaient pour la présidence des États-Unis, dont le démocrate Franklin D. Roosevelt, président en poste, et son principal adversaire, le Républicain Alfred M. Landon. Avant l’élection, la revue Literary Digest distribua un sondage afin d’anticiper l’issue du scrutin. Près de dix millions de bulletins de sondage furent distribués aux abonnés du magazine, à des gens figurant au bottin téléphonique, à des propriétaires d’automobiles et à des gens inscrits sur les listes électorales. Bien que la participation au sondage se faisait volontairement, plus de deux millions de bulletins ont été retournés. Le Literary Digest ayant prédit correctement le résultat des cinq élections présidentielles précédentes, toute l’Amérique s’attendait à une passation des pouvoirs lorsqu’il annonça que le prochain président serait Alfred M. Landon.

Pendant ce temps, un sondeur peu connu du nom de George Gallup organisa lui aussi un sondage pour déterminer le gagnant de l’élection. Contrairement au Literary Digest, qui s’en remettait à la participation volontaire des nombreux individus contactés, Gallup contacta seulement quelques individus sélectionnés à la suite d’un échantillonnage aléatoire. Sûr de ses moyens, il fit non pas une, mais deux prédictions : 1) le Literary Digest annoncera la victoire de Landon, et 2) Roosevelt remportera l’élection. Dans les deux cas, Gallup visa juste.

George Gallup marquait ainsi l’histoire des sondages! Mais au-delà de son intérêt historique, l’anecdote rappelle un fait fondamental : même si on interroge un très grand nombre de répondants, rien ne garantit que l’échantillon soit représentatif si des mesures ne sont pas prises en ce sens. La manière de sélectionner les individus à sonder influence fortement les résultats qu’on va obtenir.