En consultant l’un de mes blogues préférés, celui de Vovici, je suis tombée sur cet encart méthodologique (voir plus bas), qui est en fait un formulaire standard de l’AAPOR (American Association for Public Opinion Research). En un clin d’œil, on a accès à tous les renseignements méthodologiques nécessaires pour comprendre la portée des résultats et évaluer la crédibilité des données présentées.

Source : Blogue de Vovici

Il me semble que ce format conviendrait particulièrement bien aux médias; tout en renseignant le lecteur adéquatement, cela montrerait un souci de préserver la rigueur scientifique…!

Il m’arrive souvent de critiquer les résultats de sondage qui paraissent dans les médias (ici et ici par exemple). Trop souvent, la méthodologie est incomplète, trompeuse ou carrément erronée.

De plus, on commet souvent la faute de diffuser une marge d’erreur avec les résultats d’un sondage non probabiliste (ex. : sondage mené auprès d’un panel de volontaires par opposition à un recrutement de panélistes aléatoire – voir à ce sujet la recommandation de l’Association américaine de la recherche sur l’opinion publique).

Mais je lève mon chapeau à l’Agence QMI et à Canoe qui publiaient ce matin les résultats d’un sondage CROP :

Les résultats du sondage reposent sur 1173 questionnaires complétés via Internet du 19 au 24 mars 2010 dans le cadre du sondage omnibus CROP-express. Compte tenu du caractère non probabiliste de l’échantillon web, le calcul de la marge d’erreur est impossible.

C’est la première fois que je vois autant de transparence à l’égard d’un sondage en ligne non probabiliste. J’ai été très agréablement surprise, pour ne pas dire émue!

Lundi soir, c’était la première émission du «Verdict» de Véronique Cloutier. J’avais entendu parler du concept de l’émission, que je trouve plutôt original et non dépourvu d’intérêt soit dit en passant, mais bien honnêtement, j’ai complètement oublié de regarder la première lundi. Mais après que mon collègue Francis Dufour ait piqué ma curiosité ce matin sur la méthodologie utilisée, je me suis reprise en visionnant quelques extraits sur internet.

D’entrée de jeu, l’animatrice explique brièvement la méthodologie des sondages sur lesquels s’appuie l’émission :

Les sondages [...] sont faits avec un échantillon qui représente 5,9 millions de Québécois francophones avec une marge d’erreur de 4 %, 19 fois sur 20.

Cette toute petite phrase comporte pas moins de trois erreurs (sans compter les omissions). Pourriez-vous les trouver?

Lire la suite »

Petit billet léger en ce vendredi… Il faut bien se détendre un peu! Comme j’en ai déjà parlé dans ce blogue, les sondages «express» de type «question du jour» que les médias affectionnent n’ont aucune valeur scientifique (en fait, aucune valeur du tout si vous voulez mon avis). Quoi qu’il en soit, les médias persistent. En plus d’être inutiles, ces sondages frisent parfois le ridicule : des questions futiles ou biaisées, des choix de réponse aberrants. Voici quelques perles que j’ai relevées pour vous… vaut mieux en rire!

Lire la suite »

Ceux qui me lisent régulièrement savent que je dénonce à l’occasion le manque de transparence dans la publication des résultats de sondage (surtout de la méthodologie qui les accompagne; voir par exemple ce billet et celui-ci). Je ne peux malheureusement pas rapporter tous les cas douteux – il y a en chaque semaine dans les médias : des méthodologies écourtées ou trompeuses, des généralisations abusives voire des sondages de pacotille qui ne servent qu’à faire la nouvelle.

Je ne suis certainement pas la seule que ce manque d’éthique chatouille. D’ailleurs, preuve que le charlatanisme est à la hausse, l’AAPOR a lancé récemment The Transparency Initiave. Je vous en parle brièvement aujourd’hui.

Lire la suite »

Éric-Pierre Gibeault, dans un article de La Presse Affaires, fait référence au plus récent sondage SOM/BRANCHEZ-VOUS.COM portant sur l’utilisation personnelle d’Internet au travail. Voilà qui est très bien! J’aurais toutefois aimé qu’il ne tombe pas dans le piège de ce que je dénonce souvent sur ce blogue : une méthodologie non pas floue dans ce cas-ci, mais carrément amputée des détails les plus importants. Voyez par vous-même…

La méthodologie que j’ai communiquée (sur ce blogue, sur bénéfice.net, dans le communiqué de presse) :

Ce sondage Web a été mené du 11 au 17 août 2009 auprès de 1297 internautes québécois qui travaillent en entreprise ou dans une organisation (et non à la maison). Cet échantillon est tiré du panel Or de SOM, lequel est constitué de répondants recrutés de façon aléatoire. La marge d’erreur maximale pour l’ensemble est de 4,8 %, 19 fois sur 20.

La méthodologie communiquée par le journaliste de La Presse Affaires hier :

Le sondage SOM, réalisé pour Branchez-Vous, a été effectué du 11 au 17 août dernier auprès de 1297 travailleurs. La marge d’erreur maximale est de 4,8%, 19 fois sur 20.

Lire la suite »

Je sais, je ne devrais pas dénigrer nos concurrents. Ce n’est pas bien. Mais si je tais le nom dudit concurrent, me permettez-vous une toute petite pointe?

À moins que vous ne soyez nouveau ou nouvelle ici, vous savez toute l’importance que j’accorde à la méthodologie rigoureuse et à la transparence, notamment lorsqu’il est question d’expliquer la méthodologie utilisée pour un sondage. Ce sont là deux valeurs extrêmement importantes pour SOM.

Quand j’ai vu ceci dans un journal récemment, j’ai d’abord été intriguée. Après vérification, je suis tout simplement choquée… Lisez d’abord l’extrait, je vous expliquerai pourquoi ensuite.

Lire la suite »

Il m’est arrivé à quelques reprises, dans ce blogue, de critiquer les médias pour la façon dont ils diffusent les résultats de sondage. Je leur ai déjà reproché, par exemple, de faire la nouvelle avec n’importe quoi en diffusant les résultats de sondages non scientifiques.

En me «promenant» sur Internet, je suis récemment tombée sur les normes de production de Radio-Canada en matière de sondages, que j’ai trouvées exemplaires! On insiste sur l’importance de la rigueur méthodologique et l’information à transmettre au public.

Lire la suite »

…avant de publier les résultats d’un sondage!

C’est le titre d’un article de Sheldon R. Gawiser et G. Evans Witt, du National Council on Public Polls, dont j’ai pris connaissance via le blogue de MarketResearch.

J’en ai déjà parlé, il arrive que les journalistes publient n’importe quoi en matière de sondage. Les questions qu’on retrouve dans cet article visent justement à aider les journalistes : ont-ils entre les mains un sondage scientifique? Doivent-ils rapporter les résultats de tel sondage?

Lire la suite »

Vendredi passé, c’était dîner fast food avec quelques collègues de travail. Qui dit resto rapide dit également… multiples exemplaires du Journal de Québec qui traînent sur les tables. Dans son édition du vendredi 3 octobre, le Journal de Québec annonçait à la une les résultats d’un sondage sur l’écoute de la télévision en famille. Par intérêt professionnel, nous avons consulté les deux pages entières consacrées aux résultats de ce sondage (p. 46 et 47).

Ce sont évidemment les pourcentages – parce qu’énormes et je parle ici de la taille des caractères - qui attirent l’attention du lecteur en premier dans cette mise en page. On y lit par exemple que «77 % des répondants écoutent la télé en famille» ou encore que «45 % d’entre eux regardent les nouvelles en famille». La discussion allait bon train devant notre hamburger: on commentait la formulation des questions et les réponses obtenues jusqu’à ce que… je lise la phrase suivante dans l’article :

Lire la suite »

La parution du dernier communiqué de presse de l’indice du commerce électronique CEFRIO-VDL2-SOM dont Julie faisait mention ici, a éveillé l’intérêt du journaliste Martin Everell de TVA.

Il dresse un bon portrait de l’état du commerce électronique au Québec en faisant quelques clins d’oeil à nos résultats d’enquête. J’ai été l’heureux élu (ou plutôt la seule personne disponible en ce mardi 12 août pluvieux) appelé à commenter certains résultats.

On peut voir le reportage en cliquant ici ou télécharger le fichier (format wmv) ici. Édition : Malheureusement, le reportage n’est plus disponible à cette adresse.

Mon collègue Éric Lacroix a donné une entrevue à TVA hier à propos de la participation et des retombées du RedBull Crashed Ice, cet événement de sport extrême qui s’est tenu dans les rues de Québec en janvier dernier.

SOM a effectué quatre enquêtes spécifiques pendant et après l’événement pour évaluer la fréquentation de l’Édition 2008 du Red Bull Crashed Ice, la provenance et le profil des visiteurs de même que les dépenses des touristes et les retombées économiques qui en découlent.

On peut voir le reportage de Nicolas Vigneault ici et constater que l’événement a été un succès: 130 000 visites en deux jours, dont 91 000 personnes aux finales! Édition : malheureusement, le reportage n’est plus disponible à cette adresse.