Les niveaux de confiance les plus souvent utilisés en statistique sont 90 %, 95 % et 99 %. Plus le niveau de confiance est élevé, plus la marge d’erreur associée aux résultats sera élevée. Logique, non?

En effet, pour être sûr à 99 % qu’un résultat provenant d’un échantillon se situe dans un intervalle qui contient la valeur que l’on retrouverait en réalité dans la population, cet intervalle doit être plus grand (et donc la marge d’erreur plus élevée) que si on est sûr à seulement 90 %. Mais lequel choisir?

Heureusement pour tout le monde, le niveau de confiance de 95 % fait généralement consensus dans le petit monde de la recherche. Pour des explications un peu plus détaillées sur le sujet, je vous suggère cet article de l’Université du Connecticut.

Lorsque vous vous intéressez aux différences entre des segments de consommateurs, le choix du niveau de confiance retenu n’est pas sans conséquence. Par exemple, le niveau de confiance de 90 % vous mettra sur la piste de nombreuses différences, mais vous vous tromperez en moyenne 1 fois sur 10, alors qu’à 99 %, la proportion de conclusions fallacieuses tombera à 1 %.

Vous avez du mal à vous «brancher»? Notez que pour plaire à tout le monde, SOM a pris l’habitude d’intégrer dans ses tableaux de résultats les trois niveaux de confiance pour souligner les différences significatives, avec chacun leur symbole respectif. Vous aurez donc l’embarras du choix.

Ce billet a ébranlé votre niveau de confiance? Rassurez-vous. Vous trouverez ici quelques exemples visuels pour consolider votre compréhension.

* Vincent Bouchard est vice-président Marketing chez SOM.

En effet, la statistique nous apprend qu’un échantillon de moins de 30 répondants ne vaut rien… Mais qu’à partir de 30, tout baigne. Alors d’où vient cette obsession de toujours vouloir interroger 400, 500 voire 1 000 répondants?

30, un chiffre «magique»?

Bien que techniquement, un échantillon de 30 répondants sélectionnés de manière probabiliste soit effectivement représentatif d’une population donnée, les résultats issus de cet échantillon souffriront d’une grande imprécision. D’où l’intérêt d’augmenter les tailles d’échantillon, particulièrement dans les cas où on souhaite un niveau de précision élevé par segment de marché.

Mais attention, votre enthousiasme pour les gros échantillons sera vite tempéré par des considérations budgétaires. En effet, bien qu’un échantillon de 1000 répondants soit deux fois plus coûteux (ou à peu près) qu’un échantillon de 500 répondants, il n’est pas deux fois plus précis. Il faut en fait quadrupler la taille d’un échantillon pour voir diminuer de moitié la marge d’erreur. C’est donc un pensez-y-bien!

La taille de l’échantillon dépend du niveau de précision souhaité

Mais revenons à l’échantillon représentatif de 30 répondants. En pratique, le strict minimum que l’on recommande à nos clients est généralement autour de 100. Au-delà de ce seuil, les tailles d’échantillon dépendent de la valeur que l’on accorde au niveau de précision accru que l’on obtient et à la présence ou non de segments de marché pour lesquels on veut obtenir un niveau de précision acceptable.

Quant à l’impact de la taille de la population sur la taille de l’échantillon, oubliez les rumeurs qui circulent à ce sujet. Dans des contextes de grandes populations (ex. : le Canada ou les États-Unis), la taille de la population n’a aucune incidence perceptible sur la taille de l’échantillon, pourvu que l’échantillon soit constitué au hasard (échantillon probabiliste). C’est pourquoi les sondages politiques, par exemple, sont généralement effectués avec 1 000 répondants, peu importe de quel côté de la frontière.

Pour vous convaincre de cette grande vérité, considérez l’exemple culinaire suivant. Lorsque vous cuisinez des pâtes pour un groupe de 8 personnes, vérifiez-vous la cuisson d’une plus grande quantité de pâtes avant de les servir que lorsque vous cuisinez seulement pour vous?

* Vincent Bouchard est vice-président Marketing chez SOM.

À lire aussi :

• Déterminer la taille d’un échantillon… sans y perdre son latin!
• L’ABC des méthodes d’échantillonnage (partie 1)
• L’ABC des méthodes d’échantillonnage (partie 2)

Je vous invite à lire cet article de Leonard Mlodinow paru dans le Wall Street Journal un peu plus tôt ce mois-ci… Comme quoi la statistique est utile dans tous les domaines!

Pour faire une histoire courte, le statisticien Robert Hodgson, professeur retraité de la Humboldt State University et propriétaire d’un petit vignoble, s’est demandé pourquoi un vin pouvait gagner une médaille dans une compétition et être déchu dans une autre… Il n’en fallait pas plus pour qu’il étudie la question d’un point de vue statistique. Ses conclusions ont fait l’objet de deux articles dans le Journal of Wine Economics.

Voici quelques-unes de ses observations :

• Dans une première étude, le statisticien a utilisé un processus de «dégustation à l’aveugle» où chaque vin était soumis trois fois aux mêmes juges. Pour un même vin, les scores attribués par les juges variaient de ±4 points sur une échelle allant généralement de 80 à 100. Ainsi, un vin évalué à 91 lors d’un premier test pouvait souvent être évalué à 87 ou 95 dans le suivant. Plusieurs juges ont fait pire, alors que seulement 1 juge sur 10 a réussi à évaluer le même vin avec une marge de ±2 points.

• Dans une autre étude, il a étudié les pointages obtenus par tous les vins à différentes compétitions. Il en conclut que la probabilité qu’un vin gagne une médaille d’or dans une compétition et qu’il ne gagne rien dans une autre est élevée : les médailles semblaient être décernées au hasard puisque chaque vin avait environ 9 % de chance d’être primé.

Je ne sais pas si ça influencera votre opinion, mais rappelez-vous, «quand le vin est tiré (même au hasard), il faut le boire!»

Dans son Bulletin de l’analyse en innovation de juin 2009 (PDF), Statistique Canada publie un article sur L’utilisation d’Internet : comparaison internationale et interprovinciale. Voici quelques données.

Le Canada

• Le taux d’utilisation d’Internet au Canada était de 77 % en 2007, en hausse par rapport à 2005 (72 %).
• Comparé à 26 pays, la plupart européens, le Canada arrive au 8e rang.
• Les premiers rangs sont occupés principalement par les pays scandinaves.

Le Québec

• Le Québec arrive au 8e rang des 10 provinces canadiennes, devant le Nouveau-Brunswick et Terre-Neuve-et-Labrador.
• L’article ne mentionne pas les données de toutes les provinces, mais selon le graphique, le taux d’utilisation d’Internet au Québec avoisine les 72 %.
• C’est la Colombie-Britannique qui occupe le 1er rang des provinces canadiennes, avec un taux de l’ordre de 82 %.

Méthodologie
L’enquête canadienne sur l’utilisation d’Internet (2007) a été réalisée auprès de 26 500 Canadiens âgés de 16 à 74 ans. Elle n’inclut pas les 75 ans et plus, et ce, pour pouvoir comparer les données canadiennes avec celles d’Eurostat, l’organisme statistique de l’Union européenne.

(Via Jean-François Ferland de Direction informatique)

C’est le titre d’un article de Sheldon R. Gawiser et G. Evans Witt, du National Council on Public Polls, dont j’ai pris connaissance via le blogue de MarketResearch.

J’en ai déjà parlé, il arrive que les journalistes publient n’importe quoi en matière de sondage. Les questions qu’on retrouve dans cet article visent justement à aider les journalistes : ont-ils entre les mains un sondage scientifique? Doivent-ils rapporter les résultats de tel sondage?

Unscientific pseudo-polls are widespread and sometimes entertaining, but they never provide the kind of information that belongs in a serious report.

Les questions sont toutes accompagnées d’un commentaire. Je vous en rapporte quelques-unes ici.

• Qui a fait le sondage?
  C’est toujours la première question à poser. Si vous ne pouvez y répondre, vous ne pouvez répondre aux questions subséquentes.
• Qui paie pour faire le sondage et pourquoi est-il mené?
  Les sondages ne sont pas effectués pour le «bien-être de l’humanité». Quelqu’un, quelque part, a une raison bien précise de connaître l’opinion ou les perceptions de tel groupe d’individus.
• Comment les répondants ont-ils été choisis?
  Les méthodes d’échantillonnage y sont pour beaucoup dans la scientificité d’un sondage. C’est donc à examiner avec attention!
• Les résultats présentés sont-il basés sur l’ensemble des répondants?
  Il faut toujours se rappeler que lorsque des données sont présentées pour un sous-groupe de l’échantillon, la marge d’erreur est généralement plus élevée. Aussi, si on veut parler uniquement d’un sous-groupe il faut s’assurer que le nombre d’individus qui le composent est assez grand.
• Le sondage a-t-il été fait sur le Web?
  Les sondages Web peuvent être scientifiques s’ils respectent les règles de l’art. Mais attention! La méthode doit être scrupuleusement évaluée puisque de nombreux sondages Web font appel à des volontaires plutôt que d’utiliser des méthodes d’échantillonnage reconnues.
• Quand le sondage a-t-il été fait?
  Les événements peuvent dramatiquement changer l’opinion publique. Un exemple? Si vous aviez fait un sondage sur la perception de la population à l’égard de la menace d’une pandémie d’influenza la semaine dernière, il ne serait plus d’actualité! En effet, la nouvelle grippe porcine, que les médias s’efforcent de nous présenter comme la prochaine catastrophe, a sûrement un effet sur l’opinion publique!

Et il y a plusieurs autres questions et réponses toutes plus intéressantes les unes que les autres. C’est à lire!

L’auteur traite des six dimensions qu’il juge importantes pour assurer la qualité des données :

1. L’exactitude
2. La pertinence
3. L’actualité
4. L’accessibilité
5. L’intelligibilité
6. La cohérence

Ça vaut la peine de s’y attarder. Bien que l’auteur fasse référence à la gestion d’un bureau de statistique gouvernemental (BSG), les dimensions retenues s’appliquent tout autant à une maison de sondage. Je vous les décris en quelques mots, en adaptant parfois les propos de M. Brackstone à la réalité d’une firme comme SOM.

L’exactitude
L’exactitude des données de sondage est un aspect essentiel de la qualité des données. Dès la conception du projet de recherche jusqu’à sa conclusion, une foule de mesures doivent être prises pour s’assurer d’obtenir des données exactes, par exemple : un plan d’échantillonnage adéquat, le prétest du questionnaire, la maximisation du taux de réponse, l’écoute des entrevues, un codage uniforme des questions ouvertes, une pondération, un traitement des données et des tests statistiques appropriés, etc. L’exactitude ne peut être garantie que par la rigueur de la méthodologie.

La pertinence
Les données sont pertinentes lorsqu’elles sont utiles! Pour générer des données pertinentes, le sondeur doit comprendre les grandes lignes du domaine de recherche de son client. Sans être un expert, il doit au moins saisir quelle utilisation le client fera des données recueillies, et ce, afin de produire des données mais aussi des analyses pertinentes.

L’actualité
L’actualité correspond à la période qui s’écoule entre la date où les données sont recueillies et la date à laquelle les résultats sont disponibles. Des données de qualité sont actuelles, c’est-à-dire récentes, pour que leur utilisation ait une valeur ajoutée. Il serait totalement inutile, par exemple, de publier des données sur les habitudes d’Internet vieilles de deux ans!

L’accessibilité
Pour l’auteur, l’accessibilité «vise à garantir que les utilisateurs peuvent déterminer quelles données sont disponibles et les consulter selon un mode de présentation qui leur convient.» Comme les données produites par une maison de sondage sont souvent privées (par opposition à publiques dans les BSG), on s’assurera de remettre les données au client dans une forme appropriée (préfère-t-il un rapport? une banque de données? des tableaux statistiques? des graphiques?). On s’assurera également de protéger la confidentialité des renseignements personnels.

L’intelligibilité
L’intelligibilité consiste à «fournir aux utilisateurs l’information dont ils ont besoin pour évaluer et utiliser les données.» Pour ce faire, il importe de documenter la méthodologie du sondage de façon détaillée. Le client pourra ainsi comprendre la portée des résultats et les limites inhérentes à l’enquête. De plus, pour être intelligibles pour le client, les données doivent être replacées dans le contexte de la problématique étudiée.

La cohérence
Les données livrées au client doivent être cohérentes entre elles : exemptes d’erreurs ou de zones grises qui rendraient l’interprétation incertaine; uniformes dans leur traitement et leur présentation. De plus, lorsqu’un sondage est effectué plusieurs fois pour un client (à tous les ans par exemple), il importe de maintenir la cohérence d’un sondage à l’autre, et ce, afin d’obtenir des données comparables.

_______________

* Le texte, intitulé «Qualité dans les enquêtes», est tiré du collectif Méthodes d’enquêtes et sondages : pratiques européenne et nord-américaine, sous la direction de Pierre Lavallée et Louis-Paul Rivest, publié aux éditions Dunod en 2006 (p. 1-13). J’ai essayé en vain de trouver une version en ligne de l’article…

Et il y a aussi les «différences statistiquement significatives»… On entend souvent l’expression, mais ça veut dire quoi, au juste? Qu’est-ce que ça implique pour les autres différences, celles qui ne sont pas «statistiquement significatives»?

Pour faire simple
Je ne veux pas entrer dans les explications longues et complexes. De toute façon, je ne suis pas statisticienne! Pour faire simple, je retiens la définition suivante tirée d’un glossaire du gouvernement du Canada :

Dans le domaine de la statistique, un résultat est dit significatif s’il est improbable qu’il se soit produit par hasard. Une différence statistiquement significative indique simplement qu’une preuve statistique montre qu’il existe une différence; cela ne signifie pas nécessairement que la différence est grande, importante ou revêt une signification pratique.

Pour illustrer cette explication, je vais prendre un extrait du récent sondage SOM/Branchez-vous sur les médias d’information. Les différences significatives, en plus ou en moins, sont indiquées par les symboles » et «. Pour déterminer si une différence est significative ou non, un spécialiste doit mener les analyses statistiques appropriées.

Quel média utilisez-vous le plus souvent pour vous informer?

Comment interpréter le tableau ci-dessus?
La question était posée aux internautes québécois. Dans l’ensemble, on peut donc dire que la télévision est le média le plus utilisé par les internautes québécois pour s’informer (41 %). Viennent ensuite Internet (pour 30 % des répondants, il s’agit du média le plus souvent utilisé pour s’informer), les journaux (19 %) et enfin la radio (10 %).

Des différences statistiquement significatives sont présentes lorsqu’on compare deux sous-groupes, soit les hommes et les femmes dans cet exemple. Ainsi, les hommes sont proportionnellement moins nombreux (35 %) que les femmes (48 %) à utiliser la télévision comme premier média d’information. À l’inverse, seulement 23 % des femmes utilisent le plus souvent Internet pour s’informer, comparativement à 37 % des hommes. Cette différence aussi est significative.

Qu’en est-il des autres différences? Par exemple, on remarque que 17 % des hommes contre 20 % des femmes utilisent les journaux comme première source d’information… Or, il est préférable de passer cette différence sous silence puisque nous n’avons pas la preuve statistique que les femmes utilisent plus les journaux pour s’informer.

En effet, l’écart entre les deux données est trop faible; la différence de 3 points qu’on obtient avec les données de l’échantillon pourrait être entièrement due au hasard. En présentant ces données comme étant différentes, on pourrait ainsi faussement conclure à l’existence d’une différence… Voilà pourquoi on ne souligne que les différences statistiquement significatives!

Pour faire un peu plus compliqué
Pour une explication technique des différences statistiquement significatives, je vous suggère cet article en français d’Elsevier Masson, un éditeur de publications scientifiques et médicales.

Si j’en parle dans le blogue de SOM, c’est que le livre comporte un chapitre sur ce que Baillargeon appelle les « mathématiques citoyennes ». Il y est question des notions élémentaires de statistique et de probabilités que toute personne devrait connaître pour éviter de se faire berner ou manipuler par des chiffres qui sont parfois, disons-le, « habilement » présentés. De fil en aiguille, l’auteur aborde évidemment le sondage et les différents pièges qu’il recèle pour qui est inattentif. Aux pages 165 à 167, il émet des « règles d’or » qui prennent la forme de questions à se poser pour évaluer la crédibilité des données qui nous sont présentées. Je prends la liberté d’en reproduire quelques-unes ici.

À propos de la source de l’information
• Qui a produit ces données? La personne qui les présente elle-même? Ou quelqu’un d’autre?
• En son nom personnel ou au nom d’un organisme? Quelle est la réputation de cet organisme?
• A-t-il ou non des intérêts dans la question discutée ou encore un agenda plus ou moins caché?
• A-t-il fourni les données, leur interprétation ou les deux?
• Nous propose-t-on une interprétation des données distincte de celle avancée par l’instance qui les a produites?
• Quels biais, conscients ou inconscients, pourraient affecter la présentation des données?
• Combien de cas ont été étudiés? Comment les a-t-on réunis? Est-ce suffisant?

À propos du contexte
• Les données sont-elles contextualisées ou non? Si c’est le cas, est-ce pertinent?
• Que savez-vous du sujet dont il est question?
• Connaissez-vous d’autres données se rapportant au même sujet qu’il serait utile de garder en mémoire aux fins de comparaison?

À propos du sondage
• Quel sujet aborde ce sondage? Ce sujet intéresse-t-il ou préoccupe-t-il vraiment les gens?
• Quel public a été étudié?
• Quelles méthodes d’enquête, d’échantillonnage, d’analyse ont été retenues?
• À quelle(s) date(s) l’enquête a-t-elle été faite?
• Quel est le taux de réponse? Combien de personnes ont été interrogées?
• Quelles questions leur ont été posées? Ces questions sont-elles claires? Sont-elles tendancieuses?
• Comment, dans quelles conditions et dans quel ordre les questions ont été posées aux sondés?
• Comment la question des indécis a-t-elle été abordée?
• Qui a commandé cette enquête et qui en a remboursé les coûts?
• Combien de personnes ont refusé de répondre à chacune des questions?
• Quelles sont les limites de l’interprétation des résultats obtenus?

Évidemment, le lecteur a rarement accès à toute cette information, surtout si les résultats du sondage sont rapportés dans les médias. Certaines questions sont d’ailleurs moins pertinentes – le néophyte ne saurait peut-être pas quoi faire des réponses. Toutefois, une méthodologie la plus détaillée possible facilite l’interprétation des résultats et l’évaluation de la crédibilité d’un sondage. Une firme de sondage sérieuse a donc tout avantage à être transparente dans la publication de ses résultats.

Les produits les plus populaires sont :

1. les livres, revues et journaux;
2. les vêtements, bijoux et accessoires;
3. les billets de spectacle.

La catégorie « autres » renferme notamment les items suivants :

• l’équipement sportif (5,1 %);
• les arrangements de voyage (4,4 %);
• les produits automobiles (3,6 %);
• les produits de santé et beauté (3,4 %).

J’ouvre une parenthèse ici… Ça m’étonne toujours de constater que l’achat de vêtements sur le Web est populaire… Je crois que c’est la «magasineuse accréditée» en moi qui se demande comment font les gens pour acheter des vêtements – ou pire des chaussures! – sans d’abord les essayer. Mais, comme me le rappelait mon collègue Éric, la tendance n’est pas nouvelle : on fait la même chose depuis longtemps avec le bon vieux «catalogue Sears»! Fin de la parenthèse… Revenons aux choses sérieuses!

Les données globales de l’ICE montrent que 14 % des adultes québécois ont acheté pour plus de 322 millions de dollars de produits et services sur Internet en juin, une moyenne de 371 dollars par consommateur. Plus de détails sont disponibles dans le communiqué de presse et sur le site de l’indice du commerce électronique au Québec.

Méthodologie
L’indice du commerce électronique au Québec est produit conjointement par SOM, le Cefrio et l’agence internet VDL2. Un sondage téléphonique est réalisé chaque mois auprès de 1000 adultes québécois. La marge d’erreur varie entre 4,1 % et 4,6 %, 19 fois sur 20. Ce projet est sous la responsabilité, chez SOM, de mon collègue Éric Lacroix.

Articles liés :
Indice du commerce électronique au Québec – Mai 2008
Indice du commerce électronique au Québec – Avril 2008
Indice du commerce électronique au Québec – Mars 2008
Commerce électronique : le partenariat se poursuit

Pour faire une histoire courte, l’analyse des probabilités a démontré hors de tout doute que les vendeurs de billets de loterie ontariens (ex. : employés d’un dépanneur) gagnaient beaucoup plus souvent, toutes proportions gardées, que l’acheteur moyen de loterie. Diffusés à la télé, ces chiffres ont créé suffisamment de remous pour qu’une enquête soit ouverte par l’Ombudsman de l’Ontario, laquelle a confirmé l’existence d’une fraude (le rapport en format PDF peut être consulté ici). Depuis, des réformes ont été entreprises à la Société des loteries et des jeux de l’Ontario.

Mais qu’en est-il chez nous, au Québec?

Dans son rapport annuel 2008, Loto-Québec mentionne qu’il n’y a pas de problèmes apparents…

« Bien que l’analyse de la situation au Québec ait permis de constater que, sur le plan statistique, aucune raison ne permettait de croire que les détaillants Loto-Québec gagnaient plus fréquemment que les autres joueurs de loterie, la Société a voulu s’assurer que les risques [...] étaient réduits au minimum. »

… mais a tout de même embauché une firme externe qui a recensé 35 pistes d’amélioration aux processus et procédures en matière de paiement de lots de loterie. Comme quoi les maths font bouger les choses…