Je vous invite à lire cet article de Leonard Mlodinow paru dans le Wall Street Journal un peu plus tôt ce mois-ci… Comme quoi la statistique est utile dans tous les domaines!

Pour faire une histoire courte, le statisticien Robert Hodgson, professeur retraité de la Humboldt State University et propriétaire d’un petit vignoble, s’est demandé pourquoi un vin pouvait gagner une médaille dans une compétition et être déchu dans une autre… Il n’en fallait pas plus pour qu’il étudie la question d’un point de vue statistique. Ses conclusions ont fait l’objet de deux articles dans le Journal of Wine Economics.

Voici quelques-unes de ses observations :

• Dans une première étude, le statisticien a utilisé un processus de «dégustation à l’aveugle» où chaque vin était soumis trois fois aux mêmes juges. Pour un même vin, les scores attribués par les juges variaient de ±4 points sur une échelle allant généralement de 80 à 100. Ainsi, un vin évalué à 91 lors d’un premier test pouvait souvent être évalué à 87 ou 95 dans le suivant. Plusieurs juges ont fait pire, alors que seulement 1 juge sur 10 a réussi à évaluer le même vin avec une marge de ±2 points.

• Dans une autre étude, il a étudié les pointages obtenus par tous les vins à différentes compétitions. Il en conclut que la probabilité qu’un vin gagne une médaille d’or dans une compétition et qu’il ne gagne rien dans une autre est élevée : les médailles semblaient être décernées au hasard puisque chaque vin avait environ 9 % de chance d’être primé.

Je ne sais pas si ça influencera votre opinion, mais rappelez-vous, «quand le vin est tiré (même au hasard), il faut le boire!»

Si j’en parle dans le blogue de SOM, c’est que le livre comporte un chapitre sur ce que Baillargeon appelle les « mathématiques citoyennes ». Il y est question des notions élémentaires de statistique et de probabilités que toute personne devrait connaître pour éviter de se faire berner ou manipuler par des chiffres qui sont parfois, disons-le, « habilement » présentés. De fil en aiguille, l’auteur aborde évidemment le sondage et les différents pièges qu’il recèle pour qui est inattentif. Aux pages 165 à 167, il émet des « règles d’or » qui prennent la forme de questions à se poser pour évaluer la crédibilité des données qui nous sont présentées. Je prends la liberté d’en reproduire quelques-unes ici.

À propos de la source de l’information
• Qui a produit ces données? La personne qui les présente elle-même? Ou quelqu’un d’autre?
• En son nom personnel ou au nom d’un organisme? Quelle est la réputation de cet organisme?
• A-t-il ou non des intérêts dans la question discutée ou encore un agenda plus ou moins caché?
• A-t-il fourni les données, leur interprétation ou les deux?
• Nous propose-t-on une interprétation des données distincte de celle avancée par l’instance qui les a produites?
• Quels biais, conscients ou inconscients, pourraient affecter la présentation des données?
• Combien de cas ont été étudiés? Comment les a-t-on réunis? Est-ce suffisant?

À propos du contexte
• Les données sont-elles contextualisées ou non? Si c’est le cas, est-ce pertinent?
• Que savez-vous du sujet dont il est question?
• Connaissez-vous d’autres données se rapportant au même sujet qu’il serait utile de garder en mémoire aux fins de comparaison?

À propos du sondage
• Quel sujet aborde ce sondage? Ce sujet intéresse-t-il ou préoccupe-t-il vraiment les gens?
• Quel public a été étudié?
• Quelles méthodes d’enquête, d’échantillonnage, d’analyse ont été retenues?
• À quelle(s) date(s) l’enquête a-t-elle été faite?
• Quel est le taux de réponse? Combien de personnes ont été interrogées?
• Quelles questions leur ont été posées? Ces questions sont-elles claires? Sont-elles tendancieuses?
• Comment, dans quelles conditions et dans quel ordre les questions ont été posées aux sondés?
• Comment la question des indécis a-t-elle été abordée?
• Qui a commandé cette enquête et qui en a remboursé les coûts?
• Combien de personnes ont refusé de répondre à chacune des questions?
• Quelles sont les limites de l’interprétation des résultats obtenus?

Évidemment, le lecteur a rarement accès à toute cette information, surtout si les résultats du sondage sont rapportés dans les médias. Certaines questions sont d’ailleurs moins pertinentes – le néophyte ne saurait peut-être pas quoi faire des réponses. Toutefois, une méthodologie la plus détaillée possible facilite l’interprétation des résultats et l’évaluation de la crédibilité d’un sondage. Une firme de sondage sérieuse a donc tout avantage à être transparente dans la publication de ses résultats.

Pour faire une histoire courte, l’analyse des probabilités a démontré hors de tout doute que les vendeurs de billets de loterie ontariens (ex. : employés d’un dépanneur) gagnaient beaucoup plus souvent, toutes proportions gardées, que l’acheteur moyen de loterie. Diffusés à la télé, ces chiffres ont créé suffisamment de remous pour qu’une enquête soit ouverte par l’Ombudsman de l’Ontario, laquelle a confirmé l’existence d’une fraude (le rapport en format PDF peut être consulté ici). Depuis, des réformes ont été entreprises à la Société des loteries et des jeux de l’Ontario.

Mais qu’en est-il chez nous, au Québec?

Dans son rapport annuel 2008, Loto-Québec mentionne qu’il n’y a pas de problèmes apparents…

« Bien que l’analyse de la situation au Québec ait permis de constater que, sur le plan statistique, aucune raison ne permettait de croire que les détaillants Loto-Québec gagnaient plus fréquemment que les autres joueurs de loterie, la Société a voulu s’assurer que les risques [...] étaient réduits au minimum. »

… mais a tout de même embauché une firme externe qui a recensé 35 pistes d’amélioration aux processus et procédures en matière de paiement de lots de loterie. Comme quoi les maths font bouger les choses…