C’est bien connu, les sondeurs utilisent la statistique pour analyser les résultats d’un sondage. Le calcul de la marge d’erreur en est un exemple.
Et il y a aussi les «différences statistiquement significatives»… On entend souvent l’expression, mais ça veut dire quoi, au juste? Qu’est-ce que ça implique pour les autres différences, celles qui ne sont pas «statistiquement significatives»?
Pour faire suite à ce billet, voici un exemple concret de collecte mixte ou multimode.
Le projet
SOM collabore depuis quelques mois à un projet de recherche passionnant dirigé par l’Institut national de santé publique du Québec (INSPQ). Ce projet recueille de l’information, sur une longue période, auprès de personnes recrutées en clinique médicale. Les répondants se sont engagés à répondre à trois sondages (trois vagues) sur une période d’environ un an et demi.
Une collecte multimode (ou collecte mixte)
Lors du recrutement, les répondants avaient le choix de répondre au sondage par le Web ou par téléphone. Voici ce qu’ils ont décidé au premier contact :
Les internautes québécois s’informent d’abord par la télévision (41 %), puis par Internet (30%). Les journaux (19 %) et la radio (10 %) sont assez loin derrière, comme en font foi les résultats d’un sondage SOM/Branchez-vous!
Quel média utilisez-vous le plus souvent pour vous informer? (n : 899)
Le sondage, peu importe la forme qu’il prend (Web, téléphonique, postal), comporte des forces et des faiblesses. En voici une liste non exhaustive qui peut guider le choix d’utiliser cet outil de collecte des données.
Les forces
Les sondages téléphoniques : des taux de réponse faibles
J’ai déjà parlé à plusieurs reprises de la détérioration importante et rapide des taux de réponse aux sondages téléphoniques (voir ce billet et celui-ci), laquelle est principalement due aux refus des répondants. Il y a cependant des alternatives intéressantes aux sondages téléphoniques classiques.
Les sondages Web : des taux de réponse encore plus faibles
La première alternative qui nous vient en tête est, bien sûr, le sondage Web. Mais comme l’écrivait Julie récemment, le sondage Web n’est pas adapté à toutes les problématiques et l’échantillonnage probabiliste pose problème puisqu’il écarte d’emblée les personnes qui ne sont pas «branchées».
De plus – et vous me voyez sûrement venir! – les taux de réponse aux sondages Web sont encore moins reluisants. Selon un article paru dans The International Journal of Market Research*, les sondages menés via le Web présentent en moyenne des taux de réponse de 11 % inférieurs à ceux d’autres types de collectes (postales, en face à face ou téléphoniques). La tendance est la même pour nos propres sondages Web. On postule généralement que les non-répondants ne diffèrent pas de ceux qui répondent. Mais lorsque le taux de réponse devient très faible, cette hypothèse perd de la crédibilité. Cette différence produit alors un effet négatif sur la représentativité : plus le taux de réponse est bas, plus la représentativité en est affectée.
En faisant ma veille quotidienne sur le Web tout à l’heure, j’ai repéré un site français fort intéressant, Suristat, qui se veut un portail des enquêtes et de l’analyse des données. La section méthodologie est particulièrement digne d’intérêt; des renseignements, articles et astuces sont regroupés en trois grandes catégories, soit :
De plus, des articles intéressants sont présentés en grands thèmes correspondant aux modes de collecte, par exemple les sondages Web, les sondages téléphoniques, etc. Le site vaut le détour même si certaines sections n’ont pas été mises à jour depuis un moment. Je pense déjà y puiser quelques thèmes pour de prochains billets…
Face à la situation économique actuelle, êtes-vous très inquiet,
assez inquiet, peu inquiet ou pas du tout inquiet pour…
* Les statistiques excluent les réponses «ne sait pas» et «ne s’applique pas».
CTV News créait une petite controverse à la fin de la semaine dernière à propos de l’efficacité – ou plutôt de l’inefficacité selon le point de vue adopté par l’article – de la «Do-not-call List» canadienne, c’est-à-dire la Liste nationale des numéros de télécommuncation exclus (LNNTE), dont j’ai déjà parlé à plusieurs reprises dans ce blogue.
Selon Eleanor Friedland, vice-présidente du Consumers Council of Canada, la situation serait… pire qu’avant! (Lire : les appels de télémarketing auraient augmenté plutôt que diminué). Ce qui est étrange, c’est qu’on ne s’appuie sur aucune donnée… L’affirmation est lancée comme ça, à peine cinq mois après le lancement de la fameuse liste… Ça ressemble drôlement à une façon détournée d’attirer l’attention du public sur une toute autre chose.
Dans un précédent billet, j’expliquais qu’avant l’an 2000, il était possible d’obtenir des taux de réponse de 60 % et plus lors d’un omnibus téléphonique au Québec, mais que la situation s’est considérablement dégradée depuis. Cette dégradation est principalement due à l’augmentation fulgurante du nombre de refus de participer aux enquêtes téléphoniques. Le tableau plus bas montre bien cette réalité.
En 12 ans, la proportion de refus passe du simple au double au Québec alors que les taux de réponse chutent quasiment dans la même proportion. Pourtant, notre situation est privilégiée par rapport au reste du Canada et aux États-Unis! Le Council for Marketing and Opinion Research (CMOR), une association américaine, publiait en 2004 des statistiques sur les taux de réponse moyens aux États-Unis. Pour les enquêtes téléphoniques «grand public» avec composition aléatoire des numéros de téléphone, le taux de réponse moyen se situait à… 9,2%!
D’abord, j’aimerais souhaiter à tous ceux et celles qui s’arrêtent sur ce blogue, une très belle année 2009! Santé, bonheur, prospérité… Que demander de plus?
2009 s’amorce sous le signe de l’incertitude économique. Serons-nous, oui ou non, touchés par la crise annoncée? Bien des gens se posent la question… Cette incertitude aura-t-elle un impact sur les activités de collecte de données? De façon plus générale, à quoi peut-on s’attendre, en 2009, dans le domaine de la recherche et du sondage?