Je reviens aujourd’hui avec la suite des «mythes et réalités» des sondages en ligne (inspirés d’une présentation de M. Michel Saulnier, président du chapitre québécois de l’ARIM).
Vrai ou faux?
Les panels Internet sont tous semblables.
Mais non, il ne s’agit pas d’une blague de blondes… ce n’était que pour attirer votre attention! Je suis de retour de vacances et dangereusement en forme! Mais sérieusement, savez-vous combien de personnes travailleront ensemble pour faire en sorte que votre sondage respecte toutes les normes de qualité de SOM? Vous pourriez être surpris!
Les dangers de tout faire soi-même…
Dans un billet du blogue de Vovici, Jeffrey Henning fait une mise en garde sur les dangers de tout faire soi-même en recherche. C’est ce qui m’a donné l’idée de vous parler un peu de notre organisation du travail. Son argumentation, à laquelle j’adhère entièrement, est la suivante : il existe de plus en plus de logiciels et d’applications Web gratuites vous permettant de faire vous-même des sondages Web. Soit! Mais il ne s’agit là que d’outils.
En m’inspirant d’une présentation de M. Michel Saulnier, président du chapitre québécois de l’ARIM, je continue aujourd’hui cette série de billet sur les «mythes et réalités» des sondages en ligne.
Vrai ou faux?
Les sondages par Internet coûtent beaucoup moins chers à réaliser que les sondages téléphoniques.
La féministe en moi n’étant jamais bien loin, j’ai évidemment sursauté en voyant le titre de cet article paru dimanche dans The Globe and Mail. Il y est question d’une étude du professeur Karl Aquino de l’Université de la Colombie-Britannique (UBC). En résumé, la conclusion de l’étude est la suivante :
Même en se comportant de façon équivalente, les femmes et les minorités ethniques obtiennent des scores de satisfaction significativement plus bas que les hommes blancs lorsque des clients anonymes sont sondés.
Il m’est arrivé à quelques reprises, dans ce blogue, de critiquer les médias pour la façon dont ils diffusent les résultats de sondage. Je leur ai déjà reproché, par exemple, de faire la nouvelle avec n’importe quoi en diffusant les résultats de sondages non scientifiques.
En me «promenant» sur Internet, je suis récemment tombée sur les normes de production de Radio-Canada en matière de sondages, que j’ai trouvées exemplaires! On insiste sur l’importance de la rigueur méthodologique et l’information à transmettre au public.
Un sondage dont les répondants n’ont pas été sélectionnés de façon aléatoire NE DOIT PAS afficher de marge d’erreur. C’est là l’une des normes fondamentales de l’Association de la recherche et de l’intelligence marketing (ARIM). Or, certaines firmes n’ont malheureusement aucun scrupule à berner le public ou, à tout le moins, à laisser planer le doute… exemples à l’appui!
La norme
L’ARIM est en quelque sorte le «chien de garde» de l’industrie du sondage au Canada. Entre autres activités, elle élabore et fait la promotion de normes professionnelles pour garantir des travaux de qualité et ainsi protéger les clients et le public. Selon le code de déontologie de l’ARIM :
Il est fréquent d’entendre, de la part d’un client désespéré, «On ne peut pas faire un sondage, c’est la période des vacances!» Et alors? À moins que vos répondants soient en vacances tout l’été, il n’y a pas de raison de se priver parce que c’est l’été… au contraire, c’est même souvent moins cher!
Sondage téléphonique
Il est possible d’adapter la collecte téléphonique pour tenir compte de la période des vacances. Par exemple :
Le 12 juin dernier, lors du colloque annuel de l’Association des statisticiennes et des statisticiens du Québec (ASSQ), M. Michel Saulnier, président du chapitre québécois de l’ARIM, faisait une présentation sur les «mythes et réalités» des sondages en ligne. Au cours de l’été, je reprendrai individuellement ces huit énoncés, que j’expliquerai à ma façon.
Vrai ou faux?
Les panels Internet livrent des résultats représentatifs de la population.
Combien d’individus devrais-je interroger, lors d’un sondage, pour obtenir des résultats représentatifs de la population à l’étude? En d’autres mots, quelle devrait être la taille de l’échantillon?
Ici, je vous épargne les équations mathématiques… Je voulais simplement vous faire découvrir quelques outils sur le Web qui peuvent calculer pour vous la taille requise d’un échantillon.
Attention cependant! Ces outils sont utiles pour des échantillons aléatoires simples où chacun des individus de la population a une chance égale d’être sélectionné. Dès que le plan d’échantillonnage se complexifie, ne serait-ce qu’un peu, ils ne sont plus appropriés : c’est d’un expert dont vous aurez alors besoin!
Il y a évidemment plusieurs facteurs qui peuvent influencer le taux de réponse d’un sondage Web : longueur du questionnaire, intérêt du sujet, rémunération des répondants, formulation des questions, qualité du courriel d’invitation, rappels auprès des non-répondants, etc. Mais la relation entre l’organisation cliente du sondage (celle qui «commande» le sondage) et la population cible peut aussi être déterminante.
Dans un document dont je vous ai déjà parlé, intitulé Survey Software Success et produit par la firme Vovici, on présente une fourchette approximative des taux de réponse à un sondage en ligne en fonction de la relation qui unit le répondant et l’organisation qui commande le sondage. C’est fort intéressant! Je n’ai pas fait de calcul, mais à vue de nez, ça rejoint plutôt bien les taux de réponse que SOM obtient dans ces différents contextes de sondage Web. Notez toutefois qu’il y a des exceptions…