Les niveaux de confiance les plus souvent utilisés en statistique sont 90 %, 95 % et 99 %. Plus le niveau de confiance est élevé, plus la marge d’erreur associée aux résultats sera élevée. Logique, non?

En effet, pour être sûr à 99 % qu’un résultat provenant d’un échantillon se situe dans un intervalle qui contient la valeur que l’on retrouverait en réalité dans la population, cet intervalle doit être plus grand (et donc la marge d’erreur plus élevée) que si on est sûr à seulement 90 %. Mais lequel choisir?

Heureusement pour tout le monde, le niveau de confiance de 95 % fait généralement consensus dans le petit monde de la recherche. Pour des explications un peu plus détaillées sur le sujet, je vous suggère cet article de l’Université du Connecticut.

Lorsque vous vous intéressez aux différences entre des segments de consommateurs, le choix du niveau de confiance retenu n’est pas sans conséquence. Par exemple, le niveau de confiance de 90 % vous mettra sur la piste de nombreuses différences, mais vous vous tromperez en moyenne 1 fois sur 10, alors qu’à 99 %, la proportion de conclusions fallacieuses tombera à 1 %.

Vous avez du mal à vous «brancher»? Notez que pour plaire à tout le monde, SOM a pris l’habitude d’intégrer dans ses tableaux de résultats les trois niveaux de confiance pour souligner les différences significatives, avec chacun leur symbole respectif. Vous aurez donc l’embarras du choix.

Ce billet a ébranlé votre niveau de confiance? Rassurez-vous. Vous trouverez ici quelques exemples visuels pour consolider votre compréhension.

* Vincent Bouchard est vice-président Marketing chez SOM.

J’avais déjà parlé de la constitution de ce groupe de travail ici et j’attendais ce rapport avec impatience. Une version préliminaire d’un code de conduite (guidelines) a été récemment mise en ligne, ainsi qu’une invitation à commenter son contenu. Je dois dire que je reste un peu sur ma faim…

En fait, ma déception vient surtout du fait qu’on y discute très peu (à mon goût) des enjeux méthodologiques. Essentiellement, le guide cherche à transposer les principes éthiques de la recherche «traditionnelle» à la recherche qui utilise les médias sociaux. Cela dit, il y a quand même quelques éléments intéressants.

Une définition de la «Social Media Research»

Le guide a le mérite de bien circonscrire ce qu’est la recherche par médias sociaux (traduction libre) :

La recherche par médias sociaux (RMS) inclut toutes les activités de recherche où l’information et les données utilisées sont issues des médias sociaux. Les principales méthodes sont le «monitoring» des médias sociaux, les communautés de recherche en ligne, la «netnographie» et les techniques de «cocréation».

La distinction entre les espaces public, privé et dédié à la recherche

• Un espace public signifie que ce qui y est dit, écrit ou diffusé est accessible à tous. On peut penser à Twitter, par exemple, ou au contenu d’un blogue. Dans cet espace, les chercheurs peuvent utiliser l’information à des fins de recherche, en prenant des précautions particulières pour les données sensibles.
• Un espace privé restreint la diffusion du contenu par l’octroi d’un nom d’utilisateur et d’un mot de passe. Dans cet espace, les chercheurs doivent obtenir le consentement explicite des participants pour utiliser les données. Ils doivent également s’identifier clairement lorsqu’ils participent aux discussions.
• Un espace dédié à la recherche, comme son nom l’indique, est un espace spécifiquement créé à des fins de recherche marketing (ex. : une communauté de recherche en ligne – MROC en anglais). Dans cet espace, les principes éthiques de la recherche «traditionnelle» s’appliquent.

Enfin, le guide suggère également des principes éthiques à suivre lors du recrutement de participants sur les médias sociaux, comme l’explication claire des objectifs de la recherche et le consentement éclairé. Bref, rien de bien révolutionnaire, vous en conviendrez!

À lire aussi :

• Médias sociaux et recherche marketing (4) : les firmes de recherche prennent-elles le virage?
• Médias sociaux et recherche marketing (3) : et l’éthique dans tout ça?
• Médias sociaux et recherche marketing (2) : l’analyse des humeurs
• Médias sociaux et recherche marketing (1) : état des lieux
• Recrutement de participants 2.0
  

En effet, la statistique nous apprend qu’un échantillon de moins de 30 répondants ne vaut rien… Mais qu’à partir de 30, tout baigne. Alors d’où vient cette obsession de toujours vouloir interroger 400, 500 voire 1 000 répondants?

30, un chiffre «magique»?

Bien que techniquement, un échantillon de 30 répondants sélectionnés de manière probabiliste soit effectivement représentatif d’une population donnée, les résultats issus de cet échantillon souffriront d’une grande imprécision. D’où l’intérêt d’augmenter les tailles d’échantillon, particulièrement dans les cas où on souhaite un niveau de précision élevé par segment de marché.

Mais attention, votre enthousiasme pour les gros échantillons sera vite tempéré par des considérations budgétaires. En effet, bien qu’un échantillon de 1000 répondants soit deux fois plus coûteux (ou à peu près) qu’un échantillon de 500 répondants, il n’est pas deux fois plus précis. Il faut en fait quadrupler la taille d’un échantillon pour voir diminuer de moitié la marge d’erreur. C’est donc un pensez-y-bien!

La taille de l’échantillon dépend du niveau de précision souhaité

Mais revenons à l’échantillon représentatif de 30 répondants. En pratique, le strict minimum que l’on recommande à nos clients est généralement autour de 100. Au-delà de ce seuil, les tailles d’échantillon dépendent de la valeur que l’on accorde au niveau de précision accru que l’on obtient et à la présence ou non de segments de marché pour lesquels on veut obtenir un niveau de précision acceptable.

Quant à l’impact de la taille de la population sur la taille de l’échantillon, oubliez les rumeurs qui circulent à ce sujet. Dans des contextes de grandes populations (ex. : le Canada ou les États-Unis), la taille de la population n’a aucune incidence perceptible sur la taille de l’échantillon, pourvu que l’échantillon soit constitué au hasard (échantillon probabiliste). C’est pourquoi les sondages politiques, par exemple, sont généralement effectués avec 1 000 répondants, peu importe de quel côté de la frontière.

Pour vous convaincre de cette grande vérité, considérez l’exemple culinaire suivant. Lorsque vous cuisinez des pâtes pour un groupe de 8 personnes, vérifiez-vous la cuisson d’une plus grande quantité de pâtes avant de les servir que lorsque vous cuisinez seulement pour vous?

* Vincent Bouchard est vice-président Marketing chez SOM.

À lire aussi :

• Déterminer la taille d’un échantillon… sans y perdre son latin!
• L’ABC des méthodes d’échantillonnage (partie 1)
• L’ABC des méthodes d’échantillonnage (partie 2)

Comme sondeurs, nous sommes bien servis par ces technologies uniquement si elles nous permettent d’attirer l’attention du répondant sur les éléments les plus importants de la page web d’un sondage. Mais quels sont ces éléments?

Pour une question «type», on devrait d’abord attirer le regard sur :

1. Le texte de la question. Élément fondamental, n’est-ce pas? Pourtant, des études ont démontré que les répondants ne lisent pas toujours la question. Mettons toutes les chances de notre côté!
2. Les éléments de réponse ou l’espace pour inscrire une réponse. On désire que le répondant ait une vue d’ensemble des réponses possibles et qu’il puisse se positionner rapidement.
3. Les consignes complémentaires à la question. Quoiqu’essentielles, elles n’ont pas l’importance du texte de la question. Elles doivent donc être mises en valeur, mais sans voler la vedette aux premiers éléments.
4. Les logos du sondeur ou du commanditaire. Ils ajoutent à la crédibilité du sondage, mais ne doivent pas détourner indûment l’attention du répondant.
5. La barre de progression. Elle a pour but de minimiser l’abandon en illustrant le chemin parcouru dans la progression du sondage.
6. Les autres éléments tels les liens vers un « contactez-nous » ou une rubrique d’aide. Rarement utilisés, ces éléments agissent essentiellement à titre de soutien aux répondants moins familiers avec les sondages en ligne ou la technologie en général.

Comment hiérarchiser ces éléments?

Les bons vieux caractères en gras ou l’italique restent une solution de première qualité pour souligner l’importance de certains termes d’une question ou d’un choix de réponse. On peut aussi jouer sur différents éléments de mise en page pour aménager une question : la taille et couleur de la police ou la mise en retrait d’une consigne par exemple.

Comme je le mentionnais plus tôt, la technologie peut aussi nous rendre de fiers services. Intégrer un « beau » lecteur Flash peut être très utile pour mettre en valeur une vidéo ou un extrait sonore à évaluer.

Autre exemple, lorsqu’on doit présenter une affiche publicitaire de grande taille, on risque «d’expulser» une partie de la page web (souvent les choix de réponses) à l’extérieur des limites de l’écran. Dans ce cas, l’ajout d’une fonction «Cliquez pour agrandir» peut nous permettre de mieux aménager la page, sans avoir à faire de compromis sur la qualité de l’image présentée.

Tout ça peut sembler, disons-le, assez banal. En pratique par contre, il n’est pas rare de voir cette «hiérarchie» menacée.

Les choses à éviter

Dans le rayon des choses à éviter, je donne souvent l’exemple d’une échelle à glissière nouveau genre qui vole la vedette, mais qui amène le premier regard des répondants ailleurs que sur la question elle-même. Les questions de type glisser-déposer (drag and drop) doivent aussi être utilisées avec prudence, notamment pour éviter que les répondants ne passent plus de temps à comprendre ce qu’ils doivent faire… qu’à répondre à la question.

En somme, dans un questionnaire, certaines normes visuelles de base doivent toujours être respectées. En ce sens, lorsque vous vous lancez dans l’intégration de nouveaux «gadgets», posez-vous toujours la question : mon questionnaire sera-t-il méthodologiquement meilleur ou simplement plus beau? Si c’est la deuxième réponse qui l’emporte, vous n’êtes pas sur la bonne voie…

* Francis Pelletier est technicien senior en recherches et sondages chez SOM.

Résultat : l’industrie réagit en coupant les coins ronds, prétextant avoir développé des méthodes innovatrices qui assurent rigueur méthodologique, qualité de l’information recueillie, rapidité et coûts imbattables. C’est de la foutaise! C’est l’ère du mieux paraître avec les grandes marques qui se font falsifier à qui mieux mieux!

La désinformation

On est rendu à proclamer qu’un sondage web réalisé en 1 ou 2 jours auprès d’un panel d’internautes volontaires, où l’on invite parfois plus de 30 000 individus pour obtenir 1000 répondants, est nettement meilleur que toute autre forme de sondage!

En outre, c’est rapide, ce n’est pas cher et ça fournit des résultats! Que demander de plus? Rien, le client est content et pour le rassurer davantage, on prête à ces sondages des vertus probabilistes en leur collant, directement ou indirectement, des marges d’erreur… Et si ce n’est pas assez, on ajoute de nouvelles pondérations pour prouver au client qu’on a pensé à toutes les imperfections possibles au plan de la représentativité.

S’il vous plaît, que ceux et celles qui pensent de cette façon retournent à leurs bouquins pour réviser les principes fondamentaux du sondage!

Les conséquences

En fait, comme industrie, on ne se tient pas debout devant les acheteurs de recherche : il y a toujours un quidam pour faire les quatre volontés des clients sous prétexte de mieux les servir. C’est ce qui causera notre perte!

Un jour, une décision d’une extrême importance devra être prise à partir de résultats de recherche issus d’une méthodologie structurellement déficiente. Lorsque la mauvaise décision sera prise, cela jettera un discrédit majeur sur toute l’industrie. Et la pente sera longue à remonter pour les futurs professionnels de recherche…

Se tenir debout!

Bien servir son client, c’est bien le conseiller, mais c’est surtout bien le déconseiller lorsqu’il exige des méthodologies et des échéanciers qui ne tiennent pas la route. Tenons-nous debout! Refusons de faire n’importe quoi pour n’importe qui qui ne se donne pas la peine de comprendre les tenants et aboutissants de ses exigences.

* Michel Fluet est vice-président Exploitation chez SOM.

Évidemment, c’est un phénomène qu’on veut éviter autant que possible dans la réalisation d’un sondage. Mais quelles sont les principales raisons de l’abandon d’un questionnaire?

Selon une étude de Lightspeed Research, publiée sur le blogue de Vovici, et effectuée auprès de panélistes, la raison la plus souvent mentionnée est le sujet de l’étude.

Voici les cinq premières raisons mentionnées par les panélistes pour justifier l’abandon d’un sondage :

• L’intérêt du sujet : 35 % des panélistes disent avoir abandonné à cause du sujet de l’étude. Bien sûr, certains sujets présentent moins d’intérêt aux yeux du répondant. C’est aux chercheurs qu’il revient de construire des questionnaires plus attrayants pour stimuler l’intérêt.
• Les téléchargements : 20 % ont mentionné que le téléchargement de médias (ex. : vidéo) était trop long. N’oublions pas que les internautes n’ont pas tous la même vitesse de connexion!
• La longueur du sondage : 20 % ont abandonné parce que le sondage lui-même était trop long. On ne le dira jamais assez : limitons la longueur des sondages! L’auteur de l’étude établit le seuil psychologique à 15 minutes, ce avec quoi je suis plutôt d’accord.
• Les grilles de questions : 15 % justifient leur abandon par la présence de grilles ou de matrices de questions interminables. Ces grilles de questions, qui demandent souvent d’utiliser la barre de défilement, peuvent être très décourageantes pour le répondant.
• Les questions ouvertes : 5 % abandonnent lorsqu’il y a trop de questions ouvertes. Évidemment, les questions ouvertes demandent un effort supérieur de la part du répondant. Il ne faut toutefois pas hésiter à en inclure, il suffit de le faire avec modération. En effet, notre expérience montre que les répondants n’hésitent pas à répondre aux questions ouvertes d’un sondage web.

À lire aussi :

• Questions ouvertes : le cas particulier des sondages en ligne
• Design des questionnaires web : meilleures pratiques pour limiter la non-réponse
• Sondages en ligne : les facteurs qui influencent le taux de réponse
• Sondages en ligne : quels indicateurs suivre? Le taux d’abandon

Or, il est parfois incontournable que des termes techniques soient utilisés. Lorsque c’est le cas, on peut vouloir fournir aux répondants la définition de ces termes. Les sondages web nous permettent de le faire aisément. En fait, il existe différentes façons d’afficher les définitions.

Modalités d’affichage des définitions

Voici quelques-uns des modes d’affichage possible. Le premier implique que la définition soit toujours visible alors que les autres modes demandent une action de la part du répondant pour accéder à la définition.

1. Afficher la définition d’un terme technique en permanence, près du texte de la question.
2. Afficher la définition dans une infobulle; lorsque le répondant passe sa souris sur le terme technique, la définition lui apparaît.
3. Mettre un hyperlien sur chaque terme technique; lorsque le répondant clique, la définition lui apparaît (ça peut être dans une fenêtre ou directement sur la page).
4. Au bas de chacune des pages du sondage, faire un lien vers un lexique de tous les termes techniques utilisés dans le sondage.

Quelle façon est la plus efficace?

Si l’objectif poursuivi est de maximiser la consultation des définitions, il vaut mieux les afficher en permanence, près du texte de la question. C’est du moins ce que nous suggère une étude parue récemment dans le Journal of Official Statistics¹.

Dans cette étude, les chercheurs ont testé plusieurs paramètres liés aux définitions (format d’affichage, longueur des définitions, temps requis pour répondre à la question, etc.) et ont comparé les résultats obtenus. Leurs conclusions sont les suivantes :

• Selon ce qu’ils rapportent à la fin du questionnaire, les répondants consultent davantage les définitions lorsque celles-ci sont affichées en permanence;
• La longueur des définitions (les chercheurs ont testé une version courte et une version longue) ne semble pas faire de différence;
• Chez les répondants qui disent effectivement lire les définitions, le temps de réponse pour chaque question est plus long;
• Enfin, peu importe le mode d’affichage, plusieurs résultats présentent des différences significatives selon que le répondant consulte ou non la définition présentée.

Évidemment, tout ça dépend de l’objectif poursuivi et du contexte dans lequel s’inscrit le sondage. Si on croit que seuls quelques répondants auront besoin des définitions, il vaut probablement mieux les faire afficher sur demande. Donner trop d’information, surtout dans un médium comme le sondage web, peut alourdir considérablement la lecture et «noyer» l’information que l’on considère vraiment importante.

¹Andy PEYTCHEV, Frederick G. CONRAD, Mick P. COUPER, and Roger TOURANGEAU (2010). «Increasing Respondents’ Use of Definitions in Web Surveys», Journal of Official Statistics, vol. 26, n^o 4, p. 633-650.

À lire aussi :

• Qu’est-ce qui rend une question de sondage difficile à comprendre?

C’est du moins ce que nous apprend le Globalpark Annual MR Software survey, une enquête menée par la firme Meaning ltd du Royaume-Uni qui s’intéresse aux méthodes et aux technologie utilisées par les firmes de recherche.

L’enquête, qui en est à sa septième édition, compte un échantillon de 200 entreprises de recherche marketing réparties en trois grandes régions, soit l’Amérique du Nord, l’Europe et l’Asie. Bien que la taille réduite de l’échantillon et le faible taux de réponse (10 %) nous invitent à la prudence dans la généralisation des résultats, les données présentées sont intéressantes.

Utilisation des médias sociaux

Le graphique ci-dessous, extrait du rapport (p. 20), montre l’adoption des médias sociaux par les firmes sondées. Précisons ici qu’il ne s’agit pas d’adoption des médias sociaux pour elles-mêmes (ex. : autopromotion), mais plutôt pour offrir des services à leurs clients. On observe ainsi que :

• 17 % des firmes sondées disent offrir des services de recherche liés aux médias sociaux      (5 % l’offrent à plusieurs clients et 12 % à quelques clients);
• 31 % des firmes en sont au stade d’expérimentation ou d’exploration de l’utilisation des médias sociaux à des fins de recherche marketing;
• 32 % des répondants considèrent cette option pour l’avenir;
• 19 % n’envisagent pas d’offrir de services liés aux médias sociaux.

Dans l’ensemble, il s’agit donc d’une adoption timide pour l’instant. Plusieurs firmes prévoient toutefois une croissance significative de ce type d’activités de recherche au cours des 18 prochains mois.

Autres tendances

Le rapport, d’une cinquantaine de pages, traite de plusieurs autres thèmes fort intéressants : recherche quantitative et qualitative, recherche à l’aide d’appareils mobiles, technologies, évolution des modes de collecte, etc.

Bien qu’il faille s’enregistrer pour télécharger le rapport, on peut le consulter gratuitement. Je le recommande à tous ceux et celles qui s’intéressent aux grandes tendances de l’industrie.

À lire aussi :

• Médias sociaux et recherche marketing (3) : et l’éthique dans tout ça?
• Médias sociaux et recherche marketing (2) : l’analyse des humeurs
• Médias sociaux et recherche marketing (1) : état des lieux

Dans les sondages par interception sur un site web, par exemple, où les taux de réponse sont relativement bas, ça peut prendre quelques semaines avant d’obtenir le nombre de répondants visés par l’étude. Lorsqu’on sonde les membres d’une association ou les représentants d’une entreprise au moyen d’un sondage en ligne, on peut aussi vouloir laisser un délai suffisant pour que tous aient la chance de répondre (1 ou 2 semaines par exemple).

En fait, il faut ajuster la période de collecte au type de répondants ciblés. Une période de collecte longue n’est pas un problème en soi, si l’échéancier le permet. C’est plutôt des sondages très rapides dont il faut se méfier.

La technologie permet la rapidité

Avec les sondages en ligne et les panels d’internautes, il est très facile de faire un sondage en quelques heures. Il n’est pas rare, aujourd’hui, de voir de tels sondages, surtout dans les médias. On rédige quelques questions, on lance une invitation à un grand nombre de panélistes… et hop! Deux heures plus tard, vous avez facilement 400 répondants voire 1000 qui ont dûment répondu au sondage.

La rigueur scientifique commande un minimum de temps de collecte

Le problème avec ce type de sondage, c’est que les réponses proviendront uniquement des personnes disponibles pendant ces quelques heures, celles qui étaient près de leur ordinateur et qui ont lu leur courriel d’invitation. Premier arrivé, premier répondu! Ce n’est pas plus scientifique qu’un «vox pop» réalisé au coin d’une rue où vous interceptez les premiers passants venus…

Dans la vraie vie, il y a toutes sortes d’internautes. Si certains sont branchés en permanence, d’autres prennent connaissance de leurs courriels à peine quelques fois par semaine. Certains le font au bureau, d’autres à la maison. De jour, de soir, de fin de semaine… les habitudes sont variées.

Qu’arrive-t-il donc si un sondage en ligne est fait en quelques heures? Il n’est pas représentatif des internautes, tout simplement. Et s’il n’est pas représentatif, il est impossible d’en généraliser les résultats.

Un sondage web devrait donc être mis en ligne au minimum plusieurs jours, incluant idéalement un week-end. De cette façon, on s’assure de sonder un échantillon beaucoup plus large et représentatif de la population internaute.

C’est Reg Baker et son excellent blogue The Survey Geek qui ont porté à mon attention la nouvelle édition (2011) du document (PDF) Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys de l’AAPOR. Ce document, qui traite en long et en large des taux de réponse, comporte une section dédiée aux sondages web et aux panels d’internautes.

On y rappelle que les panels de volontaires (les compagnies qui recrutent sur des sites web par exemple) ne s’appuient pas sur des méthodes d’échantillonnage aléatoires. De ce fait, il est impossible de circonscrire la population à l’étude (qui a véritablement été exposé aux efforts de recrutement?) et on ne peut connaître la probabilité qu’a chaque individu d’être sélectionné dans l’échantillon.

Ainsi, en plus de ne pouvoir calculer de marge d’erreur, les panels de volontaires ne devraient jamais utiliser l’expression «taux de réponse», celle-ci étant associée aux méthodes d’échantillonnage probabilistes. L’AAPOR recommande plutôt, afin d’éviter toute confusion, que les panels de volontaires utilisent le terme «taux de participation».