Les médias sociaux

Je ne crois plus avoir besoin de définir la notion de médias sociaux. Mais juste au cas où, disons grosso modo qu’il s’agit des applications web qui permettent aux utilisateurs de créer et de partager du contenu. Les outils les plus connus sont certainement les blogues ainsi que les réseaux sociaux comme Facebook ou Twitter (voir une définition plus complète des médias sociaux).

Comment utilise-t-on les médias sociaux en recherche marketing?

Il y a toutes sortes de façons d’utiliser ces outils en recherche marketing, mais pour les besoins de mon propos, je les rangerai en trois catégories distinctes selon l’objectif poursuivi¹ :

1. Trouver des participants ou des répondants;
2. Recueillir des données à l’aide des applications sociales (données primaires);
3. Observer et analyser les conversations spontanées sur internet (données secondaires).

1. Trouver des participants ou des répondants

Certaines entreprises de recherche marketing se servent des réseaux sociaux comme «base de sondage», en quelque sorte. Ils utilisent ces outils pour trouver des répondants (pour faire un sondage par exemple) ou pour recruter des participants. Ces échantillons ne sont toutefois pas des échantillons probabilistes.

Facebook permet ainsi de cibler des utilisateurs selon certaines variables comme l’âge, le sexe, le lieu, etc. Il n’y a pas très longtemps, le réseau professionnel LinkedIn offrait un service d’échantillonnage pour la recherche marketing (PDF). Le service a toutefois été interrompu, au grand désespoir de certains chercheurs.

2. Recueillir des données à l’aide des applications sociales

La deuxième catégorie fait plutôt référence à l’utilisation des médias sociaux comme méthode de collecte des données. Depuis un bon moment déjà, certains utilisent la messagerie instantanée pour effectuer des entrevues individuelles ou de groupes, ou encore des interfaces d’échange pour des «groupes de discussion» en ligne.

Mais la tendance récente est de constituer, sur internet, des «communautés» spécifiquement dédiées à la recherche marketing. Mieux connues sous leur nom anglais (Market Research Online Communities – MROC), ces communautés servent à recueillir de l’information, auprès de consommateurs, à propos d’une marque, d’une entreprise, d’un produit, etc. Elles peuvent être permanentes ou temporaires, plus ou moins grandes, ouvertes au public ou sur invitation seulement. Pour en savoir plus, je vous invite à lire cet article de Jeffrey Henning (Vovici).

3. Observer et analyser les conversations spontanées sur internet

Sur les blogues et les réseaux sociaux, les gens s’expriment. Selon un sondage publié en février 2010 par Cossette, 20 % des internautes canadiens (qui avaient navigué sur internet la semaine précédant le sondage) disent partager de l’information ou des opinions sur internet, avec d’autres usagers, sur une entreprise ou une marque en particulier. Or, la recherche marketing vise justement à «faire parler» les gens en ce sens. Comme 1 + 1 = 2, l’industrie n’a pas tardé à s’intéresser aux contenus générés spontanément par les utilisateurs.

La troisième catégorie renvoie donc à l’observation et à l’analyse de données secondaires, c’est-à-dire de données déjà présentes sur internet. Il peut s’agir par exemple des commentaires d’un blogue, des échanges d’un groupe Facebook, de publications sur Twitter. Cette méthode émergente suscite bien des débats actuellement dans l’industrie. Aussi, le sujet mérite amplement que je lui consacre un billet entier. C’est donc à suivre.

¹Cette typologie est adaptée de Tamara Barber (Forrester).

Or, c’est une réalité bien différente des sondages qui visent les particuliers. Dans ce contexte, un certain nombre de conseils s’imposent. Voici donc 7 recommandations pour accroître le succès des sondages auprès des entreprises.

1. Bien définir la population à l’étude

Si on a une liste d’entreprises (ex. : en B2B, une liste d’entreprises clientes), il est facile de circonscrire la population à l’étude. Mais disons qu’on veuille sonder les «entreprises québécoises», il faut alors s’assurer de bien définir les unités de la population. Par exemple, la filiale québécoise d’une multinationale dont le siège social est à l’étranger fait-elle partie de la population à l’étude? Si une entreprise compte une vingtaine d’établissements répartis sur un territoire donné, veut-on des données d’ensemble ou par établissement?

2. S’assurer de la qualité de la base de sondage

La base de sondage, c’est-à-dire la liste des entreprises à sonder, devrait être le plus à jour possible et, idéalement, sans erreurs. Malheureusement, il n’est pas rare qu’un client nous fournisse une base de sondage qui n’est pas à jour, où il y a des renseignements erronés ou manquants. Évidemment, on peut souvent chercher et trouver l’information manquante, mais ces démarches font inévitablement croître les coûts du projet.

3. Cibler le bon répondant… et ne pas viser trop haut!

C’est la nature des questions qui détermine qui, dans l’entreprise, est la personne la mieux placée pour fournir les réponses. Cette personne peut être ciblée à l’avance (ex. : responsable de l’administration), mais on peut également trouver la personne la plus apte à répondre en expliquant, lors du premier appel, l’objectif du sondage. Faites attention cependant de ne pas viser trop haut! Ce n’est pas toujours nécessaire de parler directement au PDG. Une autre personne, plus disponible, peut très bien posséder toutes les réponses et nous permettre ainsi d’obtenir un meilleur taux de réponse.

4. Permettre la substitution du répondant

En lien avec le point n^o 3, il ne faut pas hésiter à permettre la substitution du répondant. Disons par exemple que l’échantillon contient le nom du répondant à contacter. Si ce dernier, pour quelques raisons que ce soit, n’est pas en mesure de faire le sondage, peut-être est-il possible de lui substituer une autre personne? C’est une option à considérer.

5. Prévoir des périodes de collecte plus longues

Particulièrement si vous vous adressez à des gestionnaires, il peut être très difficile de réussir à joindre le répondant. Il faut donc prévoir un échéancier en conséquence. Par ailleurs, lorsqu’on sonde en entreprise, mieux vaut éviter certaines périodes – qui peuvent varier d’un secteur d’activité à l’autre (ex. : vacances de la construction, congés fériés, fin d’année financière).

6. Éviter d’allonger le questionnaire

On ne le dira jamais assez : écourtez le questionnaire le plus possible! Cela dit, ce conseil est valable pour à peu près tous les sondages.

7. Choisir le bon mode de collecte

Sondage en ligne ou sondage téléphonique? Je vous dirais : ça dépend. En plus des considérations habituelles pour choisir le bon mode de collecte, il faut aussi tenir compte, dans le cas des sondages auprès des entreprises, de différents facteurs (ex. : secteur d’activité, poste occupé par le répondant, intérêt suscité par le thème du sondage). Selon notre expérience pour ce type de sondage, le taux de réponse est généralement significativement meilleur avec un sondage téléphonique par rapport à un sondage en ligne.

Il sera plutôt remplacé par une enquête à participation volontaire, soit l’enquête nationale auprès des ménages, qui ciblera le tiers des ménages canadiens. En revanche, la version courte du recensement demeurera obligatoire.

Les conséquences de cette décision seront dommageables pour toute l’industrie du sondage. Voici pourquoi.

Comme je l’expliquais dans mon précédent billet, nous utilisons les caractéristiques connues de la population pour pondérer les données de sondage. Or, plusieurs données relatives aux «caractéristiques connues de la population» sont directement issues… de la version longue du questionnaire de recensement! Le fait que cette enquête à participation obligatoire devienne facultative aura un effet certain sur le taux de réponse, diminuant ainsi la fiabilité des données et, par conséquent, la précision des sondages.

L’Institut de la statistique du Québec (ISQ) a d’ailleurs pris position hier sur les impacts de ce changement pour le Québec. Comme je ne saurais mieux l’expliquer en mes propres mots, je me permets de reprendre quelques extraits (voir l’analyse intégrale) :

Les impacts sont importants et concernent notamment trois dimensions de la qualité de l’information statistique : fiabilité, comparabilité et cohérence.

Tout d’abord, compte tenu du caractère facultatif de la nouvelle enquête, une diminution des taux de réponse est appréhendée. Cela laisserait présager une perte de la fiabilité des statistiques produites. [...]

Une perte de comparabilité pourrait également être observée à l’égard des statistiques relatives aux caractéristiques de la population obtenue au fil des ans. [...]

Enfin, il pourrait être difficile pour Statistique Canada d’assurer la cohérence des statistiques produites à la suite de la nouvelle enquête facultative avec celles produites à l’aide du questionnaire court du recensement de 2011 [...]

Ce questionnaire court obligatoire, rappelons-le, ne contient que 4 variables sociodémographiques : âge, sexe, état matrimonial et langue maternelle. C’est insuffisant pour les besoins liés à la pondération des données (voir la version 2011 du questionnaire court – à la suite du recensement sur l’agriculture).

Il n’y a pas que les sondeurs qui redoutent l’impact de cette décision, vous vous en doutez. Plusieurs groupes ont d’ailleurs fait connaître leur insatisfaction. Par exemple :

• L’Association canadienne des professeures et professeurs d’université exige que le gouvernement fédéral revienne sur sa décision en mentionnant les «conséquences désastreuses que cette mesure aura sur la compréhension scientifique de la société canadienne et sur la capacité de prendre des décisions éclairées relatives aux politiques sociales et économiques.»
• Le Commissaire aux langues officielles a entrepris une enquête sur la question en soulignant son inquiétude à l’égard «des répercussions possibles que pourrait avoir cette décision sur la vitalité des communautés de langue officielle et l’application de la Loi sur les langues officielles.»
• La Conférence des recteurs et des principaux des universités du Québec (CREPUQ) a également fait part de sa «consternation [à l'égard de] la décision du gouvernement fédéral.»
• Même le milieu des affaires s’est joint au débat pour dénoncer ce changement.

Les raisons évoquées par le gouvernement pour justifier cette décision sont pour le moins nébuleuses. Selon un article du quotidien Le Devoir, le ministre de l’Industrie, Tony Clement, parle de préoccupations liées à la vie privée et va même jusqu’à remettre en question la fiabilité des informations du recensement sous prétexte que les citoyens étaient obligés de répondre au questionnaire…

Ce qu’il semble ignorer, c’est que sa décision (prise semble-t-il sans aucune consultation des principaux utilisateurs des données du recensement) aura des conséquences encore pires sur la fiabilité des données. Et c’est sans compter que la nouvelle formule coûtera plus cher aux Canadiens puisque le questionnaire sera envoyé à un plus grand nombre de ménages : un «petit» 30 millions $ de plus, selon Cyberpresse…

Qu’est-ce que la pondération? Pourquoi pondérer les données?

La pondération des données consiste à accorder un coefficient de pondération (un poids) à chacun des individus d’un échantillon. L’objectif premier de l’exercice est de corriger la représentativité de l’échantillon en fonction de certaines variables clés afin d’être en mesure d’extrapoler les résultats du sondage à la population.

Exemple

• Prenons une population qui compte 10 000 individus et un nombre égal d’hommes et de femmes.
• Disons maintenant qu’on fait un sondage avec un échantillon de 1000 individus et, qu’à cause de certains facteurs (ex. : taux de réponse, stratification), on obtient 800 femmes et 200 hommes.
• On constate un déséquilibre, pour la variable «sexe», entre l’échantillon et la population : chaque homme de l’échantillon représente 25 hommes de la population (5000/200) alors que chaque femme de l’échantillon représente 6,25 femmes de la population (5000/800).
• On appliquera donc un coefficient de pondération qui aura pour effet de donner plus de poids aux réponses des 200 hommes (et moins à celles des femmes), et ce, afin de corriger le déséquilibre.

Les variables de pondération

Les variables qu’on utilisera pour pondérer les données d’un échantillon dépendent des caractéristiques de la population à l’étude.

Pour un sondage auprès de la population québécoise par exemple, la distribution des principales variables sociodémographiques sera examinée (ex. : âge, sexe, scolarité, nombre d’individus par ménage) et, s’il y a déséquilibre par rapport aux caractéristiques connues de la population, on appliquera le coefficient de pondération approprié. Ainsi, le poids qu’on attribue à un individu de l’échantillon correspond au poids que cet individu représente dans la population.

Note importante : La pondération ne compense pas une méthode d’échantillonnage inappropriée. Si, à la base, on ne dispose pas d’un échantillon probabiliste constitué dans les règles de l’art, la pondération ne peut pas prétendre rendre un échantillon représentatif.

L’expérience montre d’ailleurs que les répondants n’hésitent pas à répondre aux questions ouvertes d’un sondage web; ils ne sont pas avares de détails et, dans certains cas, peuvent même être très bavards!

Ainsi, le taux de réponse pour ce type de question est généralement bon. La qualité des réponses également. Mais pour cela, certains éléments spécifiques aux sondages en ligne doivent être pris en considération (en plus des éléments communs à tout type de sondage).

Taille de la zone de texte

Notre logiciel de sondage en ligne est souple : il n’impose a priori aucune restriction quant à la longueur des réponses – à moins d’en décider autrement. La beauté des sondages web, par rapport au «bon vieux» sondage papier, c’est que la réponse peut excéder la taille apparente de la zone de texte (s’ajoute alors une barre de défilement).

Il n’en demeure pas moins que l’apparence de la zone de texte a généralement la forme d’un rectangle bien défini (voir l’exemple ci-dessous). Or, la taille apparente de la boîte (plus ou moins grande) influence la qualité des réponses chez les répondants moins motivés (ceux qui répondent plus tard au sondage).

Des chercheurs ont en effet montré qu’une zone de texte plus grande accroît la longueur des réponses (nombre moyen de mots) et le nombre moyen de thèmes abordés, en plus d’obtenir des réponses plus élaborées sur chaque thème. Par ailleurs, indiquer explicitement au répondant que sa réponse peut dépasser la taille de la zone de texte permet également d’accroître ces indicateurs pour tous les types de répondants.

Instructions particulières

Enfin, la même étude suggère que le fait de donner des instructions claires qui insistent sur l’importance de la question ouverte améliore la qualité des réponses.

Exemple
Cette question est très importante pour comprendre votre expérience. S’il vous plaît, prenez votre temps pour y répondre.

Lorsque cette précision était mentionnée, les répondants ont fourni des réponses plus longues, plus élaborées et ont pris significativement plus de temps pour répondre à la question.

Ce genre d’étude montre encore une fois qu’en recherche web, l’outil de mesure est loin d’être neutre. Il importe d’en être conscient pour faire les bons choix et réduire le plus possible les biais liés au questionnaire et à son design.

Référence
Jolene D. SMYTH et al. (2009). «Open-ended questions in web surveys : can increasing the size of answer boxes and providing extra verbal instructions improve response quality?», Public Opinion Quarterly, vol. 73, n^o 2, p. 325-337.

Peu importe qu’il s’agisse d’un sondage téléphonique ou d’un sondage web, ce type de question offre plusieurs avantages. Mais elles comportent également des défis, sur le plan méthodologique notamment.

Avantage des questions ouvertes

• En complément des questions dites fermées, les questions ouvertes apportent une richesse supplémentaire aux résultats.
• Elles permettent de mieux comprendre le «comment» ou le «pourquoi» de certaines opinions ou attitudes. Dans les études de satisfaction notamment, elles aident à mieux cerner les raisons qui expliquent l’insatisfaction.
• Même si on peut souvent anticiper le type de réponse, les questions ouvertes font aussi émerger des réponses inattendues, impossibles à prévoir dans une question fermée.
• Enfin, une question ouverte du genre «avez-vous des commentaires à faire à propos de votre expérience XYZ?» donne la possibilité au répondant de répondre à une question… qui n’a pas été posée (c’est le phénomène de la substitution des réponses, j’y reviendrai dans un prochain billet).

Défis associés aux questions ouvertes

• La formulation des questions ouvertes est importante; elles doivent susciter l’intérêt tout en amenant le répondant à développer son opinion, ses idées. À ce sujet, je vous invite à consulter quelques bonnes pratiques (en anglais).
• L’endroit où on place les questions ouvertes dans la séquence des questions (au début du questionnaire? au milieu? à la fin?) a également son importance. Il ne faut pas oublier que les questions qui précèdent une question ouverte créent un contexte pour le répondant – il sera porté à répondre en fonction des questions ou des thèmes déjà abordés.
• L’analyse des réponses aux questions ouvertes demande un travail minutieux et très exigeant de codification. Notre responsable codeur, Maxime Ferland, présentera d’ailleurs sous peu dans ce blogue les caractéristiques du métier de codeur.

Mais en attendant, mon prochain billet sera consacré aux questions ouvertes dans le cas particulier des sondages en ligne.

Dans un récent article* de la Social Science Computer Review, deux chercheuses font le bilan de la recherche empirique sur cette question : quelles caractéristiques du design d’un sondage web peuvent contribuer à diminuer la non-réponse? Bien sûr, cela peut varier selon les contextes. Voici tout de même quelques pistes tirées de l’article.

Éviter les barres de défilement

Un design basé sur une page-écran est préférable à un design qui comporterait une barre de défilement (scroll bar) avec plusieurs questions sur la même page. Par ailleurs, le design basé sur la page-écran permet de mieux cibler les questions problématiques lorsqu’il y a beaucoup d’abandons (voir à ce sujet le taux d’abandon).

Limiter la longueur des questionnaires

Ce conseil n’est pas propre aux sondages en ligne et devrait toujours être pris en considération, peu importe le type de sondage. Les sondages trop longs favorisent les abandons puisque le fardeau du répondant est trop grand.

Inclure un indicateur de progression adéquat

Inclure un indicateur comme celui-ci pour permettre au répondant de se situer dans le questionnaire peut contribuer à limiter les abandons. Si le questionnaire est trop long toutefois, l’indicateur peut avoir l’effet inverse : le répondant a l’impression que sa progression est trop lente. C’est donc un élément graphique à utiliser lorsque le contexte s’y prête.

Modérer les graphismes complexes

Rendre le questionnaire attrayant est une chose. Mais il faut être prudent avec les graphiques trop complexes puisqu’ils peuvent créer de la confusion ou des difficultés de navigation et ainsi provoquer des abandons. Par ailleurs, les images peuvent également biaiser les réponses.

Opter pour des formats de question et des boutons simples

Les boutons radio, même s’ils sont décriés par certains joueurs de l’industrie, sont simples à utiliser et tendent à limiter la non-réponse (par opposition à des questions plus complexes, des boutons de type «glisser-déposer» [drag-and-drop] ou des questions où il faut entrer manuellement une donnée).

En fait, si l’on se fie aux diverses recherches citées par les auteurs de l’article, l’apparence en général du sondage web a avantage à être simple; des pages web trop sophistiquées ou trop colorées génèrent davantage de non-réponse.

Référence complète de l’article
VINCENTE, Paula et Elizabeth REIS (2010). «Using questionnaire design to fight nonresponse bias in web surveys», Social Science Computer Review, vol. 28, n^o 2, p.251-267.

Source : Blogue de Vovici

Il me semble que ce format conviendrait particulièrement bien aux médias; tout en renseignant le lecteur adéquatement, cela montrerait un souci de préserver la rigueur scientifique…!

Éthique de la recherche : les origines

Les principes éthiques qui guident la recherche aujourd’hui tirent leur origine du procès de Nuremberg (1945-1946) intenté contre les principaux dirigeants de l’Allemagne nazie. Parmi les accusés, on retrouvait plusieurs médecins ayant mené des expériences sur les détenus des camps de concentration. Le code de Nuremberg (1947), élaboré à l’issue du procès, regroupe dix principes éthiques à respecter lors d’expérimentations avec des sujets humains.

De la recherche médicale à la recherche sociale

Le code de Nuremberg a inspiré la majorité des disciplines :

Les normes [éthiques] développées pour les sciences biomédicales ont progressivement été revues et appliquées aux sciences du comportement. Les associations professionnelles ont peu à peu adopté des règles de conduite professionnelles.¹

Le principe clé : le consentement libre et éclairé

Bien que plusieurs normes éthiques doivent être respectées en recherche, la première et certainement la plus fondamentale est le consentement libre et éclairé du «sujet humain».

• Le consentement est dit libre lorsqu’il est exempt de toute pression de la part d’un tiers (ex. : chercheur).
• Le consentement est dit éclairé lorsque le participant connaît la nature et l’objectif de la recherche, ses avantages et ses risques ainsi que la portée de son consentement (source : Commission de l’éthique de la science et de la technologie, document PDF).

Différents types de recherche, différentes considérations éthiques?

La façon d’appliquer les principes éthiques doit-elle toujours être la même? La recherche sociale et la recherche marketing comportent-elles le même niveau de risque que la recherche biomédicale? La réponse évidente pour moi est non : il n’y a pas de commune mesure entre le fait de poser des questions (sondage) et le test d’un nouveau médicament par exemple!

Alors que ce dernier peut entraîner des réactions physiologiques, les conséquences négatives de la plupart des sondages se limitent généralement au temps qu’il faut consacrer à l’enquête et au stress qui pourrait se manifester à cause de l’entrevue (ex. : sujet très personnel, incompréhension du vocabulaire utilisé)². Dans ce contexte, tout en respectant les normes éthiques, ne peut-on pas adopter une approche moins restrictive dans certaines situations?

Lorsque «trop» d’éthique nuit à la recherche

Vous vous demandez probablement où je veux en venir… Mais voici un exemple concret. Il nous arrive régulièrement d’effectuer des sondages dont la méthodologie – et en particulier le questionnaire – doit être approuvée par un comité d’éthique.

Or, les exigences des comités d’éthique sont parfois exagérées (et je pèse mes mots). Résultat? Des questionnaires dont l’introduction est beaucoup trop longue, qu’on doit absolument lire en entier, et qui offre de multiples occasions au répondant de refuser. Les conséquences sont les suivantes :

• Des taux de refus très élevés (donc des taux de réponse bas, ce qui nuit à la qualité des données);
• Des répondants parfois très irrités qu’on leur lise un texte aussi long d’entrée de jeu (imaginez que vous répondez au téléphone et qu’une personne vous lit un texte de plus d’une page pour vous expliquer à quel point la recherche est éthique…).

Les comités d’éthique semblent inconscients de ces conséquences désastreuses sur la collecte téléphonique. De leur côté, les chercheurs exigent (avec raison) des taux de réponse élevés afin d’obtenir les résultats les plus valides possible. Malheureusement, les exigences des comités d’éthique et des chercheurs sont contradictoires. Dans ces conditions, c’est mission impossible : pour obtenir de très bons taux de réponse, il faut entrer dans le vif du sujet à l’intérieur de la première minute.

Bref, je ne suis pas la seule à le dire, les pratiques actuelles de certains comités d’éthique nuisent à la recherche par sondage.

Notes
¹ Jean Crête, «L’éthique en recherche sociale» dans Recherche sociale : de la problématique à la collecte des données (Benoît Gauthier, dir.), 2^e édition, p.228.
² Idib., p. 235.

Suivi des données

Faire le suivi des données, ça veut tout simplement dire d’examiner les réponses fournies par les répondants. Comme notre système nous permet d’accéder aux données individuelles (réponses) et collectives (fréquences) en temps réel, cette tâche est simple.

Utilité du suivi des données

Le suivi des données est utile pour déceler des anomalies et, évidemment, apporter les correctifs nécessaires au besoin. Quelles pourraient être ces anomalies? Voici quelques exemples :

• Un trop grand nombre de données manquantes pour une question donnée ou, pire encore, une question où il n’y a aucune réponse;
• Des réponses incohérentes étant donné la nature de la question posée (ex. : tous les répondants indiquent la même réponse, présence de valeurs extrêmes);
• Des commentaires explicites du répondant (ex. : dans les questions ouvertes) à l’effet qu’il y a un problème.

Si des anomalies sont détectées, il faut creuser pour identifier la nature du problème. Il peut s’agir d’un problème technique (ex. : erreur de programmation) ou de contenu (ex. : incompréhension d’une question).

Même si SOM met en place toutes les procédures pour éviter ces écueils à la source (je vous parlerai une autre fois de quelques-unes de nos procédures d’assurance qualité), personne n’est complètement à l’abri d’une erreur. Aussi, vaut mieux mettre tout en œuvre pour s’assurer de la qualité des données recueillies en début de collecte… afin d’éviter les mauvaises surprises à la fin!

Autres billets de la série «Sondages en ligne : quels indicateurs suivre?»

1. Nombre de répondants et taux de réponse
2. Taux d’abandon
3. Taux d’accès
4. Durée du sondage et temps de réponse par question