J’aurai le plaisir d’y faire la conférence d’ouverture, avec un tour d’horizon des nouvelles tendances en la matière.

En tout, cinq conférences sont au programme, portant sur les thèmes suivants :

• Les nouvelles tendances en matière de recherche qualitative en ligne;
• L’étude des communautés virtuelles de consommation à l’aide de la netnographie;
• La comparaison du sondage en ligne et de l’analyse des médias sociaux;
• L’impact des interfaces de sondage en ligne sur l’expérience utilisateur;
• L’engagement des participants selon la méthode de collecte de données.

Vous avez jusqu’au 15 novembre pour vous inscrire. Pour plus de détails, je vous invite à consulter ce document (PDF).

En espérant vous y voir en grand nombre!

Comme sondeurs, nous sommes bien servis par ces technologies uniquement si elles nous permettent d’attirer l’attention du répondant sur les éléments les plus importants de la page web d’un sondage. Mais quels sont ces éléments?

Pour une question «type», on devrait d’abord attirer le regard sur :

1. Le texte de la question. Élément fondamental, n’est-ce pas? Pourtant, des études ont démontré que les répondants ne lisent pas toujours la question. Mettons toutes les chances de notre côté!
2. Les éléments de réponse ou l’espace pour inscrire une réponse. On désire que le répondant ait une vue d’ensemble des réponses possibles et qu’il puisse se positionner rapidement.
3. Les consignes complémentaires à la question. Quoiqu’essentielles, elles n’ont pas l’importance du texte de la question. Elles doivent donc être mises en valeur, mais sans voler la vedette aux premiers éléments.
4. Les logos du sondeur ou du commanditaire. Ils ajoutent à la crédibilité du sondage, mais ne doivent pas détourner indûment l’attention du répondant.
5. La barre de progression. Elle a pour but de minimiser l’abandon en illustrant le chemin parcouru dans la progression du sondage.
6. Les autres éléments tels les liens vers un « contactez-nous » ou une rubrique d’aide. Rarement utilisés, ces éléments agissent essentiellement à titre de soutien aux répondants moins familiers avec les sondages en ligne ou la technologie en général.

Comment hiérarchiser ces éléments?

Les bons vieux caractères en gras ou l’italique restent une solution de première qualité pour souligner l’importance de certains termes d’une question ou d’un choix de réponse. On peut aussi jouer sur différents éléments de mise en page pour aménager une question : la taille et couleur de la police ou la mise en retrait d’une consigne par exemple.

Comme je le mentionnais plus tôt, la technologie peut aussi nous rendre de fiers services. Intégrer un « beau » lecteur Flash peut être très utile pour mettre en valeur une vidéo ou un extrait sonore à évaluer.

Autre exemple, lorsqu’on doit présenter une affiche publicitaire de grande taille, on risque «d’expulser» une partie de la page web (souvent les choix de réponses) à l’extérieur des limites de l’écran. Dans ce cas, l’ajout d’une fonction «Cliquez pour agrandir» peut nous permettre de mieux aménager la page, sans avoir à faire de compromis sur la qualité de l’image présentée.

Tout ça peut sembler, disons-le, assez banal. En pratique par contre, il n’est pas rare de voir cette «hiérarchie» menacée.

Les choses à éviter

Dans le rayon des choses à éviter, je donne souvent l’exemple d’une échelle à glissière nouveau genre qui vole la vedette, mais qui amène le premier regard des répondants ailleurs que sur la question elle-même. Les questions de type glisser-déposer (drag and drop) doivent aussi être utilisées avec prudence, notamment pour éviter que les répondants ne passent plus de temps à comprendre ce qu’ils doivent faire… qu’à répondre à la question.

En somme, dans un questionnaire, certaines normes visuelles de base doivent toujours être respectées. En ce sens, lorsque vous vous lancez dans l’intégration de nouveaux «gadgets», posez-vous toujours la question : mon questionnaire sera-t-il méthodologiquement meilleur ou simplement plus beau? Si c’est la deuxième réponse qui l’emporte, vous n’êtes pas sur la bonne voie…

* Francis Pelletier est technicien senior en recherches et sondages chez SOM.

Évidemment, c’est un phénomène qu’on veut éviter autant que possible dans la réalisation d’un sondage. Mais quelles sont les principales raisons de l’abandon d’un questionnaire?

Selon une étude de Lightspeed Research, publiée sur le blogue de Vovici, et effectuée auprès de panélistes, la raison la plus souvent mentionnée est le sujet de l’étude.

Voici les cinq premières raisons mentionnées par les panélistes pour justifier l’abandon d’un sondage :

• L’intérêt du sujet : 35 % des panélistes disent avoir abandonné à cause du sujet de l’étude. Bien sûr, certains sujets présentent moins d’intérêt aux yeux du répondant. C’est aux chercheurs qu’il revient de construire des questionnaires plus attrayants pour stimuler l’intérêt.
• Les téléchargements : 20 % ont mentionné que le téléchargement de médias (ex. : vidéo) était trop long. N’oublions pas que les internautes n’ont pas tous la même vitesse de connexion!
• La longueur du sondage : 20 % ont abandonné parce que le sondage lui-même était trop long. On ne le dira jamais assez : limitons la longueur des sondages! L’auteur de l’étude établit le seuil psychologique à 15 minutes, ce avec quoi je suis plutôt d’accord.
• Les grilles de questions : 15 % justifient leur abandon par la présence de grilles ou de matrices de questions interminables. Ces grilles de questions, qui demandent souvent d’utiliser la barre de défilement, peuvent être très décourageantes pour le répondant.
• Les questions ouvertes : 5 % abandonnent lorsqu’il y a trop de questions ouvertes. Évidemment, les questions ouvertes demandent un effort supérieur de la part du répondant. Il ne faut toutefois pas hésiter à en inclure, il suffit de le faire avec modération. En effet, notre expérience montre que les répondants n’hésitent pas à répondre aux questions ouvertes d’un sondage web.

À lire aussi :

• Questions ouvertes : le cas particulier des sondages en ligne
• Design des questionnaires web : meilleures pratiques pour limiter la non-réponse
• Sondages en ligne : les facteurs qui influencent le taux de réponse
• Sondages en ligne : quels indicateurs suivre? Le taux d’abandon

Or, il est parfois incontournable que des termes techniques soient utilisés. Lorsque c’est le cas, on peut vouloir fournir aux répondants la définition de ces termes. Les sondages web nous permettent de le faire aisément. En fait, il existe différentes façons d’afficher les définitions.

Modalités d’affichage des définitions

Voici quelques-uns des modes d’affichage possible. Le premier implique que la définition soit toujours visible alors que les autres modes demandent une action de la part du répondant pour accéder à la définition.

1. Afficher la définition d’un terme technique en permanence, près du texte de la question.
2. Afficher la définition dans une infobulle; lorsque le répondant passe sa souris sur le terme technique, la définition lui apparaît.
3. Mettre un hyperlien sur chaque terme technique; lorsque le répondant clique, la définition lui apparaît (ça peut être dans une fenêtre ou directement sur la page).
4. Au bas de chacune des pages du sondage, faire un lien vers un lexique de tous les termes techniques utilisés dans le sondage.

Quelle façon est la plus efficace?

Si l’objectif poursuivi est de maximiser la consultation des définitions, il vaut mieux les afficher en permanence, près du texte de la question. C’est du moins ce que nous suggère une étude parue récemment dans le Journal of Official Statistics¹.

Dans cette étude, les chercheurs ont testé plusieurs paramètres liés aux définitions (format d’affichage, longueur des définitions, temps requis pour répondre à la question, etc.) et ont comparé les résultats obtenus. Leurs conclusions sont les suivantes :

• Selon ce qu’ils rapportent à la fin du questionnaire, les répondants consultent davantage les définitions lorsque celles-ci sont affichées en permanence;
• La longueur des définitions (les chercheurs ont testé une version courte et une version longue) ne semble pas faire de différence;
• Chez les répondants qui disent effectivement lire les définitions, le temps de réponse pour chaque question est plus long;
• Enfin, peu importe le mode d’affichage, plusieurs résultats présentent des différences significatives selon que le répondant consulte ou non la définition présentée.

Évidemment, tout ça dépend de l’objectif poursuivi et du contexte dans lequel s’inscrit le sondage. Si on croit que seuls quelques répondants auront besoin des définitions, il vaut probablement mieux les faire afficher sur demande. Donner trop d’information, surtout dans un médium comme le sondage web, peut alourdir considérablement la lecture et «noyer» l’information que l’on considère vraiment importante.

¹Andy PEYTCHEV, Frederick G. CONRAD, Mick P. COUPER, and Roger TOURANGEAU (2010). «Increasing Respondents’ Use of Definitions in Web Surveys», Journal of Official Statistics, vol. 26, n^o 4, p. 633-650.

À lire aussi :

• Qu’est-ce qui rend une question de sondage difficile à comprendre?

Mais aujourd’hui, nous parlons boutons! En fait, deux études récentes se sont intéressées aux boutons… et montrent encore une fois que les choix ergonomiques qui guident le design des sondages en ligne ne sont pas neutres.

Dans le premier article¹, on traite de la présentation des échelles de mesure. Dans le second², on s’intéresse à la position des boutons «précédent» et «suivant».

Présentation des échelles de mesure

Les chercheurs ont comparé deux types d’échelles de mesure : l’une formée de boutons radio et l’autre constituée d’un bouton à glissière qu’il faut positionner au bon endroit.

Leurs résultats montrent que les échelles à glissière conduisent à des taux d’abandon plus élevés et à des temps moyens de réponse à chaque question plus élevés. Ce constat est particulièrement vrai chez les personnes les moins éduquées.

Ils en concluent que le questionnaire a avantage à être le plus simple possible sur le plan technologique, et ce, afin d’optimiser l’expérience du répondant.

Position des boutons «précédent» et «suivant»

Dans cet article, les auteurs ont positionné les boutons «précédent» et «suivant» de manière différente (5 combinaisons) et en ont analysé l’impact sur une série d’indicateurs (taux d’abandon, durée du questionnaire, utilisation du bouton «précédent», etc.).

Ces manipulations n’ont eu que très peu d’effet sur le taux d’abandon ou la durée du questionnaire. Toutefois, les résultats montrent que certaines combinaisons incitent davantage le répondant à utiliser le bouton «précédent», chose que l’on cherche à éviter dans les sondages en général.

Dans les sondages en ligne SOM, nous avons opté pour un bouton «précédent» plus effacé comme le montre l’image ci-contre, et ce, afin de mettre l’emphase sur le bouton «suivant».

Pour plus de détails, je vous invite à consulter ces deux articles.

Références

¹ Frederik FUNKE, Ulf-Dietrich REIPS et Randall K. THOMAS (2010). «Sliders for the Smart: Type of Rating Scale on the Web Interacts With Educational Level», Social Science Computer Review.

² Mick P. COUPER, Reg BAKER et Joanne MECHLING (2011). «Placement and Design of Navigation buttons in Web Surveys», Survey Practice, numéro de février.

Cette année, 13 % des Québécois utilisent Internet mobile et naviguent au moyen d’un téléphone intelligent, d’un baladeur MP3 ou d’une tablette numérique. À ce sujet, soulignons que 69 % des utilisateurs s’en servent tous les jours. (Source : NETendances, fascicule no 3 – PDF)

Ainsi, il est de plus en plus probable que les personnes invitées à faire un sondage web y accèdent autrement que par un ordinateur traditionnel. Il importe donc de s’assurer que les sondages en ligne soient adaptés aux appareils mobiles.

Comment ça marche?

• Chaque appareil est doté d’un «user-agent» : quand un internaute visite une page web, une chaîne de type texte est envoyée au serveur pour identifier l’agent de l’utilisateur. Elle est incluse dans la requête HTTP et elle donne de l’information comme le nom de l’application, la version, le système d’exploitation, la langue, etc. (Source : Wikipédia)
• Ainsi, le serveur internet qui héberge le sondage détecte automatiquement que le répondant utilise un appareil mobile.
• Le répondant est ainsi redirigé vers un autre ensemble de pages web, lesquelles sont adaptées à la taille du mobile.

Comment adapter les sondages?

Nous en sommes encore au début de l’adaptation des sondages web aux appareils mobiles. Pour le moment, le principe fondamental consiste à adopter une structure de page verticale, plutôt qu’horizontale. Ce principe s’applique autant aux options de navigation qu’aux questions et réponses.

Les différentes résolutions d’écran des appareils mobiles
(Document de FlyResearch publié par Vovici)

C’est Reg Baker et son excellent blogue The Survey Geek qui ont porté à mon attention la nouvelle édition (2011) du document (PDF) Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys de l’AAPOR. Ce document, qui traite en long et en large des taux de réponse, comporte une section dédiée aux sondages web et aux panels d’internautes.

On y rappelle que les panels de volontaires (les compagnies qui recrutent sur des sites web par exemple) ne s’appuient pas sur des méthodes d’échantillonnage aléatoires. De ce fait, il est impossible de circonscrire la population à l’étude (qui a véritablement été exposé aux efforts de recrutement?) et on ne peut connaître la probabilité qu’a chaque individu d’être sélectionné dans l’échantillon.

Ainsi, en plus de ne pouvoir calculer de marge d’erreur, les panels de volontaires ne devraient jamais utiliser l’expression «taux de réponse», celle-ci étant associée aux méthodes d’échantillonnage probabilistes. L’AAPOR recommande plutôt, afin d’éviter toute confusion, que les panels de volontaires utilisent le terme «taux de participation».

Si une question est obligatoire pour poursuivre le sondage et que le répondant ne veut absolument pas y répondre, ou encore que les choix de réponses ne lui conviennent pas, il risque d’abandonner.

Or, selon un récent article du Journal of Marketing Theory and Practice¹, les questions obligatoires n’affecteraient pas le taux d’abandon. Toutefois, les interrogations quant à la qualité des données demeurent.

Les chercheurs se sont intéressés à l’impact de deux éléments sur le taux d’abandon :

• Les questions obligatoires ou facultatives;
• L’introduction ou non d’un choix de réponse «Je préfère ne pas répondre».

Selon la recherche qu’ils ont menée, ces éléments, qu’ils soient pris seuls ou en combinaison, ne font pas de différence quant au taux d’abandon. Ainsi, une question obligatoire ou «forcée» ne générerait pas plus d’abandons qu’une question facultative. Il faut mentionner, cependant, que les questions posées dans l’expérimentation étaient plutôt inoffensives; il serait intéressant de répéter l’expérience avec des questions portant sur des sujets plus sensibles.

Les chercheurs constatent par ailleurs que, lorsque l’option «Je préfère ne pas répondre» est offerte aux répondants, un certain nombre d’entre eux la choisissent. Dans ce contexte, il est pertinent de se demander quelle réponse ils choisissent lorsque cette option ne leur est pas offerte : cochent-ils n’importe quoi pour pouvoir avancer? Si c’est le cas, on peut sérieusement mettre en doute la validité et la qualité des résultats.

Bref, opter pour des questions obligatoires tout en permettant aux répondants de ne pas répondre à la question s’avère pour le moment le meilleur compromis entre la quantité de réponses obtenues et la qualité de ces mêmes réponses.

¹ Référence complète de l’article : Gerald Albaum, Catherine A. Roster, James Wiley, John Rossiter et Scott M. Smith (2010), «Designing Web Surveys in Marketing Research: Does Use of Forced Answering Affect Completion Rates?», Journal of Marketing Theory and Practice, vol. 18, n^o 3, p. 285-293.

À lire sur le même thème :

• Sondages en ligne : questions obligatoires ou facultatives?
• Questions ouvertes : le cas particulier des sondages en ligne

Dans l’ensemble, je retire des bénéfices de cette journée dans la mesure où plusieurs conférences ont stimulé ma réflexion. Voici quelques-unes de mes impressions à la suite de ce que j’y ai vu et entendu. Je vous parle brièvement des cinq conférences de la journée.

1. Évaluer l’efficacité d’un panel en ligne

Il y avait des éléments forts intéressants dans la présentation de M^me Christine Melançon, vice-présidente chez Ipsos. Entre autres, les procédures utilisées pour s’assurer du sérieux des répondants (ex. : questionnaire «piégé« à l’inscription pour vérifier que le répondant lit les questions) ou encore les panels «dédiés» (qu’on appelle aussi panels privés ou panels propriétaires), c’est-à-dire les communautés virtuelles exclusivement constituées pour une marque, une entreprise.

Malheureusement, je n’ai pu être d’accord avec l’ensemble de ses propos. Plus encore, je considère que M^me Melançon a induit le public en erreur en passant sous silence l’important débat de la représentativité des panels web. Pour elle, le fait de recruter les participants d’un panel de volontaires sur plusieurs sites web élimine les biais d’échantillonnage. Or, comme il s’agit d’un panel de volontaires et non d’un panel à recrutement aléatoire, non seulement les biais d’échantillonnage sont amplifiés, mais il est impossible de généraliser les résultats. De plus, elle affirme que les panels web sont représentatifs de la population en général… tout en présentant une diapo qui montre clairement que les panels excluent au minimum 25 % de la population, soit les gens qui n’utilisent pas internet régulièrement.

2. Engager le dialogue par la cocréation

Sans aucun doute la meilleure présentation de la journée! M. Alain Giguère, président de CROP, a exposé une approche intéressante basée sur l’utilisation du sondage. Pour faire court, disons que l’approche consiste à poser une question ouverte (ex. : quels sont vos sentiments à l’égard de telle marque?) et à soumettre les réponses proposées à d’autres répondants pour qu’ils les commentent à leur tour.

Seul bémol, la présentation ne spécifiait pas la méthode d’échantillonnage privilégiée pour sélectionner les répondants et ainsi apprécier la validité des résultats et leur possible généralisation à une population plus large… S’agit-il d’un échantillon probabiliste? Mystère!

3. Ce que vous devez connaître de vos compétiteurs en quelques clics

Conférence non dénuée d’intérêt, mais rien de vraiment nouveau sous le soleil. L’essentiel des propos de M. Frédéric Allard et de M^me Anne Roquecave, de la firme Ébullition, était à l’effet que le web, en particulier le web social, regorge d’information sur nos concurrents, exemples à l’appui. Un plaidoyer pour l’utilisation des médias sociaux à des fins de veille stratégique, mais sans vraiment proposer de démarche structurée.

4. Mesurer et écouter grâce aux outils en ligne

MM. Andréa Doyon (Hue – équation humaine) et Simon Francès (Cirque du soleil) ont présenté un outil de vigie qui vise à «agglomérer les premiers résultats de chaque moteur en leur attribuant une note de pertinence afin d’en dégager une tendance.» Peut-être est-ce le contexte de l’étude de cas (recrutement en ligne pour le Cirque du soleil) ou le support visuel déficient, mais toujours est-il que cette présentation n’a pas véritablement «accroché» mon intérêt.

5. La netnographie et l’étude des communautés virtuelles d’une marque

Enfin, les professeurs adjoints Jonathan Deschênes et Marie-Agnès Parmentier, de HEC Montréal, ont parlé de la «netnographie», soit l’application des principes de l’ethnographie aux communautés virtuelles. D’abord théorique, la présentation s’est ensuite attardée à l’étude d’un cas. Approche très intéressante, mais présentée dans une perspective académique (projet de recherche d’une durée de 2 ans). Cela dit, plusieurs idées me semblent applicables à la recherche marketing.

L’industrie de la recherche et du sondage est en profonde mutation depuis quelques années. Plusieurs nouvelles tendances ont vu le jour et se poursuivront sans aucun doute. Voici donc quelques «prédictions» pour le développement de la recherche en 2011…

L’exploration des médias sociaux à des fins de recherche

J’ai déjà écrit plusieurs billets sur le thème des médias sociaux, notamment l’état des lieux, l’analyse des humeurs et les considérations éthiques. L’utilisation des médias sociaux dans le contexte de la recherche marketing va certainement s’intensifier en 2011.

Je dirais qu’a priori, il y a deux choses importantes à retenir à propos de cette nouvelle tendance. D’abord, il s’agit d’une méthode exploratoire à utiliser avec prudence : il existe de nombreux outils dont l’efficacité n’a pas été prouvée et plusieurs défis demeurent, ne serait-ce que l’échantillonnage des propos analysés. Par ailleurs, n’oublions pas que cette méthode s’inscrit dans le champ de la recherche qualitative; en ce sens, les résultats obtenus ne peuvent prétendre être représentatifs d’une population donnée.

Toujours plus de sondages en ligne

Ce n’est un secret pour personne, les sondages en ligne ou sondages web sont généralement moins coûteux que les sondages téléphoniques traditionnels. De plus, les sondages téléphoniques, malgré qu’ils soient souvent plus efficaces que les sondages en ligne, souffrent d’un déficit d’image : on les considère dépassés ou trop envahissants. Aussi, nous assisterons encore, en 2011, à la progression du volume de sondages web par rapport aux sondages téléphoniques.

Le débat de la représentativité des panels web est loin d’être terminé!

La représentativité des sondages repose en grande partie sur un élément fondamental : le caractère probabiliste de l’échantillon (c’est-à-dire la sélection aléatoire des répondants). Or, de plus en plus de firmes proposent des sondages effectués à partir de panels de volontaires, soit des panels où les répondants s’inscrivent de leur propre initiative plutôt qu’être sélectionnés au hasard dans la population.

Ces pratiques vont à l’encontre de tous les principes scientifiques reconnus lorsqu’on veut généraliser les résultats d’un sondage à une population plus large. D’ailleurs, l’Association américaine de la recherche sur l’opinion publique (AAPOR) a officiellement recommandé, en 2010, les panels probabilistes. J’ai déjà écrit plusieurs billets sur ce thème, je vous invite à les consulter pour en savoir davantage :

• L’AAPOR recommande officiellement les panels probabilistes
• Une étude confirme la supériorité des panels web avec recrutement aléatoire des répondants
• Les sondés volontaires
• Sondages en ligne et marges d’erreur : ne vous laissez pas berner!
• Vrai ou faux? Les panels internet livrent des résultats représentatifs de la population

Ce débat continuera d’agiter l’industrie en 2011 en opposant d’une part la facilité et les coûts moindres (panels de volontaires) et, d’autre part, la rigueur scientifique et méthodologique (panels à recrutement aléatoire).

La téléphonie cellulaire et les sondages

Un nombre croissant de ménages n’utilisent plus de téléphone résidentiel fixe (ligne terrestre), mais optent plutôt pour le téléphone cellulaire exclusivement. Ce nouveau phénomène introduit un «biais de couverture» dans les sondages téléphoniques traditionnels : certains ménages ne sont plus joignables de cette façon. Pour remédier à ce problème, de nouvelles méthodes d’échantillonnage font leur apparition, lesquelles incluent des échanges téléphoniques propres au cellulaire.

Je parie que ce thème sera une grande préoccupation pour toute l’industrie de la recherche en 2011! Quoi qu’il en soit, j’y reviendrai dans un prochain billet pour vous parler du récent rapport de l’AAPOR entièrement consacré à cette question.

Voilà ce que je considère être les principales tendances pour 2011 dans l’industrie de la recherche et du sondage. Avez-vous d’autres idées?