Par ailleurs, j’aime bien le concept « d’innovation responsable ». On ne peut pas se permettre d’innover pour innover! Il faut que ce soit réfléchi et fait de façon à ne pas induire de nouveaux biais!

Je suis heureuse de voir que vous poursuivez les études en ce sens. Tenez-moi au courant, il me fera plaisir d’en parler à nouveau dans ce blogue. Le partage des connaissances est essentiel, je crois, au développement harmonieux de la recherche marketing de « nouvelle génération ».

Pour répondre à Éric, je trouve que votre question est très pertinente!

En effet, il faut non seulement être vigilant en ce qui concerne l’utilisation des animations Flash dans les sondages en ligne, mais il faut aussi être très vigilant en ce qui concerne l’utilisation des « nouveaux types de questions » que ces technologies permettent d’implémenter.

L’étude « Eyes Don’t Lie » démontre clairement que les répondant(e)s sont fortement influencés et même distraits par les supports visuels auxquels ils sont exposés, mais aussi qu’ils peuvent avoir de la difficulté à comprendre les nouveaux paradigmes de la recherche en ligne 2.0.

Il est déjà tellement délicat de formuler les questions adéquatement afin de limiter les biais et de permettre l’enregistrement de réponses valables, il ne faut pas oublier que l’ajout d’une dimension visuelle aux questions augmente la charge cognitive que les répondant(e)s doivent supporter afin d’exécuter les tâches avec succès.

Par exemple, si j’ai un marqueur à ma disposition et que je dois utiliser celui-ci pour indiquer ce que j’ai le plus aimé d’une publicité, dois-je surligner l’ensemble de ce que j’ai aimé? Dois-je seulement encercler ce que j’ai aimé? Et par la même occasion, comment vais-je être certain que les gens qui vont analyser les données vont comprendre qu’en encerclant la « tête de l’homme dans la publicité », je voulais indiquer que j’aimais l’expression de l’homme et non que j’aimais son visage?

Certains penseront peut-être qu’il s’agit là de questions trop complexes que les répondant(e)s ne se poseront jamais mais il s’agit là d’une grave erreur : Les répondant(e)s ont ces questionnements et ils/elles n’hésitent pas à les partager avec nous si nous nous donnons la peine de tendre l’oreille. Je crois qu’actuellement, une grande confusion subsiste entre ce que le milieu de la recherche nomme le niveau d’engagement des répondant(e)s et l’habileté que les répondant(e)s ont à répondre de façon honnête, sincère et précise aux sondages.

Un sondage est un outil de collecte qui a pour objectif d’être le plus neutre possible afin d’éliminer les éventuelles sources de biais et la logique de l’enchaînement des questions, la formulation des questions, la segmentations au sein des questionnaires sont de bien plus grande importance pour conserver l’intérêt d’un ou d’une répondant(e) que le look des questions. Nous l’avons aussi observé : les répondant(e)s les plus assidus et sincères n’hésiteront pas à inscrire « n’importe quoi » afin de passer outre une question dont ils doutent de la validité ou bien à laquelle ils ne savent pas comment répondre.

Nous avons d’autres projets en vue qui vont nous permettre d’approfondir nos investigations à ce sujet, car il s’agit là d’un sujet de très haute importance – Le succès futur de la recherche marketing en ligne en sera tributaire.

L’étude a démontré que l’utilisation des images augmente la propension des répondants à ne pas lire les questions. On a aussi compris qu’il y a d’autres risques (de biais, de manque de compréhension,..) lorsque des images sont utilisées en illustration des choix de réponse.

Je conseillerais aux concepteurs d’interfaces de sondages de restreindre l’utilisation des images d’agrément à des points d’entrée et de sortie des sondages. Bien sûr si l’objectif du sondage est de tester des images (de campagne, de pack etc.) elles ont toute leur place à l’intérieur!

Quant aux distractions que les effets visuels (notamment en Flash) peuvent provoquer, elles réduisent le temps que le répondant peut accorder à sa propre réflexion sur la question qu’on lui pose.

Les nouvelles interfaces de sondage ont été conçues dans un but d’améliorer l’expérience des répondants. Est-ce que dans votre expérience personnelle vous avez trouvé le nouveau type d’interface plus plaisant à utiliser?

Ça m’amène une réaction et une question… Je suis membre du panel de Mec.ca et je trouve qu’ils abusent vraiment des effets graphiques et du flash dans leur conception de questionnaires. Pour ma part, lors du premier questionnaire que j’ai rempli avec leur nouvel outil, j’ai été impressionné… par contre, à la longue, je trouve que le flash est davantage une distraction qu’une incitation à lire vraiment les questions et à bien remplir le questionnaire.

Je n’ai pas lu l’étude dont tu fais mention, mais je me demandais si les conclusions vont jusqu’à déconseiller l’usage de trop d’effets visuels qui peuvent distraire et nuire à la qualité des réponses?

Une approche systématique serait-elle envisageable? J’entends par là la création de « modèles » de questionnaires WEB – tout comme il y a des embûches (bien connues et documentées) à éviter dans les questionnaires téléphoniques typiques afin d’éviter un biais.

Merci beaucoup pour ce billet. Je suis très excitée par les opportunités offertes aux chercheurs par ces technologies. Je constate que beaucoup de chercheurs perçoivent le web comme un substitut aux techniques et méthodologies de recherche dites « traditionnelles » à moindre coût.

Selon moi, c’est sous-estimer le potentiel du médium que d’y reproduire un sondage téléphonique ou un groupe de discussion tel quel. Et encore faut-il que cette reproduction soit fidèle – d’où l’importance des pré-tests en ligne.

Dans cette optique, l’oculométrie est un outil à disposition des chercheurs qui souhaiteraient y voir plus clair (désolée pour le jeu de mots;-))

Je suis à la disposition de vos lecteurs qui souhaitent en savoir plus sur l’étude Eyes Don’t Lie ou qui aimerait discuter des services d’études utilisateurs ou de pré-test de sondages en ligne (voir coordonnées ci-dessous.)

Au plaisir,

Kate

Kate Caldwell

Principal Consultant
UX Research & Consulting
UX Recherche & Conseil

T (bur): +1 514 670-8988
T (cell): +1 514 502-5862
E: kcaldwell@ux-research.com

1470, rue Peel, Bureau 820
Montréal (Québec)
H3A 1T1