Dans un sondage en ligne, comparativement à un sondage téléphonique par exemple, les répondants sont laissés à eux-mêmes. Comment s’assurer qu’ils lisent bien les instructions et les questions en entier? Si ce n’est pas le cas, cela peut-il biaiser les résultats?

J’ai pris connaissance d’une expérience fort intéressante à ce sujet via le blogue de la BAQMAR, soit la Belgian Association for Quantitative & Qualitative Marketing Research. Les auteurs de l’article font l’hypothèse que les répondants optent pour la loi du moindre effort : ils vont en lire le minimum!

Pour vérifier cette hypothèse, les auteurs ont introduit ce que j’appellerais des «pièges» à l’intérieur du questionnaire de sondage Web. L’image suivante en est un exemple. Si le répondant ne prend pas la peine de lire le paragraphe d’instructions, il cliquera sur un ou plusieurs des sports mentionnés plus bas. Toutefois, on lui demande justement de NE PAS cliquer sur un sport, mais plutôt de cliquer sur le titre du haut de la page.

Les auteurs ont fait différentes expériences avec des groupes variés (répondants plus ou moins motivés par exemple) et toutes sortes de pièges de ce type. La proportion des personnes qui n’a pas pris le temps de lire les instructions ou les questions varie de 7 % à 46 % selon le type d’expérience mené. De plus, les réponses à certaines questions étaient significativement différentes selon que les individus avaient lu ou non les instructions.

Les résultats de l’expérience nous permettent de tirer des leçons, notamment dans le contexte des sondages en ligne où les répondants doivent lire à l’écran. Il est en effet généralement reconnu que la lecture est plus difficile à l’écran que sur papier. Aussi, il apparaît donc particulièrement important de :

• construire des questionnaires simples et faciles à utiliser;
• limiter, dans la mesure du possible, la longueur des textes d’instructions et des questions;
• mettre les éléments textuels importants en valeur (gras, souligné, couleur, etc.).

Référence complète de l’article
Oppenheimer, Daniel M., Tom Meyvis et Nicolas Davidenko (2009). «Instructional manipulation checks : Detecting satisficing to increase statistical power», Journal of Experimental Social Psychology, doi:10.1016/j.jesp.2009.03.009.