Dans ce troisième article sur la «gamification» de la recherche marketing, nous nous intéressons aux effets de telles pratiques pour les répondants, mais également pour la qualité des données recueillies.

Un article¹ publié en 2012 dans le International Journal of Market Research décrit les résultats d’une expérimentation fort intéressante. L’article s’intitule «Myths and realities of respondent engagement in online surveys».

L’expérimentation

Quatre versions d’un même questionnaire ont été soumises à quatre groupes distincts de répondants (environ 250 répondants par groupe, tirés d’un panel web de volontaires, affectés de façon aléatoire à l’une ou l’autre des quatre conditions d’expérimentation). Les versions du questionnaire différaient essentiellement par leur aspect visuel :

1. Version texte : éléments visuels inclus uniquement s’ils sont pertinents au contenu du questionnaire (ex. : présentation d’une publicité).
2. Version esthétique : éléments visuels ajoutés dans une perspective esthétique essentiellement (ex. : couleur de l’arrière-plan, graphisme de la page).
3. Version fonctionnelle : éléments visuels ajoutés pour varier les formats de questions et réponses (ex. : questions de type «glisser-déposer» qui utilisent la technologie «Flash»).
4. Version «gamifiée» : les répondants étaient invités à participer à une véritable «quête» à l’aide d’un avatar dans un monde fantaisiste de cape et d’épée.

Les principaux résultats

• Le taux d’abandon est significativement plus élevé dans la version gamifiée. Ce que les auteurs appellent le «taux de complétion», c’est-à-dire le pourcentage de répondants qui font le sondage en entier parmi ceux qui ont accédé au questionnaire (le complément du taux d’abandon), varie entre 93 % et 94 % pour les trois premières versions. Par contre, il est dramatiquement bas pour la version gamifiée : 58 %. Les auteurs mentionnent que plusieurs répondants ont abandonné pendant le processus de téléchargement du sondage, qui pouvait prendre jusqu’à 2 minutes. Mais même en excluant ces derniers, le taux de complétion (78 %) demeure plus faible que dans les autres groupes.
• La satisfaction des répondants est plus grande dans les versions fonctionnelle et gamifiée. Lorsqu’on leur demande, au terme du sondage, d’évaluer quelques dimensions du questionnaire à l’aide d’une échelle en 7 points (ex. : intérêt du sujet, facilité à lire les questions et à y répondre), la satisfaction des répondants est légèrement plus élevée pour les versions 3 et 4.
• L’engagement des répondants ne varie pas en fonction du type de questionnaire. La satisfaction ne se concrétise pas par un engagement plus grand de la part des répondants. L’engagement a été mesuré à l’aide de plusieurs indicateurs, comme la proportion de réponses incohérentes (à deux questions contradictoires) ou encore la proportion de répondants qui tombent dans un «piège» tendu par les auteurs (voir un exemple).
• La version fonctionnelle produit des réponses différentes. Enfin, en examinant la distribution des réponses, les auteurs ont trouvé plusieurs différences significatives entre les groupes, la plupart étant attribuables à la version fonctionnelle.

Que faut-il en conclure?

En fait, ma conclusion est simple : pour le moment, il faut être prudent avant d’ajouter des éléments visuels nouveaux dans l’interface des sondages en ligne. Nous avons par ailleurs besoin de nouvelles études qui nous permettent de mieux cerner, parmi toutes les possibilités offertes par les technologies et la gamification, lesquelles pourraient être bénéfiques et lesquelles pourraient au contraire nuire à la qualité des résultats.

¹Référence complète de l’article
Theo Downes-Le Guin, Reg Baker, Joanne Mechling and Erica Ruyle (2012). «Myths and realities of respondent engagement in online surveys», International Journal of Market Research, vol. 54, n^o 5, p. 613-633.

À lire aussi :

• La gamification de la recherche marketing (1) : définition
• La gamification de la recherche marketing (2) : tendance ou buzzword?