Aux étapes de la conception et de la programmation d’un questionnaire, nous recommandons souvent, lorsque l’outil de mesure s’y prête, la rotation aléatoire des questions ou des choix de réponses. Ce principe s’applique tant pour les sondages téléphoniques que pour les sondages en ligne.

Comme j’ai eu à justifier plusieurs fois cette recommandation dernièrement, j’ai décidé d’en discuter ici : pourquoi opter pour la rotation aléatoire des questions et choix de réponses? Quelles formes peut prendre cette rotation?

Les motifs qui justifient le principe de rotation aléatoire

Le principe de rotation aléatoire est particulièrement adapté aux longs questionnaires ou aux longues séries de questions qui font appel à la même échelle de mesure. Essentiellement, il consiste à poser les questions selon une méthode aléatoire : chaque répondant se voit ainsi poser les questions (ou proposer les choix de réponses) dans un ordre différent. Plusieurs facteurs justifient ce principe :

• La fatigue du répondant. En début de sondage, le répondant est attentif. Par contre, plus le sondage avance, plus on risque de voir apparaître de la «fatigue» chez le répondant (lassitude, manque d’attention, hâte de terminer, etc.). Comme le mentionne Statistique Canada, cette fatigue peut avoir un impact sur la qualité des réponses obtenues. Ainsi, si ce sont toujours les mêmes questions qui sont posées à la fin d’une longue liste, imaginez la qualité des réponses!
• L’effet d’ancrage. L’effet d’ancrage est un biais cognitif qui consiste à accorder plus d’importance aux premiers éléments d’information («l’ancre»). Dans une question fermée par exemple, les choix de réponses proposés en premier auront une plus grande probabilité d’être sélectionnés par le répondant (source). Dans un billet portant sur l’oculométrie, je vous avais déjà parlé de ce phénomène : les répondants ne lisent pas les échelles de mesure en entier; leurs yeux s’arrêtent au premier choix de la liste qui leur convient.
• L’effet de contamination. L’effet de contamination survient lorsque les questions s’influencent entre elles : les questions ou les choix précédents orientent les réponses subséquentes. Dans ce cas précis, la formulation des questions est particulièrement importante. Mais le fait de varier l’ordre des questions peut amoindrir le phénomène.

Bien sûr, l’idée n’est pas de faire varier l’ordre de toutes les questions et de tous les choix de réponses! Un questionnaire est construit de façon logique et certaines questions doivent être posées avant les autres. Toutefois, plusieurs questionnaires gagneraient à appliquer le principe de rotation aléatoire, au moins pour certaines sections.

La rotation des questions ou des énoncés

Elle peut prendre plusieurs formes, par exemple :

• On peut faire varier l’ordre des questions d’une section donnée;
• Il est également possible d’alterner des sections entières du questionnaire (ex. : des blocs de questions);
• Enfin, on peut appliquer une rotation à deux niveaux : rotation des sections et, à l’intérieur de chacune des sections, rotation des questions ou des énoncés.

La rotation des choix de réponses

Les choix de réponses peuvent aussi être soumis au principe de rotation aléatoire. C’est particulièrement pertinent lorsqu’il y a une longue liste de choix de réponses.

• Rotation aléatoire «pure». Il s’agit de faire varier selon une méthode purement aléatoire la lecture ou l’affichage des choix de réponses. Cette rotation est appropriée lorsque les choix de réponses sont, par exemple, une énumération : «Parmi les raisons suivantes, lesquelles justifient votre point de vue?»
• Rotation aléatoire «symétrique». La rotation aléatoire «pure» des choix de réponses n’est toutefois pas applicable lorsqu’on utilise une échelle de mesure (vous imaginez la confusion si les choix s’affichaient dans l’ordre suivant : neutre, totalement insatisfait, plutôt satisfait, totalement satisfait, plutôt insatisfait!). Aussi, il est possible de faire varier la séquence des choix de réponses selon une rotation dite «symétrique» : du positif au négatif dans un cas et du négatif au positif dans l’autre cas. Par exemple, pour une section donnée, le répondant X verra s’afficher les choix dans l’ordre suivant : très, assez, peu, pas du tout alors que le répondant Y obtiendra plutôt les choix suivants : pas du tout, peu, assez, très. Bien sûr, le choix de réponse «ne sait pas» est exclu de la rotation. Le principe de rotation aléatoire symétrique doit toutefois être utilisé avec parcimonie afin de ne pas créer de confusion chez les répondants qui, parfois, sont «habitués» à voir les choix s’afficher dans un ordre donné.