Qu’est-ce qui rend une question de sondage difficile à comprendre?
Dans un sondage, la formulation des questions est de la plus haute importance. Des questions difficiles à comprendre conduisent inévitablement le répondant à adopter sa propre interprétation et à répondre en fonction de cette interprétation. Si tous les répondants ont une interprétation différente de la question, qu’arrive-t-il? Les données recueillies sont biaisées!
Mais qu’est-ce qui, précisément, rend une question difficile à comprendre? Faass et al. (2008) soulignent sept déterminants psycholinguistiques auxquels on devrait porter une attention particulière :
- Les mots rares ou peu utilisés
- Les termes vagues ou imprécis
- Les pronoms ambigus ou trop éloignés du sujet auquel ils se rapportent
- Une syntaxe complexe
- Un surplus d’information à mémoriser
- Une structure grammaticale inhabituelle ou passive
- L’information implicite ou les inférences que le répondant doit faire entre plusieurs éléments
Les auteurs de l’article ont mené une expérience Web en comparant deux versions des mêmes questions (une version «normale» et une version «complexe» incluant l’un ou l’autre des déterminants ci-dessus). Un groupe de répondants a été exposé à la version «normale» et un autre à la version «complexe» du questionnaire. Les résultats montrent que :
- L’effort cognitif requis par le répondant est supérieur lorsque la question est complexe. Cela se traduit par un délai plus long pour répondre aux questions (prises individuellement ou ensemble).
- Plus alarmant cependant, la distribution des réponses entre les deux groupes était différente pour plusieurs questions. Par exemple, les répondants soumis à des mots rares ou peu utilisés ont donné des réponses significativement différentes de celles de l’autre groupe, ce qui suppose une différence dans l’interprétation du sens de la question.
Pour en savoir plus, l’article est disponible en format PDF sur le site de Suristat.
Référence complète de l’article
Faass, Timo, Lars Kaczmirek et Alwine Lenzner (2008). Psycholinguistic Determinants of Question Difficulty: A Web Experiment. The Seventh International Conference on Social Science Methodology (RC33), 1er au 5 septembre 2008, Naples, Italie.
3 réponses à “Qu’est-ce qui rend une question de sondage difficile à comprendre?”
C’est une réponse idoine pour une question nettement moins simple qu’il n’y parait.
Merci pour cet éclairage instructif.
En effet, on a souvent tendance à penser qu’il s’agit d’un exercice facile. Or, il faut non seulement des connaissances mais aussi de l’expérience pour formuler correctement les questions d’un sondage!
Très intéressant, surtout la distribution différenciée entre les deux groupes de répondants. Voilà aussi pourquoi il est toujours préférable quand c’est possible de pré tester un questionnaire de sondage avant de l’envoyer sur le terrain à large échelle; les intervieweurs de métier reconnaissent facilement les incompréhensions (manifestées ou non) des répondants et peuvent suggérer des formulations qui ne changent rien au sens des questions mais améliorent considérablement la qualité finale de la collecte. Personnellement, j’aurais ajouter les questions formulées avec une double négation dans cette liste. ex: « Pourquoi n’êtes vous pas d’accord pour dire que ce n’est pas une bonne idée de… » = confusion assurée!