L’expérience montre d’ailleurs que les répondants n’hésitent pas à répondre aux questions ouvertes d’un sondage web; ils ne sont pas avares de détails et, dans certains cas, peuvent même être très bavards!

Ainsi, le taux de réponse pour ce type de question est généralement bon. La qualité des réponses également. Mais pour cela, certains éléments spécifiques aux sondages en ligne doivent être pris en considération (en plus des éléments communs à tout type de sondage).

Taille de la zone de texte

Notre logiciel de sondage en ligne est souple : il n’impose a priori aucune restriction quant à la longueur des réponses – à moins d’en décider autrement. La beauté des sondages web, par rapport au «bon vieux» sondage papier, c’est que la réponse peut excéder la taille apparente de la zone de texte (s’ajoute alors une barre de défilement).

Il n’en demeure pas moins que l’apparence de la zone de texte a généralement la forme d’un rectangle bien défini (voir l’exemple ci-dessous). Or, la taille apparente de la boîte (plus ou moins grande) influence la qualité des réponses chez les répondants moins motivés (ceux qui répondent plus tard au sondage).

Des chercheurs ont en effet montré qu’une zone de texte plus grande accroît la longueur des réponses (nombre moyen de mots) et le nombre moyen de thèmes abordés, en plus d’obtenir des réponses plus élaborées sur chaque thème. Par ailleurs, indiquer explicitement au répondant que sa réponse peut dépasser la taille de la zone de texte permet également d’accroître ces indicateurs pour tous les types de répondants.

Instructions particulières

Enfin, la même étude suggère que le fait de donner des instructions claires qui insistent sur l’importance de la question ouverte améliore la qualité des réponses.

Exemple
Cette question est très importante pour comprendre votre expérience. S’il vous plaît, prenez votre temps pour y répondre.

Lorsque cette précision était mentionnée, les répondants ont fourni des réponses plus longues, plus élaborées et ont pris significativement plus de temps pour répondre à la question.

Ce genre d’étude montre encore une fois qu’en recherche web, l’outil de mesure est loin d’être neutre. Il importe d’en être conscient pour faire les bons choix et réduire le plus possible les biais liés au questionnaire et à son design.

Référence
Jolene D. SMYTH et al. (2009). «Open-ended questions in web surveys : can increasing the size of answer boxes and providing extra verbal instructions improve response quality?», Public Opinion Quarterly, vol. 73, n^o 2, p. 325-337.

Dans un récent article* de la Social Science Computer Review, deux chercheuses font le bilan de la recherche empirique sur cette question : quelles caractéristiques du design d’un sondage web peuvent contribuer à diminuer la non-réponse? Bien sûr, cela peut varier selon les contextes. Voici tout de même quelques pistes tirées de l’article.

Éviter les barres de défilement

Un design basé sur une page-écran est préférable à un design qui comporterait une barre de défilement (scroll bar) avec plusieurs questions sur la même page. Par ailleurs, le design basé sur la page-écran permet de mieux cibler les questions problématiques lorsqu’il y a beaucoup d’abandons (voir à ce sujet le taux d’abandon).

Limiter la longueur des questionnaires

Ce conseil n’est pas propre aux sondages en ligne et devrait toujours être pris en considération, peu importe le type de sondage. Les sondages trop longs favorisent les abandons puisque le fardeau du répondant est trop grand.

Inclure un indicateur de progression adéquat

Inclure un indicateur comme celui-ci pour permettre au répondant de se situer dans le questionnaire peut contribuer à limiter les abandons. Si le questionnaire est trop long toutefois, l’indicateur peut avoir l’effet inverse : le répondant a l’impression que sa progression est trop lente. C’est donc un élément graphique à utiliser lorsque le contexte s’y prête.

Modérer les graphismes complexes

Rendre le questionnaire attrayant est une chose. Mais il faut être prudent avec les graphiques trop complexes puisqu’ils peuvent créer de la confusion ou des difficultés de navigation et ainsi provoquer des abandons. Par ailleurs, les images peuvent également biaiser les réponses.

Opter pour des formats de question et des boutons simples

Les boutons radio, même s’ils sont décriés par certains joueurs de l’industrie, sont simples à utiliser et tendent à limiter la non-réponse (par opposition à des questions plus complexes, des boutons de type «glisser-déposer» [drag-and-drop] ou des questions où il faut entrer manuellement une donnée).

En fait, si l’on se fie aux diverses recherches citées par les auteurs de l’article, l’apparence en général du sondage web a avantage à être simple; des pages web trop sophistiquées ou trop colorées génèrent davantage de non-réponse.

Référence complète de l’article
VINCENTE, Paula et Elizabeth REIS (2010). «Using questionnaire design to fight nonresponse bias in web surveys», Social Science Computer Review, vol. 28, n^o 2, p.251-267.

Suivi des données

Faire le suivi des données, ça veut tout simplement dire d’examiner les réponses fournies par les répondants. Comme notre système nous permet d’accéder aux données individuelles (réponses) et collectives (fréquences) en temps réel, cette tâche est simple.

Utilité du suivi des données

Le suivi des données est utile pour déceler des anomalies et, évidemment, apporter les correctifs nécessaires au besoin. Quelles pourraient être ces anomalies? Voici quelques exemples :

• Un trop grand nombre de données manquantes pour une question donnée ou, pire encore, une question où il n’y a aucune réponse;
• Des réponses incohérentes étant donné la nature de la question posée (ex. : tous les répondants indiquent la même réponse, présence de valeurs extrêmes);
• Des commentaires explicites du répondant (ex. : dans les questions ouvertes) à l’effet qu’il y a un problème.

Si des anomalies sont détectées, il faut creuser pour identifier la nature du problème. Il peut s’agir d’un problème technique (ex. : erreur de programmation) ou de contenu (ex. : incompréhension d’une question).

Même si SOM met en place toutes les procédures pour éviter ces écueils à la source (je vous parlerai une autre fois de quelques-unes de nos procédures d’assurance qualité), personne n’est complètement à l’abri d’une erreur. Aussi, vaut mieux mettre tout en œuvre pour s’assurer de la qualité des données recueillies en début de collecte… afin d’éviter les mauvaises surprises à la fin!

Autres billets de la série «Sondages en ligne : quels indicateurs suivre?»

1. Nombre de répondants et taux de réponse
2. Taux d’abandon
3. Taux d’accès
4. Durée du sondage et temps de réponse par question

De plus, on commet souvent la faute de diffuser une marge d’erreur avec les résultats d’un sondage non probabiliste (ex. : sondage mené auprès d’un panel de volontaires par opposition à un recrutement de panélistes aléatoire – voir à ce sujet la recommandation de l’Association américaine de la recherche sur l’opinion publique).

Mais je lève mon chapeau à l’Agence QMI et à Canoe qui publiaient ce matin les résultats d’un sondage CROP :

Les résultats du sondage reposent sur 1173 questionnaires complétés via Internet du 19 au 24 mars 2010 dans le cadre du sondage omnibus CROP-express. Compte tenu du caractère non probabiliste de l’échantillon web, le calcul de la marge d’erreur est impossible.

C’est la première fois que je vois autant de transparence à l’égard d’un sondage en ligne non probabiliste. J’ai été très agréablement surprise, pour ne pas dire émue!

Le prétest est «l’épreuve que subit la première mise en forme d’un questionnaire d’enquête ou d’un test auprès d’un échantillon réduit afin d’en déceler les défauts et d’y faire les corrections qui s’imposent.»
Source : Grand dictionnaire terminologique

Une des particularités du sondage web par rapport au sondage téléphonique, c’est qu’en plus du contenu, il faut aussi tester le contenant. En effet, le répondant doit avoir autant de facilité à lire et à comprendre les questions qu’à naviguer sur les pages web du sondage. On doit donc considérer l’ergonomie du sondage (nombre de questions par page, format et emplacement des questions, boutons, etc.) et le fonctionnement technique (chargement des pages, sauts de question, questions facultatives ou obligatoires, etc.).

Bien que les sondages en ligne soient de plus en plus utilisés, on trouve très peu de recherche portant spécifiquement sur le prétest des sondages web et la validité des méthodes employées. De plus, dans un contexte où la recherche en ligne se veut rapide, voire instantanée, la notion de prétest a parfois tendance à être complètement évacuée du processus.

Plusieurs «niveaux» de prétest

On peut envisager différents moyens de procéder au prétest d’un sondage en ligne. Je vous présente quelques pistes, allant de la plus simple à la plus élaborée.

1. Un premier niveau de prétest consiste à inviter une fraction des répondants visés à participer au sondage (le nombre d’invitations à envoyer varie en fonction de plusieurs paramètres, notamment le taux de réponse estimé et la taille de l’échantillon). Lorsque ces personnes ont rempli le questionnaire, on vérifie les indicateurs pertinents (ex. : taux de réponse, taux d’abandon global et par question, taux d’accès, durée du sondage, qualité des réponses, données manquantes) et on corrige le tir au besoin. Une fois que c’est fait, on démarre officiellement le sondage en invitant tous les répondants ciblés. Ce premier niveau de prétest devrait toujours être le minimum exigé pour s’assurer de la qualité du sondage en ligne.

2. Un deuxième niveau de prétest serait d’inviter quelques personnes à participer au sondage, en leur demandant une rétroaction explicite. Cette rétroaction peut prendre la forme de questions supplémentaires à la fin du sondage ou d’un espace prévu à cet effet au bas de chaque question. On pourrait même envisager une entrevue individuelle avec ces répondants pour mieux comprendre leur expérience. Pour procéder ainsi, il faut toutefois compter sur des répondants sérieux et disponibles. De plus, il faut prévoir plus de temps dans l’échéancier du projet. Cette façon de faire se prête bien au contexte des panels d’internautes où il est possible d’identifier, voire de former, des répondants qui joueraient ce rôle.

3. Un troisième niveau de prétest relèverait davantage des tests d’utilisabilité. Par exemple, à l’aide de logiciels spécialisés, il est possible d’observer et d’enregistrer l’expérience du répondant (ce qu’il clique, dans quel ordre, s’il change d’idée pour une réponse, s’il a de la difficulté à accomplir les tâches requises pour passer à la question suivante, etc.). On peut même aller jusqu’à utiliser l’oculométrie, une technique qui permet d’enregistrer les mouvements oculaires. Ce troisième niveau de prétest, vous vous en doutez, est beaucoup plus coûteux. Il pourrait toutefois être approprié dans le cas d’un sondage en ligne qui introduit des nouveautés techniques importantes par rapport à l’usage général, d’un sondage de grande envergure ou appelé à être utilisé de façon permanente.

Dans tous les cas, on a avantage à effectuer le premier niveau de prétest. Puis, selon les besoins et les paramètres du projet (incluant le budget), on pourrait procéder à un prétest de deuxième et/ou de troisième niveau s’inspirant de ceux décrits plus haut.

Quoi qu’il en soit, dans le domaine de la recherche et du sondage, il reste du chemin à faire dans l’évaluation et l’adoption de méthodes efficaces pour prétester les sondages en ligne. Dossier à suivre.

Le principe du «répondant-mystère»

Grey Matter Research a inscrit plusieurs répondants-mystères à des panels de volontaires pour une période de 30 jours. [Évidemment, les panels à recrutement aléatoire sont exclus de l'étude puisqu'il est impossible de s'y joindre sans avoir préalablement reçu une invitation.] Les répondants-mystères avaient pour instructions de répondre de façon honnête aux questions posées et de noter leurs observations sur chacun des sondages.

L’objectif de l’enquête

La firme voulait surtout vérifier jusqu’à quel point les répondants de ces panels sont sollicités… ou sursollicités. En d’autres mots, si vous faites une étude à l’aide d’un panel, s’agit-il de la première ou de la dixième invitation qu’un répondant recevra? [Voir à ce sujet la question 6 d'un ancien billet : À quelle fréquence les panélistes sont-ils sollicités?] L’étude fait état d’un certain nombre de constats qui font réfléchir et qui, ma foi, interpellent l’éthique de la recherche.

Quelques constats

D’abord, je précise que l’étude identifie clairement les 12 panels concernés. Toutefois, les résultats individuels sont présentés de façon à ce qu’on ne sache pas de quel panel il s’agit (on parle plutôt de panel 1, panel 2, panel 3, etc.). Globalement, l’étude montre que la qualité des panels est très variable : il y a du très bon comme du très mauvais. Voici quelques-uns des pires exemples :

• Certains panels bombardent littéralement leurs panélistes d’invitations. Par exemple, dans deux panels, les répondants-mystères ont reçu en moyenne plus de 50 invitations en 30 jours!
• Dans deux des panels, chaque sondage mène à une nouvelle étude : le répondant peut ainsi répondre à plusieurs sondages les uns à la suite des autres… pendant plusieurs heures! Imaginez l’attention que reçoit une étude si elle se situe au milieu d’une série.
• Certains panels offrent des sondages de très longue durée : 50, 60 et même 75 minutes. Tout un fardeau pour le répondant, qui n’est sûrement pas aussi attentif aux questions à la fin.
• Parce que le nombre de répondants visé est atteint, plusieurs sondages sont fermés après seulement quelques heures. Ça veut dire que seuls les répondants qui étaient à leur ordinateur au cours de ces quelques heures ont la chance de participer. On peut imaginer les biais qui teintent de tels résultats.
• Dans deux panels, les répondants se voient systématiquement poser des questions de profilage avant d’accéder à une étude. Le client n’ayant pas de contrôle sur ces questions, on peut à juste titre se demander si elles ne biaisent pas les réponses de l’étude par la suite.
• Certains sondages sont inaccessibles à cause de problèmes techniques.

La morale de l’histoire

Par leurs pratiques, certains panels encouragent les comportements des «répondants professionnels», comportements qu’on devrait plutôt tenter de minimiser. Si vous voulez utiliser un panel d’internautes, renseignez-vous, posez des questions et évaluez la crédibilité des réponses. À ce sujet, je vous réfère à un billet que j’ai déjà publié : 7 questions à poser aux firmes qui ont des panels web (partie 1, partie 2).

*Au moment d’écrire ces lignes, le rapport est disponible sur demande seulement.

Je vous parle aujourd’hui de la première recommandation des experts :

Les chercheurs devraient éviter d’utiliser des panels non probabilistes lorsque leur objectif est de généraliser des résultats à l’ensemble d’une population.

Évidemment, cette conclusion me réjouit puisque je m’évertue depuis des mois à expliquer la différence entre panel probabiliste (recrutement aléatoire de panélistes) et panel non probabiliste (panel de volontaires, qui s’inscrivent spontanément) ainsi que les implications de chacun à l’égard des résultats de recherche.

Argumentation des experts

Je ne prétends pas ici résumer les propos de ce volumineux rapport. Voici toutefois quelques-uns des arguments évoqués pour justifier cette position.

• Tous les panels d’internautes souffrent d’une erreur de couverture par rapport à la population en général (bien sûr, puisque les non-internautes en sont automatiquement exclus).
• Toutefois, les méthodes probabilistes de recrutement de panélistes (ex. : au téléphone, par la poste et même en personne) tendent à minimiser cette erreur.
• L’analyse d’un grand nombre d’études (le rapport comporte une bibliographie de 12 pages) qui comparent les résultats de sondage où l’échantillon est constitué de volontaires par rapport à des méthodes aléatoires (téléphone ou internet) continue de montrer que les échantillons probabilistes fournissent des résultats PLUS PRÉCIS. Une seule exception ici : dans quelques cas, les sondages non probabilistes sur les intentions de vote ont donné des résultats aussi précis ou même plus précis que les sondages probabilistes.
• L’étude des modèles d’ajustement des données (ex. : pondération) utilisés pour les panels non probabilistes n’est pas concluante en ce qui a trait à leur capacité de réduire les biais.
• Les préoccupations liées à la qualité des données dans les panels non probabilistes (ex. : présence de répondants «professionnels» ou même «fictifs») demeurent un enjeu majeur.
• Bref, il n’y a pas de cadre théorique généralement accepté qui permette de généraliser les résultats d’un panel de volontaires. Les experts sont par ailleurs clairs sur la prétention de représentativité, et je cite : «Thus, claims of « representativeness » should be avoided when using these sample sources [nonprobability online panels].»

Composition du groupe de travail

Le rapport de l’AAPOR est signé par 20 de ses membres, incluant certes des représentants de firmes privées (ex. : Gallup, SSI), mais également  huit chercheurs provenant de cinq universités (Stanford, Washington State, Michigan, UCLA, CUNY) et un membre du gouvernement américain (U.S. Centers for Disease Control and Prevention). Le président du groupe de travail, Reg Baker, tient par ailleurs un excellent blogue intitulé The Survey Geek.

Il se trouvera certainement encore des personnes pour clamer que les panels de volontaires peuvent atteindre la «représentativité parfaite». Elles devront toutefois se rendre à l’évidence : aucune étude sérieuse ne cautionne ce point de vue. C’est même tout le contraire.

*Le rapport complet du groupe de travail (80 pages) peut être consulté en ligne en format PDF.

À lire sur le même sujet :
Une étude confirme la supériorité des panels web avec recrutement aléatoire des répondants
Vrai ou faux? Les panels internet livrent des résultats représentatifs de la population
7 questions à poser aux firmes de sondage qui ont des panels web (partie 1, partie 2)

D’entrée de jeu, l’animatrice explique brièvement la méthodologie des sondages sur lesquels s’appuie l’émission :

Les sondages [...] sont faits avec un échantillon qui représente 5,9 millions de Québécois francophones avec une marge d’erreur de 4 %, 19 fois sur 20.

Cette toute petite phrase comporte pas moins de trois erreurs (sans compter les omissions). Pourriez-vous les trouver?

Pour vous aider, voici ce qui était précisé à la toute fin de l’émission, juste avant le générique (oubliez les deux fautes d’orthographe) :

Les trois erreurs

1. Comme il s’agit d’un sondage en ligne, l’échantillon ne représente pas les «Québécois francophones», mais bien les internautes québécois francophones. Ça fait plusieurs fois que j’aborde cette question dans ce blogue (ici et ici par exemple), alors je n’irai pas plus loin. Cela dit, considérant le type de questions posées, il est fort possible que les résultats seraient semblables si l’ensemble de la population (et pas seulement les internautes) avait été interrogée.
2. Évidemment, étant donné qu’on parle des internautes québécois francophones, on ne peut parler de 5,9 millions de personnes. Les internautes québécois adultes qui parlent français représentent tout au plus 4 millions d’individus.
3. Enfin, comme indiqué ci-dessus, il ne s’agit pas d’un échantillon probabiliste (vous avez remarqué l’utilisation du conditionnel «présenterait»?). Dans ce cas, il est impossible de calculer une marge d’erreur et en plus de la diffuser! (Pour plus de détails à ce sujet, lire «Sondages en ligne et marges d’erreur : ne vous laissez pas berner!»)

Par ailleurs, sur une note plus technique, pour que la marge d’erreur maximale soit de 4 % avec un échantillon de 600 répondants (au niveau de confiance de 95 %), il faudrait que les données n’aient pas été pondérées, ce qui est peu probable.

Mon verdict
Ce n’est qu’un «show» de télé, conçu pour divertir. Tourner les coins ronds ne porte donc pas vraiment à conséquence… Mais quand même, provenant d’une société d’État dont j’ai déjà vanté les normes rigoureuses en matière de sondage, on s’attendrait à ce que la méthodologie soit mentionnée clairement et sans erreur, même si c’est en tout petits caractères!

Mise à jour du 13 avril 2010
Ce soir, j’ai pris le temps de regarder (en différé via tou.tv) le deuxième épisode de l’émission. J’ai pu constater avec plaisir que 1) Madame Cloutier ne mentionnait plus de méthodologie erronée (en fait, elle n’en mentionne plus du tout, mais dans mon esprit, vaut mieux ça qu’une métho truffée d’erreurs) et 2) à la fin de l’émission, la note méthodologique ne faisait plus référence à un échantillon probabiliste, comme le montre la capture d’écran ci-dessous. Ça me redonne espoir!!

Durée du sondage

La notion de durée est bien différente dans un sondage web par rapport au sondage téléphonique. Comme le sondage web est «auto-administré», le répondant peut prendre tout le temps nécessaire pour participer au sondage, incluant des pauses plus ou moins longues. En calculant la durée moyenne pour l’ensemble des participants, on a toutefois une bonne idée de l’investissement requis par le répondant. Lorsqu’on conçoit un questionnaire, il faut toujours garder à l’esprit que la longueur d’un sondage fait partie des facteurs qui influencent le taux de réponse, particulièrement dans les sondages en ligne : un sondage trop long pourra générer davantage d’abandons.

Mais en matière de durée, la situation est encore plus problématique lorsque le répondant est… trop rapide!

En effet, lorsqu’un répondant est trop rapide, toutes sortes de questions se posent : lit-il les questions? Prend-il le temps de choisir la réponse appropriée? Pour déceler ces problèmes, le minutage du temps de réponse par question est nécessaire.

Temps de réponse par question

Notre système nous permet de vérifier la durée moyenne du sondage, mais surtout le temps moyen de réponse pour chacune des questions. De plus, il détecte automatiquement les temps de réponse «anormaux» à une question (trop courts ou trop longs) en les comparant à la moyenne. De cette façon, il devient facile d’identifier les cas problèmes et de prendre les actions qui s’imposent, quitte à rejeter les données concernées. Ça fait partie intégrante de notre programme d’assurance qualité.

Autres billets de la série «Sondages en ligne : quels indicateurs suivre?»

1. Nombre de répondants et taux de réponse
2. Taux d’abandon
3. Taux d’accès

Voici ce que dit l’étude originale :

Ipsos reports that for the first time ever in their tracking research, the weekly Internet usage of online Canadians has moved ahead of the number of hours spent watching television. [...] Overall, online Canadians are now spending more than 18 hours a week online, compared to 16.9 hours watching television.

Maintenant, voici des extraits de la nouvelle relayée par quelques médias :

Pour la première fois, les Canadiens passent plus de temps sur internet que devant leur téléviseur. (Radio-Canada)

Pour la première fois, les Canadiens passent plus de temps à surfer le Web qu’à regarder la télévision, selon un récent sondage. (Canoe)

Pour la première fois, les Canadiens passent plus de temps sur internet qu’à regarder la télévision, selon un sondage Ipsos Reid. (Cyberpresse)

Quelle est l’erreur commune dans ces trois extraits?

Ils font tous référence aux «Canadiens» alors que l’étude mentionne explicitement qu’il s’agit des «internautes canadiens» (online Canadians). Qu’est-ce que ça change? Beaucoup de choses! En fait, il ne s’agit pas du tout de la même population. Si certains résultats de sondage obtenus d’un panel d’internautes sont comparables aux données de la population en général, ce n’est certainement pas le cas des questions qui touchent de près ou de loin à l’utilisation des technologies et d’internet.

Si ce sondage avait été mené auprès de la population en général (incluant les personnes qui n’utilisent pas internet – et qui ne sont donc PAS des internautes), nous aurions nécessairement obtenu des données différentes (un nombre moyen d’heures passées sur internet plus faible). J’irais même jusqu’à parier que la télé est toujours au premier rang…

Je ne dis pas qu’il n’y a pas de changement important dans les habitudes d’utilisation des médias. C’est un fait maintes fois documenté. Toutefois, les articles publiés dans les médias sont trompeurs puisque le sondage d’Ipsos documente les habitudes des internautes et non pas celles des Canadiens.