Je vous ai déjà parlé en détail du prétest d’un sondage téléphonique. Mais qu’en est-il du prétest d’un sondage en ligne? Il est tout aussi important, mais se présente différemment.

Le prétest est «l’épreuve que subit la première mise en forme d’un questionnaire d’enquête ou d’un test auprès d’un échantillon réduit afin d’en déceler les défauts et d’y faire les corrections qui s’imposent.»
Source : Grand dictionnaire terminologique

Une des particularités du sondage web par rapport au sondage téléphonique, c’est qu’en plus du contenu, il faut aussi tester le contenant. En effet, le répondant doit avoir autant de facilité à lire et à comprendre les questions qu’à naviguer sur les pages web du sondage. On doit donc considérer l’ergonomie du sondage (nombre de questions par page, format et emplacement des questions, boutons, etc.) et le fonctionnement technique (chargement des pages, sauts de question, questions facultatives ou obligatoires, etc.).

Bien que les sondages en ligne soient de plus en plus utilisés, on trouve très peu de recherche portant spécifiquement sur le prétest des sondages web et la validité des méthodes employées. De plus, dans un contexte où la recherche en ligne se veut rapide, voire instantanée, la notion de prétest a parfois tendance à être complètement évacuée du processus.

Plusieurs «niveaux» de prétest

On peut envisager différents moyens de procéder au prétest d’un sondage en ligne. Je vous présente quelques pistes, allant de la plus simple à la plus élaborée.

1. Un premier niveau de prétest consiste à inviter une fraction des répondants visés à participer au sondage (le nombre d’invitations à envoyer varie en fonction de plusieurs paramètres, notamment le taux de réponse estimé et la taille de l’échantillon). Lorsque ces personnes ont rempli le questionnaire, on vérifie les indicateurs pertinents (ex. : taux de réponse, taux d’abandon global et par question, taux d’accès, durée du sondage, qualité des réponses, données manquantes) et on corrige le tir au besoin. Une fois que c’est fait, on démarre officiellement le sondage en invitant tous les répondants ciblés. Ce premier niveau de prétest devrait toujours être le minimum exigé pour s’assurer de la qualité du sondage en ligne.

2. Un deuxième niveau de prétest serait d’inviter quelques personnes à participer au sondage, en leur demandant une rétroaction explicite. Cette rétroaction peut prendre la forme de questions supplémentaires à la fin du sondage ou d’un espace prévu à cet effet au bas de chaque question. On pourrait même envisager une entrevue individuelle avec ces répondants pour mieux comprendre leur expérience. Pour procéder ainsi, il faut toutefois compter sur des répondants sérieux et disponibles. De plus, il faut prévoir plus de temps dans l’échéancier du projet. Cette façon de faire se prête bien au contexte des panels d’internautes où il est possible d’identifier, voire de former, des répondants qui joueraient ce rôle.

3. Un troisième niveau de prétest relèverait davantage des tests d’utilisabilité. Par exemple, à l’aide de logiciels spécialisés, il est possible d’observer et d’enregistrer l’expérience du répondant (ce qu’il clique, dans quel ordre, s’il change d’idée pour une réponse, s’il a de la difficulté à accomplir les tâches requises pour passer à la question suivante, etc.). On peut même aller jusqu’à utiliser l’oculométrie, une technique qui permet d’enregistrer les mouvements oculaires. Ce troisième niveau de prétest, vous vous en doutez, est beaucoup plus coûteux. Il pourrait toutefois être approprié dans le cas d’un sondage en ligne qui introduit des nouveautés techniques importantes par rapport à l’usage général, d’un sondage de grande envergure ou appelé à être utilisé de façon permanente.

Dans tous les cas, on a avantage à effectuer le premier niveau de prétest. Puis, selon les besoins et les paramètres du projet (incluant le budget), on pourrait procéder à un prétest de deuxième et/ou de troisième niveau s’inspirant de ceux décrits plus haut.

Quoi qu’il en soit, dans le domaine de la recherche et du sondage, il reste du chemin à faire dans l’évaluation et l’adoption de méthodes efficaces pour prétester les sondages en ligne. Dossier à suivre.