Le 23 novembre prochain, à Montréal, l’Association de la recherche et de l’intelligence marketing (ARIM) présente une demi-journée thématique sur la recherche en ligne et les médias sociaux.
J’aurai le plaisir d’y faire la conférence d’ouverture, avec un tour d’horizon des nouvelles tendances en la matière.
En tout, cinq conférences sont au programme, portant sur les thèmes suivants : Lire la suite »
De nos jours, les façons de créer des pages web originales et colorées sont nombreuses. À l’aide de la technologie Flash par exemple, on peut intégrer à nos questionnaires toutes sortes d’animations à première vue intéressantes.
Comme sondeurs, nous sommes bien servis par ces technologies uniquement si elles nous permettent d’attirer l’attention du répondant sur les éléments les plus importants de la page web d’un sondage. Mais quels sont ces éléments?
Je vous ai déjà parlé du taux d’abandon; il s’agit de la proportion des personnes qui entreprennent un sondage, mais qui, pour une raison ou pour une autre, abandonnent en cours de route.
Évidemment, c’est un phénomène qu’on veut éviter autant que possible dans la réalisation d’un sondage. Mais quelles sont les principales raisons de l’abandon d’un questionnaire?
Selon une étude de Lightspeed Research, publiée sur le blogue de Vovici, et effectuée auprès de panélistes, la raison la plus souvent mentionnée est le sujet de l’étude.
Lorsqu’on conçoit un questionnaire, l’utilisation d’un langage simple est de mise afin que les questions et les choix de réponse soient compris de façon uniforme par le plus grand nombre.
Or, il est parfois incontournable que des termes techniques soient utilisés. Lorsque c’est le cas, on peut vouloir fournir aux répondants la définition de ces termes. Les sondages web nous permettent de le faire aisément. En fait, il existe différentes façons d’afficher les définitions.
J’ai déjà abordé à quelques reprises dans ce blogue les meilleures pratiques en matière de design des sondages web (voir aussi les billets sur l’oculométrie et l’influence des images dans les sondages en ligne).
Mais aujourd’hui, nous parlons boutons! En fait, deux études récentes se sont intéressées aux boutons… et montrent encore une fois que les choix ergonomiques qui guident le design des sondages en ligne ne sont pas neutres.
Dans le premier article1, on traite de la présentation des échelles de mesure. Dans le second2, on s’intéresse à la position des boutons «précédent» et «suivant».
L’accès à internet n’est plus réservé aux ordinateurs personnels. De plus en plus de Québécois utilisent leur téléphone cellulaire ou un autre appareil mobile pour lire leurs courriels et naviguer sur internet. Les données 2010 du CEFRIO précisent que :
Cette année, 13 % des Québécois utilisent Internet mobile et naviguent au moyen d’un téléphone intelligent, d’un baladeur MP3 ou d’une tablette numérique. À ce sujet, soulignons que 69 % des utilisateurs s’en servent tous les jours. (Source : NETendances, fascicule no 3 – PDF)
Ainsi, il est de plus en plus probable que les personnes invitées à faire un sondage web y accèdent autrement que par un ordinateur traditionnel. Il importe donc de s’assurer que les sondages en ligne soient adaptés aux appareils mobiles.
Selon l’Association américaine de recherche sur l’opinion publique (AAPOR), seuls les panels probabilistes (avec recrutement aléatoire des répondants) devraient utiliser le terme «taux de réponse». Les panels de volontaires devraient plutôt parler de «taux de participation».
Il y a un bon bout de temps déjà, je vous parlais des questions obligatoires et facultatives dans les sondages web : doit-on privilégier les premières ou les secondes? Une question est dite «obligatoire» lorsque le répondant, pour continuer le sondage, doit absolument inscrire une réponse. À l’époque, j’émettais une réserve à l’égard des questions obligatoires :
Si une question est obligatoire pour poursuivre le sondage et que le répondant ne veut absolument pas y répondre, ou encore que les choix de réponses ne lui conviennent pas, il risque d’abandonner.
Or, selon un récent article du Journal of Marketing Theory and Practice1, les questions obligatoires n’affecteraient pas le taux d’abandon. Toutefois, les interrogations quant à la qualité des données demeurent.
Le 8 décembre dernier, j’assistais à la journée Infopresse dédiée aux nouvelles tendances de la recherche marketing. Je n’ai malheureusement pas eu le temps de vous en parler avant, mais vaut mieux tard que jamais!
Dans l’ensemble, je retire des bénéfices de cette journée dans la mesure où plusieurs conférences ont stimulé ma réflexion. Voici quelques-unes de mes impressions à la suite de ce que j’y ai vu et entendu. Je vous parle brièvement des cinq conférences de la journée.
D’abord, j’aimerais souhaiter à tous les lecteurs de ce blogue une bonne et heureuse année 2011! Mes billets se sont faits un peu plus rares ces derniers temps, mais je prends la ferme résolution de revenir à un rythme plus régulier dès aujourd’hui…!
L’industrie de la recherche et du sondage est en profonde mutation depuis quelques années. Plusieurs nouvelles tendances ont vu le jour et se poursuivront sans aucun doute. Voici donc quelques «prédictions» pour le développement de la recherche en 2011…
Selon un récent sondage SOM/Branchez-vous.com, 93 % des internautes québécois francophones ont entendu parler de la fameuse tablette iPad. C’est une notoriété impressionnante certes, mais pas vraiment surprenante compte tenu de tout ce qui s’est écrit ou dit à ce propos avant et après son lancement, en plus de la campagne publicitaire d’Apple.
Pour les détails du sondage, je vous invite à consulter l’article de Branchez-vous et les tableaux de résultats. De mon côté, je vous parlerai brièvement du 4% d’internautes qui affirment qu’au moins un membre de leur ménage possède un iPad. Est-ce beaucoup? Est-ce réaliste?
Avec le développement des nouvelles technologies, l’opportunité de travailler à domicile s’avère un choix de plus en plus présent dans notre société moderne. SOM a su s’ajuster à un tel progrès et tirer avantage de cette nouvelle réalité; la compagnie compte désormais près de 100 personnes dans son équipe de télétravailleurs.
Le télétravailleur est un employé qui exécute les tâches pour lesquelles il est rémunéré, mais à partir de son domicile. À la base, peu importe qu’il travaille à la maison ou dans un central téléphonique, l’intervieweur effectue les mêmes tâches. Patrick Saint-Hilaire a d’ailleurs fait récemment la description du métier d’intervieweur téléphonique. Les exigences, les règles, les attentes et les outils de travail sont les mêmes. La formation pour chaque projet est mise en ligne et disponible pour tous les employés de la compagnie via un serveur privé. La différence primaire réside donc essentiellement dans le lieu d’exécution. Lire la suite »
Lorsqu’on effectue un sondage web ou sondage en ligne, il existe plusieurs façons d’inviter les personnes ciblées à participer. Souvent, il s’agit d’un courriel d’invitation. Mais il est également possible de le faire en interceptant les visiteurs d’un site internet.
Un sondage en ligne par interception est particulièrement indiqué lorsqu’on ne connaît pas précisément la population visée ou encore qu’on ne dispose pas de l’adresse courriel des répondants potentiels. C’est souvent le cas pour les visiteurs d’un site web : on possède des statistiques de fréquentation, mais on ne sait pas précisément qui navigue sur un site informationnel.
On utilise ce type de sondage dans plusieurs contextes, par exemple : pour mesurer la satisfaction des répondants à l’égard d’un site,d’un produit ou d’un service, pour recueillir l’opinion ou les perceptions des répondants, pour en savoir davantage sur le profil des visiteurs, pour analyser l’utilisabilité d’un site internet, etc.
Dans son édition «papier» de mercredi (29 septembre 2010), le quotidien Le Soleil publiait la lettre d’un lecteur inquiet de la validité des sondages effectués à l’aide de panels de volontaires (par opposition aux panels avec recrutement aléatoire de répondants).
Comme c’est la première fois que je lis un tel commentaire dans les journaux, je me permets d’en reproduire ici quelques extraits, que je commente. Je ne sais pas qui est M. Robert Pelley, mais je le remercie de son intervention… et lui emprunte le titre de sa missive!
Introduire des questions ouvertes dans un sondage en ligne est très pertinent. Le répondant peut prendre le temps nécessaire pour écrire sa réponse et, contrairement au sondage téléphonique, il n’y a pas d’intermédiaire (intervieweur) : ce sont les mots exacts choisis par le répondant.
L’expérience montre d’ailleurs que les répondants n’hésitent pas à répondre aux questions ouvertes d’un sondage web; ils ne sont pas avares de détails et, dans certains cas, peuvent même être très bavards!
Ainsi, le taux de réponse pour ce type de question est généralement bon. La qualité des réponses également. Mais pour cela, certains éléments spécifiques aux sondages en ligne doivent être pris en considération (en plus des éléments communs à tout type de sondage).
Plusieurs facteurs peuvent influencer le taux de réponse des sondages en ligne. Parmi ceux-là, un certain nombre est attribuable au design du questionnaire, c’est-à-dire à la conception de l’interface web du sondage.
Dans un récent article* de la Social Science Computer Review, deux chercheuses font le bilan de la recherche empirique sur cette question : quelles caractéristiques du design d’un sondage web peuvent contribuer à diminuer la non-réponse? Bien sûr, cela peut varier selon les contextes. Voici tout de même quelques pistes tirées de l’article.
Pour clore ma série de billets sur les indicateurs les plus pertinents à suivre au cours d’un sondage en ligne, je vous parle aujourd’hui du suivi des données recueillies. Ce n’est pas un indicateur au même sens que les précédents, mais il est tout aussi important, particulièrement en début de collecte.
Faire le suivi des données, ça veut tout simplement dire d’examiner les réponses fournies par les répondants. Comme notre système nous permet d’accéder aux données individuelles (réponses) et collectives (fréquences) en temps réel, cette tâche est simple.
Il m’arrive souvent de critiquer les résultats de sondage qui paraissent dans les médias (ici et ici par exemple). Trop souvent, la méthodologie est incomplète, trompeuse ou carrément erronée.
De plus, on commet souvent la faute de diffuser une marge d’erreur avec les résultats d’un sondage non probabiliste (ex. : sondage mené auprès d’un panel de volontaires par opposition à un recrutement de panélistes aléatoire – voir à ce sujet la recommandation de l’Association américaine de la recherche sur l’opinion publique).
Mais je lève mon chapeau à l’Agence QMI et à Canoe qui publiaient ce matin les résultats d’un sondage CROP :
Les résultats du sondage reposent sur 1173 questionnaires complétés via Internet du 19 au 24 mars 2010 dans le cadre du sondage omnibus CROP-express. Compte tenu du caractère non probabiliste de l’échantillon web, le calcul de la marge d’erreur est impossible.
C’est la première fois que je vois autant de transparence à l’égard d’un sondage en ligne non probabiliste. J’ai été très agréablement surprise, pour ne pas dire émue!
Je vous ai déjà parlé en détail du prétest d’un sondage téléphonique. Mais qu’en est-il du prétest d’un sondage en ligne? Il est tout aussi important, mais se présente différemment.
Le prétest est «l’épreuve que subit la première mise en forme d’un questionnaire d’enquête ou d’un test auprès d’un échantillon réduit afin d’en déceler les défauts et d’y faire les corrections qui s’imposent.»
Source : Grand dictionnaire terminologique
Une des particularités du sondage web par rapport au sondage téléphonique, c’est qu’en plus du contenu, il faut aussi tester le contenant. En effet, le répondant doit avoir autant de facilité à lire et à comprendre les questions qu’à naviguer sur les pages web du sondage. On doit donc considérer l’ergonomie du sondage (nombre de questions par page, format et emplacement des questions, boutons, etc.) et le fonctionnement technique (chargement des pages, sauts de question, questions facultatives ou obligatoires, etc.).
La firme Grey Matter Research (Phoenix, Arizona) vient de rendre public un rapport* plutôt accablant pour certains panels d’internautes. Intitulé Dirty Little Secrets of Online Panels, le rapport présente les résultats d’une enquête «répondants-mystères» auprès de 12 panels de volontaires de grandes compagnies (internationales ou américaines), incluant des panels bien connus ici comme Harris Interactive, Ipsos (I-Say) ou Global Test Market.
Le principe du «répondant-mystère»
Grey Matter Research a inscrit plusieurs répondants-mystères à des panels de volontaires pour une période de 30 jours. [Évidemment, les panels à recrutement aléatoire sont exclus de l'étude puisqu'il est impossible de s'y joindre sans avoir préalablement reçu une invitation.] Les répondants-mystères avaient pour instructions de répondre de façon honnête aux questions posées et de noter leurs observations sur chacun des sondages.
