Publié par Julie Fortin le 2 février 2010

Consultations prébudgétaires : optimiser le questionnaire

Balance2Le gouvernement du Québec a mis en ligne une consultation publique sur l’économie et les finances publiques. Il s’agit d’une initiative fort louable et j’encourage l’utilisation de tels mécanismes démocratiques. Le site a d’ailleurs le mérite de regrouper une mine de renseignements utiles (voir la section Je m’informe). Il propose également une section consacrée aux discussions ainsi qu’un questionnaire pour donner son opinion.

Bon, je suis certaine que vous me voyez venir, là! En fait, j’ai voulu participer à cette consultation en remplissant le dit questionnaire… mais les quelques frustrations que j’ai éprouvées m’ont empêchée d’aller jusqu’au bout. Si on avait suivi quelques principes fondamentaux qui guident la conception de questionnaires, l’expérience du répondant (le citoyen dans ce cas-ci) aurait été grandement améliorée.

Contexte des questions
Il est important de faire attention au «contexte» des questions. Dans un questionnaire web en particulier, le moindre petit élément peut influencer le répondant (formulation des questions, design du questionnaire, présence d’images, etc.). Prenons par exemple la question 3 de la consultation prébudgétaire :

PrtScr captureCette question, tout à fait légitime en soi, est précédée d’une longue mise en contexte dans laquelle on précise explicitement : «Il serait difficile de réduire encore plus la croissance de nos dépenses.» C’est peut-être vrai, et je n’entrerai pas dans ce débat – ce n’est pas l’objet de mon propos. Tout ce que je veux montrer, c’est que cet élément peut fortement influencer la réponse.

Logique des questions
Il arrive souvent qu’un questionnaire comporte plusieurs «embranchements». Par exemple, selon qu’on réponde oui ou non à une question, la question suivante peut être différente. Dans l’exemple cité plus haut, on s’attendrait à un tel scénario. Or, même si je choisis de «resserrer davantage les dépenses», la question 4 me demande mes préférences pour «augmenter les revenus»!

PrtScr capture_2

Je me serais plutôt attendue à une question du genre : «Quelle approche devrait-il privilégier pour resserrer davantage ses dépenses?» Mais de ça, il n’en est point question… étrange logique, si je puis me permettre.

Questions obligatoires ou facultatives
Les finances publiques ne sont pas une mince affaire : c’est un sujet complexe qui mérite réflexion et analyse. Le site donne d’ailleurs accès à plusieurs sources d’information pour aider le citoyen à se faire une idée. Malgré cela, il est fort possible que nous n’arrivions pas à nous faire une opinion sur une question donnée! Le questionnaire aurait dû prévoir une telle éventualité, soit en rendant les questions facultatives (pouvoir passer à la suivante sans répondre) soit en ajoutant un choix «je ne sais pas» ou «je préfère ne pas répondre». (J’ai déjà écrit un billet à ce sujet.) Dans notre exemple, même si je suis indécise quant aux solutions à mettre de l’avant ou, pire encore, si je suis en désaccord avec les choix de réponse proposés, je suis dans l’obligation d’inscrire une réponse pour continuer.

Des bons points aussi
Dans une perspective pédagogique, je mets évidemment l’accent sur les éléments à améliorer. Mais le questionnaire a également du bon. Par exemple, plusieurs questions fermées sont accompagnées d’un espace pour commenter ses réponses. De plus, le questionnaire comporte deux questions complètement ouvertes pour permettre aux citoyens de s’exprimer librement.

Représentativité et utilisation des résultats de la consultation
Évidemment, il ne s’agit pas d’un sondage, mais d’une consultation publique. C’est sûrement de la «déformation professionnelle», mais j’ai hâte de voir ce qu’on fera des résultats. La nature même de la consultation (participation en ligne volontaire) fait en sorte qu’elle ne peut être représentative de l’ensemble des Québécois… Il sera donc très intéressant de voir comment les données seront interprétées et utilisées.

4 Commentaires sur “Consultations prébudgétaires : optimiser le questionnaire”

  1. Michael

    Encore pire pour les questions dirigées, c’en est décourageant :

    http://www.couragepolitique.org/exprimer/

  2. Julie Fortin

    Ce sont surtout les choix de réponse qui me posent problème dans ton exemple : à en croire les concepteurs du questionnaire, soit tout est blanc soit tout est noir…

    Aussi, je me demande qui serait capable d’identifier avec précision les « facteurs à l’origine de la crise financière et économique »… Même les économistes ne s’entendent pas toujours! ;)

  3. Jérôme Thibaudeau

    Bonjour Mme Fortin,

    Je vous remercie pour vos commentaires constructifs. Nous sommes conscients des limites d’un tel exercice, notamment sur le plan méthodolgique. Ainsi, il est vrai que la question des embranchements serait souhaitable. Or, cela complexifierait grandement pour nous le traitement des résultats. Par ailleurs, ce n’est pas le ministère des Finances qui gère le volet « dépenses » du gouvernement, c’est le Secrétariat du Conseil du trésor. Voilà pourquoi la consultation est davantage orientée vers les revenus. Nous avons néanmoins jugé nécessaire d’aborder cet aspect mais sans creuser davantage.

    Quant à la nécessité de répondre à chacune des questions, elle s’avère pour nous un rempart additionnel contre les gens qui cherchent à trafiquer ce genre d’exercice. C’est un choix délibéré dont nous convenons qu’il puisse engendrer certaines frustrations. Néanmoins, le taux de réponse nous montre que la grande majorité des gens complètent le questionnaire.

    Mais nous convenons, et je suis heureux de voir que vous faites la distinction, qu’il s’agit d’une consultation et que les résultats n’ont pas de valeur scientifique.

    Merci et au plaisir !

    Jérôme Thibaudeau
    Directeur des communications
    Ministère des Finances

  4. Julie Fortin

    M. Thibodeau,

    D’abord, merci pour votre commentaire! J’apprécie que vous ayez pris le temps de réagir à mon billet. Bien sûr, rien n’est parfait : à partir du moment où on choisit une méthode, il y a forcément des limites. Ce qui est important, c’est d’en être conscient et d’être transparent à cet égard, ce que votre
    commentaire montre de toute évidence.

    Pour ce qui est de la nécessité de répondre à chacune des questions, je vous invite à la prudence. Je comprends votre préoccupation d’éviter la fraude, mais il faut faire attention de ne pas résoudre un problème en en créant un autre. Forcer les gens à répondre à un sujet complexe s’ils ne sont pas en mesure de se prononcer peut générer un biais important (ex. : on répond n’importe quoi pour passer à la question suivante) et affecter la qualité de la consultation.

    Cela dit, merci encore pour votre contribution. C’est tout à l’honneur du ministère des Finances que d’être ouvert à la discussion. Au plaisir!

Laisser un commentaire