D’abord, pour répondre à votre question à propos des téléphones cellulaires, la proportion des ménages utilisant le cellulaire uniquement était de 6,4 % en décembre 2007, selon les données les plus récentes de Statistique Canada.

Il est certain qu’en matière de représentativité de la population en général, le sondage téléphonique n’est pas parfait : en plus de l’utilisation exclusive du téléphone cellulaire, il y a aussi la non-réponse. Toutefois, les taux de réponse aux sondages téléphoniques ne sont pas aussi catastrophiques que vous semblez le penser. Ils ont certes grandement chuté au cours des dernières années, mais il est encore possible d’atteindre des taux de réponse respectables (jusqu’à 60 % dans certaines études). C’est beaucoup plus que ce qu’il est possible d’atteindre dans les sondages en ligne lorsque l’échantillon est constitué de façon aléatoire (et non par des volontaires). Il tourne autour de 15 à 20 % (voir aussi ce billet sur les taux de réponse : http://blogue.som.ca/dites-moi-qui-est-votre-repondant-et-je-vous-parlerai-du-taux-de-reponse ).

Parlons maintenant de la représentativité de l’échantillon. La théorie de la statistique, qui permet de calculer des marges d’erreur et d’inférer les résultats d’un échantillon à une population plus large, est entièrement basée sur le caractère probabiliste de l’échantillon. À partir du moment où la constitution de l’échantillon ne s’appuie pas sur le hasard, il est impossible de calculer une marge d’erreur ou d’affirmer que le sondage est représentatif. (Je suis d’ailleurs en train d’écrire un billet sur les sondages en ligne et les marges d’erreur – à lire en début de semaine prochaine.)

À propos de l’étude que vous mentionnez, il est vrai qu’elle est intéressante. Comme je le disais dans mon billet, certains résultats obtenus d’un panel Web sont comparables aux données de la population en général. Nous avons nous aussi fait nos propres études pour comparer les résultats de notre panel à ceux que nous obtenons en faisant des sondages téléphoniques. Là où le bât blesse, c’est que d’autres résultats sont significativement différents. Il faut savoir que les gens qui acceptent de faire des sondages en ligne sont plus scolarisés que la population en général. De ce fait, ils sont également plus critiques. Aussi, on observe généralement, dans les études de satisfaction Web par exemple, des résultats plus faibles. Bien sûr, l’absence de l’intervieweur y est probablement pour quelque chose (dans un sondage Web, les répondants ne cherchent pas à « plaire » à l’intervieweur); toutefois, ça ne peut expliquer toutes les différences observées. Un autre exemple de données significativement différentes : les questions touchant de près ou de loin à l’utilisation des technologies fournissent des résultats significativement différents dans les panels comparativement à la population en général.

Voilà! J’espère que ça répond à vos interrogations. Je terminerais en disant qu’en recherche, aucune technique de collecte de données n’est parfaite… Ce qui est important, c’est d’en comprendre les limites et de les expliquer clairement. C’est la seule façon pour le lecteur d’en saisir la véritable portée.

Pour ajouter à votre réflexion, je vous invite à trouver et consulter l’étude suivante écrite par un de vos concurrents et Monsieur Nantel :
Further Evidences about the Differences Between Response Characteristics from Web and Telephone Surveys: Could it be that Information Gathered from Web Surveys is More Valid?

Les résultats de leur étude auprès de 3000 Canadiens Web et téléphone sont particulièrement intéressant.