Au fil des échanges, un lien s’est créé entre l’Ifop et OWNI. Nous les avions critiqués sévèrement – il était normal qu’ils nous mettent au défi de faire mieux. Défi relevé, puisque nous présentons aujourd’hui le concept de “sondage augmenté”, réalisé avec l’Ifop.

L’Ifop nous a offert trois questions dans un sondage omnibus, sur le thème de notre choix, avec comme seule contrainte de réaliser une interface de consultation des résultats. Vous pouvez filtrer les résultats au plus précis (un avertissement vous prévient lorsque l’échantillon considéré devient trop petit pour avoir une validité statistique). Par ailleurs, les utilisateurs peuvent participer à l’étude et donner leur avis. On peut ainsi comparer les résultats des internautes avec ceux des sondés.

Face à l’opportunité offerte par l’Ifop, nous avons choisi de traiter un aspect de l’un des plus gros défis de nos sociétés : l’accès des jeunes à l’emploi. Nous avons voulu savoir comment les Français appréhendaient le problème et quelles solutions ils proposaient.

Minimisation politique

Quel est le taux de chômage des 15-24 ans ? En posant la question sans proposer de choix multiples, nous voulions savoir comment les Français percevaient le problème. Le taux officiel était, en 2009, de 22.8% selon l’OCDE et de 23.6% selon l’INSEE. La sondés, en moyenne, l’ont évalué à 21.1%. Pas mal. On pourrait penser que, le sondage étant auto-administré, les utilisateurs ont vérifié le taux officiel sur Wikipédia, mais les chiffres sont suffisamment variables pour que l’on puisse considérer que quasiment personne ne l’a fait.

Les résultats deviennent intéressants quand on s’intéresse à l’âge et aux opinions des sondés. Chez les plus de 35 ans, l’estimation est de 20%, contre 23% chez les plus jeunes.

Chez les sympathisants UMP, la minimisation est encore plus forte. Ils estiment le chômage des jeunes à 19%, contre 23% pour les sympathisants du Front de Gauche. Rien d’exceptionnel, si ce n’est une nouvelle preuve de la sélection que l’on fait, chacun, de n’écouter que les informations qui renforcent nos opinions.

Une autre question concernait les solutions à mettre en œuvre pour lutter contre le chômage des jeunes. Les sondés avaient le choix entre huit solutions, toutes déjà proposées dans un précédent sondage Ifop, en juin 2009. On voit là que les réponses restent stables. Les personnes interrogées placent encore la formation professionnelle en tête des solutions à mettre en œuvre, suivie d’une meilleure orientation des élèves et des étudiants. Seul le service civique obligatoire dégringole. 28% des sondés le plébiscitaient en 2009, ils ne sont plus que 17% aujourd’hui.

« yapa 2 job pour lè jen »

Enfin, nous avons demandés aux sondés quelles étaient, selon eux, les causes du chômage des jeunes. Au-delà de ce jeune de 21 ans déclarant que « yapa 2 job pour lè jen » (faut pas s’étonner de pas en trouver si t’écris comme ça, coco), les 950 réponses montrent une compréhension homogène du problème à travers les classes d’âge.

Jeunes et moins jeunes s’entendent sur le diagnostic : manque de formation, pas assez d’emplois en France et des entreprises frileuses quand il s’agit de donner sa chance à un candidat sans expérience.
Très peu de sondés rejettent la faute sur les chômeurs eux-mêmes (1 sur 20, à peu près). Ceux-ci sont également répartis à travers les âges. Les deux citations ci-dessous ont été écrites par un jeune de 24 ans et un vieux de 70 ans. Qui a dit quoi ?

Celui qui cherche, trouve du travail.

C’est des faignants.

Ces réactions mettent surtout en avant le niveau des sondés en économie. Une bonne partie d’entre eux explique le chômage des jeunes par une surabondance de vieux. « Le marché se renouvelle trop lentement » explique un sondé de 21 ans. Pour eux, le travail est une quantité fixe qui se partage entre tous les actifs. Pourtant, rien n’est moins vrai que ce qui ressemble à une évidence de bon sens. Comme le soulignent les éconoclaste:

Les pays qui connaissent les taux de chômage les plus faibles sont aussi ceux pour lesquels la croissance de la population active a été la plus élevée.

–

Retrouvez l’ensemble de notre dossier sur la jeunesse et découvrez notre sondage autour de l’emploi des jeunes :

Illustration CC FlickR par julien `

Owni n’est pas de cette trempe et m’a toujours habitué à des articles brillants, éclairés et à la valeur ajoutée indiscutable. Le décryptage est une matière compliquée, nécessitant un recul de tous les instants et une excellente maîtrise des sujets traités. Si Owni est incontestablement la référence du journalisme de données au sein de la blogosphère française, force est d’avouer que le magazine s’est copieusement planté dans son article “Annonces sécuritaires : IFOP a déconné“, lançant une véritable fronde contre IFOP en particulier et les méthodologies sondagières en général. Ainsi l’article se révèle être une réplique mi-fadasse mi-éclairée de ce qu’on peut déjà trouver sur les très médiocres Opiniongate’s Blog et Observatoire des sondages, ou encore dans L’ivresse des Sondages d’Alain Garrigou.

La soucoupe accueille ses détracteurs avec joie

Or, tous ces gens ont au moins un point commun : ils n’ont vraisemblablement effleuré qu’une poignée des enjeux conditionnant le fonctionnement d’un panel d’institut de sondage. Non pas, bien sûr, qu’il soit fondamental de travailler en institut pour être capable d’en parler, mais que certains aspects du propos tiennent trop peu la route pour assurer la crédibilité du reste. Ayant été chargé de traitement statistique pendant huit ans, au sein de deux instituts de sondage, j’ai eu largement l’occasion de travailler sur des panels auto-administrés (essentiellement postaux et internet, mais aussi téléphoniques) où les sélections d’échantillon sur quotas et les redressements en tout genre étaient mon quotidien. J’ai également été programmeur de questionnaires Internet pour un de ces instituts. Par ailleurs, je m’exprime librement à ce sujet, étant actuellement à la recherche d’un emploi dans un autre secteur des statistiques.

La vérité sur les biais des différents modes de recueil

Il existe essentiellement quatre modes de recueil des données : le face à face, le postal, le téléphonique et Internet. Aucun de ces modes ne peut se targuer d’être exempt d’aucun biais : ils présentent tous des avantages et des inconvénients de taille.

• Le face à face est un mode de recueil très lent, complexe et de nature à déranger le sondé : capté dans la rue ou directement à son domicile, le contexte est rarement propice. Il est donc exclu d’aborder des sujets touchant à son intimité ou à ses convictions politiques. Le taux de remplissage est souvent mauvais, le sondé perdant vite patience.
• Le courrier est un mode de recueil lent lui aussi, adapté à des questionnaires plus longs ou aux questions ouvertes, auquel les personnes âgés répondent bien mieux que les jeunes générations. Par ailleurs, en cas de mauvais taux de retour, il est souvent trop tard et trop cher pour relancer une vague d’envois visant à combler un éventuel manque sur un quota.
• Le téléphone est un mode de recueil rapide et offrant une sensation d’anonymat assez sécurisante au sondé : sur des questions sensibles, nécessitant un aveu, il répondra plus spontanément que par courrier et se livrera plus facilement qu’en face à face. Les chômeurs et les personnes âgées sont généralement sur-représentés.
• Enfin, Internet est un mode de recueil assez pratique car très maléable : à l’instar du téléphone, il est possible de suivre en temps réel l’état d’avancement des quotas de l’étude. Les sous-représentations sont donc instantanément détectées. Si les plus âgés sont beaucoup plus difficiles à sonder, cela reste néanmoins de moins en moins vrai.

Internet, un mode de recueil aussi bon que les autres

Au final, les pondérations sont bien moins conséquentes par Internet que par courrier. C’est aussi pour cette raison que de plus en plus souvent, les instituts de sondage proposent de mener des terrains sur des modes de recueil mixtes, Internet et téléphone, avec des résultats excellents. Mais dans tous les cas, les redressements ne sont pas colossaux et n’induisent pas de problème de représentativité irrémédiable, car les panels d’institut sont régulièrement renouvelés et se voient réinjectés prioritairement des populations déficitaires (il existe des services spécialisés, “fournisseur” de panélistes d’un certain âge ou correspondant à une certaine catégorie socio-professionnelle).

De fait, compte tenu des enjeux, les clients des instituts de sondage souhaitent de plus en plus souvent connaître l’opinion et les habitudes des internautes. Internet, en tant que mode de recueil, devient alors une bénédiction puisqu’on ne cherche plus à être représentatif de la population d’un pays, mais des internautes d’un pays, ce qui n’a plus rien à voir. Ainsi, l’échantillon pourrait pratiquement être construit naturellement puisque sélectionner 1000 internautes en respectant des quotas reviendrait théoriquement à les sélectionner aléatoirement. Mais même dans ces cas là, la sélection aléatoire est proscrite et on applique des quotas afin de maximaliser la précision des résultats.

Une autre problématique d’Internet est qu’il est assez difficile de connaître le véritable profil des internautes d’un pays, puisqu’il n’existe pas à proprement parlé de recensement d’internautes (contrairement au recensement classique de la population réalisée par l’INSEE, lequel, malgré les nouvelles méthodes d’extrapolation, n’a pas d’équivalent en terme d’exhaustivité). Chaque institut de sondage dispose de son propre panel prétendument représentatif et dépassant allègrement la dizaine de milliers d’individus. Or, si on compare les différentes structures de panel d’internautes, d’un institut à l’autre, on constate qu’elles sont très proches. Il n’est donc pas rare que les instituts comparent leur structure : ils savent que cela leur permet d’affiner leur représentativité. On les compare également aux panels “Site-Centric”, comme celui de StatCounter Global Stats : sans être parfait, ce type de panel contribue à améliorer la qualité d’un panel d’internautes.

Pour aller plus loin :

• Sondages en ligne : une méthodologie éprouvée par Yves-Marie Cann
• Un livre blanc sur les études en ligne par OpinionWay

Les 10 mauvaises interprétations dans l’article d’OWNI

1 – « La méthodologie du sondage nous a surpris. En effet, on n’y retrouve pas les habituels “ne se prononce pas”. »

Les cases NSPP dépendent directement de la demande du client : il n’y a aucune règle absolue là dessus, à moins qu’il s’agisse d’un baromètre, auquel cas on prend soin de ne pas changer la méthode en cours de route. Les NSPP sont simplement introduites ou non aux tris élaborés selon les désidératas du client. Par ailleurs, enfonçons des portes ouvertes : sur Internet, ce sont ceux qui veulent donner leur avis qui le donnent. Ceux qui ne se prononcent pas n’ont tout simplement pas cliqué sur le lien de l’enquête.

2 – « La méthode, tout d’abord. Tous les français ne sont pas connectés à internet. »

Internet ne biaise pas plus les résultats qu’un autre support. Mieux, il reste le meilleur recueil en période estivale puisqu’il fonctionne sur un support nomade. Le téléphone portable, lui aussi parfaitement nomade, induit les mêmes biais qu’Internet (jeunes générations sur-représentés, vieilles générations sous-représentées, localisation géographique compliquée), on en retirerait donc qu’un inconvénient de taille : le coût des communications téléphoniques.

3 – « L’Ifop nous assure que les résultats sont redressés pour les 25% de non-internautes (31% selon l’ITU). »

De fait, aujourd’hui, sauf cas très particulier (tests de produits, études qualitatives), toutes les études quantitatives reposent nécessairement sur des échantillons finaux construits selon la méthode des quotas ! Mettre le doigt sur un écart de 6% entre les chiffres de l’ITU et ceux de l’IFOP ne reviendrait guère qu’à contester un petit dixième de pourcent sur le résultat d’un tri marginal, d’autant que les chiffres de l’ITU ne reposent, eux non plus, sur rien d’exhaustif, ni de parfait.

4 – « Comment contacter les estivants ? L’Ifop assure que 60% des Français ne partent pas (30% selon le Credoc, mais passons) et que ceux qui partent restent connectés. »

Pour le coup, l’argument a de quoi surprendre. Owni frise carrément la mauvaise foi ! De quoi parle-t-on ? Du nombre total de français partant en vacances durant toute l’année (chiffre du CREDOC avancé par Owni), ou du nombre de français en vacances au moment de l’enquête IFOP ? Bien entendu, on est plus prés des 60% selon l’enquête sur les conditions de vie de l’INSEE.

5 – « Est-ce qu’ils possèdent des statistiques sur le nombre de personnes ayant répondu de leur iPhone, ou ceux dont l’adresse IP montre une localisation différente de leur ville de résidence ? »

N’a-t-on pas suffisament marteler en France que l’adresse IP n’est pas une donnée fiable ? Dans le cas présent, d’autant plus sur le réseau 3G des téléphones portables, plusieurs millions d’internautes (au moins tous les clients Orange, et en grande partie des possesseurs d’iPhone justement) se connectent via une IP dynamique. Croyez-vous qu’il soit possible rapidement et sans autorisation spécifique d’analyser des adresses IP quand on est un institut de sondage ? Pour quelle fiabilité et quel résultat ?

6 – « Mais la chance et les statistiques se marient mal ensemble »

En effet ! Il n’a d’ailleurs jamais été question de cèder la moindre parcelle à « la chance » dans le champs du traitement de données statistiques. Je vous rassure, donc : la chance n’est pas une matière dispensée dans les IUT et IUP de statistiques ou même à l’ENSAE. Plus sérieusement, l’aléatoire n’est que très exceptionnellement utilisé comme modèle pour constituer des échantillons.

7 – « Il aurait pu être intéressant de demander aux sondés si ils étaient favorable à… »

Certes, la remarque est pertinente mais le sondeur n’est pas le client ! En l’occurence, le commanditaire étant Le Figaro, on peut imaginer aisément ce que cela implique sur l’orientation politique des questions.

8 – « …revient à dire… »

Une question est une question ! On touche du doigt le problème de l’interprétation quand on en vient à dire qu’une question X « revient à » se poser une autre question Y. Restons pragmatique ! Si une question est mal posée ou ambigüe, c’est effectivement un problème auquel il aurait fallu s’attaquer en amont. On n’y peut plus rien une fois le terrain finalisé. Au passage, pourquoi OWNI ou Marianne ne commanderaient-ils pas un sondage en bonne et due forme, en posant les questions qu’ils estiment légitimes et adaptées ? Comme le font d’ailleurs régulièrement le Parti Socialiste, la Mairie de Paris ou Le Monde en s’adressant à… Opinion Way (!).

9 – « Cette erreur d’interprétation était d’autant plus à éviter en 2002 que le nombre de sondés qui se déclaraient indécis était toujours très important. »

Alors on le savait ? Si l’information de cette indécision était connue, alors c’est qu’elle était fournie par les instituts de sondage. Pourquoi donc les journalistes ne se la sont pas appropriée ? Et pourquoi reporter la faute sur les instituts de sondage si les journalistes ont joué l’intox !? Pour information, le problème s’était déjà posé lors des présidentielles de 1974. Si les journalistes s’étaient souvenus que ces sondages ont pour vocation d’être des révélateurs de tendance, alors probablement auraient-ils “démasqué” la nette croissance du vote Front National au cours des dernières semaines précédant le premier tour des présidentielles de 2002.

10 – « Mieux, elle avait même rédigé les questions que l’institut a posé aux sondés, qui devaient peu ou prou répondre à cette question… »

Oui, c’est tout ce qu’il y a de plus classique, et je me répète : les clients posent les questions, ils sont les commanditaires et apportent évidemment toute la matière première du sondage. De plus, compte tenu de la nature de certains sondages (ceux de type Omnibus), il est probable que l’institut n’ait de toute façon pas le temps matériel pour réviser l’intégralité du questionnaire. Puis, généralement, on le prie de ne pas le faire, tout simplement.

Le sempiternel amalgame entre les métiers, les types de données…

Les critiques de sondage tombent systématiquement dans les mêmes travers : on amalgame les méthodologies, les questions, les chiffres (données à priori objectives, fournies en tant que telles), avec les analyses de tout poil qui en sont faites (analyses forcément subjectives). On confond le pragmatisme des questions et des résultats chiffrés, avec l’interprétation sujette à caution qui en est faite en aval : on mélange les métiers (institut de sondage, analyste, journaliste, client, prestataire, commanditaire…), les données à analyser (tantôt on prendra un chiffre dans un tableau, tantôt une interprétation bancale qu’on prendra soin de mettre sur le même plan). Puis, on se contente de pointer l’institut du doigt, responsable sans distinction de tous les maux.

Car, comme d’habitude dans ce type d’incrimination, on voit la paille dans l’oeil du sondeur sans que le journaliste voit la poutre qu’il a dans le sien : un des plus forts biais des sondages est relatif aux erreurs d’interprétation, mais aussi aux partis pris des journalistes politiques, métier sur lequel il y aurait également beaucoup à dire en matière de conflit d’intérêt. La preuve : quand les résultats d’une enquête n’arrangent pas ses commanditaires, ça donne ce fameux sondage IPSOS sur les pratiques de piratage, très très peu relayé.

Pourquoi incriminer l’institut de sondage lorsqu’on évoque le manque de neutralité des questions posées ? C’est comme si vous trouviez logique qu’un publicitaire refuse un slogan qui sonne bien sous prétexte qu’il est ambigu ou mensonger. Les sondages n’ont jamais eu pour vocation d’être non partisan, et s’intègrent désormais naturellement dans les campagnes de communication. Le sondeur n’a pas à juger le bien fondé d’une question. On peut éventuellement le déplorer, mais il me semble malhonnête d’en tenir rigueur à l’institut de sondage qui vend une prestation de conseil et met ses panélistes à la disposition du client. Le commanditaire et l’analyste sont libres d’estimer si les données sont à la hauteur de ce qu’ils essayent de prouver. Les aberrations qui en résultent ne sont pas le fait des instituts.

Conclusion

L’absence de fiabilité du mode de recueil par Internet est un mythe : le même mythe qui fit passer le mode de recueil téléphonique pour une aberration méthodologique il y a une quarantaine d’années. Naturellement, le problème essentiel qui se pose aujourd’hui pour le sondeur est celui de la véracité des opinions et comportements déclarés par le sondé. Le panéliste nous dit-il la vérité ? Si le problème se pose de plus en plus dans le cadre des sondages d’opinion politique, je doute qu’il en soit de même avec les autres types d’étude. D’autant que les sondages d’opinion, s’ils constituent la vitrine d’un institut, ne représentent guère qu’une petite dizaine de pourcent de son chiffre d’affaire global.

L’institut de sondage joue certes son rôle de conseil, mais il est avant tout là pour se porter garant de la fiabilité des résultats, quand bien même les questions seraient non pertinentes ou mal posées. L’institut n’est pas tout puissant : il est souvent pieds et points liés aux désidératas du client, dans un contexte concurrentiel très fort. La super caste des professeurs en science politique, sorte de lobby anti-sondage, use de leur verve outrancière et mène la fronde, refusant catégoriquement d’entrer dans la sphère des considérations techniques. Et se défendre attise systématiquement la suspicion… De trop rares spécialistes (comme le très fiable Dr Panel sur Rue89) aiment encore soulever le capot et comprendre comment ça marche.

—

Article initialement publié sur Statosphère

Illustrations par Laurent Taudin et CC FlickR Paulgi

A lire ailleurs:

L’analyse (détaillée)de Rue89 : Sondage Ifop/Le Figaro sur la sécurité : la méthode en question

La critique d’Anthony Hamelle : De l’art de la critique et de l’intérêt des sondages

Comment se passe le processus pour de tels sondages commandés ? Quels sont la place et le rôle du commanditaire ? Ne peut-on pas envisager qu’ils soient utilisés pour appuyer la politique ou les annonces du gouvernement ? Qui rédige les items, par exemple ? et quelle interaction y a-t-il eu ici avec Le Figaro ?

L’initiative d’un sondage peut revenir soit à l’institut soit au commanditaire de l’étude. Dans les deux cas, le questionnaire est toujours le fruit d’un échange approfondi entre les deux parties. À charge ensuite pour l’institut de mettre ceci en question puis de soumettre à son client un projet de questionnaire. Plusieurs allers-retours peuvent avoir lieu avant d’aboutir à la version finale qui sera administrée à un échantillon représentatif.

L’Ifop, comme tous ses confrères, veille en effet a ce que les libellés des questions soient les plus clairs possibles pour les personnes interrogées et ne prêtent pas à confusion. Lorsqu’une question porte sur l’actualité récente, celle-ci doit s’en tenir aux seuls faits et ne contenir aucun jugement de valeur : nous ne commentons pas la politique, ce n’est pas notre rôle. Sur ce point nous avons toujours le dernier mot et ceci peut parfois engendrer quelques tensions ! Il nous arrive d’ailleurs de refuser certaines questions, notamment lorsqu’elles auraient pour effet de susciter ou d’entretenir des attaques personnelles. Nous sommes très vigilants sur ce point.

Que pensez-vous de l’effet de l’accumulation de questions sur la sécurité sur la pertinence des réponses des sondés ? La tonalité des questions ne vous paraît-elle pas biaiser les réponses ?

La formulation d’une question et le choix des items de réponse peuvent “influer” sur les résultats obtenus. Ceci explique notamment que pour deux sondages réalisés sur un même sujet les résultats ne soient pas exactement les mêmes. D’où les écarts existant notamment entre notre enquête pour Le Figaro et celle réalisée par CSA pour L’Humanité. La première portait sur l’approbation des mesures annoncées, la seconde sur la nécessité perçue de ces mesures. Ce n’est pas tout a fait la même chose !

En revanche, ces deux enquêtes indiquent clairement que ces mesures rencontrent un écho favorable au sein d’une proportion élevée de la population.

N’y a-t-il pas une forme d’opportunisme dans un tel sondage, réalisé à chaud sur la base de déclarations d’intentions de la part du pouvoir ?

Sur l’opportunisme, je vous laisse juge : l’actualité récente ne portait-elle pas sur ce sujet ? En quoi serait-il illégitime d’interroger les Français sur les propositions présidentielles ?

Comment avez vous utilisé la méthode CAWI ? Avez vous utilisé des vidéos, documents sonores, images pour illustrer le questionnaire ? Peut-on en avoir des copies d’écrans ?

Les études par Internet suscitent d’important débats depuis quelques années, j’en suis bien conscient. Certains nous opposent d’ailleurs parfois l’argument selon lequel certains instituts n’utiliseraient pas ce mode de recueil car ils ne le jugent pas suffisamment fiable pour des études d’opinion. Qu’on m’explique alors pourquoi ce qui n’est pas suffisamment fiable pour de tels sujets l’est tous les jours pour des enquêtes marketing réalisées pour de grand groupes de l’agro-alimentaire, des cosmétiques, etc.

D’un point de vue méthodologique, les études CAWI, c’est-a-dire les sondages réalisés par Internet, sont aussi fiables que ceux réalisés en face-à-face ou par téléphone -précision devant être faite que, de notre point de vue, il n’existe pas de mode de recueil idéal-. En fait, seule la façon dont est collectée l’information diffère. Pour le reste, nous avons recours à la méthode des quotas et utilisons un logiciel professionnel dédié à ce type d’enquête. Celui-ci permet notamment de gérer automatiquement les quotas d’enquête et d’empêcher les participations multiples. Et contrairement à une rumeur avancée par certains chercheurs en science sociales, nos échantillons ne sont pas reconstitués à posteriori, ce serait pure folie !

Les questions portant sur des sujets politiques sont systématiquement posées en début de questionnaire (après les questions de quota permettant de qualifier la personne interrogée et de constituer l’échantillon, comme pour les autres modes de recueil). Pour ces questions, les interviewés ne sont exposés à aucun visuel ou vidéo.

Enfin, nos  sondages (et ceux de nos confrères) ne sont pas réalisés en plaçant des bannières ou tout autre lien URL sur un ou plusieurs sites internet. Nous avons recours à des bases qualifiées et sollicitons par courrier électronique des individus qui en sont extraits aléatoirement.

Pour plus de précisions je ne peux que vous renvoyer à mon article sur le sujet, publié il y un près d’un an par la Revue politique et parlementaire.

Le sondage a eu lieu en plein mois d’août. N’y a-t-il pas un biais par rapport à la représentativité ?

Le débat sur la période de l’enquête n’a pas grand sens. Si pendant de nombreuses années les instituts ont banni les enquêtes du 15 juillet au 15 août, c’est davantage par commodité (la gestion des vacances de leurs collaborateurs et enquêteurs face-à-face et téléphone) que pour des raisons méthodologiques. Arrêtons l’hypocrisie : la France ne s’arrête pas en été ! S’il est effectivement un peu plus difficile qu’en plein hiver d’entrer en contact avec les personnes, ce problème reste très limité.

L’Internet est un média nomade, il n’est pas nécessaire d’être à domicile pour y avoir accès. De plus, tous les Français ne partent pas en vacances en même temps. Ce problème ne se pose plus non plus pour le téléphone puisque l’Ifop inclut systématiquement une proportion significative de téléphones cellulaires dans ses échantillons. Quelqu’un oserait-il avancer l’idée que les Français ne partent pas en congés avec leur téléphone mobile ? Les critiques sur la période d’enquête révèlent avant tout une méconnaissance de notre métier. Sans doute avons-nous notre part de responsabilité et devons faire preuve de davantage de pédagogie en la matière.

Quel est le nombre de personnes qui n’a pas répondu au questionnaire ? Ne pensez-vous pas que ne pas faire figurer les “NSPP” soit dangereux en terme d’interprétation ?

En matière de “sans opinion” il existe deux écoles : certains instituts offrent cette possibilité dans leurs enquêtes auto-administrées, d’autres non. Après réflexion, l‘Ifop a fait le choix de ne pas proposer cet item de réponse pour les questions portant sur des opinions. Il s’agit en effet d’un item dit “refuge” utilisé par les personnes ne souhaitant pas répondre à une question. S’il était proposé par Internet, cet item pourrait enregistrer des scores de 10 voire 15%. Pour une même question posée par téléphone, nous aurions 1 à 2% maximum, et 5% environ pour une enquête en face-à-face car les enquêteurs ont pour consigne d’effectuer des relances auprès des personnes cherchant à ne pas répondre.

Notre principal mode de recueil étant le téléphone (à taux de NSPP faible voir nul) et compte-tenu de la nécessité de pouvoir comparer des résultats d’enquête indépendamment du mode de recueil, nous avons fait le choix de ne pas laisser la possibilité aux personnes interrogées de ne pas répondre aux questions d’opinion. Ceci signifie aussi que si les questions avaient été posées par téléphone, nous aurions eu pratiquement les mêmes résultats car il y aurait eu très peu voir pas de NSP.

Comment définiriez-vous le pouvoir qu’ont aujourd’hui les instituts de sondage pour faire ou défaire l’opinion publique ? Ne pensez-vous pas que les sondages occupent une place trop importante dans le débat public alors qu’on en connaît les faiblesse et les carences ?

Je suis très étonné par cet éternel débat sur l’influence supposée des sondages sur l’opinion publique. Car finalement, c’est faire bien peu de cas du libre-arbitre de chacun. En quoi l’exposition aux résultats d’un sondage influerait-il sur vos opinions ?

Étrange conception de la nature humaine et plus globalement de la démocratie ! En revanche nos données peuvent effectivement être utilisées comme argument dans le jeu politique comme le sont tout autant celles d’autres acteurs. Nous parlons alors de l’interprétation qui peut être faite de nos données, notamment pas les journalistes et les politiques.

Pourquoi s’en prendre systématiquement au thermomètre ? Apporter l’information selon laquelle des mesures annoncées par le gouvernement sont approuvées par une majorité ne signifie pas que ces mesures sont nécessairement de bonnes mesures. Nous ne sommes pas ici pour porter un jugement de valeur, encore moins défendre une politique mais montrer que celle-ci peut rencontrer effectivement un écho favorable. À charge ensuite pour les opposants de défendre leurs contre-propositions, d’argumenter et de faire œuvre de pédagogie. C’est notamment le rôle des politiques et des intellectuels.

Pourquoi considérer d’emblée les résultats d’un sondage comme un horizon indépassable ? Quelle perspective pessimiste pour le débat démocratique ! Je prendrais le meilleur contre-exemple qui soit sur la nécessaire capacité de chacun à dépasser les données d’enquête : la peine de mort a été abrogée alors qu’une majorité de Français la défendait. Aujourd’hui, les enquêtes menées par l’Ifop démontrent clairement qu’une majorité de la population s’opposerait à son rétablissement. Ce retournement de tendance est à porter au crédit d’un travail de fond mené sur le sujet par les principaux acteurs publics. Nos enquêtes ne font que le mettre en lumière.

Notre travail consiste à mesurer des tendances, à identifier les contradictions et les lignes de fracture qui constituent l’opinion publique. Celle-ci est complexe par nature et impose beaucoup d’humilité dans notre travail au quotidien. Les données que nous produisons, notamment via les sondages réalisés pour la presse, n’ont pour seule vocation que d’apporter un éclairage sur un enjeu donné sans prétendre à présenter toute la vérité sur un sujet donné.

Illustrations CC FlickR par Guillaume Brialon, Stuart`Dootson

Téléchargez l’affiche de Elliot Lepers

Évaluer l’impact d’Hadopi

A propos du “contexte”, l’IFOP explique qu’“après une mise en place difficile et des critiques fondamentales sur sa démarche, HADOPI, autorité chargée de sanctionner le téléchargement illégal, est opérationnelle depuis le 29 juin 2010″. On suppose que cela fait référence au décret de négligence caractérisée paru au Journal Officiel le 26 juin dernier. L’institut poursuit : “Le SNEP a ainsi fait appel à l’IFOP pour évaluer dans quelle mesure les dispositions d’HADOPI sont amenées à impacter le comportement des individus dans un contexte incertain“.

En juin dernier, David El Sayegh, le directeur général du Snep, disait s’inquiéter du retard pris dans la mise en œuvre d’Hadopi. “Il n’y a pas de mécontentement, mais beaucoup d’expectative de notre part, des attentes qui se transforment en préoccupations”, expliquait-il à l’AFP. Il est évident que cet effet psychologique initial d’Hadopi ne va pas durer si les internautes qui téléchargeaient retrouvent un sentiment d’impunité”.

… sur qui ?

Concernant la méthodologie, l’étude a été réalisée les 1 et 2 juillet dernier par téléphone auprès d’un échantillon national représentatif de 1058 individus âgés de 15ans et plus, explique l’institut. “La représentativité de la population interviewée a été assurée par la méthode des quotas sur les critères: sexe, âge, CSP de l’interviewé, CSP du chef de famille, région et catégorie d’agglomération”. La marge d’erreur est estimée à “environ 3%”.

Ni ce panel, ni les questions posées, ne permettent de connaître les pratiques des sondés en matière de consommation en ligne de biens culturels, et de téléchargement d’œuvres sans autorisation. Ni même de savoir combien ont un accès Internet. Pourtant, à l’exception d’une seule question, tous se prononcent.

Par exemple à la question, dont on appréciera au passage la tournure, sur l’impact des mails d’avertissement – “dans le cadre de la Loi Hadopi, des mails d’avertissement pourraient vous être envoyés dans le cas où votre connexion Internet serait utilisée pour réaliser des téléchargements illégaux. Le fait de recevoir ces mails pourrait-il vous inciter à vous tourner vers des sites de téléchargement légaux ?” — 66% répondent qu’ils seraient incités, 34% non.

Le moyen le plus efficace est le filtrage systématique

Cela n’empêche pas l’Ifop de conclure que “les dispositions d’Hadopi conservent un réel pouvoir de dissuasion amené à impacter les comportements à l’égard du téléchargement”.

Mais souligne l’institut “si les sanctions s’avèrent donc plutôt dissuasives, elles ne se présentent cependant pas comme le moyen le plus efficace pour lutter contre le téléchargement illégal”. Et quel est-il donc ? “C’est le filtrage systématique des sites illégaux qui est jugé comme le moyen le plus efficace”. Et ça tombe bien, car c’est dans les cartons d’Hadopi depuis un moment.

A noter qu’en janvier dernier, interrogé sur le filtrage, notamment par DPI, Jean Berbineau, membre du collège de l’Hadopi, invitait à regarder ce qui se passe en Australie. “Vous devriez voir des choses en 2010 en Australie” indiquait-il alors. Sauf que, selon les dernières nouvelles, après avoir été repoussé d’un an, le projet de filtrage y semble “condamné”.

——-

Voici le détail des questions et réponses du sondage :

1/Dans l’hypothèse où vous auriez personnellement l’habitude de télécharger illégalement des contenus comme de la musique ou des vidéos sur Internet, diriez-vous le fait de risquer la suspension de votre abonnement à Internet ou une amende de 1.500 euros vous ferait renoncer à cette pratique ?
69% Renonceraient à télécharger illégalement
31% Ne renonceraient pas à télécharger illégalement

2/Dans le cas où vous pourriez risquer la suspension de votre abonnement à Internet, seriez-vous prêt à surveiller l’usage qui est fait de votre connexion Internet par vos enfants, vos proches ou dans le cas d’une connexion wifi ?
77% Seraient prêts à surveiller l’usage qui est fait de leur connexion Internet
21% Ne seraient pas prêts à surveiller l’usage qui est fait de leur connexion Internet
2% Aucune autre personne n’utilise ma connexion

3/ Dans le cadre de la Loi Hadopi, des mails d’avertissement pourraient vous être envoyés dans le cas où votre connexion Internet serait utilisée pour réaliser des téléchargements illégaux. Le fait de recevoir ces mails pourrait-il vous inciter à vous tourner vers des sites de téléchargement légaux ?
66% Seraient incités à se tourner vers les sites de téléchargement légaux
34% Ne seraient pas incités à se tourner vers les sites de téléchargement légaux

4/ Parmi les 3 moyens suivants, quel est selon vous le plus efficace pour lutter contre le téléchargement illégal de contenus sur Internet ?
46% Que les internautes ne puissent plus accéder aux sites illégaux (filtrage)
31% Une démarche pédagogique avec l’envoi de mails d’avertissement
21% Le fait d’encourir une sanction judiciaire en cas de téléchargement illégal
2% NSP

5/ Pour vous personnellement, la mise en place d’offres d’abonnement à des services de musique légaux pour moins de 10 euros par mois pourraient-elles contribuer à limiter fortement les pratiques de téléchargement illégal ?
69% Ces offres contribueraient à limiter fortement les pratiques de téléchargement illégal
31% Ces offres ne contribueraient pas à limiter fortement les pratiques de téléchargement illégal

-> Télécharger “Les Français et le téléchargement illégal”(pdf)

Article initialement publié sur OWNIlive

Illustration CC FlickR par kk+, Dunechaser

Crédits : T0ad (unsitesurinternet.fr)

Ce matin, Le Figaro a dévoilé les résultats d’un sondage IFOP (pdf) dont les résultats n’ont pas fini de surprendre et de susciter la polémique, affirmant qu’une majorité de Français soutiennent le récent virage sécuritaire entrepris par Sarkozy.

La méthodologie du sondage nous a surpris. En effet, on n’y retrouve pas les habituels ‘ne se prononce pas’ qui permettent de jauger l’intérêt que portent les sondés à une question. Vérification prise auprès de l’Ifop, il s’avère que les sondages auto-administrés de ce type, où les sondés répondent eux-mêmes aux questions, en l’occurrence devant leur ordinateur, ne comportent jamais de case ‘nspp’.

L’Ifop explique sans rire que ça permet d’éviter un trop grand taux d’abstention. Devant un sondeur, les personnes interrogées ont tendance à donner un avis, même s’ils n’en ont pas vraiment. Parce qu’on a toujours l’air tarte quand on ne sait pas répondre aux questions. Sur internet, le sondé est libéré de cette pression, si bien qu’on l’on y constate une « explosion » du nspp. « Les taux peuvent dépasser les 10, 15, 20 points » contre 3 à 8 sur les autres types d’enquête, explique l’Ifop.

Les mauvaises langues diront que les instituts de sondages forcent des gens sans opinion à en donner une, préférant ainsi fausser les résultats pour économiser les coûts que nécessiterait un élargissement de l’échantillon. Et elles n’auront pas tort.

D’autres biais affaiblissent ce sondage

La méthode, tout d’abord. Tous les français ne sont pas connectés à internet. L’Ifop nous assure que les résultats sont redressés pour les 25% de non-internautes (31% selon l’ITU). La période, ensuite. Comment contacter les estivants ? L’Ifop assure que 60% des Français ne partent pas (30% selon le Credoc, mais passons) et que ceux qui partent restent connectés. Est-ce qu’ils possède des statistiques sur le nombre de personnes ayant répondu de leur iPhone, ou ceux dont l’adresse IP montre une localisation différente de leur ville de résidence? L’Ifop n’en voit pas l’intérêt mais assure que “des vacanciers ont participé à l’enquête”.

Les vacanciers sont souvent plus riches, plus éduqués et plus sensibles aux libertés individuelles, de l’aveu même de l’Ifop. Leurs réponses auraient sans doute détonnées avec celles des autres sondés. Espérons que les 2 biais (les non-connectés d’une part, les vacanciers de l’autre) s’annulent. Mais la chance et les statistiques se marient mal ensemble.

L’Ifop assure enfin que toutes les questions posées ont été publiées. Ça ne nous empêchera pas de critiquer la manière dont elles ont été rédigées. “Êtes-vous favorables au démantèlement des camps illégaux de Roms?” revient à dire “Voulez-vous que la loi soit appliquée?”. Il aurait pu être intéressant de demander aux sondés si ils étaient favorable à une sanction pour les préfets qui n’ont pas appliqué la loi du 5 juillet 2000 [PDF] qui leur permet d’obliger les maires à construire des aires d’accueil (préfets qui, soit dit en passant, dépendent directement du gouvernement).

Le questionnaire donné au sondé l’installe à chaque nouvelle question dans un climat très anxiogène. On commence dès la première question avec le terme “multirécidiviste” qui permet de faire peur. Mais de qui parle-t-on ? Le terme est très flou. On enchaîne ensuite avec les termes de “polygamie”, “incitation à l’excision”, “assassins de policiers”, ”camps illégaux”, “atteinte à la vie d’un policier”, “délinquants”. Il faut beaucoup de volonté pour ne pas être mal à l’aise à la fin de ce questionnaire…

Ce sondage Ifop est aussi peu fidèle à la réalité que ses multiples cousins qui tentent de construire une opinion publique, le plus souvent à l’image de celle souhaitée par le gouvernement.

Petit historique des manipulations sondagières

Le Pen au second tour ? On n’avait pas prévu !

Lors de la campagne électorale des Présidentielles de 2002, aucun sondage rendu public avant le 1er tour du scrutin ne prévoyait Le Pen au deuxième tour. En effet, souvent la marge d’erreur des sondages ne permet pas d’établir de conclusion définitive. Or beaucoup d’interprétations ne prennent pas en compte cette marge. Cette erreur d’interprétation était d’autant plus à éviter en 2002 que le nombre de sondés qui se déclaraient indécis était toujours très important. C’est comme ça que tout le monde a pris le duel Chirac-Jospin comme acquis.

Un allié (in)attendu dans la bataille Hadopi

En 2008, en pleine bataille HADOPI, un sondage IPSOS proclamait qu’une très large majorité de Français étaient favorables à la riposte graduée prévue par la haute autorité. Un sondage qui avait en fait été commandé par la société civile des producteurs phonographiques (SCPP), organisme extrêmement favorable à la dite loi. Mieux, elle avait même rédigé les questions que l’institut a posé aux sondés, qui devaient peu ou prou répondre à cette question : “voulez-vous faire de la prison et/ou payer une lourde amende pour téléchargement illégal ou écoper d’un avertissement par mail éventuellement assorti d’une coupure de votre accès Internet ?”.

“L’affaire Opinion Way”

En juillet dernier, un rapport de la cour des comptes sur le budget de la présidence de la République avait pointé la position ambigüe de l’Elysée vis-à-vis de l’institut de sondage Opinion Way. En effet, ce dernier avait facturé près de 1,5 millions d’euros d’études à la présidence (en passant outre le code des marchés publics). Problème : les résultats de ces sondages étaient étonnamment proches – voire identiques – à ceux publiés dans les grands médias, notamment dans Le Figaro et LCI. Outre donc l’inutilité de la dépense pour le contribuable, les résultats des dits sondages n’aident pas à lever le soupçon qui pèsent sur leur financement. Le tout posant la question de l’indépendance et de l’objectivité de telles études d’opinions vis-à-vis du pouvoir.

Les Français sont-ils vraiment prêts à travailler plus longtemps ?

Au début de cette année, le JDD publiait le résultat d’un sondage sur l’allongement de la durée de cotisation de retraite et titrait les Français prêts à travailler plus longtemps. L’hebdomadaire se basait sur les réponses à la question « Jusqu’à quel âge seriez-vous prêt à travailler pour avoir une bonne retraite ? ». On pouvait déjà mettre quelque peu en doute les résultats du sondage. En effet la fameuse question était posée logiquement aux seuls actifs du panel mais réduisant l’effectif à 522. Mais comme le démontrait le docteur Panel sur Rue89, les résultats du sondage n’étaient pas tout à fait ce qu’annonçait le JDD. En effet, en comparant les résultats des questions « D’après vous, à quel âge serez-vous contraint de partir à la retraite ? »  (moyenne des réponses 64,7 ans) et  « Jusqu’à quel âge seriez-vous prêt à travailler pour avoir une bonne retraite ? » (moyenne des réponses 62 ans), Rue89 conclue que « les français sont prêts à s’arrêter de travailler 2,7 ans avant l’âge auquel ils pensent devoir partir pour toucher « une bonne retraite » ! »

Et tant d’autres…

La liste des sondages sujets à caution est malheureusement longue. Récemment, un sondage réalisé par BVA affirmait que 6 Français sur 10 défendaient la proposition de loi du sénateur Jean-Louis Masson sur l’anonymat des blogueurs. Outre le fait que, comme le rappelle le journaliste David Abiker, les sondés n’auraient probablement pas répondu si ils n’avaient pas été anonymes, les questions étaient très biaisées et posées à un public ne maîtrisant pas forcément toutes les implications et les enjeux du domaine en question.

Il y a quelques semaines sur Rue89, le blogueur Le Yéti a judicieusement pointé du doigt le pouvoir de “faiseurs d’opinions” détenus par les instituts de sondages, et nous explique comment ils “favorisent” certaines personnalités politiques, faisant fi de l’importance réelles de certaines personnalités dans le paysage politique.

Taper sur la nouvelle politique ultra-sécuritaire du président, un loisir de gauchiste ? Pas forcément, si on en croit le dernier edito du New-York Times, qui dénonce aujourd’hui une véritable “fièvre anti-immigrés“. Y faut pas déconner.

__

Martin Clavey, Nicolas Kayser-Bril, Martin Untersinger.

Crédit Illustration : T0ad.

Crédits Photo CC Flickr: Dunechaser.

A lire également

> Un dossier réalisé par l’association Pénombre, qui “réfléchit sur les usages du nombre dans le débat public”.

> “L’opinion publique n’existe pas” de Pierre Bourdieu, toujours d’actualité

> Les résultats du sondage IFOP en intégralité (pdf).

> “La fabrique de l’opinion publique“, par Noam Chomsky.