Di Rupo est-il vraiment plus populaire qu'il y a 3 mois? Un petit cours d'inférence statistique appliqué aux sondages d'opinion

Tous les 3 mois, le quotidien belge La Libre publie un sondage évaluant les préférences politiques des Belges. Ce mardi, un des pans de ce sondage était consacré à la popularité de figures politiques diverses dans les trois régions du pays. L'enseignement du sondage, tel que le titre la Une est "Di Rupo superstar".

Sur quoi repose cette conclusion? On soumettait une liste à des "sondés" provenant de Flandre, de Wallonie et de Bruxelles. "Pour chacune des personnalités suivantes, voulez-vous dire si vous souhaitez lui voir jouer un rôle important dans les prochains mois?". Chaque figure est ainsi dotée d'un "score" qu'on peut comparer à celui obtenu lors du sondage précédent. Et en effet, Di Rupo a gagné 2 points à Bruxelles et en Flandre et 7 points en Wallonie.

Les journalistes de La Libre ne se privent pas de commenter ces écarts.

Considérons par exemple le cas de Bruxelles:

"(...) les Bruxellois gardent une sympathie certaine pour Elio Di Rupo qui gagne 2% par rapport à notre consultation de Novembre (...) Immédiatement après le "numero uno" socialiste mais à quand même 21% de lui, Charles Picqué, tout en perdant 1%, consolide sa position. La troisième marche du podium voit le retour en force de Guy Verhofstadt". 

Il est piquant de constater que le "retour en force" (sic) de ce dernier correspond à une hausse de 1% (de 22 à 23%) alors que la perte équivalente du précédent (Picqué) est qualifiée de "consolidation". Ce type de description émaille l'ensemble du rapport sur les trois régions (chacun concernant une vingtaine d'hommes et de femmes politiques). A la lecture de ces commentaires, il me semble utile de me muer en prof de stats. Car, que sont ces chiffres? Ils proviennent d'un échantillon de 900 personnes. 23% d'entre elles, soit  207 ont répondu qu'elles aimeraient voir Guy Verhofstadt jouer un rôle important. En novembre, sur un autre échantillon de la même taille,  seuls 198 (22%) avaient formulé cette réponse. L'avance de 1% correspond donc à cette différence de 9 personnes. Peut-on pour autant affirmer que cet écart correspond à la différence observée dans l'ensemble de la population bruxelloise? Que le nombre de sympathisants de Verhofstadt s'est donc enrichi de +/- 10000 nouveaux individus?

Non...Le but du sondage est d'effectuer une inférence à partir de l'échantillon sur l'ensemble de la population bruxelloise. Or, un échantillon n'est jamais une image parfaite de la population dont il provient...Tout simplement parce que les membres de l'échantillon sont tirés (plus ou moins) au hasard dans la population tout en faisant en sorte de respecter certains critères (même proportion d'individus de chaque sexe, d' actifs-non actifs, ...). Donc, par exemple, si 30% des femmes entre 40 et 50 ans ne sont pas professionnellement actives, et que dans la population  bruxelloise, 20% de la population correspond à cette catégorie d'âge et de sexe, le sondeur fera en sorte de contacter un nombre de femmes (sélectionnées au hasard) correspondant à cette catégorie dans une proportion semblable à celle qui est observée dans la population totale.

Dans cet exemple, on a donc 20% de femmes entre 40 et 50 ans: sur 900, cela ferait 180 personnes. Et parmi ces 180, 30% ne sont pas actives soit 54. Ces 54 femmes sur 900 personnes sont supposées représenter un groupe de 60.000 femmes sur l'ensemble de la population bruxelloises. 

Mais lorsqu'on sélectionne des personnes aléatoirement, on ne peut pas être certains qu'elles représenteront bien la population globale. Même si 55% des femmes de cette catégorie apprécient Di Rupo, il est possible que, vu que le sondeur a tiré au hasard, il n'y en ait que 10 sur les 54 (18%) dans notre échantillon. Toutefois, il serait plus probable que l'on se rapproche de la proportion de 55%. Pour comprendre ce raisonnement, il suffit d'imaginer qu'on tire à pile ou face une dizaine de fois de suite: l'éventualité la plus probable est certes d'obtenir 5 fois piles et 5 fois face mais il est possible d'obtenir 10 fois face ou 10 fois pile également sans que la pièce soit faussée...

Evidemment, on ne sait pas quelle est la proportion exacte de femmes bruxelloises qui aiment Di Rupo. Si c'était le cas, un sondage serait inutile. En revanche, à partir des données récoltées dans notre échantillon, on peut se formuler des hypothèse quant à la vraisemblance de certains niveaux de popularité de Di Rupo: par exemple, si, dans notre sondage, on constate que 48% des gens aiment Di Rupo, il semblerait sans doute peu probable, qu'en fait seuls 3% des Bruxellois l'aiment bien. Ceci paraît intuitivement correct. En revanche, serait-il plausible que cet échantillon provienne d'une population dans laquelle 46% des gens l'aimaient bien? (ceci correspondrait au résultat du sondage de novembre)...La réponse à cette question détermine l'intérêt du "+2" observé en ce qui concerne la popularité du premier ministre.

Grâce à des techniques statistiques, il se trouve qu'on peut calculer la probabilité qu'un échantillon de 900 personnes dans lequel 46% des gens (au moins) apprécient Di Rupo provienne d'une population dans laquelle Di Rupo bénéficierait de 2% d'opinions favorables en plus ou en moins. Cette probabilité est de +/- 20%. C'est bien au-delà du risque "raisonnable" que prennent généralement les statisticiens. En fait, s'il y a plus de 5% de chance que l'échantillon soit tiré d'une population votant au niveau X, on se montre généralement prudent en considérant qu'a priori, on ne peut pas rejeter l'hypothèse que notre échantillon provient d'une population dans laquelle le soutien au candidat est bien de X.

Si on poursuit ce raisonnement, on peut alors estimer un intervalle correspondant aux valeurs pour lesquelles cette probabilité ne serait pas inférieure à 5%. C'est la marge d'erreur. Celle-ci dépend notamment de la taille de l'échantillon et de la valeur observée dans l'échantillon.

*Donc, pour les 48% de Di Rupo (par exemple), la marge d'erreur est de +/- 3,25 %. Cela veut dire qu'il y a 95% de chances que la vraie valeur se trouve entre 45,25 et 50,75%.
*Pour Charles Picqué, le 27% a une marge d'erreur de 2,89% (soit entre 24 et 31).
*Pour Guy Verhofstatd, on est à 23% +/- 2,74%

En d'autres termes, dans ces trois cas, la variation par rapport au sondage précédent est incluse dans la marge d'erreur...

De fait, l'augmentation de Di Rupo en Flandre se situe également dans la marge d'erreur. On ne peut affirmer avec confiance que sa popularité a augmenté qu'en Wallonie, où les 7 points dépassent de loin cette marge.

Le plus piquant est le commentaire que l'on peut lire dans la fiche technique du sondage:

"Sur chaque échantillon régional, la marge d'erreur maximale - c'est-à-dire pour des fréquences proche de 50% - est de +/- 4%."

Pourquoi donc les journalistes de La Libre (et les autres) n'en tiennent-ils pas compte?