L'aveuglement par rapport à la mesure en éducation

La Communauté Française Wallonie-Bruxelles, qui organise l'enseignement en Belgique francophone, est particulièrement soucieuse des résultats obtenus par les écoles à des tests standardisés, en particulier les tests "PISA" effectués dans l'ensemble de l'OCDE. Elle envisage également de proposer un baccalauréat commun à la française et a déjà mis en place différents tests communs en sixième primaire (le "CEB") et en deuxième secondaire (le "CE1D"). Ce type de test peut être utilisé non seulement pour comparer les élèves mais également pour comparer les écoles voire les classes ou leurs professeurs. Il y a quelques années, le sénateur Alain Destexhe proposait du reste dans L'Ecole de l'échec? Comment la réformer (Editions Cortex, 2005) que les parents aient accès aux résultats des tests obtenus par chaque école, afin de pouvoir faire un choix informé et "objectif".


Un article récent de Rachel Aviv dans le New Yorker m'a fait réfléchir à ce type d'initiative. Il portait sur une école de la ville d'Atlanta. Les institutions scolaires y sont évaluées et financées, en fonction des résultats à ces tests. Les emplois des directeurs et des professeurs, leurs salaires, l'existence même de l'école en dépendaient en partie. Miraculeusement, suite à la mise en place de ce système, on constatait des progrès remarquables dans les performances scolaires des écoles de la ville. Mais il fallut déchanter: des fraudes massives furent mises en évidence dès 2008. Dans de nombreuses écoles, les professeurs modifiaient les réponses de leurs élèves afin d'augmenter le statut de l'établissement. De centaines de professeurs ont été démis de leurs fonctions, certains directeurs d'école font face à des peines de prison, etc. (un procès va commencer dans quelques semaines). Cette réalité rejoint un article précédent dans lequel je montre que la promotion de valeurs néo-libérales (compétition, réussite individuelle, etc.) peut favoriser la tricherie. L'article montre que ce type de pratique est guidé en grande partie par une volonté professorale de préserver les élèves (et pas seulement sa carrière) des conséquences négatives de ces tests perçus comme dépourvus de sens.

"Ils voyaient la tricherie comme une porte par laquelle il fallait passer pour pouvoir se concentrer sur les problèmes qui avaient davantage de sens dans la vie de leurs élèves" écrit Rachel Aviv (p. 62, ma traduction).

Comme je l'illustrais dans mon billet sur la fraude, celle-ci est souvent guidée par des motivations vertueuses...

L'article montrait du reste des effets fort paradoxaux: les écoles (souvent ce qu'on appellerait ici des 'écoles poubelles', situées dans des quartiers pauvres exclusivement afro-américains) dont la notoriété  s'améliorait frauduleusement grâce aux tests étaient valorisées grâce à ces résultats (certains professeurs ont même été invités à Washington, et reçus par le ministre de l'éducation nationale) et les élèves semblaient davantage s'impliquer dans leurs études et s'identifier à leur institution scolaire. La fierté nourrissait leur attachement à l'école et ce qu'elle représentait. La tricherie semblait donc, indirectement, contribuer positivement à leurs performances scolaires.

Ceci étant, ce cas met en exergue les dangers posés par l'utilisation de ce type d'indicateur quantitatif dans le domaine éducatif. Je ne résiste pas à reprendre ci-dessous certains extraits de cet article du New Yorker:

"John Ewing, qui a été le directeur de l'American Mathematical Association pendant 15 ans, se dit perplexe quant à l' "infatuation par rapport aux données quantitatives" de la part des professionnels de l'enseignement, leur foi qu'elles sont plus fiables que leur propre jugement. Il explique le problème par la loi de Campbell, un principe qui décrit les risques présentés par l'utilisation d'un indicateur unique pour mesurer des phénomènes sociaux complexes: plus on accorde de valeur à une mesure quantitative, comme les scores à des tests, plus grande est la probabilité que ceux qui l'utilisent et le processus qu'elle mesure soient pervertis, voire falsifiés. "Le but de l'éducation n'est pas de répondre au bon nombre de questions", dit-il. "Le but, c'est d'avoir des élèves créatifs et curieux qui peuvent fonctionner dans la vie". Dans un article de 2011 (...), il écrit que les décideurs politiques utilisent les mathématiques pour "intimider, pour empêcher un débat à propos des buts de l'éducation  et des mesures de réussite" (p. 63).

Autre citation intéressante:

"Selon une déclaration récente de l'American Statistical Association, la plupart des études montrent que les qualités des professeurs expliquent entre 1 et 14% seulement de la variabilité dans les résultats aux tests de performance scolaire". En d'autres termes, le facteur 'enseignant' ne semble jouer qu'un rôle mineur dans la réussite à ces tests.

Ce résultat montre le danger de vouloir placer toute la pression sur les professeurs. Mais il faut être prudent: ce type de pourcentage ne s'applique qu'aux résultats des tests. Il ne signifie pas qu'un professeur  contribue uniquement à une portion d'1 à 14% de la réussite scolaire de l'élève moyen. La réussite scolaire, c'est beaucoup plus que ce qui peut être mesuré par les tests, comme le montre la citation d'un représentant des professeurs de l'Etat de Georgie:

"Les plus grandes qualités de nos professeurs, leur sens de l'humour, leur amour de leur discipline, leur passion, leur intérêt pour leurs élèves en tant qu'individus, ne sont pas honorés ou valorisés, parce que ces qualités ne sont pas mesurables" (p. 65).

Vouloir évaluer les professeurs sur base des résultats aux tests semble être une impasse.

Que peut-on conclure de tout cela?

- Les indicateurs quantitatifs de réussite aux tests standardisés peuvent être utiles pour décrire certains aspects de la réussite scolaire.
- ...mais ils sont également beaucoup plus faciles à utiliser que des descriptions plus qualitatives et il est dès lors tentant de les privilégier, ce qui ne peut qu'amener à une description tronquée de la réalité scolaire.
- Dès lors que ces indicateurs ne sont pas uniquement utilisés pour décrire, mais pour d'autres fins telles que motiver, promouvoir, ou financer, les agents impliqués dans le système sont susceptibles d'influencer leur usage, éventuellement par la fraude,  de telle sorte que même leur valeur descriptive est limitée.

On peut rêver que nos décideurs politiques soient conscients des écueils posés par l'utilisation de ce type de tests. Occulter la réalité d'une classe et la richesse de ses interactions au profit d'un indicateur quantitatif de performance, aussi valide soit-il (et pour les avoir vus, je ne suis pas convaincu de la validité du CEB et du CE1D), est particulièrement périlleux.

PS: Suite à l'écriture de ce billet, j'ai reçu un commentaire très intéressant de Denis Sindic, de l'ICS (Lisbonne): "Ce billet adresse un problème important, et que l'on pourrait d'ailleurs élargir à l'obsession montante pour évaluer quantitativement les performances de toutes les institutions publiques. Il suffit de regarder la série télévisée "Sur écoute" pour avoir une idée de l'effet du "jeu des nombres" sur le travail de la police, par exemple. Ceux qui trichent sont en fait ceux qui généralement "croient" le plus dans leur boulot: ils trichent justement pour se débarrasser de la contrainte des chiffres et ainsi avoir le temps de faire convenablement ce qu'ils se considèrent comme étant leur boulot véritable. Les autres se contentent de remplir leur cibles numériques."