À chaque publication des résultats internationaux, le scénario se répète : un classement, un titre inquiet, trois jours de polémique, puis plus rien pendant trois ans. Dans l’intervalle, presque personne ne lit la note méthodologique, qui contient pourtant l’essentiel : ce que l’outil mesure, auprès de qui, et avec quelle marge d’erreur.
La question dépasse la technique. Une bonne partie de ce que le public pense savoir sur l’éducation provient d’une mauvaise lecture d’outils pourtant fiables. Il faut savoir ce qu’ils permettent de dire pour éviter de faire d’une mesure un verdict.
Le mécanisme
Un échantillon, pas une population
Ces grandes enquêtes s’appuient sur des échantillons représentatifs et non sur des recensements. Tout score publié est une estimation accompagnée d’un intervalle de confiance. Deux pays qui ne sont séparés que de quelques points ne se distinguent généralement pas au sens statistique.
Classer les pays par rang est par conséquent la façon la plus trompeuse d’utiliser ces données. Des écarts non significatifs y prennent l’allure d’une hiérarchie, avec des conséquences politiques importantes.
Qui est testé change tout
Les enquêtes auprès des élèves concernent ceux qui sont scolarisés à un âge donné. Un pays où une partie des jeunes a déjà quitté l’école, ou n’y est jamais allée, ne teste pas la même population qu’un pays où tous sont scolarisés.
Les enquêtes auprès des adultes laissent souvent de côté, elles aussi, les personnes vivant en institution, sans logement stable ou ne parlant pas la langue du test. Ces exclusions ont leurs raisons et sont nécessaires, mais elles écartent les situations les plus difficiles.
Le test est une situation sociale
Passer une évaluation face à un enquêteur a des effets. Les recherches sur la menace du stéréotype et sur l’impact des soucis d’argent montrent que la performance mesurée dépend pour partie des conditions de la mesure.
Les résultats n’en sont pas invalidés pour autant. Ils intègrent simplement, par construction, une part d’effet de situation. Et ce sont les personnes les plus exposées au jugement dont les capacités réelles sont le moins bien reflétées par le test.
Ce que dit la recherche
Corrélation et causalité, encore
Presque toutes les relations publiées dans ce domaine sont des corrélations. Le lien entre les résultats et la taille des classes, le budget par élève ou le volume horaire varie d’une étude à l’autre, justement parce que ces variables ne se répartissent pas au hasard.
Les études qui utilisent des réformes législatives comme des expériences naturelles donnent des estimations causales plus fiables. Elles trouvent en général des effets réels, mais plus faibles que ne le suggèrent les corrélations brutes.
Le débat sur ce que les scores prédisent
Selon Hanushek et Woessmann, les compétences mesurées prédisent la croissance économique beaucoup mieux que le nombre d’années d’études. Cette thèse a de l’influence et suscite des critiques, en particulier parce qu’elle s’appuie sur des séries longues où il est difficile d’isoler la causalité.
Au niveau individuel, la prédiction est encore moins sûre. Une moyenne nationale ne renseigne en rien sur le parcours d’une personne, et s’en servir ainsi revient à confondre les niveaux d’analyse, une erreur bien connue en statistique sociale.
Les modèles nationaux voyagent mal
La réussite de certains pays a donné lieu à de nombreuses publications sur la manière de transposer leurs méthodes. Sahlberg a pourtant lui-même souligné que le système finlandais ne se comprend pas sans son contexte social, la formation de ses enseignants et son histoire politique.
Lorsqu’on tente d’importer un dispositif isolé, les résultats déçoivent presque à chaque fois. L’effet ne vient pas du dispositif lui-même mais du système dans lequel il s’inscrit.
Les chocs révèlent les mécanismes
Les études consacrées aux périodes de fermeture des écoles ont montré que l’arrêt de l’enseignement en présentiel accroît les écarts sociaux, car il reporte sur les familles des fonctions que l’école remplissait.
C’est l’une des preuves les plus claires du rôle compensateur de l’école. Cela montre aussi que ce rôle passe inaperçu tant qu’il est assuré.
Les chiffres, et ce qu’ils valent
- Les scores des grandes enquêtes sont exprimés sur des échelles standardisées dont l’unité ne correspond à rien de concret. Les conversions en « mois d’apprentissage » aident à comprendre, mais ce ne sont pas des mesures.
- Chaque score publié s’accompagne d’une erreur type. Entre pays proches, la plupart des comparaisons ne permettent pas de trancher statistiquement.
- Pour comparer deux cycles, il faut tenir compte des changements de protocole, de mode de passation et de composition de l’échantillon. Les rapports techniques documentent plusieurs ruptures de série.
- Cet article ne cite délibérément aucun rang de pays, car le rang est à la fois la statistique la moins informative et la plus relayée.
Comparer : pays, cultures, origines
Pour comparer des pays, il faut que l’outil mesure la même chose partout. Les enquêtes consacrent des moyens considérables à l’équivalence des traductions et à l’étalonnage des questions, mais cette équivalence reste imparfaite pour les tâches qui dépendent beaucoup de la culture.
La structure démographique compte beaucoup. On ne peut pas comparer directement, sans ajustement explicite, un pays où de nombreux élèves ont été scolarisés dans une autre langue et un pays linguistiquement homogène.
Comparer les résultats selon l’origine à l’intérieur d’un pays pose le même problème à une autre échelle. Un écart brut entre groupes ne s’interprète qu’une fois pris en compte le niveau d’études des parents, l’ancienneté de l’installation et la ségrégation résidentielle. Les études qui font ces ajustements obtiennent des écarts résiduels nettement plus faibles.
Une règle simple évite la plupart des erreurs : comparer tout écart entre groupes à la dispersion observée au sein de chaque groupe. Dans ce domaine, cette dispersion est presque toujours plus grande que l’écart.
Le poids du regard des autres
Les classements internationaux suscitent une honte collective qui retombe sur les individus. Les habitants d’un pays « mal classé » passent pour moins compétents, ce que les données n’affirment jamais.
Pour une personne, l’effet est plus direct encore. Apprendre que l’on se situe en bas d’une échelle est rarement reçu comme un simple diagnostic technique. On y voit plutôt une confirmation.
La restitution des résultats d’un test est donc un moment délicat. Les dispositifs qui décrivent les tâches maîtrisées plutôt qu’un niveau sont nettement mieux acceptés.
Au quotidien, concrètement
- Refuser un bilan de compétences par peur du résultat.
- Penser qu’un score obtenu à seize ans fixe ce dont on sera capable à quarante.
- Prendre le classement de son pays pour un jugement sur soi.
- Ne pas contester une évaluation professionnelle parce qu’on ignore comment elle a été construite.
- Confondre la moyenne d’un groupe et une prédiction individuelle.
Ce qui reste non résolu
On ne sait toujours pas mesurer les compétences en situation réelle à grande échelle. Toutes nos connaissances reposent sur des tâches simulées, réalisées dans un cadre de test.
Les effets du contexte sur la performance mesurée sont connus, mais on ne les corrige pas. Aucune méthode reconnue ne permet de retirer d’un score ce qui relève du stress de l’évaluation.
Reste une question que les spécialistes eux-mêmes débattent : ces enquêtes améliorent-elles les politiques publiques, ou se contentent-elles de produire des classements ?
Où le facteur humain peut intervenir
- Regarder l’intervalle avant le rang. Face à une comparaison, chercher l’erreur type. Cette simple habitude suffit à écarter la plupart des conclusions abusives.
- Se demander qui a été testé. La composition de l’échantillon en dit souvent plus que le résultat. C’est vrai pour une enquête internationale comme pour un test en entreprise.
- Ne pas faire du niveau une identité. Un score décrit une performance à un moment donné, dans une langue, sur des tâches précises. Le dire ainsi, à voix haute, change ce que la personne en retient.
- Décrire des tâches plutôt que des niveaux. « Vous savez faire ceci, pas encore cela » est une information utilisable. « Vous êtes niveau 1 » ne l’est pas.
- Se méfier des modèles étrangers clés en main. Avant d’importer un dispositif, chercher ce qui le rend possible dans son pays d’origine. C’est presque toujours là que se trouve le plus important.
Les limites de ce que l’on sait
Cet article traite de méthode, pas de résultats. Il ne soutient pas que ces enquêtes soient inutiles : malgré leurs limites, elles restent la meilleure information dont on dispose.
Les critiques méthodologiques mentionnées ici sont largement partagées dans la littérature spécialisée, mais les chercheurs ne s’accordent pas sur leur poids respectif.
Enfin, la prudence méthodologique ne saurait justifier le déni des inégalités mesurées, qui sont établies par des sources nombreuses et concordantes.
À lire aussi sur le même sujet
- Le biais de confirmation dans les disputes de couple
- Le biais du survivant : pourquoi les couples « parfaits » sont les plus visibles
Passer de la lecture à la pratique
Si ce sujet vous concerne, de près ou de loin, le parcours « Incertitude : apprendre à dire « Je ne sais pas » » de l’application Allectio le travaille en 9 chapitres et 45 capsules (~3 h 45 de lecture), dont 4 chapitres gratuits. De quoi tester la méthode en profondeur, sans carte bancaire, avant de décider si vous voulez la suite. Télécharger l’application Allectio — ou consulter d’abord ce qui est gratuit, parcours par parcours.
Pour aller plus loin : Perception et biais cognitifs : pourquoi on se trompe · L’erreur humaine : la comprendre pour mieux l’éviter
Références scientifiques
Cet article s’appuie sur les travaux et sources suivants :
- OCDE. Programme international pour le suivi des acquis des élèves (PISA), éditions 2000 à 2022.
- OCDE (2023). Résultats du PISA 2022, volume I : la performance des élèves en mathématiques, en compréhension de l’écrit et en sciences.
- OCDE (2013, 2016, 2019). Survey of Adult Skills (PIAAC) — première édition, 39 pays et économies, littératie, numératie et résolution de problèmes chez les 16-65 ans.
- OCDE (2024). Do Adults Have the Skills They Need to Thrive in a Changing World? Survey of Adult Skills 2023 (PIAAC, cycle 2).
- OCDE (2019). Skills Matter: Additional Results from the Survey of Adult Skills.
- Hanushek E. A., Woessmann L. (2015). The Knowledge Capital of Nations: Education and the Economics of Growth. MIT Press.
- Sahlberg P. (2011). Finnish Lessons: What Can the World Learn from Educational Change in Finland? Teachers College Press.
- Goudeau S., Sanrey C., Stanczak A., Manstead A., Darnon C. (2021). Why Lockdown and Distance Learning Are Likely to Increase the Social Class Achievement Gap. Nature Human Behaviour, 5.
- Mani A., Mullainathan S., Shafir E., Zhao J. (2013). Poverty Impedes Cognitive Function. Science, 341.
- Tversky A., Kahneman D. (1974). Judgment Under Uncertainty: Heuristics and Biases. Science, 185.
Note de rédaction : les données chiffrées et les références citées dans cet article doivent être revérifiées à la source avant publication. Lorsqu’un chiffre circule sans étude identifiable, il est signalé comme tel dans le texte plutôt que repris. Cet article décrit des situations sociales et des résultats moyens : il ne dit rien de ce que vaut une personne, ni de ce dont elle est capable.
Cet article pourrait aider quelqu’un que tu connais ?
Partage-le en un clic, c’est souvent le meilleur point de départ d’une vraie conversation.
