Navigation – Plan du site
Contrepoints

PISA et les enquêtes internationales. Enjeux scientifiques, enjeux politiques

Jean-Yves Rochex
p. 81-85

Texte intégral

1« Bien que l’enquête PISA ait initialement été mise en œuvre par les gouvernements des pays de l’OCDE pour répondre à leurs besoins spécifiques, elle est devenue au fil du temps un instrument politique majeur pour de nombreux autres pays et pour leur économie. […] Les décideurs du monde entier se servent des résultats de l’enquête PISA aux fins suivantes : comparer le niveau de compétence de leurs élèves à celui des élèves des autres pays participants ; se fixer des objectifs d’amélioration, par exemple atteindre les scores moyens d’autres pays ou parvenir à un degré d’équité plus élevé en termes de perspectives et de résultats éducatifs ; comprendre les points forts et les points faibles de leur système d’éducation » : voici ce que l’on peut lire dès l’introduction du rapport Apprendre aujourd’hui, réussir demain, rendant compte des premiers résultats de l’enquête PISA 2003 (OCDE, 2004, p. 21). La visée et la nature politiques de PISA et des enquêtes similaires sont donc claires, mais elles en dissimulent peut-être une autre, moins explicite, qui est de contribuer à une transformation en profondeur de la recherche en éducation, à l’échelle internationale et dans les différents pays.

Questions politiques et politiques de recherche

  • 1 Sur ces évolutions, que nous ne pouvons que résumer trop brièvement (et donc trop schématiquement) (...)

2La montée en puissance de ce type d’enquêtes, à l’échelle internationale, mais également au sein des différents pays avec l’affirmation du courant dit de la School Effectiveness Research, semble en effet témoigner et participer d’une double évolution, dans chacun des deux champs de l’élaboration et de la mise en œuvre des politiques éducatives, d’une part, et de la recherche en éducation, d’autre part. La première évolution, souvent liée, en Europe, à la proclamation de l’épuisement du modèle du Welfare state, peut être résumée en termes de glissement de la politique vers le management, du gouvernement vers la gouvernance. Au modèle de régulation des politiques éducatives que Maroy (2006) qualifie de bureaucratico-professionnel – parce qu’il conjugue un rôle prédominant de l’État éducateur et prescripteur de règles, une standardisation de ces règles visant à garantir une égalité de traitement et une forte autonomie des enseignants et de leurs organisations, basées sur leur expertise et sur leurs savoirs professionnels –, se substitue progressivement – selon des modalités différenciées d’un pays à l’autre – un nouveau mode de régulation, fondé sur l’agencement des modèles du quasi-marché et de l’État évaluateur-régulateur. Le modèle de quasi-marché accroît considérablement la liberté de choix des familles, confère une autonomie plus grande aux établissements, voire les soumet à une logique de concurrence, ouverte ou larvée, et vise ainsi à une diversification croissante de l’offre de formation et de biens éducatifs, et à mieux répondre à l’évolution de la demande et aux exigences de la compétitivité. Les règles du marché ou du quasi-marché sont supposées conduire à une meilleure qualité et une meilleure efficacité, tant des établissements que des systèmes éducatifs, pourvu que les parents consommateurs de biens éducatifs puissent disposer d’informations fiables leur permettant d’apprécier la qualité de l’offre. D’où la mise en œuvre et l’importance de plus en plus grande de ce que Vinokur (2005a) nomme « une technologie de l’évaluation, de la comparabilité, de la certification », et une évolution sensible du rôle de l’État en matière de politiques éducatives, lequel État devient de moins en moins prescripteur et de plus en plus évaluateur1. Les publications de l’OCDE en matière éducative depuis ces dernières décennies attestent que cet organisme intergouvernemental a été l’un des protagonistes majeurs de cette évolution.

3À cette première évolution, est liée une seconde, concernant les relations entre décideurs et chercheurs, mais aussi la recherche en éducation et ses usages. D’une part, s’affirme la tendance à considérer et à concevoir et utiliser les instruments d’évaluation et les résultats qu’ils permettent de produire, non plus seulement comme des moyens et des indicateurs permettant, parmi d’autres, de mesurer ou d’apprécier les effets de décisions politiques ou de modes d’organisation, mais, de plus en plus, comme des outils et des techniques de changement, visant à peser sur les politiques et les pratiques éducatives, au nom de la nécessité affirmée d’une evidence-based policy et des constats effectués sur ce qui marche (what works). Cette tendance va de pair avec la tentation de réduire la recherche et les chercheurs à une fonction d’expertise, dont on attend tout à la fois sérieux et rigueur quant à l’élaboration et à la mise en œuvre des méthodologies d’enquête, et recommandations « fiables et réalistes » pour aller dans le sens des objectifs proclamés de qualité, d’efficacité et d’équité. Mais, d’autre part, la recherche en éducation est jugée incapable, par les décideurs mais aussi par nombre de chercheurs, de fournir un ensemble de résultats probants et robustes permettant de fonder des evidence-based policies, ou un dispositif de diffusion ou de recommandation de « bonnes pratiques ». Dès lors, le discours et l’objectif politiques visant à se fonder sur des résultats de recherche pour transformer et améliorer les pratiques et les politiques éducatives se muent très vite en discours et objectif politiques affirmant la nécessité d’une transformation profonde de la recherche en éducation, au nom du pragmatisme et du souci de mettre en lumière la marge d’action et la responsabilité des acteurs, et d’accroître leur professionnalité. De tels discours et objectifs politiques, auxquels le monde de la recherche en éducation ne se montre pas insensible, s’affirment au détriment d’une posture et d’une pensée « critiques » traditionnellement importantes en sociologie de l’éducation.

Débats et controverses sur l’efficacité de l’école

4Mais ces évolutions, trop schématiquement résumées ici, ne se produisent pas sans vifs débats et controverses, tant politiques que scientifiques, comme cela a été le cas dans les pays anglo-saxons concernant la montée en puissance des travaux et de la problématique de la School Effectiveness Research. Concernant celle-ci, les critiques et interrogations sont nombreuses (cf., entre autres, Hammersley, 2001 et 2005 ; Goldstein & Woodhouse, 2000 ; Thrupp, 2001a et b). Thrupp les résume en trois points essentiels : 1. La trop grande prétention (overclaiming) des auteurs de ce courant de recherche à expliquer et interpréter ce que leurs données, peu sensibles tant aux effets de contexte et de composition sociale qu’aux questions de contenus d’enseignement, ne leur permettent que très partiellement d’interpréter et, conséquemment, leur tendance à surestimer l’importance des processus et des caractéristiques internes aux systèmes d’enseignement, aux établissements ou aux pratiques professionnelles et à les présenter comme les principaux, voire les seuls leviers d’action possible pour améliorer leur efficacité en matière d’apprentissages et de lutte contre les inégalités scolaires ; 2. L’insuffisance d’assise théorique de leurs travaux, que ne saurait compenser la sophistication de plus en plus grande des modèles statistiques et des modes de traitement des données ; 3. La faible capacité de ce courant de recherche et de ses auteurs à contrôler ou à contrecarrer les usages ou mésusages politiques managériaux ou « néo-libéraux » de leurs travaux et résultats de recherche. Nombre des questions qui fondent ces critiques et les débats et controverses (qui sont bien plus vifs dans les pays anglo-saxons qu’en France) concernant la School Effectiveness Research, se posent tout autant – même si l’on n’est évidemment pas obligé de partager les positions de Thrupp ou de Goldstein, pour ne citer ici que ces deux auteurs importants – concernant les enquêtes internationales telles que PISA, et leurs usages et mésusages sociaux, politiques, mais aussi scientifiques.

Que permettent, ou non, de dire et de faire les enquêtes internationales ?

5Affirmer ce qui précède ne signifie pas pour autant que l’on considère que les données recueillies dans le cadre de ce type d’enquêtes internationales soient sans intérêt. Ces données, en particulier celles de PISA, ne méritent sans doute ni excès d’honneur, ni excès d’indignité. Elles doivent être prises comme ce qu’elles sont, rapportées à leurs modalités de production – politiques et scientifiques – et interrogées quant à ce qu’elles permettent ou non d’apprécier, et quant aux analyses secondaires qu’elles permettent ou non d’effectuer, au-delà des classements et comparaisons hâtifs et peu intéressants, voire à l’encontre des conclusions hasardeuses ou erronées, auxquels se livrent fréquemment medias, décideurs et commentateurs politiques. Miroir à fantasmes ou test projectif à très grande échelle, dans lequel se donnent à voir plus de présupposés que de conclusions de recherche ou de processus d’élaboration conceptuelle et politique, tant d’ailleurs de la part de leurs laudateurs que de celle de leurs contempteurs, les enquêtes PISA représentent également une gigantesque banque de données, à partir de laquelle tout n’est cependant pas possible, non seulement en termes de conclusions ou de propositions d’ordre politique, mais aussi en termes d’interprétation et de recherches complémentaires, tant ces données sont liées aux modalités selon lesquelles elles ont été construites et recueillies.

6De nombreuses analyses secondaires des données recueillies dans le cadre des enquêtes PISA ont été menées dont la plupart compliquent, voire contrarient ou contredisent les tentations et les logiques de palmarès, de benchmarking ou de détection et diffusion des « bonnes pratiques », ou encore les présupposés politiques selon lesquels une plus grande autonomie des établissements ou une décentralisation plus affirmée seraient productrices de plus d’équité. Elles incitent à se défaire d’une vision simpliste, unilatérale et purement descendante de la diffusion de nouveaux modes de régulation qui n’auraient pas ou guère à se reconfigurer à l’épreuve des divers contextes politiques, administratifs et culturels, et à dépasser le cadre des États-nations pour construire des modèles afin de fonder des comparaisons plus riches et plus pertinentes (sur ces différents aspects, cf. par exemple Mons, 2007). La plupart de ces recherches mobilisent ainsi nombre de données quantitatives et descriptives disponibles auprès des gouvernements ou des organismes internationaux, soit pour elles-mêmes, soit pour construire, à partir d’elles, des indicateurs composites ou des typologies, et mettent en relation ces données et ces indicateurs avec les performances scolaires (résultats moyens et dispersion) telles que mesurées par les enquêtes PISA. Elles permettent ainsi, entre autres résultats importants, de mettre en évidence que la force du lien de corrélation statistique entre le statut socio-économique des élèves et leurs performances scolaires varie de façon importante selon les pays ou les types de systèmes éducatifs, les plus « efficaces » étant souvent également les moins inégalitaires.

  • 2 International Association for the Evaluation of Educational Achievement.
  • 3 « L’enquête TIMSS Video est une enquête complémentaire de l’enquête TIMSS – Trends in International (...)

7Ces analyses secondaires se fondent donc sur les données d’évaluation produites par PISA sans interroger leurs modes de production et les postulats « édumétriques » qui les fondent. Si elles peuvent, voire doivent, alimenter une réflexion politique sur les possibles améliorations des systèmes éducatifs en termes de structures, en vue de les rendre plus efficaces et moins inégalitaires, elles ne permettent guère de dire en quoi les enquêtes PISA pourraient ou non être utiles en termes de modes de fonctionnement, de pratiques enseignantes ou de développement professionnel. Pour ce faire, d’autres analyses secondaires seraient, de mon point de vue, nécessaires, portant sur les rapports entre les épreuves de ces enquêtes et les curriculums des différents pays, sur les modes de faire enseignants, ou encore sur la manière dont les élèves, dont on évalue les performances, font avec les épreuves qu’on leur demande de subir pour cela (revenir au texte initial). Ces analyses secondaires d’un autre type sont parfois permises par ou à partir d’autres enquêtes internationales : ainsi les enquêtes conduites dans le cadre de l’IEA2 visent à porter sur des éléments de curriculum communs aux différentes pays concernés ; l’enquête TIMSS Video3 s’efforce d’analyser et interpréter les résultats obtenus par les élèves de différents pays à l’enquête TIMSS en les mettant en relation avec une observation et une analyse des pratiques enseignantes dans les domaines disciplinaires et les pays concernés. Certaines de ces analyses secondaires sont réalisables à partir des instruments et des données de PISA tels qu’ils existent, quand d’autres exigent des données et investigations complémentaires. Elles ont ou pourraient avoir une visée plus heuristique, plus interprétative que ce que permet la seule exploitation des données des enquêtes PISA – voire de nombre d’enquêtes similaires – auxquelles plusieurs auteurs (Goldstein, 1995 ; Bottani & Vrignaud, 2005 ; Vrignaud, 2006) reprochent d’avoir privilégié, tant dans le choix méthodologique du Modèle de Réponse à l’Item que dans celui des épreuves et du mode de traitement des réponses et d’ordonnancement des performances sur une ou plusieurs échelles unidimensionnelles, les qualités métriques et ordinales de l’instrument de mesure (lesquelles sont indéniables) au détriment de l’élaboration théorique (et du débat scientifique) concernant le rapport entre ce que l’on mesure avec les épreuves utilisées et ce que l’on peut prétendre évaluer, voire améliorer, en opérant ces mesures, ou encore concernant les soubassements théoriques de la notion de compétence, ou de celles de literacy ou de culture scientifique mises en œuvre par PISA (sur ces questions, cf. entre autres, Goody, 2001 ; Weinert, 2001 ; Bain, 2003 ; Hopmann, Brinek & Retzl, 2007, et, pour une tentative de synthèse, Rochex, 2006). Or, force est de constater et de déplorer avec Goldstein (1995) que l’intérêt, les moyens financiers et la sophistication méthodologique mis au service des approches heuristiques auxquelles pourraient donner lieu les enquêtes internationales, sont bien moins conséquents (c’est un euphémisme) que ceux qui sont mis au service des approches psycho- ou « édumétriques » et des visées ordinales ou de classement qu’elles servent. La mise en œuvre de ce type d’approches heuristiques semble être laissée par les organismes internationaux (voire par les collaborations scientifiques qu’ils sollicitent et structurent) à l’initiative des différents pays et gouvernements. Ceci, d’une part, ne peut que défavoriser ceux de ces pays et gouvernements qui disposent de budgets et de traditions de recherche peu importants et, d’autre part, ne permet guère de se servir des données des enquêtes et des données complémentaires que l’on pourrait recueillir à partir d’elles, pour mener ce type de recherche à visée heuristique dans une perspective comparatiste à une échelle qui puisse être plus féconde que les projets et collaborations ponctuels limités à deux ou trois pays.

8Faut-il voir dans le peu d’intérêt des organismes internationaux, mais aussi de nombre de gouvernements nationaux, pour promouvoir ou faciliter ce type de recherche, une difficulté à entendre les questions que ces recherches et les nombreux chercheurs qui les appellent de leurs vœux, posent de façon récurrente et convergente, aussi bien aux présupposés méthodologiques, théoriques et politiques qui ont présidé à la conception et à la mise en œuvre des enquêtes PISA, qu’aux effets que l’irruption de celle-ci a sur le paysage de la recherche en éducation ? Poser cette question n’est au fond qu’une autre manière de poser celle, évoquée précédemment, de la tentation politique, voire économiste, de réduire la recherche et les chercheurs en éducation, à une fonction d’expertise. Ce qui met ces derniers au défi de préserver leur autonomie scientifique, tout en sachant nourrir leurs travaux, leurs échanges et leurs nécessaires controverses, de l’écoute et du dialogue d’autres modes d’activité sociale que la leur. Et ce qui met les décideurs et les agents politiques devant leur responsabilité propre pour contribuer à ce que cela soit possible.

Haut de page

Bibliographie

BAIN D. (2003). « PISA et la lecture : un point de vue de didacticien ». Revue suisse des sciences de l’éducation, n° 25 (1), p. 59-78.

BAUTIER É., CRINON J., RAYOU P. et ROCHEX J.-Y. (2006). « Performances en littéracie, modes de faire et univers mobilisés par les élèves. Analyses secondaires de l’enquête PISA 2000 ». Revue française de pédagogie, n° 157, p. 85-101.

BOTTANI N. et VRIGNAUD P. (2005). La France et les évaluations internationales. Rapport pour le Haut Conseil de l’évaluation de l’école. Paris : ministère de l’Éducation nationale.

DEROUET J.-L. et NORMAND R. (dir.) (2007). L’Europe de l’éducation : entre management et politique. Lyon : INRP.

GOLDSTEIN H. & WOODHOUSE G. (2000). « School Effectiveness Research and Educational Policy ». Oxford Review of Education, vol. XXVI, n° 3 & 4, p. 353-363.

GOLDSTEIN H. (1995). « Interprétation des comparaisons internationales des résultats scolaires ». Études et documents d’éducation. Paris : UNESCO, p. 11-32.

GOODY J. (2001). « Competencies and Education : Contextual Diversity ». In D.S. Rychen & L.S. Salganik (éd.), Defining and Selecting Key Competencies. Seattle, Toronto, Bern et Göttingen : Hogrefe & Huber Publishers.

GREEN A., WOLF A. & LENEY T. (1999). Convergence and Divergence in European Education and Training Systems. London : Institute of Education.

HAMMERSLEY M. (2001). « Some Questions about Evidence-based Practice in Education ». Paper presented at the symposium on « Evidence-based practice in education » at the Annual Conference of the British Educational Research Association, university of Leeds, 13-15 september 2001.

HAMMERSLEY M. (2005). « Is the evidence-based practice movement doing more good than harm ? Reflections on Ian Chalmers’ case for research-based policy making and practice ». Evidence & Policy, vol. I, n° 1, p. 85-100.

HOPMANN S. T., BRINEK G. & RETZL M. (éd.) (2007). PISA According to PISA. Does PISA Keep What It Promises ?Vienne : LIT Verlag.

MAROY C. (dir.) (2006). École, régulation et marché. Une comparaison de six espaces scolaires locaux en Europe. Paris : PUF.

MONS N. (2007). Les nouvelles politiques éducatives. Paris : PUF.

ROCHEX J.-Y. (2006). « Social, methodological and theoretical issues regarding assessment : Lessons from a secondary analysis of PISA 2000 Literacy tests ». Review of Research in Education, 30, p. 163-212.

THRUPP M. (2001a). « Recent School Effectiveness Counter-critiques : problems and possibilities ». British Educational Research Journal, vol. XXVII, n° 4, p. 443-457.

THRUPP M. (2001b). « Sociological and Political Concerns about School Effectiveness Research. Time for a New Research Agenda ». School Effectiveness and School Improvement, vol. XII, n° 1, p. 7-40.

VINOKUR A. (2005a). « Avant-propos ». Cahiers de la recherche sur l’éducation et les savoirs, hors série n° 1, Pouvoirs et mesure en éducation, p. 7-14.

VINOKUR A. (2005b). « Mesure de la qualité des services d’enseignement et restructuration des secteurs éducatifs ». Cahiers de la Recherche sur l’Éducation et les Savoirs, hors série n° 1, Pouvoirs et mesure en éducation, p. 83-108.

VRIGNAUD P. (2006). « La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle était la question ? ». Revue française de pédagogie, n° 157, p. 27-41.

WEINERT F. E. (2001). « Concept of Competence : A Conceptual Clarification ». In D. S. RychenL. S. Salganik (éd.), Defining and Selecting Key Competencies. Seattle, Toronto, Bern et Göttingen : Hogrefe & Huber Publishers.

WHITTY G., POWER S. & HALPIN D. (1998). Devolution and Choice in Education. The School, the State and the Market. Buckingham-Philadelphia : Open University Press.

Haut de page

Notes

1 Sur ces évolutions, que nous ne pouvons que résumer trop brièvement (et donc trop schématiquement) ici, on pourra consulter, entre autres, Whitty et al., 1998 ; Green et al., 1999 ; Vinokur 2005a et b ; Maroy, 2006 ; Mons, 2007 ; Derouet et Normand, 2007.

2 International Association for the Evaluation of Educational Achievement.

3 « L’enquête TIMSS Video est une enquête complémentaire de l’enquête TIMSS – Trends in International Mathematics and Science Study – qui vise à mettre en relation les performances mesurées en mathématiques et en sciences avec les caractéristiques des pratiques enseignantes, étudiées à partir d’un recueil d’enregistrement vidéo de ces pratiques, réalisé dans différents pays ».

Haut de page

Pour citer cet article

Référence papier

Jean-Yves Rochex, « PISA et les enquêtes internationales. Enjeux scientifiques, enjeux politiques », Revue française de pédagogie, 164 | 2008, 81-85.

Référence électronique

Jean-Yves Rochex, « PISA et les enquêtes internationales. Enjeux scientifiques, enjeux politiques », Revue française de pédagogie [En ligne], 164 | juillet-septembre 2008, mis en ligne le 01 juillet 2012, consulté le 23 mars 2017. URL : http://rfp.revues.org/2135 ; DOI : 10.4000/rfp.2135

Haut de page

Auteur

Jean-Yves Rochex

jyrochex@gmail.com
Equipe ESSI-ESCOL,
Université Paris VIII Saint-Denis

Articles du même auteur

Haut de page

Droits d’auteur

© tous droits réservés

Haut de page
  • Logo Université de Lyon
  • Logo ENS de Lyon
  • Logo ENS Éditions
  • Logo Institut français de l'éducation
  • Revues.org