Navigation – Plan du site
Dossier : Connaissances et politiques d’éducation : quelles interactions ?

Pourquoi n’y a-t-il pas eu de « choc PISA » en France ? Sociologie de la réception d’une enquête internationale (2001-2008)

Why no “PISA shock” occurred in France? Sociology of the reception of an international survey (2001-2008)
Nathalie Mons et Xavier Pons
p. 9-18

Résumés

Cet article analyse la réception de l’enquête PISA dans le débat public national en France entre 2001 et 2008. Croisant la sociologie de la traduction et la notion de configuration, il met en évidence que les connaissances énoncées dans le débat public au nom de PISA sont les produits plus ou moins durables des configurations d’action publique à l’oeuvre au moment de leur publication. La première partie, fondée sur une enquête qualitative conduite par les auteurs dans le cadre du projet européen Knowlege and Policy(Know&Pol), analyse deux configurations et leur pouvoir de structuration du débat public. La seconde mobilise les études de cas effectuées dans d’autres pays européens dans le cadre de ce projet pour interroger les éventuelles spécificités du débat public français sur PISA.

Haut de page

Texte intégral

Introduction

1Les recherches sur les liens entre les productions statistiques et les activités de gouvernement sont désormais nombreuses (par exemple Desrosières, 1993 ; Scott, 1998), y compris dans le domaine de l’éducation (par exemple Felouzis & Hannart, 2011 ; Ozga, Dahler-Larsen, Segerholm et al., 2011 ; Normand, 2011). En revanche, contrairement aux secteurs de la santé (Marchetti, 2010) ou de la ville (Rogerson, 1999), l’analyse des palmarès et de leurs usages dans le débat public a encore donné lieu à peu de travaux en éducation.

  • 1 Voir les travaux en cours de C. Barats sur les usages socio-discursifs du classement de S (...)

2Ces derniers évoquent principalement les champs de l’enseignement supérieur et de la recherche et s’orientent dans deux directions principales. La première approche, que l’on peut qualifier d’endogène, insiste sur les propriétés méthodologiques et morphologiques des palmarès eux-mêmes et sur leur dimension performative au moyen d’approches théoriques différentes comme la sociologie de la quantification (Espeland & Sauder, 2007) ou l’analyse socio-discursive en sciences de l’information et de la communication1. Il peut s’agir alors de comparer ces palmarès entre eux (Buela-Casal, Guttiérez-Martínez, Paz Bermúdez-Sánchez et al., 2007), d’analyser la redéfinition des objets légitimes des politiques de l’enseignement et de la recherche, notamment aux niveaux mondial et européen, à laquelle donnent lieu certains palmarès internationaux (Bruno, 2008 ; Grek, 2010), ou encore de questionner le travail journalistique de construction d’un palmarès (Bouchard, 2012). La seconde approche, exogène, s’intéresse principalement aux effets de ces palmarès sur l’orientation et la conduite des politiques éducatives, par exemple en distinguant des réactions politiques typiques aux comparaisons internationales dans divers pays (Steiner-Khamsi, 2003) ou en analysant la manière dont le Programme international de suivi des acquis des élèves (PISA) de l’Organisation de coopération et de développement économiques (OCDE) a pu être utilisé par les responsables politiques pour (re)légitimer leur action (Takayama, 2008 ; Dobbins & Martens, 2012).

3Aussi stimulantes soient-elles, ces deux approches, même combinées, posent plusieurs problèmes au moment d’analyser les usages d’un palmarès dans le débat public. Dans l’approche endogène, les effets du palmarès sont souvent déduits de ses propriétés internes et pas toujours d’une étude empirique suffisamment fine des modes de diffusion, d’appropriation et de traduction des messages énoncés en son nom, ce qui n’est pas sans minorer les contextes sociaux conférant eux aussi au palmarès sa dimension performative. Dans l’approche exogène, il reste parfois difficile de distinguer les effets propres des palmarès de ceux d’une pluralité de facteurs que l’usage du palmarès condenserait ou de ceux qui relèvent de la dynamique du débat public lui-même. Enfin, malgré la mise en commun de ces deux approches, les modes de structuration du débat public et la circulation des idées sont peu étudiés en tant que tels.

  • 2 Cet article a été publié grâce au soutien du sixième programme cadre de recherche de (...)

4Dans la lignée de recherches conduites dans le cadre du projet Knowlege and Policy (Know&Pol)2 et d’autres initiatives similaires (Dupuy, 2011), nous proposons dans cet article une troisième approche qui consiste à envisager les connaissances énoncées dans le débat public au nom des palmarès comme les produits plus ou moins durables des configurations d’action publique à l’œuvre au moment de leur publication. Pour cela, nous étudions la réception de l’enquête PISA en France dans le débat public national entre 2001 et 2008 dans une perspective pluraliste de sociologie de l’éducation, de l’action publique et de la connaissance. La « réception » ne désigne pas ici une simple transmission verticale de messages du niveau international vers le niveau national, mais une activité cognitive au cours de laquelle des messages sont perpétuellement acceptés, refusés ou renégociés. Après avoir présenté notre cadre théorique et notre méthodologie, nous nous concentrons ainsi sur ces configurations d’action publique et leur pouvoir de structuration du débat public. Puis nous examinons dans quelle mesure ce dernier, dans ses contenus et ses modes de structuration, revêt des spécificités propres à la France en comparaison d’autres systèmes scolaires européens.

Cadre théorique et méthodologie

5Cet article s’inscrit dans une sociologie de la traduction (Callon, 1986) et certaines de ses applications en sociologie de l’action publique. Notre hypothèse fondamentale est que les éléments de connaissance énoncés dans le débat public en référence à PISA se fondent rarement sur les seuls éléments disponibles dans l’enquête telle qu’elle est publiée, mais au contraire qu’ils sont rapidement et perpétuellement traduits en fonction de processus sociaux multiples. Pour rendre compte de ces derniers, nous avons recours à la notion de configuration, qui peut être définie comme l’agencement particulier de phénomènes sociaux rendant les acteurs interdépendants les uns des autres (Elias, 1993). De la même manière que cette notion intègre une théorie du pouvoir, qui n’est plus un attribut que l’on possède (tels une essence, une substance, voire un capital, ceux des « détenteurs » du pouvoir que sont les dominants ou les gouvernants) mais le produit d’une interdépendance spécifique qui confère à un acteur la capacité de faire faire quelque chose à un autre (le pouvoir comme une relation entre des individus, le plus souvent asymétrique, contingente et dialectique, prise elle-même dans un jeu de relations), nous supposons que cette approche peut servir de fondement à une théorie du savoir. La connaissance énoncée dans l’action publique est alors envisagée comme le produit plus ou moins durable d’interdépendances à définir, qui déterminent aussi bien les locuteurs légitimes à évoquer PISA que le contenu socialement acceptable des discours émis sur ce dernier.

6Ces configurations sont saisies à travers quatre dimensions qui sont autant de sources d’interdépendance possibles entre les acteurs du débat public : l’actualité de la politique éducative (dimension politique), les caractéristiques institutionnelles des acteurs, des organisations et du débat public lui-même (dimension institutionnelle), les intérêts, identités et modes de légitimation des groupes professionnels concernés (dimension professionnelle) et enfin l’état des connaissances disponibles, les traditions académiques, les sources d’expertise et les conceptions de l’évaluation des acteurs (dimension cognitive).

  • 3 Pour plus de précisions méthodologiques, voir Mons et Pons (2009, p. 113-124).

7Pour cela, nous mobilisons deux séries de matériaux. La première partie de l’article est fondée sur une recherche effectuée dans le cadre du projet Know&Pol (Mons & Pons, 2009). Nous avons conduit trente entretiens auprès des acteurs du débat sur PISA en France (au niveau national), consulté la littérature professionnelle sur ce thème (enquêtes et rapports publics, articles de revues spécialisées, ouvrages et manuels) et effectué des recherches bibliographiques à partir de plusieurs bases documentaires : la base PERIOD de l’Institut de recherche en éducation (IREDU), les bases ERIC et FRANCIS de l’Institut national de recherche pédagogique (INRP), les catalogues en ligne HAL-SHS et Article@inist. Nous avons enfin procédé à une revue de presse, en recoupant quatre sources d’information : 270 dépêches de l’AEF, agence de presse spécialisée dans le secteur de l’éducation, éditées de mai 1999 à janvier 2009, un recensement d’articles et de communications dans les médias effectué par une attachée de presse du ministère de l’Éducation nationale (obtenu au cours de l’enquête), les journaux de différents syndicats et associations professionnelles disponibles en ligne et le catalogue d’articles de presse consultables grâce au logiciel PRESSED. Ce dernier corpus comprend 20 titres papier édités de novembre 2001 à janvier 2009 (6 titres de la presse nationale quotidienne, 2 titres spécialisés de la presse économique et 1 de la presse en éducation, 6 titres de la presse quotidienne régionale et 5 titres de la presse nationale hebdomadaire)3. Si ces matériaux ne permettent pas d’analyser tout l’espace public, ils permettent de couvrir trois composantes du débat public national sur PISA de 2001 à 2008 : les débats médiatique, académique et enfin professionnel et institutionnel.

8La seconde partie a recours aux études de cas effectuées pour le projet Know&Pol dans cinq autres systèmes éducatifs européens4 : la Communauté française de Belgique (CFB) (Cattonar, Mangez, Delvaux et al., 2009), l’Écosse (Grek, Lawn & Ozga, 2009), la Hongrie (Bajomi, Berényi, Neumann et al., 2009), le Portugal (Afonso & Costa, 2009) et la Roumanie (Rostás, Kósa, Bodó et al., 2009). Dans chacun de ces pays, les équipes de recherche ont étudié les structures formelles constituées au niveau national pour mettre en œuvre PISA et l’évolution des connaissances mobilisées dans le débat public portant sur cette enquête. Chaque équipe a été invitée à respecter des méthodes de recherche communes, qui ont été complétées ou adaptées aux possibilités d’enquête dans les pays. Le choix de ces derniers ne relève pas d’un questionnement théorique préalable, mais est prédéterminé par les équipes de recherche ayant accepté de participer au projet, de sorte qu’il reste difficile de déterminer s’ils sont représentatifs de l’ensemble des pays européens. Ils permettent néanmoins d’observer diverses situations et d’interroger en retour le cas français.

Configurations d'un débat public

9Après analyse, deux configurations principales émergent au cours de la période, dont nous donnons ici une vision synthétique.

Une affaire d’initiés (2001-2004)

  • 5 Direction de l’évaluation et de la prospective. En mai 2006, cette direction d’administ (...)

10Jusqu’à la rentrée scolaire 2004, PISA fait l’objet de peu de développements au-delà des acteurs nationaux directement concernés par sa mise en œuvre. La publication en décembre 2001 des résultats de PISA 2000 a lieu dans un contexte politique marqué par l’approche des élections présidentielles de mai 2002. Le score national de la France la plaçant tout juste dans la moyenne des pays de l’OCDE, l’étude pourrait étayer un bilan politique défavorable des politiques scolaires menées durant la phase de cohabitation (1997-2002) et rompt avec la perception commune de l’excellence du système éducatif français. Cette législature est par ailleurs marquée par des relations hautement conflictuelles entre les enseignants et le ministre de l’Éducation nationale Claude Allègre (juin 1997-avril 2000), que son successeur a pour mission d’apaiser pour garantir au futur candidat socialiste un électorat traditionnel de la gauche. Promouvoir médiatiquement une enquête produite par l’OCDE, une organisation internationale par ailleurs peu légitime aux yeux de certains syndicats d’enseignants, s’avère dès lors risqué, et ce, pour un bénéfice incertain. En entretien, certains membres du cabinet du ministre doutent de la capacité de PISA à apporter des solutions aux difficultés du système scolaire français. Les membres de la DEP5, représentant la France dans plusieurs instances liées à PISA et responsables de sa mise en œuvre nationale, insistent par ailleurs très tôt sur les précautions méthodologiques nécessaires à l’analyse des résultats.

  • 6 Note d’information, no 01-52 et Les Dossiers de la DEP, no 137.

11Le cabinet et la DEP s’accordent alors sur une stratégie de communication spécifique. La communication proprement gouvernementale est limitée au strict minimum, l’analyse de l’enquête n’interférant pas avec les réformes prévues en amont. Seul un déjeuner de presse est organisé sur le sujet avant la conférence de presse de l’OCDE, afin de limiter l’impact de cette dernière. Le 4 décembre 2001, une conférence de presse est par ailleurs donnée par le directeur de la DEP, en présence de plusieurs experts ayant participé à PISA ou connus pour leur maîtrise de la psychométrie, afin d’annoncer les résultats de la France et la réaction officielle du ministère. Cette présentation technique vise à rassurer le public sur le classement honorable du pays tout en insistant sur les biais méthodologiques de l’enquête qui handicaperaient le score national (origine anglo-saxonne des items, usage de concepts et d’outils peu familiers dans le système éducatif français comme l’évaluation de compétences ou la présence de questions à choix multiples [QCM] dans le test, caractéristiques de l’échantillon national, élèves français qui s’abstiennent plus que d’autres de répondre quand ils ne comprennent pas la question, etc.). Ces arguments sont repris dans des publications ultérieures dans lesquelles la DEP restitue la forme institutionnelle prise par PISA, l’organisation matérielle de l’enquête, les principaux choix méthodologiques effectués et les résultats détaillés de la France6.

12Dès lors, puisque le ministère décide de ne pas en faire un élément central de sa politique, les médias, habitués à suivre l’actualité gouvernementale et peu formés au raisonnement statistique, ne sont guère incités à couvrir dans un temps court une enquête anglophone très technique dont ils ne perçoivent pas tous la nouveauté. Sur les 20 titres papier inclus dans notre corpus, seuls 4 quotidiens nationaux (Le Monde, Le Figaro, La Croix et L’Humanité) et un hebdomadaire (Le Point) évoquent PISA en décembre 2001. Adoptant le plus souvent un ton négatif, notamment dans leurs titres, ils relayent avec distance critique la position du ministère et se fondent souvent sur les rapports de l’OCDE. Cette faible couverture médiatique s’explique aussi par le fait que peu de commentateurs, au-delà de la DEP et de ses collaborateurs, développent un argumentaire sur PISA. Les inspecteurs généraux, inégalement formés aux statistiques et peu associés à la fabrication de PISA, n’interviennent pratiquement pas sur le sujet. Pour des raisons liées aux découpages académiques dominants (pratique dispersée de la psychométrie) et aux méthodes de recherche privilégiées en sciences sociales (faible usage global des méthodes quantitatives), les chercheurs eux-mêmes se sont peu emparés des premières conclusions de l’enquête, tout comme les syndicats d’enseignants, peu acquis au maniement des statistiques et qui, pour certains, se refusent à légitimer un outil produit par une organisation internationale favorable, selon eux, aux thèses néo-libérales.

13Cette configuration d’action publique a des conséquences importantes sur le contenu des connaissances énoncées dans le débat public en référence à PISA. De 2001 à 2004, malgré les publications officielles descriptives de la part de la DEP et quelques médias puisant dans les rapports de l’OCDE des considérations complémentaires, cette enquête est peu mentionnée et principalement abordée sous l’angle de ses limites méthodologiques. Cette configuration a aussi des conséquences fortes sur les modalités de diffusion et de circulation de ces connaissances, la DEP jouant ici un rôle important de structuration du débat public sur lequel nous revenons en deuxième partie.

Un palmarès politisé (2004-2008)

14À partir de l’année scolaire 2004-2005, cette configuration évolue. Au niveau communautaire, la mise en œuvre de la stratégie de Lisbonne et son bilan intermédiaire en 2004-2005 amènent les pays membres à identifier, dans le cadre de la méthode ouverte de coordination, trois objectifs principaux de tout système éducatif et à leur assortir différents benchmarks, dont un indicateur fondé sur l’enquête PISA. En France, la conception de la loi organique relative aux lois de finances (LOLF) entrant en application le 1er janvier 2006 suppose de faire un état des lieux de la production statistique et de lancer plusieurs audits du ministère, pour améliorer son fonctionnement et ses résultats (Pons, 2010). Ces processus se télescopent lors de la préparation de la loi d’orientation votée en juillet 2005, dont le rapport annexé prévoit une programmation chiffrée de plusieurs actions et évoque un nouveau mode de pilotage par les indicateurs.

  • 7 Si entre les deux premiers cycles, seuls 5 journaux de presse écrite de notre échantill (...)

15Dans ce contexte, PISA apparaît moins comme une enquête relativement isolée que comme l’un des éléments d’un changement plus général de gouvernance des systèmes éducatifs. Chaque acteur est ainsi invité à traduire les résultats de l’enquête en fonction de son évolution propre, et ce d’autant que la couverture médiatique de PISA 2003 est plus étendue que celle de PISA 20007. La critique méthodologique de la DEP(P) s’atténue fortement au cours de la période, du fait notamment d’un changement politique de position explicite de la direction sur le sujet (énoncé en décembre 2007) et d’une plus grande pénétration des experts français dans les instances internationales de conception de PISA. Les responsables politiques de droite s’emparent progressivement de l’outil pour légitimer les changements en cours et, à partir de 2006, préparer les élections présidentielles de 2007, en insistant sur les facteurs de réussite que mettraient clairement en évidence les comparaisons internationales, comme la qualité des enseignants, leur liberté pédagogique ou l’autonomie des établissements.

16Ces inflexions du ministère ont un effet d’entraînement sur les acteurs directement liés à l’activité gouvernementale. Les syndicats d’enseignants sont fortement incités à réagir, donc à se former à PISA (par des lectures, des séminaires ou des conférences d’experts) pour mieux étayer leurs positions officielles. Certains puisent notamment dans les premiers arguments de la DEP et rappellent que PISA ne saurait à lui seul constituer un outil d’évaluation de l’ensemble du système éducatif. Les initiatives individuelles d’inspecteurs généraux se multiplient (interventions dans des colloques, mention de l’enquête dans des rapports, etc.) et gagnent les groupes disciplinaires de l’inspection générale de l’Éducation nationale concernés par l’enquête, souvent pour insister sur les limites cognitives et politiques de l’outil. PISA est de plus en plus cité par les journalistes entre les cycles, pour dessiner les contours du système éducatif idéal, fortement inspiré du cas de la Finlande, pour discuter le bien-fondé d’une réforme ou pour alerter sur la baisse de niveau des élèves. Ce mouvement affecte aussi les chercheurs selon une temporalité décalée. Les deux pôles de recherche très tôt structurés par des conventions passées avec la DEP en 2001 se développent – l’un visant à mieux comprendre l’outil, son intérêt et ses limites (exemples des recherches conduites par l’équipe ESCOL ou par l’INRP), l’autre à alimenter le débat sur l’élaboration des politiques éducatives en développant des analyses secondaires (travaux de l’IREDU et de certains de ses anciens membres) – tandis que l’enquête est de plus en plus évoquée dans des publications faisant le lien entre la recherche et le monde enseignant (Alternatives économiques), les professionnels (Revue internationale d’éducation ou Éducation et formations) ou un lectorat plus large (Baudelot & Establet, 2009).

17Cette extension du débat public sur PISA se traduit par la progressive politisation de ses usages, des connaissances mobilisées en son nom et des modalités de leur diffusion. Concernant les usages, l’intérêt même porté à l’enquête est parfois prédéterminé par des considérations politiques. Par exemple, il faut attendre le 9 avril 2008 pour que le corps des inspections générales organise un séminaire de travail sur les comparaisons internationales, c’est-à-dire un moment où le contrôle politique du cabinet sur la publication de leurs rapports est très important et où, en parallèle, les responsables politiques puisent fréquemment dans cette nouvelle source d’expertise (Pons, 2010). La politisation des connaissances est particulièrement visible dans la couverture médiatique de PISA 2006. Contrairement aux sessions précédentes au cours desquelles plusieurs facteurs explicatifs étaient avancés, les articles se concentrent sur la régression du pays en termes de rang et sur la progression de la proportion des élèves en difficulté, pour mieux poser ensuite la question des solutions à envisager. Les chercheurs, absents au cours des périodes précédentes, sont davantage sollicités pour apporter des idées de réforme. Le positionnement des représentants de l’OCDE évolue de celui d’expert technique explicitant le sens des données à celui de pourvoyeur de solutions politiques. On assiste enfin à une convergence progressive, relayée par la presse écrite, entre les discours du ministère et ceux de l’OCDE sur certaines thématiques (comme l’autonomie des établissements), PISA permettant de légitimer plusieurs réformes, comme celle de l’enseignement primaire en 2008. La politisation des modes de diffusion quant à elle est particulièrement visible dans l’importance prise, à partir de 2007 en particulier, par PISA dans la communication gouvernementale, les journalistes reconnaissant en entretien sa relative efficacité. PISA 2006 donne ainsi lieu à un plan de communication précis. Des fuites auprès des journalistes accréditent l’image d’un système éducatif présentant des résultats fort déclinants. La DEPP, par l’intermédiaire de son directeur, se rallie à ce discours. La direction ne tient plus de conférence de presse distincte de celle du ministre, qui monopolise l’espace médiatique.

18Au total, cette analyse de la réception de PISA de 2001 à 2008 montre que l’implantation de cette enquête dans le débat public français, les modes de structuration de ce débat, les connaissances qui y sont mobilisées et leur diffusion dépendent des configurations d’action publique sur lesquelles ils prennent forme, ce qui pose la question, abordée dans une seconde partie, des traits saillants propres au débat français mais aussi de ses éventuels points communs avec d’autres systèmes éducatifs.

Le débat sur PISA en France : détours comparatifs

L’importance de la critique méthodologique

19Le premier trait saillant est l’importance prise dans les discours par la critique de la méthode au fondement de l’enquête. Certes, dans tous les pays couverts par notre corpus, des aspects de PISA ont pu être critiqués, souvent de manière ponctuelle. La critique des biais culturels d’une enquête se focalisant sur la littératie apparaît en Communauté française de Belgique (CFB), notamment dans quelques débats parlementaires, en Hongrie et dans les propos de certains responsables écossais critiquant la définition retenue de la culture scientifique. Ces derniers évoquent également l’absence de restitution possible aux établissements ou le cycle d’enquête triennal jugé trop rapide.

  • 8 International Adult Literacy Survey. Pour une analyse critique de cette enquête, (...)

20Néanmoins, cette critique est récurrente et revêt une dimension politique particulièrement forte en France. Elle apparaît dès le milieu des années 1990, c’est-à-dire pendant la phase de conception de PISA, et se manifeste par les critiques méthodologiques formulées par la DEP à l’encontre d’une autre enquête internationale : l’enquête IALS8. Elle est également sous-jacente à la création en novembre 1996, à l’initiative de la DEP et sous la présidence française de l’Union européenne, d’un « réseau européen des responsables des politiques d’évaluation des systèmes éducatifs ». Regroupant différents pays, ce réseau met en œuvre deux projets en particulier qui reposent sur une méthode d’évaluation originale des acquis des élèves. Forte de ces projets et de ce réseau, la DEP, en collaboration avec l’IREDU, répond ainsi à l’appel d’offres international à l’origine de PISA publié en octobre 1997 en proposant une méthode d’évaluation alternative.

21Tout au long de la conception de l’enquête PISA, les membres de la DEP émettent plusieurs critiques qui portent sur la grille d’évaluation des compétences en lecture retenue au départ, les biais culturels inhérents à l’enquête, le mode de recueil des données relatives à la profession des parents, l’hypothèse d’unidimensionnalité ou les variables de conditionnement du modèle retenues. Ces débats méthodologiques se prolongent lors des sessions suivantes et concernent par exemple le maintien par la DEP de ses choix en matière d’échantillonnage (comme la non-prise en compte des établissements privés hors contrat ou de certaines catégories résiduelles d’élèves de 15 ans) ou le refus d’administrer en France le questionnaire de contexte adressé au chef d’établissement (au motif que les différents groupes d’élèves de 15 ans composant l’échantillon ne sont pas représentatifs de leur type d’établissement).

22La conférence de presse donnée par la DEP en décembre 2001 est l’occasion de médiatiser plusieurs aspects de cette critique qui se combinent de manière plus ou moins cohérente pour constituer un argumentaire général permettant d’expliquer les résultats moyens de la France. Inégalement repris par les médias, peu remis en question par les chercheurs et les syndicats d’enseignants, cet argumentaire est diffusé dans sa quasi-totalité par les membres de la DEP auprès de spécialistes du champ éducatif. S’il perd progressivement de son audience à partir de 2005, il est ponctuellement réactivé dans le débat public par certains syndicats d’enseignants à partir de décembre 2007.

Le poids des sciences de gouvernement

23Le deuxième trait saillant du débat français sur PISA est l’importance prise par les élites administratives et leur science de gouvernement (Ihl, Kaluszynski & Pollet, 2003). Certes, la France n’est pas le seul système éducatif couvert par notre corpus à disposer d’élites administratives influentes. Néanmoins, la comparaison des structures nationales de mise en œuvre de PISA révèle d’une part la stabilité de ces structures en France (contrairement à l’Écosse et à la Roumanie par exemple) et, d’autre part, leur forte concentration dans et autour d’une administration centrale. En Hongrie, au contraire, on observe plutôt une mise en réseau du ministère, des chercheurs et d’un centre national d’évaluation dont le rattachement institutionnel varie selon les époques. Au Portugal, le GAVE (Gabinete de Avaliação Educacional), créé en 1997, est certes formellement un service du ministère de l’Éducation, mais sa structure hiérarchique légère, la marge d’action dont il dispose pour créer des unités ad hoc et sa liberté en matière de recrutement n’en font pas une bureaucratie d’État traditionnelle. En CFB enfin, c’est le service de pédagogie expérimentale de l’université de Liège qui est responsable de l’administration de PISA.

  • 9 Soumises à l’aval du cabinet du ministre et s’adressant à un large public, elles doiven (...)
  • 10 La DEP n’a pas publié de numéro des Dossiers Éducation et formations sur PI (...)

24Le choix organisationnel fait en France confère un rôle central à une bureaucratie professionnelle (l’actuelle DEPP) produisant depuis plusieurs décennies une science de gouvernement spécifique (Pons, 2010), ce qui induit une institutionnalisation particulière de la diffusion des connaissances sur PISA. Pour le dire simplement, c’est toute la « machine DEP » qui se met en marche et qui prédétermine – en partie et pour un temps seulement – la réception de PISA. On le voit dans les canaux de diffusion choisis : les conférences de presse, relayées avec une méfiance critique par les journalistes, les publications officielles et essentiellement descriptives de la direction avec leurs contraintes9 et leurs aléas10 ou les interventions de certains membres de la direction dans des arènes professionnelles pour diffuser un argumentaire spécifique. On le voit également dans le rôle essentiel joué par la DEP dans la sensibilisation d’autres acteurs aux enjeux de PISA. C’est principalement par le biais d’inspecteurs généraux associés aux groupes PISA de la DEP et d’autres ayant parfois travaillé dans cette direction au cours de leur carrière que le corps dans son ensemble est sensibilisé à PISA. De même, les premières recherches complémentaires sur PISA ont été financées par la DEP, et les chercheurs qui publient le plus rapidement sur ce thème ont collaboré avec la direction ou parfois été membres de celle-ci. Certaines visent à approfondir la connaissance de l’outil et de ses limites, rejoignant ainsi les intérêts de la direction.

25Enfin, si l’on replace le débat sur PISA dans le contexte de la politique d’évaluation française en éducation, on mesure combien les connaissances qui y sont véhiculées dépendent étroitement de l’évolution de la concurrence entre les évaluateurs et leur science de gouvernement. L’insistance des membres de la DEP sur les limites méthodologiques au début de la période permet ainsi de réaffirmer doublement la centralité de leur science de l’évaluation en réactivant les leviers de la stratégie sur lesquels ils avaient fondé leur leadership dans les années 1990 (publications massives dont certaines se trouvent enrichies par les données PISA, comme L’état de l’école ; relance des commandes, relativement peu nombreuses, auprès des chercheurs ; recours à PISA pour justifier auprès du cabinet du ministre la relance d’un cycle d’évaluations-bilans nationales) et en plaidant pour des analyses complémentaires qui sont soit menées par la direction, soit commandées par elle (Pons, 2010).

Légitimer des opinions préétablies ?

26Au-delà de ces deux traits saillants, le débat sur PISA en France présente plusieurs points communs avec ceux d’autres systèmes éducatifs européens couverts par notre corpus. Le premier est que le classement occupe une place majeure, parfois exclusive, dans la couverture médiatique de PISA au cours de la période, même si ce constat doit être nuancé selon les années (tendance plus forte au début de la période) et le type de médias envisagés (tendance plus forte pour les médias télévisés que pour la presse écrite, pour la presse générale que pour la presse spécialisée). Tout au long de la période, un grand nombre de journaux évoquent le classement moyen de la France par des titres négatifs, en puisant dans un stock limité de jeux de mots et de métaphores scolaires classiques. Cependant, à l’inverse d’une logique d’apprentissage qui voudrait que les médias soient de plus en plus précis à chaque nouvelle session, la couverture de PISA dans la presse écrite, au départ limitée et plutôt technique, s’étend grandement à partir de PISA 2003 pour ensuite fortement se politiser avec PISA 2006.

27Le deuxième point commun est le rôle central joué par les publications officielles qui, à part quelques exceptions, sont régulières et accessibles. Même si leur forme varie d’un cas à l’autre, elles présentent des architectures et des contenus globalement similaires. Elles commencent en général par une présentation du programme PISA, de sa méthodologie et des modalités de son administration dans le système éducatif concerné. Elles évoquent ensuite les mêmes thèmes, parfois sur la base de graphiques, de tableaux et de schémas semblables : le classement général, les classements et les résultats par compétences et sous-compétences et le rôle de quelques grands facteurs explicatifs. Se gardant le plus souvent de propos normatifs, ces « descriptions structurantes » ont pour visée première de mettre à disposition des acteurs du système éducatif les résultats globaux de l’enquête afin d’alimenter le débat public.

  • 11 Rappelons que ce constat se limite aux pays couverts par le projet Know&Pol. Des travau (...)

28Le troisième point commun est le nombre limité de travaux complémentaires effectués par des chercheurs, des experts et des évaluateurs nationaux11. La France se situe ici plutôt dans une situation intermédiaire entre d’un côté des systèmes éducatifs comme l’Écosse, la Hongrie, le Portugal et la Roumanie dans lesquels, pour des raisons différentes, ces travaux sont très peu développés, et de l’autre la CFB où une tradition de recherche quantitative en éducation semble plus établie. Cependant, elle ne déroge pas complètement à la règle pour de nombreuses raisons que nous avons esquissées plus haut : faiblesse de la recherche quantitative en France et découpages académiques qui ne permettent pas une pratique forte et cumulative de la psychométrie, mobilisation inégale des évaluateurs nationaux en fonction des impératifs de production de leur propre science de gouvernement, des évolutions de la politique nationale d’évaluation et des autres missions qui leur sont confiées, pouvoir structurant (y compris par défaut) des conventions établies entre les chercheurs et le ministère, etc.

29Ce point commun contraste fortement avec le dernier, c’est-à-dire le très grand nombre et l’étonnante variété des inférences et des imputations effectuées sur la base de PISA. Dans chaque système éducatif, PISA a été massivement utilisé pour étayer des diagnostics de toutes sortes sur le fonctionnement et les résultats de ce système, pour formuler des préconisations et des recommandations politiques de tous ordres et, plus globalement, pour argumenter des prises de position extrêmement diverses, ces énoncés étant parfois contradictoires et souvent peu fondés sur le contenu strict de l’enquête.

30Mis bout à bout, ces constats ont amené les chercheurs belges, écossais, français et portugais du projet Know&Pol à conclure que PISA, entre 2001 et 2008, a massivement contribué à confirmer et à légitimer, par le sceau d’une enquête internationale médiatisée, un ensemble d’opinions et de positions politiques dans le débat public qui préexistaient à l’enquête dans leur pays, plus qu’il n’a contribué à développer les connaissances sur les résultats différenciés des systèmes éducatifs.

Conclusion

31L’ambition de cet article était de montrer que les connaissances énoncées au nom de PISA dans le débat public national en France entre 2001 et 2008 dépendaient des configurations d’action publique préexistantes, elles-mêmes saisies à travers plusieurs dimensions. Présenter ces configurations pour ensuite interroger leurs éventuelles spécificités nationales n’a donc pas qu’une valeur descriptive, mais bien aussi une valeur explicative dans la mesure où chacune de ces dimensions renvoie à une série de facteurs permettant d’expliquer les formes prises par ces connaissances et les modalités de leur diffusion.

32Néanmoins, il n’est pas inutile en conclusion de récapituler ces principaux facteurs explicatifs. Certains sont d’ordre conjoncturel, ce qui ne les rend pas moins déterminants, comme les conjonctures politiques à l’œuvre (au sens de « politics »), qu’il s’agisse de celle de décembre 2001 ou de la rentrée 2007. D’autres sont d’ordre structurel, cognitifs bien sûr (traditions académiques, maîtrise limitée des connaissances statistiques par la plupart des groupes professionnels concernés, poids des sciences de gouvernement) mais aussi organisationnels (centralité de la DEPP), professionnels (rôle majeur des identités professionnelles dans la sélection et la traduction des informations et maintien d’une forte composante néo-corporatiste dans la régulation du système scolaire) ou politiques (au sens de « policy ») avec notamment les impératifs de la concurrence entre évaluateurs.

33Parmi ces facteurs, ceux liés aux propriétés mêmes du palmarès et aux possibilités d’appropriation in situ qu’elles permettent mériteraient de plus amples développements. La richesse technique et la plasticité axiologique de PISA (qui peut être mobilisé pour étayer aussi bien des recommandations néo-libérales que socio-démocrates) permettent une grande diversité d’usages et d’appropriations qui confère à cet outil un caractère auto-cumulatif et centripète qui explique sans doute aussi son succès. Plusieurs arguments d’ordre différent peuvent efficacement se greffer à une partie des conclusions de l’enquête, contribuant toujours plus à lui conférer un caractère central et une forte visibilité.

Haut de page

Bibliographie

AFONSO N. & COSTA E. (coord.) (2009). Use and Circulation of OECD’s “Programme for International Student Assessment” (PISA) in Portugal. Université de Lisbonne (Portugal) : Faculté de psychologie et de sciences de l’éducation.

BAJOMI I., BERÉNYI E., NEUMANN E. & VIDA J. (2009). The Reception of PISA in Hungary. Université Eötvös Loránd (Hongrie) : Faculté des sciences sociales.

BARATS C. (2012). « Médiatisation du “Classement de Shanghai” : analyse socio-discursive d’un corpus de presse ». Communication au colloque international La médiatisation de l’évaluation, organisé à Paris les 15 et 16 mars 2012.

BAUDELOT C. & ESTABLET R. (2009). L’élitisme républicain : l’école française à l’épreuve des comparaisons internationales. Paris : Éd. du Seuil.

BLUM A. & GUÉRIN-PACE F. (2000). Des lettres et des chiffres. Paris : Fayard.

BOUCHARD J. (2012). « La fabrique d’un classement médiatique de l’enseignement supérieur et de la recherche ». Quaderni, no 77, p. 25-40.

BRUNO I. (2008). À vos marques, prêts… cherchez ! La stratégie européenne de Lisbonne, vers un marché de la recherche. Bellecombe-en-Bauges : Éd. du Croquant.

BUELA-CASAL G., GUTIÉRREZ-MARTÍNEZ O., PAZ BERMÚDEZ-SÁNCHEZ M. & VADILLO-MUÑOZ O. (2007). « Comparative Study of International Academic Rankings of Universities ». Scientometrics, vol. 71, no 3, p. 349–365.

CALLON M. (1986). « Éléments pour une sociologie de la traduction : la domestication des coquilles Saint-Jacques et des marins pêcheurs dans la baie de Saint-Brieuc ». L’Année sociologique, no 36, p. 169-208.

CATTONAR B., MANGEZ É., DELVAUX B., MANGEZ C. & MAROY C. (2009). Réception, usage et circulation au niveau national d’un instrument supranational de régulation basé sur la connaissance : les enquêtes PISA. Le cas de la Communauté française de Belgique. Louvain-la-Neuve (Belgique) : CERISIS-GIRSEF.

DESROSIÈRES A. (1993). La politique des grands nombres. Paris : La Découverte.

DOBBINS M. & MARTENS K. (2012). « Towards an Education Approach à la “Finlandaise”? French Education Policy after PISA ». Journal of Education Policy, vol. 27, no 1, p. 23-43.

DUPUY C. (2011). « Une enquête internationale au cœur d’un débat État-régions vieux de 40 ans. L’étude PISA en Allemagne ». Communication au 11e congrès de l’Association française de science politique, organisé à Strasbourg du 31 août au 2 septembre 2011.

ELIAS N. (1993). Qu’est-ce que la sociologie ? Paris : Agora Pocket.

ESPELAND W. & SAUDER M. (2007). « Rankings and Reactivity How Public Measures Recreate Social Worlds ». American Journal of Sociology, vol. 113, no 1, p. 1-40.

FELOUZIS G. & HANHART S. (dir.) (2011). Gouverner l’éducation par les nombres ? Usages, débats et controverses. Bruxelles: De Boeck.

GREK S. (2010). « International Organisations and the Shared Construction of Policy “Problems”: Problematisation and Change in Education Governance in Europe ». European Educational Research Journal, vol. 9, no 3, p. 396-406.

GREK S., LAWN M. & OZGA J. (2009). Study on the Use and Circulation of PISA in Scotland. Université d’Edimbourg (Écosse) : Centre for Educational Sociology.

IHL O., KALUSZYNSKI M. & POLLET G. (2003). Les sciences de gouvernement. Paris : Economica.

MARCHETTI D. (2010). Quand la santé devient médiatique. Les logiques de production d’information dans la presse. Grenoble : Presses universitaires de Grenoble.

MONS N. & PONS X. (2009). La réception de PISA en France. Connaissance et régulation du système éducatif. Paris: OSC.

NORMAND R. (2011). Gouverner la réussite scolaire. Une arithmétique politique des inégalités. Berne (Suisse) : Peter Lang.

OZGA J., DAHLER-LARSEN P., SEGERHOLM C. & SIMOLA H. (dir.) (2011). Fabricating Quality in Education. Data and Governance in Europe. Londres: Routledge.

PONS X. (2010). Évaluer l’action éducative. Paris: PUF.

ROGERSON R. J. (1999). « Quality of Life and City Competitiveness ». Urban Studies, vol. 36, no 5-6, p. 969-985.

ROSTÁS Z., KÓSA I., BODÓ J., KISS A. & FEJES I. (2009). Use and Circulation of PISA in a Romanian Context. Université Sapientia (Roumanie): Department of Social Sciences.

SCOTT J. (1998). Seeing Like a State : How Certain Schemes to Improve the Human Condition Have Failed. New Haven (États-Unis): Yale University Press.

STEINER-KHAMSI G. (2003). « The Politics of League Tables ». Journal of Social Science Education, no 1. En ligne : http://www.jsse.org/2003/2003-1/tables-khamsi.htm (consulté le 10 avril 2012).

TAKAYAMA K. (2008). « The Politics of International League Tables: PISA in Japan’s Achievement Crisis Debate ». Comparative Education, vol. 44, no 4, p. 387-407.

Haut de page

Notes

1 Voir les travaux en cours de C. Barats sur les usages socio-discursifs du classement de Shanghaï (Barats, 2012).

2 Cet article a été publié grâce au soutien du sixième programme cadre de recherche de l’Union européenne (UE) sur le thème « Citoyenneté et gouvernance dans la société de la connaissance ». Il n’engage que ses auteurs et ne reflète pas nécessairement l’opinion officielle de l’UE.

3 Pour plus de précisions méthodologiques, voir Mons et Pons (2009, p. 113-124).

4 Ces études de cas nationales sont disponibles sur www.knowandpol.eu

5 Direction de l’évaluation et de la prospective. En mai 2006, cette direction d’administration centrale est rebaptisée DEPP (ajout d’une mention relative à la « performance »). Nous utiliserons alternativement ces deux sigles selon les périodes considérées.

6 Note d’information, no 01-52 et Les Dossiers de la DEP, no 137.

7 Si entre les deux premiers cycles, seuls 5 journaux de presse écrite de notre échantillon avaient fait référence à PISA dans 5 articles, l’enquête PISA 2003 est davantage reprise (27 papiers) par une plus grande diversité de médias (7 médias de la presse quotidienne nationale, régionale et hebdomadaire).

8 International Adult Literacy Survey. Pour une analyse critique de cette enquête, voir l’ouvrage d’A. Blum et F. Guérin-Pace (2000), mandatés par la DEP pour en expertiser les fondements méthodologiques.

9 Soumises à l’aval du cabinet du ministre et s’adressant à un large public, elles doivent être à la fois accessibles et suffisamment précises pour pouvoir engager la responsabilité du ministère.

10 La DEP n’a pas publié de numéro des Dossiers Éducation et formations sur PISA 2006 contrairement aux deux sessions précédentes, et celui sur PISA 2003 n’a été édité qu’en 2007.

11 Rappelons que ce constat se limite aux pays couverts par le projet Know&Pol. Des travaux complémentaires importants ont pu être menés dans d’autres pays européens comme en Allemagne.

Haut de page

Pour citer cet article

Référence papier

Nathalie Mons et Xavier Pons, « Pourquoi n’y a-t-il pas eu de « choc PISA » en France ? Sociologie de la réception d’une enquête internationale (2001-2008) », Revue française de pédagogie, 182 | 2013, 9-18.

Référence électronique

Nathalie Mons et Xavier Pons, « Pourquoi n’y a-t-il pas eu de « choc PISA » en France ? Sociologie de la réception d’une enquête internationale (2001-2008) », Revue française de pédagogie [En ligne], 182 | 2013, mis en ligne le 28 août 2016, consulté le 20 juillet 2017. URL : http://rfp.revues.org/3981 ; DOI : 10.4000/rfp.3981

Haut de page

Auteurs

Nathalie Mons

Université de Cergy-Pontoise, EMA

Articles du même auteur

Xavier Pons

Université Paris-Est-Créteil-Val-de-Marne, Largotec

Articles du même auteur

Haut de page

Droits d’auteur

© tous droits réservés

Haut de page
  • Logo Université de Lyon
  • Logo ENS de Lyon
  • Logo ENS Éditions
  • Logo Institut français de l'éducation
  • Revues.org