Navigation – Plan du site

AccueilNuméros191Positions, débats et controversesLe discours de la recherche dans ...

Positions, débats et controverses

Le discours de la recherche dans le Programme international de suivi des acquis des élèves : un mode d’exposition pour un effet d’imposition ?

Research discourse in the Programme for International Student Assessment: to expose or to impose?
Daniel Bart
p. 89-100

Résumés

En une quinzaine d’années d’existence, le Programme international de suivi des acquis des élèves (PISA) a donné lieu à nombre de travaux et publications scientifiques qui se sont attachés tant à la discussion de son approche théorique et méthodologique qu’à l’exploration de ses résultats. Pour autant, un aspect non négligeable de cette évaluation internationale semble avoir été moins étudié : celui du discours de recherche que produit le PISA dans ses propres rapports techniques ou ses volumes thématiques. C’est à une telle étude que cet article se propose de contribuer en décrivant le fonctionnement de l’écriture de recherche dans un corpus de documents édités par le PISA, au moyen d’une analyse des formes d’exposition du cadre conceptuel de l’évaluation, des modalités de présentation des investigations et du traitement des analyses. Ce travail conduit à interroger la distance que le discours du PISA prend avec les modes de construction de l’écriture scientifique plus habituellement à l’œuvre dans le champ des recherches en éducation mais aussi à questionner en retour la conception de la recherche que ce fonctionnement du discours laisse supposer.

Haut de page

Texte intégral

1Revue française de pédagogie (2006, 2008), Éducation & formations (2008), Revue suisse des sciences de l’éducation (2010), Revue internationale d’éducation de Sèvres (2010), Mesure et évaluation en éducation (2011), Questions vives (2012), Recherches en éducation (2012), Éducation comparée (2012), Administration et éducation (2015)… Force est de constater, pour ne citer – sans souci d’exhaustivité – que quelques numéros thématiques de revues francophones, que la recherche en éducation n’a pas manqué de s’intéresser, ces dernières années, aux grandes évaluations internationales et plus particulièrement au Programme international de suivi des acquis des élèves (PISA). C’est d’ailleurs peut-être là l’un des effets les plus tangibles du PISA « sur le paysage de la recherche en éducation » qu’interrogeait Rochex (2008, p. 84) dans l’un des dossiers précités.

2Ces analyses multiples se sont consacrées à proposer des états des lieux des débats théoriques et empiriques sur le PISA (Rochex & Tiberghien, 2006 ; Mons, 2008), à explorer les fonctionnements des évaluations internationales et leurs visées comparatistes (Charras & Sauvageot, 2008 ; Burton & Dierendonck, 2011 ; Demeuse, 2012), à interroger les contenus évalués dans le PISA d’un point de vue didactique (Daghé & Labudde, 2010), à questionner les tendances des classements éducatifs mondiaux (Lussault, 2010), à décrire les enjeux scientifiques, politiques et sociaux du PISA (Kalali & Jenkins, 2012 ; Alpes, 2012) ainsi que ses modalités de réception politique, scientifique, médiatique (Michel & Pons, 2015)…

  • 1 Je remercie Bertrand Daunay pour l’aide précieuse qu’il m’a apportée dans l’écriture de cet article

3Ce lien entre la recherche et le PISA n’est peut-être pas étranger au fait que le PISA réalise ce que l’on peut appeler un discours de la recherche, au double sens de discours de recherche (le cadre scientifique de l’évaluation, sa construction conceptuelle et empirique, ses modalités de traitements et d’interprétation des résultats, etc.) et de discours sur la recherche (comment le PISA envisage l’exploitation par des chercheurs de ses données). Or ce discours de la recherche du PISA ne semble pas avoir fait l’objet d’une analyse pour lui-même et c’est à une telle entreprise que veut contribuer le présent article1. De fait, si les travaux des chercheurs en éducation manifestent de façons diverses un intérêt scientifique pour le PISA, que peut-on dire à l’inverse de la manière dont le PISA semble concevoir la recherche dans son programme ?

4Bien sûr, les visées scientifiques, la démarche théorique et l’approche méthodologique du PISA ont été l’objet d’éclairages substantiels dans des travaux qui ont interrogé les soubassements conceptuels et techniques de l’évaluation (par exemple : Rocher, 2003 ; Goldstein, 2004 ; Hopmann, Brinek & Retzl, 2007 ; Vrignaud, 2008), les ressorts, intérêts et limites du programme pour des études secondaires (par exemple : Bautier, Crinon, Rayou et al., 2006 ; Olsen & Lie, 2006 ; Baye, Demeuse & Friant, 2014), les implications du PISA pour les approches théoriques des politiques éducatives (par exemple : Maroy & Mangez, 2008 ; Mons, 2008 ; Sellar & Lingard, 2013 ; Barrett & Crossley, 2015) ou sa conception des contenus évalués (par exemple : Robin, 2002 ; Bain, 2003 ; Sjøberg, 2007 ; Bart & Daunay, à paraître).

  • 2 Nous faisons ici allusion aux différents écrits publiés par l’OCDE lors de chaque édition du PISA : (...)

5Mais la question des modalités mêmes de l’écriture de recherche dans le PISA mérite d’être posée en tant que telle, non seulement pour mettre au jour une facette spécifique d’un programme particulièrement productif en matière d’écrits2, mais aussi pour mieux comprendre en retour la conception de la recherche qu’il laisse prévaloir. S’intéresser à la construction et au fonctionnement du discours scientifique dans le PISA est aussi conséquemment un moyen d’apporter un éclairage particulier de son approche de la recherche à travers ses modalités expositives et argumentatives.

  • 3 Cette recherche, menée avec Bertrand Daunay, porte sur une étude didactique des épreuves du PISA ce (...)

6Ce questionnement autour du discours scientifique du PISA est en relation avec un projet de recherche plus large3 qui nous a conduit à nous pencher sur l’ensemble des rapports du programme disponibles jusqu’à 2015, à la faveur d’une politique volontariste de diffusion sur Internet des publications de l’OCDE. Cette documentation – dont la liste finale des textes du PISA cités dans cet article donne un aperçu limité – réunit environ pour chaque édition du test un à six tomes de résultats, un document cadre de l’évaluation et un rapport technique, et se présente, on le verra, tant par la forme textuelle que par les intentions exprimées, comme un discours de recherche. L’examen approfondi, sous cet angle, de cet important matériau nous a amené à nous intéresser non seulement aux principes directeurs des cycles d’évaluation, à l’abord conceptuel des connaissances et compétences visées par la démarche, aux tâches au moyen desquelles les élèves sont évalués, aux méthodologies statistiques de traitement des données ou aux principaux résultats, mais aussi aux modalités textuelles avec lesquelles ces éléments sont exposés.

7Nous avons ainsi cherché à reconstruire plus nettement les contours de l’écriture de la recherche dans le PISA, en analysant systématiquement les documents collectés du point de vue des grandes questions que pose l’organisation habituelle des textes scientifiques (élaboration et discussion du cadre théorique, intérêts de la démarche mis en avant, modes de présentation des investigations et de leurs limites, traitement des données, mises en relation avec d’autres travaux ou avec des exploitations secondaires). Cette analyse a consisté à identifier la construction de ces dimensions dans les écrits du PISA et à tenter de saisir une logique de leur fonctionnement et de leurs éventuelles variations. Nous avons mis en œuvre cette approche en nous inscrivant dans une perspective critique de discussion scientifique : cela nous a conduit, en appui sur la littérature de recherche consacrée à ce programme, à être plus particulièrement attentif aux incertitudes et aux tensions à l’œuvre dans les discours du PISA, voire aux paradoxes et aux contradictions que ces écrits manifestent.

8Ce sont les résultats de cette démarche que cet article se propose de présenter. Cela nous conduira à nous interroger dans une première partie sur la manière dont le PISA fait état du projet de connaissance qu’il poursuit et du cadre de dialogue scientifique qu’il construit, puis à observer dans une seconde partie les conditions dans lesquelles le programme rend compte des spécificités de ses données d’enquête et des investigations qu’elles autorisent, avant d’analyser dans une troisième partie les modalités discursives utilisées par le PISA pour présenter ses résultats en vue de leur insertion dans le débat public. Ces analyses, prenant appui, comme nous l’avons indiqué, sur un examen de l’ensemble des rapports édités par l’OCDE lors des cycles successifs de l’évaluation, seront ici étayées par quelques extraits de cette documentation qui nous ont semblé plus largement significatifs des fonctionnements discursifs du programme. Rappelons enfin que ces fonctionnements du discours de recherche qu’il s’agit de décrire sont bien ceux du PISA, entendu ici comme une instance productrice d’un discours saisi à travers un mode de réalisation privilégié de ce dernier (les rapports), auxquels ne saurait être ramenée la diversité des positions et points de vue publiés par ailleurs par l’ensemble des chercheurs et équipes qui contribuent à titres divers à ce programme.

L’élaboration d’un cadre (restreint) de dialogue scientifique

  • 4 Du reste, cette orientation politique correspond plus largement aux visées de l’OCDE : le cadre d’é (...)

9C’est au cours des années 1990 que les gouvernements des pays membres de l’OCDE ont lancé le programme du PISA en vue de construire une évaluation à même de produire régulièrement des indicateurs relatifs aux compétences des élèves dans trois domaines majeurs : compréhension de l’écrit, culture mathématique et culture scientifique. Comme l’indique le rapport explicitant le cadre d’évaluation de la première édition du PISA 2000 (OCDE, 1999, p. 7), le développement du programme est alors inscrit dans une nette finalité politique, celle de fournir aux « gouvernements » et au « grand public » des « éléments d’appréciation fiables et se prêtant à des comparaisons internationales en ce qui concerne les résultats de l’enseignement », afin d’« étayer les décisions des pouvoirs publics »4.

  • 5 Sur ce point, on voit tout l’intérêt qu’il y aurait pour une étude systématique des équipes et cher (...)

10Toutefois, la dimension scientifique du programme PISA se trouve également nettement affirmée. En effet, non seulement les chercheurs sont (au même titre que d’autres acteurs de l’éducation) identifiés comme des destinataires privilégiés du PISA (OCDE, 1999, p. 7 et 26), mais ils sont surtout présentés comme des contributeurs à sa mise en œuvre (OCDE, 2001, p. 3). De fait, nombre de chercheurs apparaissent comme œuvrant dans le programme5 : qu’il s’agisse des membres de centres de recherche qui composent (parmi d’autres types de structures) le consortium sélectionné pour chaque édition du PISA, des membres des différents comités ou groupes d’experts du programme (par exemple OCDE, 2013a, p. 277-279), des contributeurs à la rédaction des rapports du PISA, etc.

11C’est sans doute ce qui permet de lire, dans l’un des volumes de publication des résultats du PISA 2009 (OCDE, 2011, p. 17-18), que son évaluation est « la plus complète et la plus rigoureuse des compétences des élèves en compréhension de l’écrit qui ait été entreprise à ce jour à l’échelle internationale. […] les résultats de l’enquête PISA se distinguent par un niveau élevé de validité et de fidélité ».

  • 6 Par exemple, l’OCDE (2013a, p. 26) indique « qu’une version préliminaire [du] cadre d’évaluation de (...)

12La lecture de ces rapports donne cependant l’impression singulière que l’actualisation de ces logiques de fiabilité et de scientificité ne s’inscrit dans aucun débat serré entre experts. Les publications du PISA que nous avons examinées donnent peu de traces des confrontations conceptuelles, des controverses empiriques ou techniques que l’on trouve dans les réflexions théoriques ou méthodologiques des communautés scientifiques, comme le montre par exemple la variété des travaux et numéros de revues cités en introduction de cet article. Il faut peut-être voir là la contrainte d’une écriture de la recherche qui doit au final « recueillir le consensus des pays participant à l’étude »6 (Lafontaine & Monseur, 2012, p. 47), mais la question se pose de savoir jusqu’où cette forme discursive est propice à l’éclairage et à la mise en discussion de ce que les auteurs décrivent comme des « évidences partagées [du] paradigme de recherche » (p. 48) à l’œuvre dans le programme.

  • 7 Ce qui concerne l’orientation du cadre théorique peut valoir pour des cas plus locaux. Pour exemple (...)
  • 8 Un autre exemple peut être donné du côté des travaux qui se sont attachés non seulement à discuter (...)

13Par exemple, la construction du cadre conceptuel d’évaluation de la compréhension de l’écrit du PISA est très largement bâtie sur des références théoriques psychologiques et cognitives anglo-saxonnes (OCDE, 2012a, p. 22-23, p. 74-77). Or, d’une part, l’écriture théorique du PISA ne donne pas à voir nettement le travail de choix de ces orientations parmi d’autres approches de recherche possibles (autres courants de psychologie, sociologie, didactiques, etc.), pas plus qu’elle ne permet de voir clairement les raisons qui fondent ces choix ou leurs limites7. Et on ne voit pas, d’autre part, s’instaurer, dans ces discours, de véritable dialogue cumulatif avec les travaux critiques qui ont pu discuter de la pertinence de ces choix théoriques au fur et à mesure des éditions du PISA. C’est le cas par exemple du travail pionnier de Bain (2003) qui décrit les limites conceptuelles de la compréhension de l’écrit dans la première édition du PISA en 2000, ce qui permet notamment d’observer l’absence de prise en considération des perspectives théoriques développées en didactique du français sur l’approche des situations de lecture ou de la catégorisation des textes. Or les rapports publiés lors des éditions suivantes du PISA n’apportent, à notre connaissance, aucun élément de discussion8 sur cet aspect.

14D’un point de vue plus général, les choix constitutifs de la démarche (notamment les deux principes fondamentaux : évaluer des élèves de 15 ans et référer les tests non pas à des niveaux scolaires ou à des programmes mais à des « exigences » de la vie « réelle ») sont plutôt présentés comme se justifiant ou s’expliquant d’eux-mêmes, avec une évidence et une assurance certaines et, à tout le moins, avec une expression de doute ou de lacune peu perceptible.

  • 9 Citons Felouzis et Charmillot (2012, p. 63) : « Le débat fut donc vif et animé. Il montre que le co (...)

15Cette forme de neutralisation des débats que semble opérer l’écriture du PISA est peut-être plus manifeste encore si on s’intéresse au traitement d’une discussion qui a été publiée. Prais (2003) a en effet discuté la fiabilité des résultats concernant les élèves britanniques au PISA 2000 (notamment sur la représentativité des établissements scolaires ayant participé à l’évaluation), tandis qu’un membre du consortium du PISA (Adams, 2003) lui a adressé quelques éléments de réponse (sur lesquels Prais, 2004 revient). Or, si on peut trouver, dans les rapports du PISA qui ont été publiés ensuite, des indications techniques qui, selon Felouzis et Charmillot (2012, p. 62-63), marquent la prise en compte effective (et exemplaire, selon eux) d’un contrôle réalisé par la communauté scientifique9, aucune référence explicite aux critiques de Prais ou aux débats avec Adams ne semble indiquée dans ces rapports. Pas plus qu’ils ne précisent ce qui est fait des autres points de polémique soulevés par Prais (2003) ou d’autres…

  • 10 Pour une approche des tensions effectives dans le PISA entre logiques politiques et scientifiques, (...)

16De même, la vigueur de ces logiques et normes scientifiques affirmées dans le programme ne semble avoir généré aucune tension avec l’origine et la finalité politiques du dispositif d’évaluation, pourtant à la base du programme. L’ensemble des opérations est plutôt présenté sous un angle consensuel (« le programme est le fruit d’un effort concerté qui met en synergie l’expertise scientifique des pays participants et que les gouvernements de ces pays dirigent conjointement », OCDE, 2001, p. 3), tandis que la mise en relation des priorités politiques et des exigences scientifiques (représentativité des échantillons, marge d’erreur des résultats, essai de terrain des épreuves, contrôle des procédures de codage des réponses des élèves, etc.) semble être allée de soi10 : « Des experts des pays participants coopèrent au sein de groupes de travail visant à relier les objectifs d’action politique du programme aux meilleures compétences techniques disponibles dans le domaine de l’évaluation […] » (OCDE, 2001, p. 3).

17Enfin, aucun élément n’est également soumis à la discussion concernant les modalités effectives d’échanges entre les contributeurs du programme, pas plus que n’est donnée à voir une réflexion spécifique sur l’organisation des débats, les modalités des prises de décision, les arbitrages réalisés, etc. Même la direction politique du programme est présentée comme portée par des « préoccupations communes » entre politiques et scientifiques :

Les décisions concernant la nature et l’étendue des évaluations, ainsi que les données contextuelles à collecter, sont prises par d’éminents experts des pays participants, sous la direction conjointe des gouvernements de ces pays en fonction de préoccupations communes en matière d’action publique (OCDE, 2013a, p. 18).

  • 11 On peut voir poindre la question des compromis nécessaires dans l’une des raisons que l’OCDE (1999, (...)

18Plus qu’une volonté de masquer les nécessaires discussions et compromis11 que requiert la conduite d’un tel programme, on peut se demander si l’apparente certitude de ces discours n’illustre pas plutôt cette « tentation » qu’interroge Rochex (2008, p. 84) de ramener la recherche dans les évaluations internationales « à une fonction d’expertise », et ce « au détriment d’une posture et d’une pensée “critiques” traditionnellement importantes en sociologie de l’éducation » – et importantes sûrement plus largement pour la recherche en éducation : Mons (2008, p. 11) insiste ainsi sur la « démarche pluraliste » que poursuit le dossier thématique auquel Rochex contribue, construit dans une perspective de « recherche pluri-disciplinaire aux postures scientifiques variées ne craignant pas les confrontations épistémologiques et méthodologiques » et offrant des « regards croisés critiques » qui « vise[nt] […] à apporter […] une vision distanciée sur les outils manipulés » dans ces évaluations.

19Le mouvement inverse d’atténuation de la controverse, qui caractérise l’écriture du PISA, questionne donc, nous semble-t-il, le fonctionnement scientifique du programme et la distance qu’il peut prendre avec les discours d’opinion ou de conviction. C’est ce que laisse penser l’évidence avec laquelle le programme affirme à la fois sa logique politique et sa rigueur scientifique, tout autant que la convergence qu’il décrit des questionnements théoriques avec les préoccupations des pouvoirs publics. C’est aussi ce que laisse penser l’absence de discours du programme sur le problème que pose la diffusion restreinte des questions qui composent les évaluations du PISA, que nous allons aborder dans la partie suivante.

Les matériaux du programme : entre abondance et parcimonie du discours

20Depuis la première édition de son évaluation en 2000, « l’enquête PISA procède, tous les trois ans, à la collecte de données sur les connaissances et compétences des élèves au travers d’épreuves » auxquelles sont associées « des informations sur le milieu familial des élèves, leurs approches à l’égard de l’apprentissage, leurs cadres d’apprentissage » (OCDE, 2013a, p. 14). La diversité des pays participants (plus de 70 pour le PISA 2015), les centaines de milliers d’élèves interrogés, la continuité des épreuves dans le temps et leur rigueur méthodologique génèrent ainsi, comme le dit l’OCDE, une « riche moisson de données » (1999, p. 26). Cette source empirique singulière sera ensuite soumise à « l’application d’une méthodologie et de technologies de pointe lors du traitement des données » (OCDE, 2013a, p. 14), en vue de produire des indicateurs quantitatifs sur les performances des élèves, de comparer les résultats selon les pays, d’explorer les relations entre ces niveaux de compétences et des variables d’ordre social, économique, scolaire, etc.

21Le produit de ces démarches se manifeste notamment par quantité de tableaux de résultats, figures et autres graphiques dont sont dotés les rapports publiés (nombreux et substantiels) par l’OCDE. Par exemple, les 220 pages du rapport sur les « tendances dans l’apprentissage » entre 2000 et 2009 (OCDE, 2011) présentent près d’une centaine de figures et de tableaux, dont la plupart sont en outre pourvus d’un lien internet qui permet de télécharger les fichiers de données correspondants (OCDE, 2011, p. 8). Il faut ajouter à cela les nombreuses annexes et notices techniques qui détaillent les démarches et opérations réalisées (par exemple la présentation de la population d’élèves visée et les procédures d’échantillonnage : OCDE, 2011, p. 126-127).

  • 12 Les questionnaires complémentaires aux élèves, parents, chefs d’établissements, etc. sont, par cont (...)
  • 13 Pour des exemples de réponses effectives d’élèves aux évaluations du PISA, voir notamment DEPP, 200 (...)
  • 14 Il est d’ailleurs intéressant (et assez surprenant) de noter l’efficacité de cette confidentialité  (...)

22Cette abondante information ne recouvre pas toutefois l’ensemble des corpus et matériaux d’évaluation : les lecteurs du PISA n’ont ainsi à leur disposition que quelques exemples d’unités et questions auxquelles les élèves sont soumis12 ; c’est aussi le cas pour les guides de corrections destinés au codage des réponses et les réponses effectives des élèves13 ; enfin, aucun cahier d’évaluation complet n’est exposé14. Ce choix de confidentialité est présenté comme un moyen de conserver suffisamment d’unités identiques d’une édition du PISA à l’autre, de telle sorte que les résultats soient considérés comme comparables (OCDE, 1999, p. 20).

  • 15 Signalons sur ce point le refus que nous avons obtenu au printemps 2014 à la demande d’accès à des (...)

23Or, si un encadré précise au lecteur en quoi une « certaine circonspection est de mise lors de l’évolution des tendances » (OCDE, 2011, p. 26), si un « guide du lecteur » (OCDE, 2011, p. 23-24) l’avertit des modalités de « calcul des moyennes internationales » et d’usage des « arrondis » pour les « erreurs types », de la centration des analyses sur les « différences statistiquement significatives », aucun élément n’informe explicitement le lecteur sur le fait que les matériaux de l’évaluation restent pour l’essentiel inaccessibles15 ni sur les limites que cela suppose en termes d’interprétation et d’intelligibilité des analyses produites par le PISA.

  • 16 Des matériaux d’évaluation du PISA non rendus publics ont pu toutefois être l’objet de travaux de r (...)

24Ce point est pourtant central, tant, le rappelle Duru-Bellat (2007, p. 9), « il est trivial de souligner qu’aucune mesure n’est “neutre”, en ce qu’elle repose sur des classifications et des mises en correspondances qui ne sont jamais aléatoires ». L’incitation de l’auteur (p. 11) à s’emparer des évaluations quantitatives, pour « ne pas abandonner les statistiques aux “experts” », se voit donc contrariée puisque, dans le PISA, les chercheurs ne pourront pas examiner et discuter complètement la pertinence des interprétations de données brutes qui fondent les résultats du programme16. Dans cette perspective, certains spécialistes en appellent d’ailleurs à la publication de tous les questionnaires et items de ces évaluations (Goldstein, 2004), sans pour autant que les rapports du PISA ne fassent état de ce débat.

25L’absence de discours du PISA sur les limites que crée la confidentialité des matériaux est tout aussi remarquable pour les possibilités d’exploitations secondaires et retraitements statistiques de ses données (Olsen & Lie, 2006). On sait en effet que l’OCDE permet le téléchargement libre17 de ses corpus (à l’exception donc des outils d’évaluation et des matériaux bruts issus des passations des épreuves) offrant par là même « une précieuse base de connaissances au service de la recherche et de l’analyse de la politique de l’éducation » (OCDE, 2013a, p. 15). L’OCDE insiste d’ailleurs légitimement sur l’intérêt de « créer une base de données durable au service des recherches pertinentes pour l’action publique » (OCDE, 2013a, p. 183) ou d’une « base de données durable qui soit pertinente pour la politique de l’éducation et la recherche en pédagogie » (OCDE, 2013a, p. 177). Mais nulle part, à notre connaissance, ces discours ne proposent une mise en discussion tout aussi claire du choix de restreindre la diffusion des matériaux d’évaluation et des limites méthodologiques ainsi générées au projet de création d’« une base de données fiable et durable se prêtant aux comparaisons qui permet aux chercheurs du monde entier d’approfondir leurs études » (OCDE, 2013a, p. 180). Nulle part non plus dans les rapports du PISA, nous semble-t-il, n’est abordé le fait que les données accessibles ne sont pas la retranscription des réponses effectives des élèves (notamment aux questions ouvertes) mais leur enregistrement sous forme de codes dans des tableaux.

  • 18 Selon Baudelot et Establet (2009, p. 11-12), le « PISA fournit une mine d’informations sans égal et (...)

26La question de savoir dans quelle mesure et avec quelle précaution il est possible de décrire des catégories de réponses d’élèves à des questions qu’on ne connaît pas toujours et sans que soient connues les réponses réelles des élèves testés apparaît donc ici comme résolue par l’évidence. Rien, pour autant, n’empêche de faire le choix de s’en remettre en confiance au PISA et à la solidité de ses procédures (par exemple Baudelot & Establet, 200918). L’OCDE (2013a, p. 14) avance d’ailleurs que les « atouts » du PISA « se conjuguent pour aboutir à des instruments de mesure de grande qualité et à des résultats dont la validité et la fiabilité sont élevées ». Mais on conviendra qu’une réflexion sur les résultats du PISA ou une analyse secondaire tout aussi rigoureuse devrait pouvoir raisonner sur des réponses d’élèves, réaliser un examen critique des modalités d’interrogation pratiquées ou questionner les principes de codage de leurs réponses (voir par exemple Bautier, Crinon, Rayou et al., 2006). Et on conviendra aussi qu’à l’instar de toute dynamique de recherche, de tels débats bénéficieraient en premier lieu à la méthodologie du PISA par la mise en évidence des intérêts de la démarche et des voies possibles de son amélioration, comme le proposent les auteurs précités.

27Au regard du nombre de pages consacrées à la manière dont ces unités, ces questions et leurs guides de codage sont fabriqués, sélectionnés, traduits, testés, calibrés, etc. (par exemple OECD, 2002, p. 21-27, p. 57-69), l’absence de prise en charge de ces discussions dans le discours du PISA ne peut être expliquée par le peu d’importance que le programme accorderait au travail de construction des données. On peut alors se demander si, paradoxalement, ce n’est pas au contraire la force attribuée à ces démarches d’élaboration des instruments d’évaluation, à la maîtrise des biais, au respect des standards et « normes les plus strictes » du monde scientifique (OCDE, 2014, p. 21), aux « mécanismes stricts de contrôle de la qualité » appliqués (OCDE, 2013a, p. 18) – et qu’il a lui-même fixés –, qui conduit à ce non-débat sur l’accès aux matériaux d’évaluation. Comme si, une fois présentées toutes les garanties psychométriques de robustesse des corpus, il était attendu des chercheurs qu’ils retraitent les données, comparent les scores, identifient des facteurs, calculent des corrélations, sans devoir ni pouvoir se pencher sur les questions posées et sur la pertinence des choix des codifications opérées. Au risque de véhiculer les présupposés des outils d’investigation et de naturaliser les données construites, tout autant que les résultats produits (Vrignaud, 2008) et, ajouterions-nous, au risque d’entacher la pertinence de ces résultats et de réduire les possibilités de progrès en retour de l’évaluation mise en œuvre.

Le PISA : d’une prudence méthodologique affichée à une assurance prescriptive manifeste

28La faiblesse du discours sur ces questions est d’autant plus surprenante que le PISA n’hésite pas à faire état de certaines limites de son programme, comme nous allons le voir maintenant. Rappelons tout d’abord que la finalité du PISA n’est pas tant de produire régulièrement des résultats d’évaluation, des palmarès internationaux ou de développer les bases de données pour les recherches comparatives, que de « répondre aux questions que les décideurs politiques se posent » (OCDE, 2013a, p. 17). Pour l’OCDE (2013a, p. 180), répondre à cette finalité suppose de mieux circonscrire des « facteurs déterminants de l’efficience de l’éducation » ou, pour le dire autrement, de recueillir « des données supplémentaires qui aideront les décideurs politiques à interpréter les divers profils de performance et en trouver les causes » (OCDE, 2012, p. 142).

29C’est dans cette perspective que sont diffusés les questionnaires complémentaires aux élèves, aux parents ou aux chefs d’établissement que nous avons évoqués dans la partie précédente (OCDE, 1999, p. 19). Le projet est donc d’étudier la relation entre, d’une part, ces indicateurs relatifs aux élèves (genre, motivation, etc.), aux situations scolaires (type d’établissement, approche pédagogique, etc.) ou aux contextes socioculturels (niveau de ressources, langues parlées, etc.) et, d’autre part, les performances évaluées, afin d’identifier des leviers d’actions politiques à privilégier. Mais, à la différence des discours précédents qui insistaient plutôt sur la qualité méthodologique de l’évaluation, la validité des mesures ou la fiabilité des résultats proposés, l’OCDE affiche ici une certaine prudence dans le fait d’établir des « considérations d’ordre politique » sur la base des résultats de son programme (OCDE, 2001, p. 199).

  • 19 Signalons à l’inverse une déclaration plus ancienne selon laquelle « des analyses plus approfondies (...)
  • 20 Une synthèse des limites méthodologiques évoquées par le PISA pour expliquer l’impossibilité d’étab (...)
  • 21 Encore faut-il que la temporalité induite par le rythme triennal de l’évaluation rende possibles ce (...)
  • 22 Le PISA repose en effet sur l’idée que « sonder les jeunes de 15 ans peut fournir, de manière préco (...)
  • 23 La citation complète est : « L’épreuve informatisée de résolution de problèmes conçue en vue du cyc (...)

30Les discours du PISA précisent par exemple clairement (OCDE, 2013a, p. 183) qu’« il est extrêmement difficile de dégager des inférences causales19, […] conclure que telle ou telle politique d’éducation ou pratique pédagogique a un impact direct ou indirect sur la performance des élèves, de données […] comme celles proposées dans l’enquête PISA20 ». Sur ce point, le PISA affirme même que « la valeur du programme repose en grande partie sur les interactions constantes entre l’étude de suivi qu’est l’enquête PISA et des recherches plus rigoureuses sur l’efficience effectuées par ailleurs »21 (OCDE, 2013a, p. 183, souligné par nous). On pourrait alors se demander comment cette prudence au sujet des liens entre des performances et des faits ou caractéristiques effectives s’accorde au discours prédictif22 d’un programme qui, sans précaution empirique ou étayage théorique particuliers, met en relation des performances avec « des activités que les élèves âgés de 15 ans auront à accomplir dans l’avenir » (OCDE, 2013a, p. 13), « les défis que l’avenir leur réserve » voire même « les défis inconnus que l’avenir leur réserve » (OCDE, 2013a, p. 129, souligné par nous)23.

31Il n’en reste pas moins que le PISA avertit que, si certains « modèles de relations statistiques entre la performance et des variables socio-culturelles (famille, école et autres lieux d’éducation) » sont identifiés selon des « modèles de corrélation […] bien nets, il y a aussi matière pour les pays à approfondir les recherches pour confirmer que les phénomènes en question existent bel et bien quand on les étudie de façon plus directe » (OCDE, 2012, p. 142, souligné par nous). Mais la question se pose de savoir si, une fois ces réserves posées, nous n’observons pas ensuite une extension du propos dans laquelle « la norme ou la tentation de glisser du constat à la norme n’est jamais loin » (Lafontaine & Monseur, 2012, p. 56).

  • 24 Qui semblent contredire l’introduction du chapitre des « Conséquences pour l’action publique » selo (...)
  • 25 En France, le choix semble être de ne pas diffuser le questionnaire aux chefs d’établissements conc (...)

32On peut ainsi lire dans OCDE (2014, p. 21) que « l’enquête PISA ne permet pas d’identifier des relations de cause à effet entre les politiques et pratiques et les résultats des élèves, mais elle montre aux professionnels de l’éducation, aux décideurs et au grand public en quoi les systèmes d’éducation se ressemblent et se différencient – et ce que cela implique pour les élèves. » Or, voici quelques titres de publications éditées par l’OCDE à la suite du PISA 2012 et signalées dans ce même rapport (p. 24-25) : « Les clés de la réussite des établissements d’enseignement : ressources, politiques et pratiques » ; « L’équité au service de l’excellence : offrir à chaque élève la possibilité de réussir » ; « Des élèves prêts à apprendre : engagement, motivation et image de soi ». Toujours dans ce même rapport, voici encore deux intertitres du chapitre24 « Conséquences pour l’action publique de la gestion et des pratiques des établissements »25 (p. 205) : « Concilier autonomie professionnelle et culture collaborative au sein des équipes pédagogiques » (p. 209), « Demander aux élèves d’évaluer les performances des établissements et des enseignants dans le but d’améliorer l’enseignement et l’apprentissage » (p. 210).

  • 26 Nous avons pu contribuer à ce type d’évaluations institutionnelles, non sans difficultés (Bart, Lah (...)
  • 27 En France, un élève de 15 ans à l’heure est par exemple en seconde lorsqu’il est évalué par le PISA

33S’il ne s’agit pas de discuter ici de la pertinence d’établir sur la base d’investigations scientifiques des pistes d’actions publiques26, l’assurance affichée par ces dernières au regard des limites explicitées des premières a de quoi étonner. Et il semble que doive revenir au lecteur la charge d’articuler de manière appropriée l’apparente certitude de ces stratégies d’établissements (qui ne prennent appui sur aucune référence bibliographique externe à l’OCDE) avec les « réserves […] à prendre en considération lors de l’interprétation des données » exposées dans le même document (OCDE, 2014, p. 30) : notamment le fait que « dans la plupart des cas, les élèves de 15 ans ne fréquentent leur établissement actuel que depuis deux ou trois ans27, ce qui signifie qu’ils ont acquis l’essentiel de leurs connaissances auparavant, dans d’autres établissements, qui sont peut-être sans rapport ou presque avec leur établissement actuel » (OCDE, 2014, p. 30, souligné par nous). C’est encore au lecteur de se débrouiller avec le fait que « les données tendancielles PISA indiquent où les changements sont intervenus, mais elles ne permettent pas d’expliquer avec précision la nature de ces changements », ni de distinguer, par exemple, le cas où « un ensemble donné de ressources, de politiques et de pratiques peut avoir favorisé l’apprentissage des élèves » et le cas où « la relation entre la performance […] et les ressources, les politiques et les pratiques visées gagne en intensité puisque les élèves et les établissements plus performants les ont choisies » (OCDE, 2014, p. 31).

34Ces « réserves […] à prendre en considération lors de l’interprétation des données » (OCDE, 2014, p. 30) ne sont d’ailleurs pas exposées dans le dossier thématique intitulé « L’établissement d’enseignement fréquenté par les élèves a-t-il un impact sur leur performance ? », publié par l’OCDE (2013b) dans PISA à la loupe28, une note mensuelle pour les « décideurs29 en matière de politiques d’éducation et conçue pour analyser de façon concise et accessible un thème issu de l’enquête PISA »30

  • 31 Rappelons que, selon l’OCDE (2012a, p. 13), « les innombrables rapports rédigés dans les pays parti (...)

35Bref, une emphase certaine, redoublée de l’autorité31 (éditoriale, scientifique, politique, institutionnelle…) du PISA, conduit cet ensemble de discours à sûrement dépasser le cadre que lui assure son assise empirique, à savoir une limite explicite du programme (Kalali & Jenkins, 2012).

Conclusion

36On le voit donc : si les éléments que nous avons abordés à propos des modalités d’écriture de la recherche dans le PISA sont rarement mis en débat par le PISA lui-même, ce programme ne manque pas de soulever des questions et de susciter la discussion, ce qui n’est pas un apport minime. C’est dans cette perspective que nous nous sommes emparé de cette enquête internationale, dans une approche nourrie d’une tradition critique des didactiques sur les évaluations (Daunay, 2008), considérant qu’il incombe aux chercheurs d’interroger et d’éclairer les fonctionnements d’une évaluation institutionnelle.

37Cette approche nous aura permis de cerner quelques-unes des grandes caractéristiques du discours de recherche dans le PISA, qui font finalement apparaître une forme de distance relative avec une rhétorique scientifique classique, celle d’un dialogue argumenté avec des points de vue contradictoires, d’un travail problématisé et cumulatif de construction du savoir, d’une mise au jour raisonnée des apports et des limites méthodologiques de la démarche menée, etc. Nous avons en effet montré qu’en dépit d’une exposition riche de données statistiques, de contrôles des biais, de standards de mesure et de références conceptuelles, le discours du PISA tendait à faire bien souvent apparaître ses choix théoriques, empiriques ou analytiques comme des évidences qui s’imposent. Autant d’aspects que toutes les normes de l’écriture scientifique appellent précisément à questionner et à dénaturaliser, puisque le discours de recherche se doit d’assurer la construction du périmètre possible de validité de la démarche et des résultats, et, corrélativement, la délimitation de leur espace possible de mise en discussion (Johsua, 1996).

38Dans cette perspective, le fonctionnement discursif du PISA pourrait alors manifester ce qui fait toute la différence entre la production de résultats d’élèves et leur construction en résultats de recherche… et permettre en cela aux sciences de l’éducation de continuer à faire valoir la force et l’intérêt de leurs propres propositions.

Haut de page

Bibliographie

ADAMS R. J. (2003). « Response to Cautions on OECDs Recent Educational Survey (PISA) ». Oxford Review of Education, vol. 29, no 3, p. 377-389.

ALPES Y. (2012). « À propos de PISA : pourquoi, pour qui, évaluer et comparer les compétences des élèves ? ». Questions vives, vol. 6, no 16.

BAIN D. (2003). « Pisa et la lecture. Un point de vue de didacticien. Analyse critique de la validité didactique d’une enquête internationale sur la compréhension de l’écrit ». Revue suisse des sciences de l’éducation, vol. 25, no 1, p. 59-78.

BARRETT M. A. & CROSSLEY M. (dir.) (2015). « Compare Forum : The power and politics of international comparisons ». Compare: A Journal of Comparative and International Education, vol. 45, no 3, p. 467-493.

BART D. (2014). « La littératie dans PISA : entre essentialisation du Réel et mobilisation diffuse de contenus disciplinaires ». Spirale, no 53, p. 111-120.

BART D. & DAUNAY B. (à paraître). « Une évaluation standard de la compréhension de l’écrit à l’échelle mondiale ? Les problèmes posés par une conception “universaliste” du réel dans le programme PISA ». Éducation comparée, no 14.

BART D., LAHANIER-REUTER D. & REUTER Y. (2013). « Répondre à une demande institutionnelle d’évaluation : quelques problèmes de méthodologie de recherche ». Les Sciences de l’éducation. Pour l’Ère nouvelle, vol. 46, no 3, p. 41-62.

BAUDELOT C. & ESTABLET R. (2009). L’élitisme républicain. L’école française à l’épreuve des comparaisons internationales. Paris : Éd. du Seuil.

BAUTIER É., CRINON J., RAYOU P. & ROCHEX J.-Y. (2006). « Performances en littéracie, modes de faire et univers mobilisés par les élèves : analyses secondaires de l’enquête PISA 2000 ». Revue française de pédagogie, no 157, p. 85-101.

BAYE A., DEMEUSE M. & FRIANT N. (2014). « Comparer les systèmes éducatifs francophones à travers le monde grâce au PISA : pas si simple ! ». Éducation et francophonie, vol. XLII, no 3, p. 102-122.

BODIN A. (2007). « What does PISA really assess? What does it not? A French view ». In S. T. Hopmann, G. Brinek & M. Retzl, PISA According to PISA. Does PISA keep what it promises? Berlin : LIT Verlag, p. 21-56.

BONNET G. (2004). « Vers une méthodologie alternative pour l’évaluation de la lecture dans les enquêtes internationales ». Éducation et formations, no 70, p. 109-121.

BOTTANI N. & VRIGNAUD P. (2005). La France et les évaluations internationales. Paris : HCÉÉ.

BURTON R. & DIERENDONCK C. (2011). « Les enquêtes internationales ». Mesure et évaluation en éducation, vol. 34, no 2.

CHARRAS A. & SAUVAGEOT C. (2008). « Comparaisons internationales ». Éducation & formations, no 78.

DAGHÉ S. A. & LABUDDE P. (2010). « Les contenus disciplinaires de PISA sous la loupe de la recherche : le point en sciences naturelles et en lecture ». Revue suisse des sciences de l’éducation, no 3.

DAUNAY B. (2008). « Performances et apprentissages disciplinaires ». Cahiers Théodile no 9, p. 7-23.

DEMEUSE M. (2012). « Des coulisses des évaluations internationales à leur influence. Effets observés et problèmes méthodologiques ». Éducation comparée, no 7.

DEPP (2007). « L’évaluation internationale PISA 2003 : compétences des élèves français en mathématiques, compréhension de l’écrit et sciences ». Les dossiers-Enseignement scolaire, no 180.

DURU-BELLAT M. (2007). « Progrès statistiques et glissements conceptuels dans l’analyse des inégalités sociales à l’école », Revue française de pédagogie, no 161, p. 5-14.

FELOUZIS G. & CHARMILLOT S. (2012). Les enquêtes PISA. Paris : PUF, coll. « Que sais-je ? ».

GOLDSTEIN H. (1995a). « Interprétation des comparaisons internationales des résultats scolaires ». Études et documents d’éducation, no 63, p. 11-32.

GOLDSTEIN H. (1995b). « Réponse à la critique de Geoff N. Masters ». Études et documents d’éducation, no 63, p. 40-41.

GOLDSTEIN H. (2004). « International comparisons of student attainment : some issues arising from the PISA study ». Assessment in Education, no 11, p. 319-330.

HOPMANN S. T., BRINEK G. & RETZL M. (2007). PISA According to PISA. Does PISA keep what it promises? Berlin : LIT Verlag.

HOPMANN S.T. & BRINEK G. (2007). « Introduction ». In S. T. Hopmann, G. Brinek & M. Retzl, PISA According to PISA. Does PISA keep what it promises? Berlin : LIT Verlag, p. 9-20.

JOHSUA S. (1996). « Qu’est-ce qu’un “résultat” en didactique des mathématiques ? ». Recherches en didactique des mathématiques, vol. 16, no 2, p. 197-219.

KALALI F. & JENKINS E.-D. (2012). « PISA et TIMSS : regards croisés et enjeux actuels ». Recherches en éducation, no 14, p. 4-9.

LAFONTAINE D. & MONSEUR C. (2012). « Entre savoirs scientifiques et usages normatifs : les enquêtes internationales d’évaluation des acquis des élèves ». In L. Mottier Lopez & G. Figari, Modélisations de l’évaluation en éducation. Bruxelles : De Boeck, p. 45-61.

LUSSAULT M. (2010). « Palmarès et classements en éducation ». Revue internationale d’éducation de Sèvres, no 54.

MAROY C. & MANGEZ C. (2008). « Rationalisation de l’action publique ou politisation de la connaissance ? ». Revue française de pédagogie, no 164, p. 87-90.

MASTERS G. N. (1995). « Élaboration d’échelles de mesure et agrégation dans les études de l’IEA : critique du rapport du Professeur Goldstein ». Études et documents d’éducation, no 63, p. 33-39.

MICHEL A. & PONS X. (2015). « Le “choc” PISA ? ». Administration et éducation, no 1.

MONS N. (2008). « Évaluation des politiques éducatives et comparaisons internationales ». Revue française de pédagogie, no 164, p. 5-13.

OLSEN R. V. & LIE S. (2006). « Les évaluations internationales et la recherche en éducation : principaux objectifs et perspectives ». Revue française de pédagogie, no 157, p. 11-26.

OZGA J. (2012). « Governing knowledge ? PISA in Focus ». European Educational Research Journal, vol. 11, no 2.

PONS X. (2011). « Les méthodes des enquêtes internationales et leurs fonctions politiques. L’exemple de la France face à Pisa (1995-2008) ». Mesure et évaluation en éducation, vol. 34, no 2, p. 57-85.

PRAIS S. J. (2003). « Cautions on OECD’s Recent Educational Survey ». Oxford Review of Education, vol. 29, no 3, p. 139-163.

PRAIS S. J. (2004). « Cautions on OECD’s Recent Educational Survey (PISA): Rejoinder to OECD’s Response ». Oxford Review of Education, vol. 30, no 4, p. 569-573.

RÉMOND M. (2005). « Regards croisés sur les évaluations institutionnelles ». Repères, no 31, p. 113-140.

ROBIN I. (2002). « L’enquête PISA sur les compétences en lecture des élèves de 15 ans : trois biais culturels en question ». VEI-Enjeux, no 129, p. 65-91.

ROCHER T. (2003). « La méthodologie des évaluations internationales de compétences ». Psychologie et Psychométrie, vol. 24, no 2-3, p. 117-147.

ROCHEX J.-Y. (2006). « Social, Methodological and Theoretical Issues Regarding Assessment : Lessons From a Secondary Analysis of PISA 2000 Literacy Tests ». Review of Research in Education, vol. 30, p. 163-212.

ROCHEX J.-Y. (2008). « PISA et les enquêtes internationales. Enjeux scientifiques, enjeux politiques ». Revue française de pédagogie, no 164, p. 81-85.

ROCHEX J.-Y. & TIBERGHIEN A. (2006). « PISA : analyses secondaires, questions et débats théoriques et méthodologiques ». Revue française de pédagogie, no 157.

ROMAINVILLE M. (2002). « Du bon usage de PISA ». La Revue nouvelle, no 3-4, p. 86-99.

SELLAR S. & LINGARD B. (2013). « PISA and the expanding role of the OECD in global educational governance ». In H.-D. Meyer & A. Benavot, PISA, power, and policy: the emergence of global educational governance. Oxford : Symposium Books, p. 185-206.

SJØBERG S. (2007). « PISA and “Real Life Challenges”: Mission Impossible ? ». In S. T. Hopmann, G. Brinek & M. Retzl, PISA According to PISA. Does PISA keep what it promises? Berlin : LIT Verlag, p. 203-224.

VRIGNAUD P. (2008). « La mesure de la littératie dans PISA : la méthodologie est la réponse, mais quelle était la question ? ». Éducation et formations, no 78, p. 69-84.

Textes cités du PISA

OCDE (1999). Mesurer les compétences et connaissances des élèves. Un nouveau cadre d’évaluation. Paris : Éd. OCDE.

OCDE (2001). Connaissances et compétences : des atouts pour la vie. Premiers résultats du programme international de l’OCDE PISA 2000. Paris : Éd. OCDE.

OCDE (2011). Résultats du PISA 2009 : tendances dans l’apprentissage. L’évolution de la performance des élèves depuis 2000. Paris : Éd. OCDE.

OCDE (2012a). Le cadre d’évaluation de PISA 2009 : les compétences clés en compréhension de l’écrit, en mathématiques et en sciences. Paris : Éd. OCDE.

OCDE (2012b). Lisons-leur une histoire ! Le facteur parental dans l’éducation. Paris : Éd. OCDE.

OCDE (2013a). Cadre d’évaluation et d’analyse du cycle PISA 2012. Paris : Éd. OCDE.

OCDE (2013b). « L’établissement d’enseignement fréquenté par les élèves a-t-il un impact sur leur performance ? ». PISA à la loupe, no 27.

OCDE (2014). Résultats du PISA 2012 : les clés de la réussite des établissements d’enseignement. Ressources, politiques et pratiques. Paris : Éd. OCDE.

OECD (2002). PISA 2000 Technical Report. Paris : OECD publishing.

Haut de page

Notes

1 Je remercie Bertrand Daunay pour l’aide précieuse qu’il m’a apportée dans l’écriture de cet article.

2 Nous faisons ici allusion aux différents écrits publiés par l’OCDE lors de chaque édition du PISA : volumes thématiques d’analyse des résultats, rapports techniques, documents de travail, cadres méthodologiques de l’évaluation, etc.

3 Cette recherche, menée avec Bertrand Daunay, porte sur une étude didactique des épreuves du PISA centrée sur l’approche et le traitement de la compréhension de l’écrit (principalement littéraire) dans cette évaluation. Ces travaux s’appuient notamment sur une analyse du contenu et du fonctionnement d’items et guides de correction tirés du PISA.

4 Du reste, cette orientation politique correspond plus largement aux visées de l’OCDE : le cadre d’évaluation du PISA 2000 (OCDE, 1999, p. 2) met ainsi en exergue le premier article de la convention qui a institué l’OCDE (1960) et son objectif de « promouvoir » des politiques notamment de développement de l’économie mondiale, de l’emploi ou du niveau de vie.

5 Sur ce point, on voit tout l’intérêt qu’il y aurait pour une étude systématique des équipes et chercheurs qui ont pu œuvrer au sein du PISA. Cela permettrait non seulement de mieux cerner les orientations ou disciplines scientifiques que le PISA tend à mobiliser plus particulièrement (et leurs évolutions possibles) mais aussi d’éclairer les effets possibles de telles sollicitations institutionnelles sur la recherche (développement de certains courants de recherche, recomposition ou inflexions d’autres approches, etc.).

6 Par exemple, l’OCDE (2013a, p. 26) indique « qu’une version préliminaire [du] cadre d’évaluation de la culture mathématique [du PISA 2012] a été soumise pour commentaires à plus de 170 experts en mathématiques de plus d’une quarantaine de pays, dans le but de susciter l’apport de contributions plus larges et de garantir sa révision approfondie ».

7 Ce qui concerne l’orientation du cadre théorique peut valoir pour des cas plus locaux. Pour exemple, Bottani et Vrignaud (2005, p. 159) indiquent qu’une « grille de compétences de lecture élaborée par Martine Rémond » dans une réponse (non sélectionnée) à l’appel à projets scientifiques pour le PISA 2000 a été « reprise » dans l’approche de la compréhension de l’écrit du PISA (cf. Rémond, 2005). Cette « reprise » et sa source ne semblent pas non plus apparaître clairement dans les rapports du programme.

8 Un autre exemple peut être donné du côté des travaux qui se sont attachés non seulement à discuter des biais linguistiques et culturels à l’œuvre dans une évaluation internationale telle que le PISA (en raison notamment des problèmes de traduction), mais aussi à faire des propositions pour tenter les réduire : ainsi la « méthodologie alternative » C-BAR développée sous la direction de Bonnet (2004) dans le but d’établir des comparaisons sur la base de protocoles nationaux élaborés pays par pays et non d’un protocole unique traduit pour chacun des pays participants comme dans le PISA, ne semble pas avoir été l’objet d’une mise en débat dans les publications du programme de l’OCDE. On notera d’ailleurs plus largement que le PISA s’inscrit rarement dans un dialogue explicite avec des controverses scientifiques pourtant caractéristiques du champ des évaluations et enquêtes comparatistes (voir par exemple, sur une approche de la comparaison et des techniques statistiques proche de celle du PISA, une controverse telle que celle de Goldstein [1995a, 1995b] et Masters [1995] concernant les travaux de l’International Association for the Evaluation of Educational Achievement). On trouvera exposées dans Rochex (2006) les principales interrogations et discussions internationales concernant le PISA et plus largement les évaluations conduites selon une démarche comparable.

9 Citons Felouzis et Charmillot (2012, p. 63) : « Le débat fut donc vif et animé. Il montre que le contrôle externe par la communauté scientifique est très fort et en quelque sorte salutaire puisqu’il permet de relever les imperfections susceptibles de biaiser les résultats. Et de fait, dans le volume 5 de PISA 2009 (OCDE, 2011) consacré à l’évolution des compétences depuis 2000, le Royaume-Uni est exclu de la comparaison, car pour 2000 et 2003 “l’échantillon ne respectait pas les normes en matière de taux de réponse. Les données ne sont donc pas comparables avec les autres pays” [OCDE, 2011, p. 26] ».

10 Pour une approche des tensions effectives dans le PISA entre logiques politiques et scientifiques, voir Pons, 2011. Plus largement, sur la question des enjeux politiques, cognitifs, académiques ou organisationnels dans le fonctionnement et la réception de ce programme d’évaluation, voir le numéro thématique de l’European Educational Research Journal (Ozga, 2012).

11 On peut voir poindre la question des compromis nécessaires dans l’une des raisons que l’OCDE (1999, p. 11) avance pour expliquer pourquoi « les évaluations […] n’auront pas pour objet essentiel d’examiner la mesure dans laquelle les élèves ont acquis la maîtrise de contenus spécifiques de l’enseignement » : « Privilégier le contenu des programmes […] aurait pour effet, dans un contexte international, de polariser uniquement l’attention sur les éléments de ces programmes qui sont communs à tous les pays, ou à la plupart d’entre eux. Il faudrait donc procéder à de nombreux compromis qui déboucheraient sur une évaluation trop étroite pour être utile aux gouvernements souhaitant savoir quels sont les points forts et les innovations de systèmes éducatifs d’autres pays ».

12 Les questionnaires complémentaires aux élèves, parents, chefs d’établissements, etc. sont, par contre, librement diffusés.

13 Pour des exemples de réponses effectives d’élèves aux évaluations du PISA, voir notamment DEPP, 2007.

14 Il est d’ailleurs intéressant (et assez surprenant) de noter l’efficacité de cette confidentialité : par exemple on ne trouve a priori aucun cahier diffusé sur Internet.

15 Signalons sur ce point le refus que nous avons obtenu au printemps 2014 à la demande d’accès à des matériaux d’évaluation du PISA formulée (dans le cadre du projet mentionné à la note 3) à la Direction de l’évaluation, de la prospective et de la performance (DEPP ; centre national du PISA pour la France). Cette réponse négative stipulait que notre approche didactique pour l’étude des tests du PISA était intéressante mais bien étroite par rapport aux enjeux du programme et qu’au regard des moyens limités de la DEPP, il était impossible de donner suite à notre requête. Cela, au passage, signale comment le PISA, par telle institution nationale, peut concrètement influencer les choix de recherches sur ce programme en France (précisons que la recherche qui était à l’origine de la demande, mais qui a dû être réorientée suite au refus, a d’ores et déjà donné lieu à trois communications écrites en cours d’édition dans des publications reconnues scientifiquement).

16 Des matériaux d’évaluation du PISA non rendus publics ont pu toutefois être l’objet de travaux de recherche : Bautier, Crinon, Rayou et alii (2006) ont ainsi pu procéder à l’analyse de documents non publiés issus du PISA 2000 (items, guides de correction, cahiers d’élèves) fournis par la DEPP. Pour d’autres analyses sur des items ou guides de correction rendus publics, voir par exemple : Robin (2002), Romainville (2002), Bain (2003), Bodin (2007), Sjøberg (2007), Bart (2014), etc. À l’instar de ce que nous avons vu dans la partie précédente pour l’approche conceptuelle ou méthodologique, signalons qu’à notre connaissance, aucune présentation d’unités et d’items que proposent les rapports du PISA (par exemple : OCDE, 2012a, p. 166-223) n’entre en dialogue avec des analyses critiques de ce type.

17 Par exemple, il est possible de télécharger sur le site dédié au PISA 2012 (<http://www.acer.edu.au/mypisa/database> ; consulté le 1er juillet 2015) un tableau intitulé « Cognitive item response data file » dans lequel chaque colonne renvoie à une variable (notamment le pays, l’appartenance du pays à l’OCDE, le type d’établissement de scolarisation, etc. puis chaque item de chacune des unités du test) et chaque ligne enregistre dans ses cases successives l’ensemble des réponses codées d’un élève pour chacune des variables. Ce tableau comporte 485 490 lignes (élèves) et 381 variables.

18 Selon Baudelot et Establet (2009, p. 11-12), le « PISA fournit une mine d’informations sans égal et résiste [...] à la plupart des objections méthodologiques qui ont pu lui être opposées. Les statisticiens qui ont mis au point ces enquêtes ont fait preuve d’une prudence et d’une rigueur remarquables. La plupart des experts s’accordent aujourd’hui sur ce point. »

19 Signalons à l’inverse une déclaration plus ancienne selon laquelle « des analyses plus approfondies sont attendues [les rapports thématiques] et viseront à faire la lumière sur les relations de cause à effet » (OCDE, 2001, p. 231).

20 Une synthèse des limites méthodologiques évoquées par le PISA pour expliquer l’impossibilité d’établir des relations causales sur la base de ses matériaux empiriques est disponible dans OCDE, 2013a, p. 182-183.

21 Encore faut-il que la temporalité induite par le rythme triennal de l’évaluation rende possibles ces recherches complémentaires…

22 Le PISA repose en effet sur l’idée que « sonder les jeunes de 15 ans peut fournir, de manière précoce, des indications sur la façon dont ils se comporteront plus tard » (OCDE, 2013a, p. 104).

23 La citation complète est : « L’épreuve informatisée de résolution de problèmes conçue en vue du cycle PISA 2012 vise à déterminer dans quelle mesure les élèves sont préparés à relever les défis inconnus que l’avenir leur réserve » (OCDE, 2013a, p. 129).

24 Qui semblent contredire l’introduction du chapitre des « Conséquences pour l’action publique » selon laquelle le PISA n’est pas en mesure d’établir de liens de causalité dans les relations qu’il décrit, et le but du chapitre n’est pas de fournir « une recette qui garantisse la réussite » puisqu’« il ne fait aucune recommandation sur les politiques à suivre », mais d’« alimenter la prise de décision » (OCDE, 2014, p. 206).

25 En France, le choix semble être de ne pas diffuser le questionnaire aux chefs d’établissements concernant les caractéristiques de la structure, ressources, orientations pédagogiques, etc. (DEPP, 2007, p. 16). La DEPP explique en effet que l’organisation du système scolaire français conduisant à ce que les élèves de 15 ans environ testés dans le PISA « sont scolarisés dans des types d’établissements très différents […], relier la performance des élèves aux caractéristiques de leur établissement […] sans tenir compte d[e ce] fait n’a pas de sens » (DEPP, 2007, p. 16). On peut se demander si le même problème ne se pose pas plus largement dans le fait d’évaluer avec le PISA de manière globale « la » performance de ces élèves alors qu’ils sont scolarisés dans ces conditions hétérogènes ?

26 Nous avons pu contribuer à ce type d’évaluations institutionnelles, non sans difficultés (Bart, Lahanier-Reuter & Reuter, 2013).

27 En France, un élève de 15 ans à l’heure est par exemple en seconde lorsqu’il est évalué par le PISA.

28 Voici quelques autres titres : « La profession des parents a-t-elle un impact sur la performance des élèves ? » (no 36), « Systèmes d’éducation performants et réformateurs efficaces » (no 34), « Les chèques éducation permettent-ils d’accroître l’égalité des chances ? » (no 20), « L’accès à l’enseignement préprimaire permet-il d’améliorer les résultats scolaires ? » (no 1).

29 Pour un autre exemple qui concerne plus particulièrement les parents d’élèves, voir OCDE, 2012b.

30 <http://www.oecd-ilibrary.org/fr/education/pisa-a-la-loupe_22260927?site=fr&page=2> (consulté de 15 août 2015).

31 Rappelons que, selon l’OCDE (2012a, p. 13), « les innombrables rapports rédigés dans les pays participants attestent de l’intérêt que suscite l’enquête PISA. Par ailleurs, les résultats de l’enquête PISA sont abondamment cités dans les débats publics et foisonnent dans les médias du monde entier. »

Haut de page

Pour citer cet article

Référence papier

Daniel Bart, « Le discours de la recherche dans le Programme international de suivi des acquis des élèves : un mode d’exposition pour un effet d’imposition ? »Revue française de pédagogie, 191 | 2015, 89-100.

Référence électronique

Daniel Bart, « Le discours de la recherche dans le Programme international de suivi des acquis des élèves : un mode d’exposition pour un effet d’imposition ? »Revue française de pédagogie [En ligne], 191 | avril-mai-juin 2015, mis en ligne le 30 juin 2018, consulté le 29 mars 2024. URL : http://journals.openedition.org/rfp/4764 ; DOI : https://doi.org/10.4000/rfp.4764

Haut de page

Auteur

Daniel Bart

Université Lille 3, Théodile-CIREL

Haut de page

Droits d’auteur

CC-BY-NC-ND-4.0

Le texte seul est utilisable sous licence CC BY-NC-ND 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.

Haut de page
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search