Skip to navigation – Site map

HomeNuméros157PISA : analyses secondaires, ques...Performances en littéracie, modes...

PISA : analyses secondaires, questions et débats théoriques et méthodologiques

Performances en littéracie, modes de faireet univers mobilisés par les élèves : analyses secondaires de l’enquête PISA 2000

Literacy results, students’ ways and means: secondary analyses of the PISA 2000 study
Resultados en literacia, modos de hacer y universos utilizados por los alumnos : análisis secundarios de la encuesta PISA 2000
Leistungen in der literacy: Herangehensweisen und von Schülern mobiliserte Gedankenwelten: Sekundäranalysen der Studie PISA 2000
Élisabeth Bautier, Jacques Crinon, Patrick Rayou and Jean-Yves Rochex
p. 85-101

Abstracts

This article reports a study of secondary and further analyses of the PISA 2000 survey on literacy. It combines work done before PISA 2000 analysing its tests, grading and reporting methods – as defined by PISA designers –, a second processing of the answers of more than 800 French students based on different theoretical assumptions, and a collection of interviews aiming at better understanding the ways and means of the students working on those tests. This set of analyses leads us to question both our concepts of literacy and methodological and psychometric presuppositions upon which PISA 2000 is based. It also makes us object to the logic of “ranking” very often found in comments or publications about those results.

Top of page

Full text

  • 1 En France, les élèves concernés pouvaient être scolarisés soit en collège (classes de quatrième ou (...)

1Cet article vise à rendre compte d’un travail d’analyse secondaire de l’enquête PISA 2000, effectué en réponse à un appel d’offres de la Direction de l’évaluation et de la prospective (DEP) du ministère de l’Éducation nationale. On sait que l’enquête PISA 2000, mise en œuvre sous l’égide de l’Organisation pour la coopération et le développement économique en Europe (OCDE) dans une trentaine de pays, cherchait à évaluer les acquis des élèves de 15 ans (nés en 1984)1dans trois domaines distincts : la compréhension de l’écrit (plus largement, la littéracie), la culture mathématique et la culture scientifique. L’essentiel de PISA 2000 portait néanmoins sur la littéracie, les autres domaines y ayant une part moindre ; l’inverse sera le cas pour les enquêtes ultérieures, PISA 2003 ayant été essentiellement centrée sur la culture mathématique, et PISA 2006 l’ayant été sur la culture scientifique.

Les présupposés théoriques et méthodologiques de l’enquête PISA

  • 2 Ainsi, pour D. Bain, « L’absence d’une théorie élaborée, organisant les différentes dimensions de l (...)
  • 3 Cf. également sur ces questions, le vif débat entre Goldstein (1995) et Masters (1995) à propos des (...)

2Dès la publication des résultats et dans la plupart des analyses secondaires qui l’ont suivie, cette enquête a donné lieu à force commentaires et analyses axés, pour l’essentiel, sur la comparaison, voire le classement, des différents pays en termes de performance moyenne et de dispersion, d’efficacité et d’équité ; sur la mise en rapport des résultats de PISA 2000 avec les caractéristiques des différents systèmes éducatifs (cf. Duru-Bellat, Mons & Suchaut, 2004) ; sur l’existence et l’importance, malgré le soin apporté aux modalités de traduction des épreuves dans les différentes langues, de « biais culturels » entre les différents pays ou aires culturelles et linguistiques (cf. Robin, 2002 ; Rémond, 2001 & Rémond, 2006) ; plus rarement, à notre connaissance, sur les modalités mêmes de conception, théorique et méthodologique, de l’enquête ou sur les modes de faire des élèves enquêtés. Différents auteurs (Bain, 2003 ; Rocher, 2003 ; Bottani & Vrignaud, 2005) ont néanmoins émis l’hypothèse selon laquelle l’approche psychométrique mise en œuvre et la sophistication méthodologique qui en découle – avec pour visées principales de comparer ou différencier des élèves ou groupes d’élèves selon des niveaux de compétences –, avaient pu prendre le pas sur l’approche conceptuelle de la littéracie ou de la compréhension de l’écrit que tente d’évaluer PISA 2. La discussion porte à la fois sur le présupposé de l’existence et du caractère universel, ou du moins indépendant des contextes culturels et linguistiques, de l’objet que l’on cherche à mesurer, ici la ou les compétence(s) en compréhension de l’écrit, censée(s) s’appliquer à toutes les situations et tous les contextes, et sur celui (qui en découle) de la possibilité d’évaluer cette ou ces compétence(s) à l’aide d’une échelle unidimensionnelle 3. Ces présupposés conduisent à considérer la réussite aux différentes épreuves de cette échelle, évaluée à l’aide du modèle psychométrique dit « de réponse à l’item », comme relevant du seul facteur qu’est le niveau de compétence de l’élève, et les conditions de comparabilité des résultats obtenus dans les différents pays comme relevant dès lors, et pour l’essentiel, du soin accordé au choix et à la traduction des différentes épreuves de l’instrument de mesure (cf. Rocher, 2003). Si ces présupposés étaient vérifiés, on ne devrait pas constater d’écarts de réussite à un même item, à niveau de compétences équivalent, entre les élèves de différents pays ou différentes aires linguistiques. Surtout, les différents pays devraient avoir le même profil de réussite, c’est-à-dire la même hiérarchie des items ordonnés selon leur taux de réussite, ce qui n’est pas le cas : les résultats de PISA 2000 montrent non seulement qu’il existe des profils de réussite différents, mais aussi que « la proximité des profils de réussite des pays coïncide avec leur proximité géographique, culturelle ou linguistique » (Ibid.). D’où l’intérêt et la nécessité de travailler à mieux comprendre ces différences et la spécificité de chaque pays ou aire culturelle ou linguistique (tout en conservant une partie comparative commune, mais plus restreinte), plutôt que de chercher à les gommer en les considérant essentiellement comme scories résultant de la seule imperfection de l’outil de mesure (pour une analyse plus approfondie, portant plus spécifiquement sur les modalités d’évaluation de la culture écrite, des présupposés, théoriques et méthodologiques, de l’enquête PISA et de ses usages sociaux, cf. Rochex, sous presse).

3L’étude et l’analyse de ces différences interculturelles entre pays ou groupes de pays étant hors de portée d’une seule équipe, nous avons tenté, plus modestement, dans l’étude dont cet article tente de render compte, de mieux décrire et mieux comprendre les différences socioculturelles observées entre élèves scolarisés en France, en ne nous intéressant pas seulement à leurs réussites ou leurs échecs, tels que définis par les concepteurs de PISA, mais à leurs modes de faire pour répondre aux épreuves et à ce qu’ils mobilisaient pour cela.

Cadre théorique et méthodologies de recherche

4Nous avons également procédé à une analyse a priori de certaines des épreuves de PISA visant à évaluer les compétences en littéracie, ainsi que de la manière dont les modalités d’interrogation et les consignes de correction et de cotation pouvaient méconnaître et réduire la diversité, voire l’inégale « qualité » des manières de faire et des réponses des élèves. Notre travail a donc procédé selon trois étapes, que nous pouvons qualifier d’analyses exploratoire, secondaire et complémentaire des données recueillies par l’enquête PISA 2000 concernant les compétences en littéracie. Deux hypothèses ou constats ont présidé à la problématique et aux méthodologies de recherche que nous avons mises en œuvre pour cela, qui interrogent l’une et l’autre la conception et le modèle unidimensionnel de la compétence en littéracie qui sont ceux de PISA.

5La première étape de ce travail, d’« analyse exploratoire », a consisté en la lecture et l’examen approfondi de plus d’une centaine de cahiers renseignés par des élèves ayant subi les épreuves de PISA 2000. Cet examen nous a permis de constater que, pour bon nombre d’élèves, il était très difficile de prédire, à la lecture de leur réponse (vraie ou fausse) à tel item ou groupe d’items, de quelle nature seraient leurs réponses aux suivants ; de constater donc une importante hétérogénéité, de réponses et de modes de faire, non seulement entre élèves mais entre réponses d’un même élève aux différents items, hétérogénéité qui atteste que les compétences que PISA 2000 visait à évaluer ne sont ni univoques ni stabilisées pour beaucoup d’élèves testés, contrairement aux présupposés des conceptions de la littéracie et du modèle psychométrique utilisés. À un tel constat, s’est rapidement ajoutée notre perplexité devant le fait qu’étaient pareillement évaluées par les consignes de correction de PISA des réponses nous semblant relever de modes de travail différents, voire intellectuellement inégaux, soit parce qu’il était possible, pour certains items, de donner la réponse attendue à partir de modes de travail minimalistes, voire peu pertinents, ou au contraire plus élaborés, soit parce qu’étaient considérées comme non valides, et donc ne permettant d’obtenir aucun crédit, aussi bien des réponses manifestement incohérentes et liées à une non compréhension du texte ou de la question, que des réponses plausibles témoignant que ceux-ci étaient réellement compris, quoique ne correspondant pas à la réponse attendue (cf. infra l’analyse a priori d’une des épreuves sur lesquels nous avons plus particulièrement travaillé).

6Ces premiers constats et analyses ont renforcé notre hypothèse de travail, fondée sur une conception différente de la littéracie mais aussi sur nos recherches antérieures (Bautier & Rochex, 1998 ; Rayou, 2002 ; Bautier & Goigoux, 2004), selon laquelle le travail requis pour répondre aux épreuves de PISA, surtout à celles qui demandaient d’interpréter et de commenter les textes et documents soumis à examen, était de nature très hétérogène, empruntant à plusieurs univers de référence et sollicitant des élèves la capacité de les conjuguer et de les hiérarchiser. Parce qu’ils visent, selon les concepteurs de PISA, à évaluer « l’aptitude à réaliser des tâches qui s’inscrivent dans des situations de la vie réelle » plutôt que l’acquisition de connaissances spécifiques, et parce que leurs thématiques sont souvent proches des expériences et des univers sociaux et culturels des adolescents, les épreuves et les textes de PISA, plus sans doute que les épreuves scolaires plus traditionnelles dans notre système éducatif, sollicitent potentiellement des élèves qu’ils mobilisent et sachent conjuguer plusieurs registres de référence. Le travail à opérer pour répondre aux épreuves n’emprunte pas au seul registre du traitement des textes et questions proposés ; il peut, selon les épreuves et/ou les élèves, être facilité ou entravé, aidé ou parasité, par la mobilisation ou la mise à distance que les enquêtés parviennent ou non à opérer des cinq registres suivants :

  • le registre des savoirs scolaires, des connaissances générales sur le monde et des références culturelles qu’il faut mobiliser pour comprendre tout ou partie des textes et pouvoir formuler des hypothèses à partir d’eux (sur les motifs conduisant les gens de tel village d’Amérique du Sud à se conduire comme ils le font, ou sur les raisons du taux d’intervention quasi nul d’une organisation humanitaire en Éthiopie, par exemple) ;

  • le registre de l’expérience personnelle, individuelle ou collective, et plus ou moins familière, que les adolescents ont des objets et des pratiques sociales et culturelles évoqués par les textes des épreuves : la plage, le cinéma, les graffiti, les échanges linguistiques, etc. ;

    • 4 Il est par exemple difficile d’admettre que la conquête de l’espace puisse être un objectif primord (...)

    le registre des valeurs, des opinions et préjugés, des doxa, juvéniles et/ou sociales, dont cette expérience est tissée, des « perspectives » qui sont celles des élèves sur le monde et sur les diverses pratiques sociales, doxa et « perspectives » par rapport auxquels certains textes ou certaines de leurs propositions peuvent s’avérer contradictoires ou contre-intuitifs4 ;

  • le registre des habitudes et des modes d’interprétation des situations scolaires ou proches de l’école (telles que celle de la passation de PISA qui fait souvent appel à des capacités d’écrire de façon brève et synthétique), construits et routinisés dans la fréquentation des tâches et des exercices scolaires ;

    • 5 Le concept de secondarisation trouve son origine dans la distinction que fait Bakhtine (1984), dans (...)

    le registre des compétences et des postures cognitives liées à une acculturation propre à la littéracie et permettant aux élèves d’opérer un travail de reconfiguration et de secondarisation de leur expérience du monde et de leurs usages du langage5, travail qui ne fait que rarement l’objet d’une pédagogie explicite. Un tel registre est requis par les nombreux items demandant aux enquêtés d’appréhender une opinion proposée non seulement du point de vue de son contenu, mais de celui de sa forme, de son style, de son mode d’argumentation.

  • 6 L’enquête PISA 2000 a été conduite selon la technique des « cahiers tournants ». Tous les items de (...)
  • 7 Soit un total de 842 cahiers. Dans la mesure où nos analyses ont fait apparaître que les deux cahie (...)
  • 8 Ces catégories ont été testées une première fois à partir d’une analyse d’un corpus réduit de plusi (...)

7La deuxième étape de notre recherche a consisté en un travail d’analyse secondaire qui visait à mieux décrire et comprendre les logiques et les modes de faire sous-tendant les réponses fortement différenciées des élèves aux épreuves de PISA, modes de faire liés à des processus – eux-mêmes différenciés entre élèves et plus ou moins stables pour un même élève selon les épreuves – de mobilisation et de hiérarchisation des cinq registres évoqués ci-dessus. Pour ce faire, nous avons effectué de nouvelles analyses, quantitatives et qualitatives, à partir de deux des cahiers d’évaluation, ceux qui comportaient le plus grand nombre d’items liés à la compréhension de textes longs et de questions faisant appel à une écriture argumentative6. Nous avons procédé à un recodage de l’ensemble de ces deux cahiers7, à partir d’une grille élaborée pour tenter d’appréhender la diversité des registres mobilisés par les élèves, en construisant différents types d’indices8. Indices de compétences en lecture tout d’abord : il s’agit, d’une part, de compétences cognitives à traiter les textes ; et d’autre part de compétences à considérer un texte comme un discours « adressé » porteur d’intentions dans le cadre d’une communication sociale, à le constituer comme un objet social et langagier. Pour prendre en compte les autres registres selon nous en jeu dans les modes de faire des élèves, nous avons également construit deux autres types de catégories et d’indices. Le premier renvoie aux manières de l’élève d’« être au monde », aux valeurs, croyances, doxa et habitudes intellectuelles qui lui permettent d’interpréter le monde et l’expérience et qui interviennent dans la lecture des textes qui lui sont proposés. Le second concerne des indicateurs « transversaux » codés dans l’ensemble du cahier et non épreuve par épreuve, et vise à appréhender la manière dont l’élève se situe par rapport aux savoirs scolaires, ainsi que des compétences relatives au code écrit dont l’absence est souvent jugée caractéristique des élèves en échec (lacunes syntaxiques et orthographiques massives, « pauvreté » du vocabulaire, etc.), ou encore la fréquence des non-réponses. L’ensemble des réponses ainsi recodées à partir de cette grille a fait l’objet de deux traitements statistiques – analyse en composantes principales, puis classification ascendante hiérarchique – visant à constituer des classes ou des profils d’élèves, en fonction de la proximité de leurs réponses. En vue de travailler la question de la variabilité ou de la stabilité des modes de faire en fonction des thèmes et des tâches spécifiques aux différentes épreuves, nous avons ensuite procédé (sur un seul cahier) à une analyse qualitative et longitudinale de l’ensemble des réponses d’une cinquantaine d’élèves, en nous intéressant plus particulièrement à ceux qui apparaissaient caractéristiques des différents profils.

  • 9 Ces six épreuves étaient les suivantes : Graffiti (items R081Q01, R081Q02, R081Q05, R081Q06A et R08 (...)

8Nous avons, dans une troisième étape, complémentaire, également tenté d’appréhender les modes de faire différenciés (inter- et intra-individuels) des élèves, au-delà de ce que nous permettaient d’analyser les seules réponses obtenues. Pour cela, nous avons reconstitué une sorte de cahier comportant six des épreuves de PISA 2000, choisies parce que, portant sur des textes longs et demandant aux élèves des réponses écrites élaborées, elles nous semblaient les plus à même de donner à voir la pluralité de postures, de registres et univers de référence, dont nous souhaitions étudier la mobilisation et les modes de configuration9. Nous avons ensuite soumis les six épreuves de ce cahier à une quarantaine d’élèves, alors âgés de 15 ans comme l’étaient les élèves évalués par PISA 2000, avec lesquels nous avons conduit un entretien ex post immédiat. Nous avons choisi d’enquêter ainsi seulement auprès d’élèves scolarisés en classe de 3e ou de 2de d’enseignement général ou technologique, ces deux catégories regroupant plus de 79 % des élèves évalués par PISA 2000. En revanche, parce que nous intéressaient tout particulièrement les difficultés et les modes de faire des élèves de milieux populaires, nous avons essentiellement interrogé des élèves scolarisés dans des collèges et lycées recrutant une majorité d’élèves issus de milieux socialement défavorisés (dont deux collèges ZEP).

Résultats et modes de faire, une relation problématique : Exemple d’une épreuve PISA

9Les rapports pour le moins problématiques entre, d’une part, les résultats des élèves, tels que les construisent les épreuves de PISA et leurs consignes de cotation, et, d’autre part, les modes de faire différenciés des élèves face à ces épreuves peuvent être illustrés en prenant l’exemple d’une des épreuves sur lesquelles nous avons plus particulièrement travaillé. Celle-ci portait sur un texte dans lequel étaient présentés les avis, favorables ou défavorables, au nettoyage mécanique des plages, de diverses personnes ou catégories de personnes, et les arguments invoqués en faveur de chacun de ces avis. Ce qui a posé problème aux élèves dans cette épreuve tient moins du caractère peu familier ou inconnu de certains termes du texte (dont le contexte permettait assez facilement de deviner, même approximativement, la signification), que du caractère contre-intuitif, voire absurde, au regard de leur expérience et de leur opinion commune, des positions et arguments de certains experts et défenseurs de l’environnement hostiles au nettoyage mécanique des plages parce qu’il accroît l’érosion des côtes et contribue à la destruction de la faune et de la flore, positions et arguments fondant le titre paradoxal donné au texte : « Sauvez une plage : gardez la sale ».

10Deux questions de type QCM étaient posées à propos de ce texte. La première est massivement réussie par les élèves français (73 %), mais les entretiens que nous avons conduits (cf. infra) nous ont montré qu’une telle réussite pouvait résulter de modes de faire très différents et reposant soit sur une réelle compréhension du propos (permettant de surmonter la méconnaissance de certains des termes de la question), soit sur le seul repérage d’éléments très partiels du texte permettant de trancher entre les différentes réponses proposées, repérage qui s’accommodait parfois d’une compréhension toute relative, voire très problématique du passage concerné. La seconde des questions de ce type a posé plus de problèmes aux élèves français (taux de réussite : 52,6 %) : il s’agissait de dire quelle conséquence aurait le fait de laisser les déchets sur les plages, pour les adversaires de leur nettoyage mécanique. Le libellé de la question, invitant à réfléchir sur les conséquences d’une mesure préconisée par des personnes définies par leur opposition à la mesure contraire, s’est révélé piégeant pour une partie des élèves, pressés ou peu attentifs à la formulation de la question, et dès lors portés à dire les conséquences du nettoyage des plages plutôt que celles du maintien des déchets. Les élèves qui ne se sont pas laissés piéger par la formulation de la question pouvaient trouver la réponse attendue quasiment en toutes lettres dans le texte. Une part importante des élèves ayant bien compris le texte dans son ensemble, ont néanmoins choisi une autre réponse que la réponse attendue, réponse tout à fait plausible selon laquelle le fait de laisser les déchets sur les plages pouvait amener les touristes à se sentir plus responsables à l’égard de l’environnement, réinvestissant ainsi les discours sociaux ou institutionnels en appelant à la responsabilité de chacun en matière de préservation de la nature et du cadre de vie. Le recours à des cadres de référence extérieurs au texte conduit ici à opter pour une réponse certes plausible et intelligente, attestant une bonne compréhension de la signification du texte et de la question, mais néanmoins considérée comme incorrecte par les consignes de correction de PISA, alors que le choix de la réponse attendue n’atteste pas toujours, loin de là, une bonne compréhension de la signification globale du texte ou du passage concerné.

11Une autre question demandait aux élèves d’indiquer, en entourant le mot approprié, si les différentes personnes ou catégories de personnes évoquées dans le texte étaient favorables ou défavorables au nettoyage mécanique des plages. Cet item a été réussi par un peu plus de 50 % des élèves français, mais ce score, pas plus que les consignes de correction, ne semble pas faire de distinction entre le travail requis pour répondre correctement concernant telle ou telle personne ou catégorie de personnes, toutes les réponses justes (ou fausses) étant considérées comme équivalentes, alors que l’analyse a priori de la tâche et celle des propos des élèves commentant leurs réponses montrent qu’il n’en est rien. L’interrogation portait en effet sur l’avis de trois personnes, désignées par leur nom dans le texte et les questions, et à propos desquelles les élèves ne pouvaient mobiliser aucune connaissance ou aucun a priori extérieur au texte ; il n’en allait pas de même concernant les deux catégories de personnes désignées comme patrons du tourisme ou riverains défenseurs de l’environnement. De nombreux élèves nous ont ainsi dit ne pas avoir hésité concernant les premiers, et ne pas même avoir besoin du texte pour répondre que les patrons du tourisme ne pouvaient qu’être favorables au nettoyage des plages (en oubliant qu’il était question de nettoyage mécanique, oubli sans conséquence sur le choix de la réponse) ; ici, la connaissance et l’expérience « ordinaires » sont au service de la bonne réponse. Tel n’était pas le cas concernant les riverains défenseurs de l’environnement car le fait que des riverains d’une plage puissent être opposés à son nettoyage va à l’encontre de l’opinion et de l’expérience ordinaires, et il fallait, pour choisir la bonne réponse, savoir tenir celles-ci à distance pour prêter attention à la formulation riverains défenseurs de l’environnement (et non simplement riverains) et à l’enchaînement des propositions du texte, la bonne réponse ne pouvant être trouvée à partir du repérage d’une seule de celles-ci. Un tel repérage simple suffisait en revanche pour répondre correctement à la même question concernant deux des trois personnes nommément désignées, ce qui n’a donc guère posé problème aux élèves. Tout autre était la même question (en apparence) concernant une de ces trois personnes dont les propos cités dans le texte, peu compréhensibles pour les élèves, ne leur permettaient que très difficilement d’en déduire l’avis qui était le sien à l’égard du nettoyage mécanique des plages. Il fallait pour cela être attentif moins à la signification locale des propos cités, qu’à l’expression X a précisé permettant d’inférer qu’il était du même avis que le personnage cité précédemment, dont les propos étaient sans ambiguïté, ou encore au début de la phrase suivante (« Les touristes ne sont pas d’accord… ») permettant d’inférer que son avis était opposé à celui des touristes ; être attentif donc à des indices plus textuels que sémantiques, qui n’ont été utilisés ou repérés que par très peu d’élèves, à en croire les commentaires recueillis auprès de ceux que nous avons interrogés, y compris lorsque nous les invitions explicitement à être attentifs à l’enchaînement des propositions du passage concerné. Une telle attention aux indices textuels et non seulement sémantiques n’a pu être observée (ou induite lors de l’entretien) que chez de bons élèves, tous scolarisés en classe de 2de. Mais ni la prise en considération des seuls propos du personnage concerné, ni leur fréquente incompréhension n’empêchent les autres élèves de répondre, en ayant une forte probabilité de fournir la réponse attendue, puisqu’il suffisait, ici comme pour les questions concernant les autres personnes ou catégories de personnes, de cocher l’une des deux réponses proposées. L’examen de ces cinq questions, composantes d’une question plus générale de l’épreuve PISA, montre ainsi, d’une part, combien le choix de la réponse attendue peut masquer, d’un élève à l’autre mais aussi d’une question à l’autre pour un même élève, des modes de travail très différents et intellectuellement forts inégaux, d’autre part combien le format de la question (de type vrai/faux) et la sommation des réponses portent à occulter la diversité des difficultés posées par cinq questions apparemment semblables, mais en réalité fort différentes, quoique considérées sans doute un peu trop rapidement comme équivalentes.

12La dernière question de l’épreuve demandait aux élèves de dire s’ils pensaient que le titre paradoxal donné au texte était « un bon résumé du débat présenté dans l’article », puis d’expliquer leur réponse. Était considérée comme bonne, sans pondération, toute réponse, positive ou négative, indiquant que l’article exposait deux points de vue opposés, alors que le titre n’en reprenait qu’un. Aucun crédit supplémentaire n’était donné aux réponses des élèves s’interrogeant ou réfléchissant, dans une posture seconde, sur la visée d’un tel titre (en prêtant, par exemple, à son auteur une intention ironique ou une volonté de surprendre pour accrocher le lecteur) ou sur ce que peut ou doit être un débat. Cet item obtient des scores de réussite très faibles : 23 % pour les élèves français, 17 % pour l’ensemble de l’enquête PISA. De fait, la grande majorité des élèves ne parviennent pas à tenir à distance leur opinion sur les avis et arguments exposés dans le texte, pour en différencier la réflexion attendue sur la pertinence du titre donné à celui-ci ; dès lors, ils commentent moins le titre que le texte, ou leur attitude à l’égard de celui-ci ou de la thèse la plus contre-intuitive par rapport à leur opinion première. D’autres, plus réflexifs, se saisissent de la question pour rendre compte, moins de leur opinion que de leur évolution à la lecture du texte, sans pour autant réfléchir sur son titre. D’autres encore prêtent attention au titre, mais oublient l’idée de débat, soit pour dire que le titre est pertinent parce que reflétant l’avis qu’ils jugent majoritaire, soit pour proposer un autre titre résumant la même thèse (par exemple « Une autre solution pour une plage propre »). Toutes ces réponses, qui à l’évidence ne relèvent pas du même travail d’interprétation et de réflexion sur le texte et son titre, sur soi et son expérience du monde, sont néanmoins créditées du même score nul par les consignes de correction de PISA qui, là encore, écrasent des différences non négligeables à nos yeux.

Classes et profils d’élèves : stabilités et instabilités

13Dans la mesure où les tâches proposées dans chacun des deux cahiers étaient en partie différentes, nos analyses statistiques ont porté de manière disjointe sur les corpus de réponses propres à chacun d’entre eux. Elles nous ont permis de créer, pour chacun des cahiers, cinq classes d’élèves, qui s’avèrent néanmoins très proches d’un cahier à l’autre. Trois catégories « stables » de lecteurs ressortent de l’analyse, que l’on retrouve aussi bien dans l’un et l’autre cahiers.

14Une première catégorie est celle des élèves (16,3 % du corpus ; 19,5 % et 13,1 % pour chacun des deux cahiers) que nous avons appelés « abstentionnistes », parce que se caractérisant par une forte fréquence de non réponses, comme s’ils démissionnaient devant la difficulté. Ainsi Maryse ne répond à aucune des questions qui demandent de faire autre chose que de prélever une information ponctuelle. Elle répond aux QCM, mais se trompe dès qu’il s’agit de construire la signification globale du texte, car elle ne s’attache qu’à un détail du texte. La caractéristique dominante de ce groupe d’élèves ne permet guère d’aller plus loin dans l’analyse de leurs modes de faire et de mobilisation, si ce n’est pour dire qu’ils sont à 62 % des garçons, qu’ils obtiennent des scores faibles à PISA, et que près de huit sur dix sont encore collégiens.

15Une seconde catégorie (20 % du corpus ; 18,8 % et 21,6 % pour chacun des deux cahiers) est celle des élèves « en échec généralisé », qui se caractérisent par leur incapacité à mobiliser aucune des connaissances, compétences ou stratégies nécessaires à la lecture. Pour répondre, ils tentent maladroitement de répéter des passages du texte à lire ou de la question posée ou bien au contraire répondent « à côté » du texte. Ils prennent alors volontiers appui sur des discours tout faits, empreints de relativisme ou de conformisme, qui viennent se substituer à ce que le texte dit vraiment, quand ils ne tiennent pas des propos dénués de logique. À la différence des premiers, ils tentent néanmoins de répondre aux questions. Obtenant, eux aussi, des résultats faibles (mais moins faibles que les précédents) à PISA, ces élèves sont pour 51 % d’entre eux des garçons et pour 73,5 % des collégiens. L’analyse longitudinale de l’ensemble des réponses d’élèves particulièrement représentatifs de cette classe permet d’aller au-delà de ces constats, et montre que ces élèves ne prennent pas le texte comme texte, mais comme expression de soi. Ils font essentiellement référence à eux-mêmes, à leurs sentiments et à leurs expériences pour répondre et ne peuvent pas construire un autre texte en croisant leur propre voix avec celle du texte proposé. Parce qu’ils sont sans doute prioritairement dans l’usage d’un genre premier du langage et dans la difficulté d’opérer un travail de secondarisation de leurs propres parole, expérience ou pensée, celles-ci ne peuvent être tissées avec les voix de textes qui sont des voix secondes. Leurs réponses, majoritairement fondées par un point de vue affectif ou doxique, ne mobilisent que fort peu de savoirs ou de travail de mise à distance. Leur lecture des textes ne s’attache pas à ceux-ci dans leur matérialité. Ceux d’entre eux qui obtiennent des résultats un peu meilleurs sont ceux qui repèrent sans guère comprendre. Dans leurs bonnes réponses à de nombreux items ils ne manifestent pas une compétence textuelle prenant en compte le texte comme entité spécifique. Ils savent repérer une information dans un texte et peuvent ainsi produire de bonnes réponses, plus fréquemment que les précédents dont ils se distinguent par l’usage réitéré des citations de morceaux du document.

  • 10 La liaison entre les compétences orthographiques et les compétences rédactionnelles est attestée da (...)

16Une troisième catégorie (21 % du corpus ; 21,9 % et 20,1 % pour chacun des cahiers) s’oppose sans surprise aux deux premières. C’est celle des élèves que nous avons qualifiés de « bons compreneurs », capables de mobiliser l’ensemble des compétences cognitives et des postures face aux textes favorables à la littéracie, pour aboutir à de bonnes réponses aux questions posées sur ces textes. Ces élèves manifestent de bonnes compétences orthographiques et syntaxiques10. Ils ne mobilisent pas de points de vue conformistes et lorsqu’ils font référence à une doxa relativiste, cela ne gêne pas leur compréhension du texte. Ils savent, pour comprendre un texte, le questionner, faire des hypothèses, procéder à des inférences causales. Ils font preuve d’un talent particulier pour se décentrer de la lettre du texte, pour en saisir la signification essentielle et la reformuler avec leurs propres mots, et pour exprimer, en regard, leur propre position. Ils savent en distinguer les informations les plus importantes pour s’intéresser à l’intention dans laquelle l’auteur les présente et à la manière dont il procède pour les transmettre. Ces élèves, qui obtiennent des scores très supérieurs à la moyenne à PISA, sont pour 53 % d’entre eux des filles, et on n’est guère surpris de constater que plus de 90 % sont scolarisés au lycée. L’étude des réponses de ce type d’élèves montre qu’ils fournissent de façon quasi systématique les réponses attendues aux épreuves de PISA, et que cette performance résulte conjointement de la mobilisation de savoirs scolaires, d’une culture générale ou d’une expérience personnelle, et d’un traitement des documents qui repose sur de réelles compétences en littéracie, elles-mêmes adossées sur des compétences cognitives assurées. Mais elle résulte aussi de la mobilisation, tout le long du cahier, d’une attitude de reconfiguration des différentes sources mobilisées, leur permettant de se situer dans le registre des raisonnements et des savoirs requis par l’évaluation. Il s’agit bien ici de la mobilisation de soi, mais de soi comme sujet d’un écrit, d’une pensée, d’un travail, qui ne sont justement pas réductibles à soi. Ces élèves se caractérisent par une mobilisation d’eux-mêmes comme sujets de leur réflexion et de leur texte.

17Alors que ces trois classes ou trois profils d’élèves apparaissent relativement stables, les deux autres classes constituées à partir de nos analyses statistiques pour chacun des deux cahiers, le sont notablement moins. Ces quatre classes regroupent plus de 42 % des élèves auxquels ont été soumis l’un ou l’autre des deux cahiers. Elles regroupent des élèves que nous avons qualifiés de « préleveurs d’information » et de « constructeurs de sens gênés par un être au monde conformiste », pour le premier cahier (respectivement 21 % et 18,8 % du corpus) ; de « lecteurs se limitant à l’explicite » et d’élèves « minimalistes » pour le second (respectivement 20,8 % et 24,4 % du corpus). Les élèves appartenant à ces quatre classes obtiennent des scores de réussite moyens ou supérieurs à la moyenne à PISA ; ils sont pour 53,6 % d’entre eux des filles, et fréquentent pour près de 62 % une classe de lycée. Leurs réponses sont beaucoup moins homogènes que celles des élèves appartenant aux catégories présentées ci-dessus, attestant des compétences (ou lacunes) et des postures beaucoup moins stabilisées ; elles semblent plus liées à des modes de faire et des processus de mobilisation différents selon les textes et les questions, plus dépendantes de leurs thématiques et de leurs formats (QCM ou questions ouvertes appelant une réponse écrite relativement élaborée), et de la nature du travail qui y était requis (prélèvement d’informations explicites dans le texte, compréhension globale, commentaire et analyse des arguments ou du style). Les « préleveurs d’information » obtiennent une assez bonne réussite aux tâches de lecture les plus simples : prélever une information, la reconnaître lorsqu’elle est paraphrasée dans un QCM, donner son avis. En revanche, outre d’importantes lacunes syntaxiques et orthographiques, ils éprouvent une difficulté à raisonner à partir d’un texte, à en hiérarchiser les informations. Les textes semblent leur être transparents, et le travail consistant à les constituer comme objet de réflexion, d’analyse et de commentaire semble leur être très peu familier. Certains traits les rapprochent des « lecteurs se limitant à l’explicite », élèves dont les réponses au second cahier montrent qu’ils travaillent essentiellement avec le texte qu’ils sont capables de comprendre lorsque toutes les données nécessaires y figurent, mais qu’ils peinent à mobiliser autre chose que son contenu pour procéder aux inférences nécessaires. Prudence et rigueur ? Ou ignorance de la fréquente nécessité, pour comprendre un texte, d’en rattacher le contenu explicite à des connaissances extérieures ? Les élèves « minimalistes » ont un profil plus hétérogène encore. Des compétences, cognitives et linguistiques, sont acquises – beaucoup des questions de PISA sont d’ailleurs significativement mieux réussies que par les autres élèves – mais peu stables, peu assurées. Les postures « secondes » sont tantôt présentes, tantôt absentes. Les performances de ces élèves s’arrêtent là où ils auraient besoin d’utiliser le langage écrit comme un outil cognitif et sémiotique leur permettant de réfléchir plus avant. Enfin notre dernière catégorie regroupe des élèves engagés dans leur travail, plus présents que la moyenne dans les textes qu’ils rédigent, aptes à commenter les textes, à raisonner pour comprendre, mais dont la référence à une doxa conformiste gêne souvent la réflexion. Si leurs réponses sont souvent plus longues que celles des autres élèves, elles n’en sont pas pour autant pertinentes : ils « glosent » en ce cas avec eux-mêmes en interprétant le texte. Tout se passe comme s’ils avaient envie de s’exprimer sur certains sujets ; de ce fait leurs réponses sont hétérogènes sur les différents registres travaillés par nos analyses, puisqu’elles dépendent de leur intérêt pour les thèmes des différents textes. Leurs argumentations sont principalement fondées sur des valeurs morales de justice et de vérité. Un tel engagement d’eux-mêmes peut dans certains items leur permettre de produire des bonnes réponses, pour des raisons de valeurs partagées ; il peut néanmoins se traduire par des affirmations erronées ou répondant à côté de la question posée, lorsque ce point de vue doxique ne permet pas de saisir la visée du texte ou de la question, ou par des non réponses lorsqu’il ne permet pas de construire un raisonnement. Les élèves de cette classe sont sans doute ceux qui présentent les performances les plus instables.

  • 11 Leur moindre fréquence est due au fait que les épreuves de PISA, élaborées à partir d’une autre con (...)

18Pour conclure notre analyse quantitative, nous avons étudié systématiquement quelles étaient les relations entre les scores obtenus à PISA et les occurrences de chacun des indices de notre grille de codage ; cette étude, ainsi que celle des occurrences conjointes des indices qui caractérisent les classes d’élèves créées par l’analyse hiérarchique, permettent d’examiner quels sont les indices les plus différenciateurs entre élèves. Ce sont les indices qui renvoient à des compétences cognitives (indices du début de notre grille) qui ont le lien statistique le plus important avec les scores de réussite, parce qu’ils sont les plus fréquents. En revanche, ceux dont le nombre d’occurrences entre « bons » et « mauvais » élèves est le plus contrasté sont des indices moins fréquents11, qui renvoient à ce que nous avons appelé processus ou travail de secondarisation des savoirs, de l’expérience et des discours. Ce sont les indices L3, L5, T3 et E1 de notre grille, attestant la capacité de prendre un recul réflexif par rapport aux textes, de constituer leurs aspects linguistiques et rhétoriques comme objet de réflexion, de produire un mouvement de « problématisation » dans son propre discours, ou encore de prendre le monde comme objet de connaissance et d’analyse. En revanche, contrairement à nos hypothèses, la mobilisation de différentes doxas, juvéniles ou sociales, ou celle de l’expérience personnelle, s’observent dans les différentes classes et ne permettent pas de différencier les élèves. Il semble bien qu’elle constitue une aide pour les bons élèves, qui font feu de tout bois pour réfléchir sur les textes et les questions de PISA, et qu’elles puissent, comme nous l’avons vu, être soit une aide, soit un obstacle pour les élèves dont les compétences et les postures sont beaucoup moins assurées et stabilisées.

Performances et univers mobilisés : quatre profils différenciés d’élèves

19Nos analyses portant sur les cahiers remplis par les élèves ayant réellement passé les épreuves de PISA 2000 ont été complétées par celles que nous avons pu effectuer à partir des observations et des entretiens recueillis, deux ans après l’enquête de l’OCDE, auprès d’élèves auxquels nous avons soumis le cahier de notre composition comprenant six des épreuves de l’enquête originale, et à propos desquels nous avons recueilli divers renseignements d’ordre scolaire, social ou familial. Nos présenterons ici nos analyses portant sur les modes de faire et les propos de quatre de ces élèves, tous élèves de collèges ou de lycées de Seine-Saint-Denis, choisis parce qu’ils nous semblent proches de quatre des classes que nos analyses statistiques nous ont permis de décrire.

Mehmet : faibles performances et rapport d’adhésion au texte et au monde

  • 12 Cette expression figure en toutes lettres sur le bulletin du conseil de classe du dernier trimestre (...)

20Ainsi Mehmet, élève de 3e d’un collège ZEP particulièrement « difficile » est-il très représentatif des élèves que nous avons dits « en échec généralisé ». Quatrième d’une fratrie de cinq enfants, il est né en France de parents turcs. Son père est retraité et sa mère sans profession. Admis en 4e « à l’ancienneté »12 en fin de 5e, il a toujours éprouvé de grandes difficultés depuis son entrée (avec un an de retard) au collège.

  • 13 Dans tout ce qui suit, les citations des propos tenus oralement par les élèves figureront en caract (...)

21Mehmet semble éprouver d’importantes difficultés à comprendre le sens des différents textes sur lesquels nous l’interrogeons et lui demandons de réfléchir, ce indépendamment du degré d’intérêt qu’il dit avoir pour leur contenu ou pour les thématiques qui y sont évoquées. Mais ces difficultés ne le conduisent qu’une seule fois à ne pas répondre à la question posée. Elles le conduisent plus fréquemment à répondre soit au pif13 (par exemple aux questions portant sur les différents avis, favorable ou défavorable au nettoyage mécanique des plages, auxquelles il a, ce faisant, une chance sur deux de répondre « juste »), soit en ne prélevant et ne traitant qu’un élément de signification locale, indépendamment de la signification globale du texte dans lequel il le prélève. Ce dernier mode de faire le conduit parfois à proposer des réponses aberrantes, que l’on ne peut comprendre qu’en repérant qu’il y mêle, sans souci de cohérence ni syntaxique ni sémantique, diverses expressions prélevées dans la phrase du texte de référence qui est sémantiquement la plus proche d’un des mots dont il est fait usage dans le libellé de la question. La difficulté à comprendre le texte, maximale quand celui-ci s’oppose au sens commun, peut également le conduire à se rabattre sur ce sens commun, comme il le fait quand on l’interroge sur la pertinence du titre de l’article sur le nettoyage des plages : j’avais du mal à comprendre […] Y a plus de mots que je comprends pas que de mots que je comprends. Et par rapport à ça, ben… j’ai répondu que c’est mieux de la garder propre. Il ne parvient pas à adopter une posture « secondarisée » qui lui permettrait de prendre en considération le titre d’un texte ou les argumentaires qui y sont développés sans le(s) rabattre sur le contenu (ou sur un élément très local de contenu) de ce texte et sur son opinion, voire sur son accord avec tel contenu, sur son adhésion à telle proposition donnée comme « vraie » dans ce qui relève plus d’un rapport de soumission au monde ou à autrui que d’une posture de questionnement de ceux-ci. Ainsi justifie-t-il presque toujours son accord avec tel texte ou tel auteur en disant que ce qu’ils disent est vrai, sans que ce statut de « vérité » ait jamais à se justifier ou à se référer à un critère quelconque.

22Un tel rapport d’évidence et d’adhésion au « vrai » du monde et du langage se conjugue chez Mehmet, durant l’entretien, avec une hyper-dépendance à l’égard de l’adulte, qui le conduit fréquemment à interpréter les questions posées par celui-ci comme invalidation de ses propres réponses et, dès lors, à abandonner son point de vue pour adopter celui qu’il pense pouvoir déceler dans les propos de l’enquêteur, ou qu’il pense que celui-ci attend de lui : si vous dites que c’est une autre réponse, dit-il ainsi plusieurs fois alors que l’enquêteur n’a explicitement rien dit de tel. Il va même, alors que l’échange porte sur les raisons pour lesquelles il se dit en accord avec tel avis plutôt qu’avec tel autre (à propos de la conquête spatiale) jusqu’à sembler penser que l’enquêteur puisse mieux savoir que lui avec quel texte il s’accorde le mieux : je me suis basé sur ça, mais peut-être que c’est une autre personne… enfin, le plus d’accord. Il faut certes voir là un effet du cadre de l’entretien, manifestement perçu comme insécurisant. Mais, au-delà de cela, c’est l’ensemble des propos de Mehmet, par exemple quand il évoque ses projets d’avenir ou l’orientation en fin de classe de 3e, qui témoigne d’un tel rapport de soumission à des adultes dont les rôles institutionnels (principal, professeur principal, CPE, conseiller d’orientation) sont le plus fréquemment indifférenciés et subsumés sous le seul pronom personnel ils. Rapports aux textes et à la littéracie, et rapports au monde sont étroitement liés ; indissociable d’une position dominée au sein des rapports sociaux, ce lien empêche de considérer les performances de Mehmet aux épreuves de PISA que nous lui avons soumises (comme plus généralement aux épreuves scolaires) comme relevant de seules compétences cognitives de compréhension de l’écrit.

Hachem : quand trop de sens tue le sens

23Hachem, élève de 3e, n’a pas totalement le profil des élèves que nous avons qualifiés de « constructeurs de sens gênés par leur conformisme » : il ne glose pas comme eux, tout au moins pas à l’écrit, pour se saisir du texte comme prétexte et y affirmer sa propre présence. Comme eux, cependant, il ne peut s’empêcher, sur de nombreux items, d’oublier ses capacités de compréhension rationnelle et de regarder les lignes qui lui sont présentées comme des appels à projeter sa propre vision du monde. Il manque certes d’un vocabulaire dont la possession lui faciliterait vraisemblablement l’accès au sens des textes proposés. Il ignore par exemple ce qu’est un « préjudice » ou un « riverain », dit ne pas comprendre ce que signifie « négligeable » ou « une idée maîtresse ». Il présente aussi des lacunes par rapport à des connaissances scolaires qu’il aurait vraisemblablement dû intégrer (il confond par exemple « l’érosion côtière » avec la montée des eaux due au réchauffement de la planète). Il a également du mal à imaginer des situations qu’il n’a jamais connues, comme celle d’un échange linguistique (avec Vigi-Pirate, y a plus de voyages). Mais ces incompétences ne paraissent cependant pas responsables des dérapages de sens qu’il commet sur certains sujets alors qu’il se débrouille relativement bien sur d’autres qui ne semblent pas présenter de difficultés cognitives inférieures.

24Paradoxalement, c’est souvent le trop de sens qui le fait se tromper parce qu’il abandonne la tiédeur émotionnelle requise par le traitement textuel alors qu’il se montre capable d’en faire preuve sur des thèmes auxquels il est plus indifférent. L’entretien post-passation réalisé avec lui donne quelques clés (sans doute trop grossières vu sa brièveté) d’accès à ces moments où les contextes des textes le renvoient à ceux de son environnement quotidien et compliquent singulièrement l’adoption d’une posture objective. D’origine algérienne, Hachem déclare des difficultés en Français. Il ambitionne une 2de générale car il voudrait travailler dans l’aéronautique comme pilote. Il hésite parfois sur le pays dans lequel il préférerait vivre, mais il pense qu’il a plus de chance que ses cousins restés en Algérie : c’est normal, il y a des difficultés là-bas. C’est pas facile pour travailler, pour apprendre. Sa tension entre deux pays, deux cultures, paraît forte, mais il aspire à une intégration dans son pays d’adoption. Les items qui peuvent mettre en tension des positions conformistes et d’autres plus centrées sur l’expression des personnes le mettent alors particulièrement mal à l’aise.

25C’est notamment le cas d’une épreuve qui présente sous forme de deux textes d’une vingtaine de lignes chacun, deux argumentaires très contrastés à propos des graffiti. Dans le premier, une Helga affirme sa rage de voir les graffiti salir les murs des villes et stigmatise les « artistes criminels » qui dégradent l’environnement et ternissent la réputation des jeunes. Dans le second, une Sophie met en valeur la créativité des auteurs de graffiti, inventeurs de formes, et déplore que ceux qui les dénigrent acceptent sans mot dire que la publicité envahisse nos rues. Hachem entre partiellement dans l’argumentation de Helga. Prié de trouver dans le texte d’autres préjudices signalés par elle, il ne voit que celui du coût social lié à l’effaçage toujours recommencé (« Ils travaillent, ils se fatiguent pour faire ça et les autres ils viennent le gâcher »). Il n’évoque pas celui de la destruction de la couche d’ozone par les gaz propulseurs alors que la discussion avec lui fait apparaître qu’il connaît très bien ce phénomène. Hachem est apparemment trop centré sur sa propre expérience de collégien issu de l’immigration et en quête forte d’intégration. Il se félicite de travailler dans un établissement en bon état, qui n’est pas comme ceux qu’on voit à la télé où y a tout le temps des problèmes. Cette posture hyper-morale déclarée ne l’aide pas à entrer dans la totalité de l’argument du premier texte et lui interdit l’accès au second. Il ne comprend pas la tentative de Sophie de considérer comme des signes urbains semblables les graffiti et la publicité, d’affirmer l’influence des premiers sur la seconde, de faire de leur situation aux yeux de la loi une différence secondaire. Pour lui, les graffiti, ça représente rien ; pire, c’est écrire son nom avec une écriture bizarre pour montrer que la personne qui a écrit ça, elle est forte ou elle connaît des gens.

26La discussion post-passation ne le fera pas changer d’avis (j’ai rien compris avec la publicité de Sophie là […] De toute façon, c’est sale). Pour lui, le débat sur le bien commun porte essentiellement sur la légalité. On voit bien que les grands peintres et tout, ils font des cadres, des peintures comme ça, mais ils vont pas gâcher quelque chose qu’on a mis du temps pour le faire. D’autres questions du même cahier, fondées sur la tension entre expressivité et intégration sociale, suscitent chez lui des cécités cognitives analogues, lesquelles, associées à la posture hyper-morale qui est la sienne, semblent lui interdire ou du moins lui rendre très difficile toute labilité de jugement.

Cindy : chercher les réponses aux questions ou réfléchir sur les textes ?

27Cindy, élève de 2de d’un lycée de la périphérie parisienne, est assez représentative du groupe d’élèves « préleveurs d’informations », auxquels leurs compétences « scolaires » permettent de repérer des informations dans un texte et de fournir des bonnes réponses aux questions du type « s’informer », mais qui ont cependant bien des difficultés à raisonner sur l’ensemble du texte. Cindy paraît très consciente de cette faiblesse (moi, mon défaut c’est que je lis pas le texte). Elle dit se jeter sur les questions et rechercher ensuite les réponses dans le texte qu’elle lit à cette occasion. Alors qu’elle dit savoir qu’en toute rigueur il faut avoir compris son sens global pour être capable ensuite de répondre à des questions particulières, Cindy, apparemment obsédée par la perspective évaluative, essaie de réfléchir sur le texte à partir d’un point de vue qui n’est ni celui de l’auteur, ni le sien propre, mais celui, supposé, d’un correcteur. Elle voit bien que cela ne marche pas, mais ne peut adopter une autre perspective : je me jette direct sur les questions, j’ai envie de répondre, j’sais pas, j’sais même pas pourquoi j’fais comme ça.

28Fille d’un père employé à la RATP et d’une mère employée de pharmacie, Cindy qui avait eu d’assez bons résultats lors de sa scolarité au collège, commence à perdre pied en 2de, en Français notamment. Dès que l’exercice est moins guidé, fait appel à des ressources personnelles pour prendre à son compte les données et les problèmes et les organiser, la méthode « localiste » qui lui avait jusque-là réussi montre ses limites. C’est pourquoi elle apprécie particulièrement les items de PISA qui posent des questions précises sur des éléments nettement distingués d’un texte. Il en va ainsi de celui qui donne une liste de quatorze conseils à des élèves préparant un échange linguistique : Déjà, on nous donne des petites informations, on nous dit « lisez le point 13 du guide, le point 1 », donc on nous donne précisément la phrase qui correspond à la question.

29Une autre aubaine consiste à tomber sur des textes qui affirment des positions qu’elle pense partager. C’est le cas avec un des conseils du guide d’échange qui incite à rester soi-même quand on séjourne à l’étranger. Cindy l’identifie très bien : On a le droit d’être différent et chacun est comme il est. Et heureusement qu’il y a de la différence, sinon on serait tous pareils. Ici la conviction d’être en communion avec l’esprit de l’exercice lui permet d’accéder à une structure de compréhension qu’elle n’a pas ou ne s’autorise pas d’habitude à avoir.

30Elle peine davantage en revanche sur l’épreuve portant sur le nettoyage des plages, analysée ci-dessus. D’une part à cause de la multiplicité des intervenants et de leurs prises de positions sur un sujet qu’apparemment elle connaît assez peu et qui lui interdit de constituer le texte comme une totalité non-additive. D’autre part parce qu’elle ne parvient pas à entrer dans certaines positions écologiques exprimées, qui considèrent qu’il vaut mieux, sous un certain rapport, ne pas nettoyer les plages : je vais pas aller à la plage quand elle est sale. Peu à l’aise dans cet ensemble d’arguments qui, pour beaucoup, lui paraissent incongrus, elle dit souligner tous les sujets dans l’espoir de répondre plus facilement aux questions dont elle n’a pas encore pris connaissance. Elle a donc perdu un temps considérable et s’est révélée assez peu capable de mobiliser les éléments pertinents du texte lorsqu’on lui a demandé de le faire. Ce n’est pourtant pas faute d’engagement dans la tâche, car, en raison même des scrupules qui la font sans cesse revenir à des relectures partielles du texte, Cindy n’a pu répondre dans les temps aux derniers items du cahier.

31Pour des raisons vraisemblablement proches, elle attribue la colère de villageois furieux contre le cinématographe qu’ils découvrent, à l’état de tristesse dans lequel les aurait plongés un film alors que l’argumentation d’ensemble vise à montrer leur incompréhension du caractère fictionnel des images projetées. À propos d’une autre épreuve concernant un plan d’aide humanitaire, elle ne parvient pas à faire d’hypothèse sur le caractère paradoxal d’absence de secours à un des pays les plus pauvres de la planète : L’Éthiopie ? On n’en a jamais parlé en géographie, non. Tout se passe comme si, en l’absence de référence scolaire bien repérable, elle ne pouvait valider la double nécessité, pour comprendre un texte, de le constituer comme un objet et de se saisir soi-même comme sujet face à lui. En s’inscrivant dans un genre évaluatif, PISA suscite vraisemblablement des craintes et des stratégies de réponse bien connues. Mais, par-delà le stress de l’épreuve, cette enquête, en s’affranchissant souvent de la manière scolaire, fait appel à une autonomie intellectuelle qui signe précisément le passage de 3e en 2de et que des élèves comme Cindy ne sont manifestement pas parvenus à construire en s’acquittant scrupuleusement de leurs tâches de collégiens.

Hawa : une réflexivité à toute épreuve

32Hawa entre incontestablement dans la catégorie de bons lecteurs et bons compreneurs que nos analyses précédentes nous ont permis de construire, et manifeste constamment, tant dans son travail sur les épreuves proposées que durant l’entretien, une posture « seconde » de mobilisation cognitive et de réflexion sur les textes et les épreuves, sur le monde et sur elle-même. Excellente élève de 2de dans le même lycée que Cindy, elle devait être admise en 1re S, selon ses vœux, sans aucun problème en fin d’année. Aînée de trois filles, née au Congo, de parents congolais, elle est venue en France à deux ans et demi. Elle dit son père ingénieur (le dossier indique agent technique) et sa mère employée dans l’hôtellerie. Elle-même envisage de devenir ingénieur, après avoir pensé devenir médecin, mais elle dit vouloir laisser aller le temps, se laisser mûrir, pour décider le moment venu quel métier je ferai plus tard. Grande lectrice, elle dit avoir également une passion pour l’écriture et avoir ainsi rédigé des histoires qui sortent de ma tête, dont l’une a fini en roman d’une centaine de pages. Elle décrit le changement du collège au lycée en termes de nouvelle indépendance, qui va avec notre capacité de s’exprimer et nous dit participer à un projet de création d’un journal du lycée.

33Quelle que soit la question posée, Hawa se saisit de pratiquement toutes les thématiques évoquées par les épreuves ou durant l’entretien pour les mettre à distance et les constituer en objets de réflexion, porteurs d’enseignements et de considérations génériques, et pour s’affirmer elle-même comme auteur de cette réflexion et de ces considérations, voire pour entrer en dialogue, en débat, avec les auteurs des textes soumis à sa réflexion. Les épreuves évoquées durant l’entretien, leurs thématiques ou les exemples suggérés par ses propres pratiques ou intérêts sont très rapidement l’objet d’une montée en généralité qui les situe et les commente au regard tant de principe généraux que d’une réflexion sur soi. Ainsi à propos de l’épreuve évoquant les graffiti : Le texte de Sophie, j’ai compris ses arguments, mais ça suit un peu la ligne de conduite que je me suis mise à moi-même […] On se dit bon, la publicité elle rapporte, et les graffiti ne rapportent pas. Dans cette société, ce qui est en première ligne, ce sont les choses qui rapportent. Comme si on compare ça à la cigarette, on nous dit partout que c’est mauvais pour la santé mais on continue à les vendre parce que ça a des effets à long terme, pas comme la drogue, et ça rapporte beaucoup à l’État. Il en est de même de son expérience du cinéma, évoquée à propos d’une autre épreuve : J’aime bien les films qui se projettent dans le futur comme par exemple Matrix[…] J’aime bien aussi voir des films de la vie réelle, pour ne pas trop rêver. Parce qu’on aime rêver mais il faut pas oublier qu’on a les deux pieds sur Terre, qu’on marche sur du béton et qu’il peut y arriver n’importe quoi (ces propos suivent immédiatement une évocation du film Elephant, de Gus van Sant, qu’Hawa souhaite aller voir prochainement).

34Les thématiques proposées à sa réflexion rencontrent plus ou moins son intérêt, et elle y accorde plus ou moins d’attention, selon qu’elle peut y reconnaître et y mobiliser des éléments de son expérience personnelle et juvénile. Toutefois, son manque d’intérêt et ce qu’elle nous décrit comme un survol du texte sur le nettoyage des plages, ne l’ont pas gênée pour en réussir toutes les questions sauf une, la plus difficile. À l’inverse, son intérêt affirmé pour les thématiques évoquées par d’autres épreuves, conjugué à la posture réflexive qu’elle manifeste à toute occasion, la conduit parfois à s’intéresser et à réfléchir au problème soulevé par tel texte ou telle épreuve, plus qu’au traitement des questions précises qui lui sont posées à leur sujet. Cela ne pose parfois aucun problème, quand les propos par lesquels elle commente textes ou questions viennent compléter des réponses tout à fait correctes à celles-ci. En revanche, son accord avec l’un des textes proposés portant sur la recherche spatiale la conduit à se tromper à une des épreuves demandant de dire quel était, parmi cinq textes, celui qui était le plus contradictoire avec l’un d’entre eux. Mais elle ne se contente pas de redire l’argument du texte choisi ; elle le reformule, le relativise et s’en saisit pour réfléchir elle-même, même si elle réfléchit moins sur la recherche spatiale que sur le désordre du monde : Il est vrai que l’exploration et l’exploitation de l’espace font réfléchir. Mais je pense qu’il serait préférable de s’occuper des problèmes actuels. Et les milliards dépensés pour la recherche spatiale ne sont pas les seuls barrages à la résolution de ces problèmes. De plus, elle relativise ce point de vue en prenant en considération celui d’un autre auteur, puis en engageant une discussion virtuelle avec lui : Félix, il a aussi raison quand il dit qu’il faut pas s’occuper simplement de notre génération mais aussi des générations futures. Cet argument, je le reprends. J’aimerais lui dire que si des jeunes gens n’existent pas aujourd’hui, ben y aura pas de demain. Il faut qu’il y ait un aujourd’hui pour qu’il y ait un demain […] Donc faudrait plutôt penser à améliorer la condition de vie de maintenant avant de penser à demain.

35Cette discussion virtuelle, dans laquelle Hawa reconnaît le caractère légitime d’un argumentaire qu’elle ne partage pas, atteste une réelle capacité de labilité dans le jugement, dont elle fait également preuve à propos des graffiti : j’apprécie seulement quand c’est joli à regarder. Mais quand c’est pour des injures ou par exemple dans le métro, quand on voit des vitres sur lesquelles ils ont marqué des choses, là c’est vrai que c’est pas très joli à voir, et c’est un non respect des gens. Mais c’est à partir de son propre rapport au langage et de ses propres engagements qu’elle juge de la lettre la mieux écrite : « D’après moi, Sophie a écrit la meilleure lettre. Son ton, ses arguments frappent. Le fait de poser des questions aux lecteurs tel qu’elle le fait donne un certain engagement dans ses propos », réponse qu’elle commente oralement, juste avant de nous dire qu’elle-même écrit beaucoup, en des propos manifestant sans doute qu’elle se reconnaît dans cette manière d’écrire attribuée à Sophie : c’est beaucoup plus convaincant, parce qu’on a l’impression qu’elle est devant nous et qu’elle nous les crie, ses questions.

36Dans l’ensemble des épreuves de PISA que nous lui avons soumises, Hawa se montre parfaitement à même de mobiliser des connaissances scolaires et culturelles pertinentes pour comprendre les textes et reformuler leurs thématiques, mais aussi pour se saisir de leur caractère paradoxal ou pour formuler des hypothèses explicatives à leur propos. Ainsi peut-elle parler de pays qui sont en développement ou sous le seuil de pauvreté, en utilisant une terminologie qui n’existe ni dans le texte ni dans les questions portant sur l’aide humanitaire, avant de formuler l’hypothèse selon laquelle une guerre en Éthiopie pourrait expliquer le faible taux d’aide accordée à ce pays. De même, explique-t-elle l’attitude de villageois sud-américains découvrant le cinéma en écrivant qu’ils accordent trop d’importance à ce qui n’est que fiction, avant de faire, dans son commentaire oral spontané de ce texte, l’hypothèse selon laquelle c’est sûrement la première fois qu’ils vont dans un cinéma, la fiction ne leur saute pas directement aux yeux.

Conclusion

37Les analyses qui précèdent confirment l’essentiel de nos hypothèses sur le caractère hétérogène des modes de travail et des univers de référence mobilisés par les élèves évalués par PISA, sur l’impossibilité de les réduire à de simples compétences de lecture et de compréhension de l’écrit. Elles renforcent l’hypothèse selon laquelle les épreuves de l’enquête PISA, que ses concepteurs présentent comme évaluant ce type de compétences évaluent des processus plus complexes et hétérogènes que cela. Non seulement parce qu’une part importante des items qui les constituent requiert certes des élèves une bonne compréhension des textes et questions qui leur sont soumis, mais aussi des compétences de production d’écrit fondées sur des processus de secondarisation et de reconfiguration. Mais également et surtout parce que ces épreuves requièrent d’eux, certes d’avoir construit et de pouvoir mobiliser des compétences de compréhension et de production d’écrits, mais aussi de pouvoir adopter et mettre en œuvre un travail leur permettant de « savoir » (savoir en actes bien plutôt que savoir explicite) ce qu’il est nécessaire et pertinent de mobiliser, de tenir à l’écart ou de reconfigurer de chacun des registres de référence potentiellement sollicités et de leurs modes de faire avec ces registres et avec les tâches scolaires.

38L’un de nos résultats les plus tangibles réside donc dans l’hétérogénéité et la diversité ainsi mises au jour. Celles-ci sont repérables non seulement dans les comparaisons que nous avons pu faire entre élèves ou entre classes d’élèves créées par le traitement statistique, mais aussi, chez un même élève, d’une épreuve à l’autre, en fonction des thèmes concernés et de la nature des tâches attendues. Une telle constatation, qui concerne une proportion importante d’élèves, interroge non plus seulement la conception de la littéracie qui sous-tend l’enquête PISA, mais aussi le projet ou la possibilité d’évaluer des compétences de compréhension de l’écrit comme si celle-ci étaient stables et/ou mobilisées de manière systématique pour une classe de tâches considérées comme équivalentes par les concepteurs des épreuves, alors que l’étude des modes de faire des élèves montre que, pour une part importante d’entre eux, ces modes de faire dépendent et varient en fonction des textes et contextes, des thématiques et des formats de tâches, autant voire plus qu’en fonction de leurs seules compétences de traitement des textes et de l’écrit. Ce qui rend sans doute plus difficile et complexe la tâche de prévoir les réussites ou les échecs des élèves aux enquêtes de ce type, mais aussi et surtout de penser les remédiations possibles, sur les plans institutionnels, curriculaires et pédagogiques.

39Les analyses qui précèdent ne disqualifient bien évidemment pas tout projet d’enquête internationale visant à évaluer les acquis des élèves. Nous espérons seulement qu’elles puissent contribuer à faire que les enquêtes à venir, en permettant de mieux saisir ce qui, dans différents contextes, peut être une aide ou un obstacle au travail des évalués, faciliter ou gêner leur réussite des tâches de lecture, évitent ou minorent les effets de palmarès, permettent une analyse plus détaillée des similitudes et différences entre pays, et accroissent les capacités de chaque pays à mieux diagnostiquer ses propres difficultés éducatives et à mieux y faire face.

Top of page

Bibliography

Adams R. & Wu M. [éd.] (2002). PISA 2000 Technical Report. Paris : OCDE.

Bain D. (2003). « PISA et la lecture : un point de vue de didacticien ». Revue suisse des sciences de l’éducation, vol. 25, n° 1, p. 59-78.

Bautier É. (2005). « Formes et activités scolaires, secondarisation, reconfiguration, différenciation sociale ». In N. Ramognino & P. Vergès (dir.), Le français hier et aujourd’hui : politiques de la langue et apprentissages scolaires : études offertes à Viviane Isambert-Jamati. Aix : Publications de l’université de Provence, p. 49-67.

Bautier É. ; Crinon J. ; Rayou P. & Rochex J.-Y. (2004). Socialisation scolaire et non scolaire des élèves. Présupposés et mobilisés chez les jeunes évalués : analyse secondaire de l’enquête PISA 2000. Rapport de recherche pour la Direction de l’évaluation et de la prospective du ministère de l’Éducation nationale. Saint-Denis [Seine-Saint-Denis] : université Paris 8 : équipe ESCOL.

Bautier É. ; Crinon J. ; Rayou P. & Rochex J.-Y. (2004). « Les performances en littéracie et l’hétérogénéité des
univers mentaux mobilisés par les élèves », Cadmo : giornale italiano di pedagogia sperimentale, vol. XII, n° 2,
p. 43-64.

Bautier É. & Goigoux R. (2004). « Difficultés d’apprentissage, processus de secondarisation et pratiques enseignantes : une hypothèse relationnelle », Revue française de pédagogie, n° 148, p. 89-100.

Bautier É. & Rochex J.-Y. (1998). L’expérience scolaire des « nouveaux lycéens ». Démocratisation ou massification ? Paris : A. Colin.

Bautier É. & Rochex J.-Y. (2004). « Activité conjointe ne signifie pas signification partagée ». Raisons éducatives, n° 9, p. 199-220.

Bernstein B. (1975). Langage et classes sociales. Paris : Éd. de Minuit.

Bonnet G. (2002). « Reflexion in the critical eye : on the pitfalls of international assessment ». Assessment in Education, vol. 9, n° 3, p. 387-399.

Bottani N. & Vrignaud P. (2005). La France et les évaluations internationales. Rapport pour le Haut conseil d’évaluation de l’École. Paris : ministère de l’Éducation nationale.

Bourny G. ; Braxmeyer N. ; Dupé C. ; Rémond M. ; Robin I. & Rocher T. (2002). Les compétences des élèves français à l’épreuve d’une évaluation internationale. Premiers résultats de l’enquête PISA 2000. Paris : ministère de l’Éducation nationale : Direction de la programmation et du développement.

Duru-Bellat M. ; Mons N. & Suchaut B. (2004). Les Cahiers de l’IREDU, n° 66 : « Caractéristiques des systèmes éducatifs et compétences des jeunes de 15 ans : l’éclairage des comparaisons entre pays ».

Gipps C. (1998). « Socio-Cultural Aspects of Assessment ». Review of Research in Education, vol. 24, p. 355-392.

Goldstein H. (1995). « Interprétation des comparaisons internationales des résultats scolaires ». Études et documents d’éducation. Paris : UNESCO, p. 11-32.

Goldstein H. (2004). « International comparison of students’attainment : Some issues arising from the PISA study ». Assessment in Education, vol. 11, n° 3, p. 319-330.

Masters G. N. (1995). « Élaboration d’échelles de mesure et agrégation dans les études de l’IEA : critique du rapport du Professeur Goldstein ». Études et documents d’éducation. Paris : UNESCO, p. 33-39.

Murat F. & Rocher T. (2004). « On the methods used for international assessments of educational competences ». In J. H. Moskowitz & M. Stephens (éd.), Comparing Learning Outcomes : International assessment and education policy. London : RoutledgeFalmer, p. 190-214.

OCDE (2001). Connaissances et compétences : des atouts pour la vie. Premiers résultats de PISA 2000. Paris : OCDE.

Olson D. (1994). The World on paper. The conceptual and cognitive implications of writing and reading. Cambridge : Cambridge University Press.

Olson D. (1998). L’univers de l’écrit. Paris : Retz.

Rayou P. (2002). La « dissert de philo » : sociologie d’une épreuve scolaire. Rennes : Presses universitaires de Rennes.

Remond M. (2001). « Adapter n’est pas traduire. Adaptation dans différents contextes culturels d’épreuves d’évaluation de la littéracie ». In C. Sabatier & P. Dasen (éd.), Cultures, développement et éducation : autres enfants, autres écoles. Paris : L’Harmattan, p. 171-184.

Rémond M. (2006). « Éclairages des évaluations internationales PIRLS et PISA sur les élèves français ». Revue française de pédagogie, n° 157, p. 71-84.

Robin I. (2002). « L’enquête PISA sur les compétences de lecture des élèves de 15 ans : trois biais culturels en question », VEI Enjeux, n° 129, p. 65-91.

Rocher T. (2003). « La méthodologie des évaluations internationales de compétences ». Psychologie et psychométrie, vol. 24, n° 2/3.

Rochex J.-Y. (sous presse). « Social, methodological and theoretical issues regarding assessment. Lessons from a secondary analysis of PISA 2000 literacy tests », Review of Research in Education, vol. 30, p. 163-212.

Schneuwly B. (1994). « Genres et types de discours : considérations ontogénétiques et psychogénétiques ». In Y. Reuter (dir.), Les interactions lecture-écriture. Bern : P. Lang, p. 155-173.

Van Dijk T. A. & Kintsch W. (1983). Strategies of discourse comprehension. New York : Academic Press.

Top of page

Appendix

Annexe : Les catégories de l’analyse des réponses des élèves

Les compétences cognitives à traiter le texte

Comprendre un texte met en jeu des processus cognitifs permettant au lecteur de passer de la surface linguistique à un contenu sémantique propositionnel et à une représentation mentale de la situation décrite par le texte. Cinq indicateurs ont été retenus pour rendre compte de la compétence à traiter le texte écrit pour en construire la signification.

C1 : Mettre en relation les différents niveaux constitutifs d’un texte (hiérarchisation, local/global…) ou de l’ensemble des textes d’une épreuve

C2 : Construire les chaînes causales du texte

C3 : Inférer ce qui n’est pas explicite de ce qui est explicite dans le texte

C4 : Raisonner de manière vraisemblable ou plausible (contra non vraisemblable, incongrue par rapport aux connaissances sur le monde)

C5 : Reconnaître la permanence du sens sous des formes sémiotiques ou linguistiques différentes

La régulation de la lecture et la représentation de la situation de communication

Une autre manière d’envisager la compréhension en lecture est de considérer le texte comme un « discours » adressé, porteur d’intentions dans le cadre d’une communication sociale. L’appréhender oblige à le constituer comme objet, à construire le cadre plus largement social et discursif qui lui donne sens, à mettre en œuvre une familiarité avec la littéracie. Comprendre un texte, c’est en comprendre la visée. L’attribution d’une intention à un texte dans la situation scolaire (comme dans la situation d’évaluation PISA qui y ressemble fort), plus abstraite que dans la situation sociale de recours au même texte, fait tout particulièrement appel à cette compétence et demande au lecteur de reconstituer un contexte. La compétence de décontextualisation qui permet justement une nouvelle contextualisation, participe de ce que nous avons nommé processus de reconfiguration ou de secondarisation.

La capacité (qui est donc aussi habitude) à saisir la visée a été décomposée en deux items d’analyse.

L1 : Saisir la dimension textuelle et la visée du texte ou de l’ensemble des textes d’une épreuve (vs. prélèvement d’un indice isolé entraînant une ncompréhension).

L2 : Saisir la visée de la question

En outre, deux items nous serviront d’indicateurs de la position d’adhérence au langage ou au contraire d’un recul réflexif (prendre le langage, en se détachant des contenus référés, comme un objet).

L3 : Mettre à distance le texte, « faire quelque chose avec le langage », élaborer avec ses propres mots (par opposition à « faire simplement œuvre de reprise des mots du texte »)

L4 : Prendre les aspects linguistiques et rhétoriques du texte comme objets de réflexion

La façon d’être au monde

La troisième grande entrée de notre grille renvoie aux manières de l’élève d’« être au monde », aux valeurs, aux croyances et aux habitudes intellectuelles qui lui permettent d’interpréter le monde et l’expérience et qui s’interposent potentiellement dans la lecture des textes qui leur sont proposés. Dans une démarche inductive, nous en avons dénombré six dans les réponses aux épreuves PISA, qui situent les élèves tantôt du côté de la construction active d’une signification et de l’élaboration d’un point de vue personnel tenant compte du texte et/ou se confrontant avec celui-ci, tantôt de la juxtaposition de fragments du texte lu et d’énoncés d’opinion en provenance de l’environnement social ou scolaire, voire de l’occultation du texte par des énoncés qui lui sont étrangers.

E1 : Prendre le monde comme objet de connaissance et d’analyse (secondarisation du monde)

E2 : Mobiliser un point de vue relativiste sur le monde

E3 : Mobiliser le point de vue de l’expérience personnelle

E4 : Mobiliser un point de vue conformiste ou affectif

E5 : Se référer essentiellement au texte

E6 : Mobiliser des savoirs non scolaires, culturels, nécessaires à la compréhension du texte

Éléments transversaux

Enfin une série d’indicateurs ont été pris en compte de manière « transversale », c’est-à-dire qu’ils ont été codés dans l’ensemble du cahier et non pas décomptés épreuve par épreuve comme les autres catégories.

Ils concernent la manière de se situer par rapport aux savoirs scolaires (T1 : Mobiliser des savoirs, des attitudes et des méthodes scolaires (savoirs formels, pratiques ou de contenu) ; la présence du sujet dans ses réponses (ou son absence), qu’elle se manifeste par la présence de marques de modalisation (T2 : la réponse est accompagnée d’un avis personnel et/ou de modalités manifestant l’élève comme auteur du texte), par une activité intellectuelle de problématisation (T3 : Problématiser (mouvement au sein du discours produit entre singulier et général, personnel et impersonnel, potentiel et réel, fait et opinion…), par la formulation d’hypothèses (T4), ou par l’engagement de soi et la prise de position dans la réponse (T7).

Ils concernent aussi des compétences relatives au code écrit dont l’absence est considérée par les enseignants comme caractéristique des élèves en échec : les lacunes syntaxiques et orthographiques massives (T5)et la « pauvreté » du vocabulaire (T6 : Ne pas comprendre des mots et des notions).

Dans ces indices figure également le fait de répondre ou de ne pas répondre.

Top of page

Notes

1 En France, les élèves concernés pouvaient être scolarisés soit en collège (classes de quatrième ou de troisième), soit en lycée général ou technologique (classes de seconde ou de première), soit en lycée professionnel.

2 Ainsi, pour D. Bain, « L’absence d’une théorie élaborée, organisant les différentes dimensions de la compréhension de l’écrit en tant qu’activité langagière et proposant un point de vue déterminé sur les opérations de lecture, constitue […] un premier obstacle majeur pour l’exploitation didactique des résultats [de PISA 2000] »., un peu comme si l’on pouvait prêter aux concepteurs de PISA le même type de boutade autrefois attribué à Binet : « la littéracie, c’est ce que mesure notre test ». De même, N. Bottani et P. Vrignaud écrivent-ils, à propos des enquêtes internationales et particulièrement de l’enquête PISA, que « l’approche unidimensionnelle, reposant sur un score principal, peut être critiquée car elle réduit les comparaisons à un classement et, par ailleurs, ce caractère unidimensionnel des données ne semble pas complètement défendable. Il faut également souligner les questions liées à la signification des variables mesurées comme “les compétences pour vivre et travailler dans le monde moderne”. Ces variables semblent être davantage justifiées par leurs qualités psychométriques que par des construits théoriques en relation avec les champs scientifiques pertinents (psychologie, sociologie, économie, sciences de l’éducation) ».

3 Cf. également sur ces questions, le vif débat entre Goldstein (1995) et Masters (1995) à propos des enquêtes réalisées par l’International Association for the Evaluation of Educational Achievment.

4 Il est par exemple difficile d’admettre que la conquête de l’espace puisse être un objectif primordial pour des jeunes très sensibilisés à la question de la faim dans le monde, ou qu’une posture de défense de l’environnement puisse conduire des riverains à s’opposer au nettoyage mécanique des plages pour des jeunes désireux de trouver la plage propre quand ils s’y rendent.

5 Le concept de secondarisation trouve son origine dans la distinction que fait Bakhtine (1984), dans le champ de la production littéraire, entre genres (de discours) premiers et genres seconds. Les genres premiers peuvent être décrits comme relevant d’une production spontanée, immédiate, liée au contexte qui la suscite et n’existant que par lui, dans « l’oubli » d’un quelconque apprentissage ou travail sous-jacent. Naissant de l’échange verbal spontané, ils sont fortement liés à l’expérience personnelle du sujet. Les genres seconds, fondés sur les premiers, se ressaisissent de ceux-ci, les travaillent et les reconfigurent dans une finalité qui s’émancipe de la conjoncturalité de leur production. Ils supposent une production discursive qui est à elle-même sa propre finalité et son propre objet, et qui signifie bien au-delà de l’interaction dans laquelle elle peut conjoncturellement se situer (sur ce point, cf. Schneuwly, 1994 ; Bautier & Rochex, 2004 ; Bautier, 2004).

6 L’enquête PISA 2000 a été conduite selon la technique des « cahiers tournants ». Tous les items de l’enquête ont été répartis dans neuf cahiers d’évaluation différents comportant néanmoins des blocs d’items communs d’un cahier à l’autre. Ces neuf cahiers ont été distribués aléatoirement aux élèves testés. Ce procédé a ainsi permis de tester l’équivalent de sept heures d’évaluation, tout en ne faisant travailler chaque élève que durant deux heures. Les présupposés de l’enquête conduisaient à considérer les neuf cahiers comme équivalents, ce qui n’est pas le cas au regard de nos hypothèses de recherche et des analyses qu’elles nous ont permis de conduire.

7 Soit un total de 842 cahiers. Dans la mesure où nos analyses ont fait apparaître que les deux cahiers étudiés ne convoquent pas exactement les mêmes façons de faire des élèves, il n’a pas été possible de les traiter conjointement. Au demeurant, la quantité de chacun des cahiers étant très proche (415 et 427), il a été aisément possible d’en comparer les résultats quantitatifs.

8 Ces catégories ont été testées une première fois à partir d’une analyse d’un corpus réduit de plusieurs dizaines de cahiers, ce qui a permis de les préciser et de les affiner, pour les mettre ensuite en œuvre sur l’ensemble des 842 cahiers. Voir en annexe notre grille d’analyse et les types d’indices que nous avons élaborés.

9 Ces six épreuves étaient les suivantes : Graffiti (items R081Q01, R081Q02, R081Q05, R081Q06A et R081Q06B), Guide de conduite (items R228Q02, R228Q03 et R228Q04), Macondo (items R061Q01, R061Q03, R061Q04 et R061Q05), Plage (R070Q07, R070Q03, R070Q04 et R070Q02), Plan international (R099Q02, R099Q04A, R099Q04B et R099Q03) et Avis d’élèves (R120Q01, R120Q03 et R120Q06). Trois de ces six épreuves étaient communes aux deux cahiers sur lesquels ont porté nos analyses quantitatives.

10 La liaison entre les compétences orthographiques et les compétences rédactionnelles est attestée dans la littérature. Deux interprétations complémentaires sont en général proposées : l’automatisation de l’orthographe libère les ressources cognitives des sujets ; elle leur permet en outre de trouver plus d’intérêt aux tâches.

11 Leur moindre fréquence est due au fait que les épreuves de PISA, élaborées à partir d’une autre conception de la littéracie que celle qui a présidé à nos analyses secondaires, n’étaient pas conçues pour mettre en évidence les modes de faire et les postures que ces indices visent à appréhender. Le fait qu’on les voie apparaître n’en est que plus révélateur de leur importance dans les processus de différenciation entre élèves.

12 Cette expression figure en toutes lettres sur le bulletin du conseil de classe du dernier trimestre de sa classe de 5e, et les bulletins des classes suivantes ne montreront aucune amélioration.

13 Dans tout ce qui suit, les citations des propos tenus oralement par les élèves figureront en caractères italiques, alors que seront citées en caractères romains et entre guillemets français leurs réponses écrites (celles-ci sont citées sans modifier leur structure syntaxique, mais en rétablissant l’orthographe, pour des raisons de lisibilité).

Top of page

References

Bibliographical reference

Élisabeth Bautier, Jacques Crinon, Patrick Rayou and Jean-Yves Rochex, “Performances en littéracie, modes de faireet univers mobilisés par les élèves : analyses secondaires de l’enquête PISA 2000”Revue française de pédagogie, 157 | 2006, 85-101.

Electronic reference

Élisabeth Bautier, Jacques Crinon, Patrick Rayou and Jean-Yves Rochex, “Performances en littéracie, modes de faireet univers mobilisés par les élèves : analyses secondaires de l’enquête PISA 2000”Revue française de pédagogie [Online], 157 | octobre-décembre 2006, Online since 01 December 2010, connection on 29 March 2024. URL: http://journals.openedition.org/rfp/441; DOI: https://doi.org/10.4000/rfp.441

Top of page

About the authors

Élisabeth Bautier

bautier@wanadoo.fr
université Paris 8
ESCOL

By this author

Jacques Crinon

jacques.crinon@creteil.iufm.fr
IUFM de Créteil
ESCOL

By this author

Patrick Rayou

rayou@noos.fr
IUFM de Créteil
ESCOL

By this author

Jean-Yves Rochex

rochexjy@wanadoo.fr
Université Paris 8
ESCOL

By this author

Top of page

Copyright

CC-BY-NC-ND-4.0

The text only may be used under licence CC BY-NC-ND 4.0. All other elements (illustrations, imported files) are “All rights reserved”, unless otherwise stated.

Top of page
Search OpenEdition Search

You will be redirected to OpenEdition Search