Navigation – Plan du site
PISA : analyses secondaires, questions et débats théoriques et méthodologiques

Études complémentaires de PISA 2003 en Allemagne : principaux résultats et enseignements

National extensions of PISA 2003 in Germany: Key results and benefits
PISA 2003 en Alemania : Principales resultados y utilidad de las pruebas nacionales suplementarias
PISA 2003 in Deutschland: Zentrale Befunde und der Nutzen nationaler Erweiterungen
Manfred Prenzel et Karin Zimmer
p. 55-70

Résumés

L’étude PISA 2003 a été menée en Allemagne enrichie de nombreux compléments nationaux. Afin de pouvoir procéder à des comparaisons entre les seize Länder, la taille de l’échantillon a été sensiblement augmentée. On a également intégré un échantillon supplémentaire d’élèves issus de l’immigration. Lors d’une deuxième journée d’épreuves, les élèves ont été soumis à des tests supplémentaires en mathématiques et en sciences. Les équipes de direction, mais aussi les enseignants ont été interrogés dans chaque établissement sur leurs charges de travail ainsi que sur leur participation à l’amélioration de la qualité de l’enseignement. On a enfin testé un an plus tard, en mathématiques et en sciences, les élèves ou les classes qui ont participé à PISA 2003, afin de mesurer leurs progrès dans l’apprentissage. Nous montrons dans notre article, d’après les résultats de notre enquête, le profit qu’on peut tirer d’un élargissement de l’étude PISA.

Haut de page

Notes de la rédaction

Traduit de l’allemand par Roland Boichon avec la collaboration de la rédaction

Texte intégral

Introduction

1Depuis 2000, le « Programme international pour le suivi des acquis des élèves » (PISA ; Programme for International Student Assessment) teste tous les trois ans les compétences de base des élèves âgés de quinze ans dans les domaines suivants : mathématiques, sciences et lecture. Ces compétences de base sont conçues comme des conditions pour l’intégration culturelle ainsi que pour la formation continue à l’école, au travail et dans la vie quotidienne.

2Cette étude est coordonnée par l’Organisation pour la coopération et le développement économique (OCDE). Elle offre de nombreuses possibilités d’effectuer des études complémentaires plus poussées et étendues au niveau national. Nous présenterons dans cet article comment ces possibilités ont été exploitées en Allemagne pour PISA 2003. Cependant, nous présenterons tout d’abord le cadre international de PISA 2003 pour ensuite présenter les extensions auxquelles a procédé l’Allemagne. Nous rendrons compte en particulier de constatations sur la conformité aux programmes des exercices et des résultats de PISA à partir d’une comparaison entre les Länder.

Le cadre international de PISA 2003

3Les évaluations PISA se fondent sur des conceptions-cadres au sein desquelles les concepts analysés sont fondés et structurés (OCDE, 1999 & 2003). Nous présenterons tout d’abord brièvement les définitions des compétences analysées lors de PISA 2003. Par compétence mathématique, on désigne dans ce cadre « l’aptitude d’un individu à identifier et à comprendre le rôle joué par les mathématiques dans le monde, à porter des jugements fondés à leur propos, et à s’engager dans des activités mathématiques, en fonction des exigences de sa vie en tant que citoyen constructif, impliqué et réfléchi » (OCDE, 2004a, p. 39). La compétence de lecture est définie comme la capacité à « comprendre et à utiliser des textes écrits et à réfléchir sur leur sens pour atteindre des objectifs personnels, développer ses propres connaissances et son potentiel et participer à la vie sociale » (OCDE, 2003, p. 108). La compétence scientifique désigne « la capacité à d’utiliser des connaissances scientifiques pour identifier les questions auxquelles la science peut apporter une réponse et pour tirer des conclusions fondées sur des faits, en vue de comprendre le monde naturel ainsi que les changements qui y sont apportés par l’activité humaine, et de contribuer à prendre des décisions à leur propos » (OCDE, 2004a, p. 308).

4Ces trois domaines de compétence sont analysés lors de tous les cycles PISA avec toutefois un changement du domaine majeur d’évaluation. Pour PISA 2003, ce sont les mathématiques qui se trouvent au centre des recherches et auxquels est consacrée la majeure partie du temps de test. Outre ces trois compétences relativement proches du domaine scolaire, on a, lors de PISA 2003, analysé la résolution de problèmes en tant que compétence transversale. La compétence de résolution de problèmes est définie comme la capacité « à utiliser des procédés cognitifs pour se confronter à des problèmes transversaux réels et les résoudre, alors que la voie de résolution n’apparaît pas immédiatement et que les domaines de connaissance à utiliser pour leur résolution ne proviennent pas du seul domaine des mathématiques, des sciences ou de la lecture. » (OCDE, 2003, p. 156)

5On reconnaît aux compétences régulièrement évaluées par PISA une importance clé pour ce qui concerne les chances de réussite individuelles dans l’apprentissage et dans la vie. Elles apparaissent en outre comme le fondement du développement politique et économique des sociétés.

6PISA évaluant les compétences d’adolescents, les tests sont conçus de manière à ce que les pré-requis pour l’apprentissage ultérieur soient à la fois d’ordre scolaire et extra-scolaire. PISA souligne qu’il est capital de pouvoir comprendre et utiliser les savoirs de manière flexible et adaptée à la situation. Les tâches proposées doivent correspondre, indépendamment des programmes scolaires, à des exigences variées que des adolescents peuvent rencontrer, qu’elles soient liées au quotidien, à la formation, ou à la profession. Ce ne sont donc pas les performances scolaires qui se trouvent au centre de ce test international ; il s’agit plutôt de définir quels sont les potentiels pour l’apprentissage tout au long de la vie dont disposent les élèves à la fin de leur scolarité obligatoire (cf. OCDE, 1999 & 2003).

7Les évaluations fournissent des résultats représentatifs de la « population-cible » des élèves de quinze ans dans les pays participants. Pour cette comparaison internationale (en 2003), on a par exemple choisi et testé au hasard environ 4 500 élèves en France et en Allemagne. Afin d’utiliser PISA pour examiner des questions plus pointues, chaque pays a la possibilité d’élargir l’échantillon de manière à pouvoir entreprendre des comparaisons complémentaires. Mais il est également possible de mettre en œuvre d’autres instruments d’évaluation qui pourront par exemple traiter la seconde journée de tests nationaux soumis aux élèves. En Allemagne, nous avons utilisé sans réserves ces deux possibilités comme nous le montrerons ci-dessous (cf. Prenzel et al., 2004 & 2005).

Enrichissements nationaux de PISA 2003 pour l’Allemagne

8Les évaluations complémentaires en Allemagne impulsées par la Conférence permanente des ministres de l’Éducation des Länder étaient liées à trois objectifs.

91. PISA est envisagée par l’OCDE comme une comparaison internationale, qui permet de classer et d’évaluer internationalement un système scolaire national dans le cadre d’une analyse comparative (benchmarking). Il faut cependant prendre en considération le fait que cette orientation internationale peut faire fi de particularités nationales et de traditions pédagogiques – et par là même éventuellement de structures et de procédés importants – pour chaque pays. C’est pourquoi, dans le cadre des évaluations complémentaires, on a évalué dans quelle mesure les compétences testées par PISA s’accordent avec les conceptions de l’éducation et avec les programmes d’enseignement allemands. Une telle vérification a été également jugée utile pour renforcer la recevabilité des résultats par le corps enseignant et les décideurs du système scolaire.

102. L’étude PISA permet de tirer des conclusions sur la population des élèves de quinze ans. Les qualités exceptionnelles de cet échantillon ont été utilisées pour récolter au moyen de tests et de questionnaires complémentaires – spécifiquement développés pour l’Allemagne –, des informations plus différenciées sur les élèves eux-mêmes et sur la structure des compétences évaluées. Le développement de ces outils visait aussi à approfondir les connaissances scientifiques sur l’enseignement et sur l’école et enfin, à pouvoir mieux expliquer les résultats du test international.

113. Le système scolaire allemand est organisé de manière fédérale [et décentralisée] puisque la responsabilité des établissements scolaires est du ressort des Länder. Ceux-ci proposent donc des systèmes scolaires différents [unterschiedliche Konstellationen von Schularten] et ont mis en place leurs propres programmes, leurs propres systèmes de formation continue ainsi que leur propre évaluation [Qualitätssicherungssysteme]. Les enseignements tirés de PISA gagnent ainsi en signification pour chacun des différents Länder, qui en attendent des indications sur leurs problèmes spécifiques et leurs besoins concrets. On ne peut cependant pas, sur la base de l’échantillon international, tirer des conclusions quant aux résultats de chaque Land. C’est pourquoi l’échantillon international a été considérablement élargi en Allemagne afin de pouvoir également situer les seize Länder aux niveaux national et international.

Conception des évaluations nationales complémentaires

12En Allemagne, les élargissements ont porté sur la taille et la composition de l’échantillon, les procédures de test et les instruments d’évaluation, ainsi que sur les périodes d’évaluation.

Élargissement de l’échantillon

13Afin de pouvoir mener des comparaisons complémentaires au niveau des Länder, la taille de l’échantillon a été considérablement élargie (cf. ci-après le tableau I). On a également augmenté la proportion des élèves issus de l’immigration, afin de pouvoir en tirer des conclusions fiables sur les sous-groupes de pays et de périodes d’immigration différents. Dans un petit échantillon d’écoles – celles qui avaient été choisies pour la comparaison internationale – on a complété l’échantillon des élèves de quinze ans choisis au niveau international, afin de pouvoir évaluer dans ces établissements deux classes complètes de 9e. Cet élargissement est une étape nécessaire si l’on veut examiner l’impact de l’enseignement sur le développement des compétences. Pour l’échantillon international, les élèves de quinze ans sont en effet choisis au hasard et proviennent de ce fait de classes différentes (Carstensen et al., 2005 ; Prenzel, Drechsel & Carstensen, 2005).

Instruments d’évaluation supplémentaires

14Dans un petit échantillon d’écoles choisies parmi l’échantillon international, les élèves ont subi une deuxième journée de tests nationaux en mathématiques, en sciences, en lecture et en maniement de l’ordinateur. Ils ont également rempli un questionnaire complémentaire, sur leur position, leur ressenti et leur motivation par rapport aux mathématiques, de même que des questions sur leurs activités extra-scolaires ainsi que leur perception du foyer familial et de l’enseignement des mathématiques. Ces tests et questionnaires avaient été spécialement élaborés par le consortium « PISA-Deutschland ». Les parents des élèves participant à ces tests complémentaires ont également reçu un questionnaire portant essentiellement sur l’existence de ressources ou de soutiens liés aux mathématiques et sur leur perception de l’enseignement des mathématiques et de l’école. Enfin, les enseignants de ces écoles ont été interrogés sur leur perception de l’école et de l’équipe de direction, sur leurs charges de travail ainsi que sur leur participation au développement de l’école et leurs coopérations professionnelles. Enfin, toutes les écoles qui ont participé à l’étude PISA ont par ailleurs reçu un questionnaire complémentaire destiné aux équipes de direction dans le but de récolter des renseignements circonstanciés sur l’établissement, des informations sur l’évolution de l’École et de sa « Qualité ». On a également développé, pour un petit groupe d’écoles, un test assisté par ordinateur lors d’une troisième journée de tests, en soumettant aux élèves des problèmes complexes et dynamiques. Il a en particulier servi à évaluer des stratégies visant à résoudre des problèmes exigeant un apprentissage auto-régulé et piloté par feed-back dans une situation en constante évolution (Leutner et al., 2004). Tous les processus d’évaluation utilisés au niveau national ont été rassemblés dans une documentation contenant les valeurs statistiques principales, laquelle a fait l’objet d’une publication (Ramm, 2006).

Périodes de test complémentaires

15Les élèves des écoles faisant partie du groupe choisi pour la comparaison internationale n’ont pas seulement été soumis à une deuxième journée de tests en 2003. Les élèves de cet échantillon, représentant pour chaque établissement deux classes complètes de 9e, ont à nouveau été testés un an après (et donc en dixième classe), le domaine d’évaluation portant là encore sur les mathématiques. Ceci devait fournir des renseignements sur le développement des compétences des individus ou des classes au cours d’une année scolaire (Prenzel et al., 2006).

Conception de l’évaluation générale

16Avec tous ces éléments, l’étude PISA-2003 en Allemagne comprend en tout trois sous-études représentées dans l’illustration 1.

Illustration 1. – Ensemble total et échantillons de PISA-I (comparaison internationale), PISA-E (comparaison des Länder), du « sur-échantillonnage » (oversampling) des élèves issus de l’immigration ainsi que l’évaluation complémentaire (PISA I-Plus)

Illustration 1. – Ensemble total et échantillons de PISA-I (comparaison internationale), PISA-E (comparaison des Länder), du « sur-échantillonnage » (oversampling) des élèves issus de l’immigration ainsi que l’évaluation complémentaire (PISA I-Plus)

17La première sous-étude se rapporte à la comparaison internationale d’après les règles standard ; elle est désignée « PISA-I » (« PISA-International »). La seconde a enrichi la comparaison internationale d’une comparaison entre les Länder. Dans ce but, l’échantillon a été considérablement élargi et complété par un sur-échantillonnage (oversampling) d’élèves issus de l’immigration. Les élèves concernés, âgés de quinze ans ont subi lors d’une première journée d’épreuves les tests internationaux. Cette étude partielle est appelée PISA-E (« Étude élargie »). Le but était d’aboutir à des conclusions au niveau des différents Länder et à des conclusions sur des adolescents d’origines socio-culturelles différentes. La troisième sous-étude s’est concentrée sur les classes complètes de 9e (parmi les écoles de l’échantillon international). Les élèves ont été soumis lors d’une deuxième journée d’épreuves, à des tests de compétence nationaux complémentaires. De plus, les parents des élèves testés ainsi que leurs enseignants de mathématiques ont également été interrogés.

18Cette étude livre des informations systématiques sur les influences du foyer familial, des classes, ainsi que sur l’équipe des enseignants de mathématiques et de l’école : équipe enseignante, équipe de direction. Les mêmes élèves (ou classes) ont à nouveau été testés en 2004, afin de mesurer l’évolution de leurs compétences au cours d’une année scolaire. Dans cette étude (PISA-I Plus), on a pu évaluer les influences des individus, des foyers familiaux, des classes, des équipes enseignantes et de l’école sur le développement des compétences de la 9e à la 10e classe.

Résultats

19De cet ensemble de résultats obtenus grâce à ces tests élargis, nous déduisons quelques remarques montrant que ces études complémentaires menées dans le cadre de PISA sont bénéfiques – on trouvera une présentation détaillée et exhaustive de nos conclusions dans les rapports nationaux sur PISA (Prenzel et al., 2004, 2005 & 2006). Nous présenterons tout d’abord l’élaboration des épreuves en mathématiques et en sciences auxquelles les jeunes ont été soumis lors de la deuxième journée de tests. Nous décrirons ensuite de quelle manière la conformité aux programmes d’enseignement des épreuves nationales et internationales a été évaluée par des experts. Nous confronterons enfin les tests nationaux et internationaux les uns aux autres et présenterons les différences de compétences mesurées entre les différents Länder.

20L’élaboration des tests nationaux en mathématiques et en sciences poursuivait deux objectifs. Premièrement, l’évaluation internationale devait être complétée par des tests qui traitent plus spécifiquement des particularités de l’enseignement des mathématiques ou des sciences en Allemagne. De ce fait, les tâches devaient être plus étroitement établies en fonction des programmes d’enseignement allemands et donc mieux correspondre aux notions mathématiques ou aux thèmes scientifiques abordés en cours. Deuxièmement, on a théoriquement tenté de définir de manière plus raffinée les sous-compétences cognitives sous-jacentes aux différents domaines. On voulait ainsi pouvoir mieux expliquer les forces et les faiblesses dans les différents domaines de compétence et en tirer des conséquences didactiques.

21Au plan international, PISA a décidé de ne pas concevoir les tests en fonction des programmes, mais en fonction du concept général de Literacy – comprise comme une formation de base pour tous en vue de l’intégration sociale et culturelle. Étant donné les différentes « traditions curriculaires » des pays participants, il s’agit ici d’une décision judicieuse pour des comparaisons internationales justes. Cependant, le classement international du niveau de compétence atteint dans un État implique immanquablement une évaluation des systèmes de formation nationaux. Il est pour cette raison important de savoir dans quelle mesure les compétences testées par PISA dans un pays correspondent à des objectifs précis et font l’objet d’entraînements spécifiques en salle de classe. C’est par exemple le cas lorsque les exigences des épreuves correspondent aussi à celles des programmes et y sont, pour ainsi dire, « curriculairement conformes ». Afin d’évaluer cette conformité aux épreuves internationales et aux épreuves complémentaires nationales, on a fait appel à des experts, spécialistes en didactique des différentes matières (trois didacticiens des mathématiques et neuf des sciences). Pour chaque tâche, ils ont jugé : 1) à quel niveau de classe est enseigné le thème apparaissant pour chaque tâche selon les programmes (des pays et des différents types d’écoles) ; 2) quel est le degré de familiarité des élèves avec la formulation des tâches (sur une échelle de 1 à 4) ; 3) quelle valeur devait avoir la stimulation de la compétence nécessaire à la réalisation de la tâche à l’école (sur une échelle de 1 à 4).

Le test national en mathématiques

Caractérisation des énoncés

22Le test international de PISA 2003 évalue quatre domaines en mathématiques, désignés par le terme d’idées mathématiques transversales : Quantité ; Variations et relations ; Espace et formes ; Incertitudes. Le test international s’appuie sur un concept large de formation de base au sens d’une mathematical literacy, qui doit permettre l’intégration culturelle (OCDE, 2003). En revanche, le test supplémentaire développé en Allemagne et comprenant 124 tâches, s’appuie quant à lui plus largement sur les programmes des Länder et prend en compte trois types d’exigences qui jouent un grand rôle dans l’enseignement des mathématiques en Allemagne (Blum et al., 2004). Dans les tâches techniques, on propose une amorce de solution, à traiter au moyen de procédés calculatoires connus. Dans les tâches de modélisation calculatoires (« tâche de textes »), on doit d’abord élaborer un schéma de solution puis le traduire par le calcul. Enfin, les tâches de modélisation conceptuelle et de résolution de problèmes requièrent un savoir conceptuel sur les rapports entre objets ou éléments de savoir. Les tâches du test national en mathématiques correspondent systématiquement aux domaines traités à l’école : arithmétique, algèbre, géométrie et stochastique.

La conformité curriculaire des tests nationaux et internationaux en mathématiques

23En Allemagne, la plupart des élèves de quinze ans fréquente la 9e classe. Si l’on considère la part des tâches en mathématiques traitée jusqu’à la 9e classe (tableau I), on observe que la majeure partie des épreuves des tests nationaux et internationaux sont considérés comme conformes aux programmes (Blum et al., 2004). Les tâches nationales sont un peu plus congruentes avec les exigences des programmes d’enseignement allemands : au total, 89,5 % des tâches nationales et 83,2 % des tâches internationales ont été jugées conformes aux programmes. On remarque tout de suite que la conformité aux programmes des tâches destinées à la Hauptschule est sensiblement plus faible que pour les autres types d’école. Une raison possible en est que l’appropriation des concepts fondamentaux, par exemple du concept de variable, n’y joue qu’un rôle secondaire.

Tableau I. – Proportion des tâches PISA correspondantes au programme de mathématiques

Type d’école

Thèmes abordés jusqu’à la 9e classe (en %)

Épreuves nationales

Épreuves internationales

Hauptschule

78,6

72,3

Integrierte Gesamtschule

91,4

83,9

Realschule

90,2

81,4

Gymnasium

93,1

87,4

Total

89,5

83,2

24En outre, on constate, selon les estimations des experts, que les épreuves nationales sont plus familières aux élèves que les épreuves internationales. La différence correspond environ à un demi-niveau sur une échelle de quatre. Dans la mesure où test national et test international sont conformes aux programmes, cette différence ne peut s’expliquer par des écarts de contenu ou de matière enseignée. C’est donc la présentation des consignes qui semble jouer un rôle puisque dans les énoncés des tests internationaux, on s’appuie principalement sur des situations basées sur les problèmes ou la réalité. Les compétences nécessaires à la résolution des tâches mathématiques sont considérées, par les experts, comme particulièrement importantes. Cependant, pour les tâches internationales, on remarque dans tous les domaines étudiés concernant les mathématiques, un grand écart entre l’importance et la familiarité supposées avec la manière de poser les épreuves. Dans le test national, on retrouve le même type de résultats, surtout en ce qui concerne les épreuves de géométrie et de stochastique. Ces tâches sont jugées comme très importantes, selon les experts, quoiqu’elles soient encore trop peu familières aux élèves de quinze ans. Ces analyses renvoient aux traditions particulières de l’enseignement des mathématiques en Allemagne, qui pourraient donner lieu à des redéfinitions didactiques.

25Au total, il faut, selon les estimations des experts, souligner que les exigences des tests internationaux et nationaux en mathématiques sont, pour une très grande part, cohérentes avec les exigences des programmes d’enseignement allemands ; eu égard à ceux-ci, le test international apparaît donc équilibré et juste.

Rapports entre les tests nationaux et internationaux en mathématiques

26Les items nationaux ont été conjointement échelonnés avec les items utilisés au niveau international pour mesurer la compétence mathématique. Le test national complémentaire s’est montré un peu plus difficile que le test national (variation de 0,33 logits).

27Le rapport entre le test national et le test international, situé aux alentours de r = 0,92, prouve de manière empirique les grandes similitudes des deux instruments d’évaluation au niveau de leur conception. Les corrélations entre les domaines définis au niveau national et les Idées transversales correspondantes du test international de compétence mathématique se situe entre 0,84 (Géométrie et Espace et formes) et 0,89 (Stochastique et Incertitudes). En Allemagne, les tests internationaux se révèlent donc très significatifs et tout à fait adaptés pour traiter de problèmes pertinents au niveau national.

28S’esquissent ainsi, de manière cohérente dans les résultats des test nationaux et internationaux, les forces relatives des élèves allemands dans les sous-domaines de l’arithmétique et de l’algèbre, ainsi que leurs faiblesses spécifiques pour la stochastique. Comme on pouvait s’y attendre, on retrouve des différences significatives de compétences entre les différents types d’école dans tous les types d’activités mathématiques – on trouvera une présentation détaillée des autres résultats dans Blum et al. (2004).

Le test national en sciences

29Lors de la première évaluation PISA (2000), on a proposé aux élèves allemands un test en sciences qui, à côté de tests internationaux plus orientés vers le principe de la formation de base (literacy), prenait davantage en compte les programmes nationaux (cf. Prenzel et al., 2001). Les deux tests se trouvaient dans une corrélation de l’ordre de r = 0,84 et attestent une correspondance entre le test international et le test national plus orienté vers les programmes des matières scientifiques. Puisqu’en 2006, les sciences seront pour la première fois le domaine majeur d’évaluation d’une étude PISA, on n’a intégré, lors des sessions PISA de 2000 et 2003, qu’un ensemble relativement restreint de tâches relevant de ce domaine. À partir de résultats des évaluations nationales de PISA 2000, on a développé, en 2003, un autre test national en sciences, théoriquement censé illustrer ces différentes facettes.

Caractérisation des énoncés

30L’élargissement du test au niveau national visait à intégrer systématiquement différentes facettes de la formation scientifique de base dans l’élaboration des tâches et dans l’analyse des données (Roos et al., 2004). Sept compétences partielles ont été examinées dans un test qui en comprenait au total soixante-trois :

  1. travail avec des graphiques : traitement d’informations représentées sous forme d’images et transformation dans d’autres modes de représentation ;

  2. modèles mentaux : utilisation de représentations de géométrie spatiale pour faire des prévisions ou expliquer des phénomènes ;

  3. pensée convergente : déduction de la solution juste à partir d’une loi scientifique ;

  4. pensée divergente : flux créatif d’idées et richesse d’intuition lors du traitement de problèmes scientifiques ;

  5. verbalisation de contenus : donner des réponses verbales correctes, puisque la verbalisation active est indispensable pour l’appropriation et la communication de savoir ;

  6. travail avec les chiffres : traitement d’informations dans le mode de représentation numérique conçu comme exigence scientifique cognitive centrale ;

  7. évaluation : justification d’une décision ou d’une évaluation prévue.

31En Allemagne, les sciences sont enseignées dans trois disciplines principales : biologie, physique, chimie. De ce fait, les énoncés ont été reliés à ces trois matières. Pour atteindre une représentation complète de toutes les facettes, chaque sous-compétence apparaît dans les énoncés nationaux avec la même fréquence dans les trois matières.

Conformité curriculaire des tests nationaux et internationaux en sciences

32Comme pour les tests de mathématiques, la grande majorité des tâches des tests de compétence scientifique est conforme aux programmes : au total, 76 % des épreuves nationales et 72 % des épreuves internationales ont été considérées comme conformes aux programmes (Tableau II ; cf. Ross et al., 2004). Comme dans le domaine de la compétence mathématique, la conformité de ces tâches pour les Hauptschule est légèrement inférieure que par rapport aux autres types d’école.

Tableau II. – Proportion des tâches PISA correspondantes au programme de sciences naturelles

Type d’école

Test international

Test national

PISA 2003

PISA 2003

Hauptschule

62

68

Integrierte Gesamtschule

73

74

Realschule

74

77

Gymnasium

75

81

Total

72

76

33Le tableau III montre dans quelle mesure les experts en didactique des sciences jugent les exigences des compétences cognitives partielles en accord avec les exigences des programmes.

Tableau III. – Évaluation des épreuves nationales en sciences par rapport aux trois aspects de la conformité aux programmes d’enseignement

Traité jusqu’à la 9e classe (en %)

Familiarité

Importance pour le développement des compétences

Évaluation

60

2,35

3,20

Pensée divergente

81

3,17

3,38

Compréhension de graphiques

74

2,50

3,02

Pensée convergente

77

2,59

3,11

Modèles mentaux

79

2,60

3,15

Verbalisation de contenus

84

3,05

3,31

Rapport aux chiffres

79

2,57

2,66

Les chiffres des colonnes 3 et 4 représentent une moyenne des jugements d’experts sur une échelle de 1 à 4, par ex. : 4 « très grande familiarité », 1 : « aucune familiarité »

34Toutes les compétences partielles sont estimées relativement importantes pour le développement des compétences [générales]. Trois compétences partielles sont estimées comme les plus importantes : évaluation, pensée divergente et verbalisation de contenus, ces deux dernières étant par ailleurs jugées être les plus familières aux élèves. Ainsi demande-t-on aux adolescents allemands de fournir des idées et de verbaliser des contenus tout au long de leur scolarité. Ceci pourrait être une conséquence de la forme prédominante de l’enseignement des sciences en Allemagne dont la progression est basée sur le questionnement. (Seidel & Prenzel, 2004 & 2006).

35Si l’on considère en revanche la compétence d’évaluation, il apparaît clairement que la proximité avec les programmes tout comme la familiarité des élèves avec cette compétence partielle sont jugées plus faibles que pour les autres compétences partielles. Cet écart indique que les processus d’évaluation ont une importance très faible dans les programmes d’enseignement nationaux.

36Que ce soit pour le test de compétence mathématique ou pour le test de compétence scientifique, la part des épreuves dont le contenu a été traité à l’école se situe au-dessus de 70 %. Les tests sont donc composés pour leur plus grande part d’épreuves qui possèdent des similarités suffisantes avec les programmes d’enseignement pour en tirer des conclusions au niveau didactique. En outre, les experts interrogés reconnaissent ces tâches comme importantes pour le développement des compétences. En résumé, les enseignements tirés des tests nationaux comme internationaux peuvent-ils être considérés comme conformes aux programmes d’enseignement et par suite, congruents au système scolaire allemand.

Rapports entre les tests nationaux et internationaux en sciences

37Au niveau des résultats, les tests nationaux portant sur les compétences partielles, travail avec des graphiques, pensée convergente, modèles mentaux et travail avec des chiffres, se sont avérés relativement difficiles pour les élèves. Évaluation, pensée divergente et verbalisation de contenus ont été en revanche beaucoup plus faciles. Dans ces exigences cognitives plus faciles, le mode de représentation verbal joue un rôle central alors que dans les exigences cognitives plus ardues dominent au contraire des modes de représentation numériques, métaphoriques ou plutôt abstraits. Ces compétences partielles sont corrélées : des élèves ayant des points forts dans le domaine de la pensée convergente s’en sortent également bien avec des formules et des informations représentées graphiquement.

38Il est intéressant de constater qu’on n’a pas pu trouver d’indications concernant des compétences partielles spécifiques à une matière scolaire. Qu’une épreuve scientifique soit résolue dépend donc avant tout du type d’exigence cognitive et non du domaine disciplinaire dont est issu son contenu.

39Pareillement, le « test de facette » développé de manière systématique au niveau national est en corrélation avec le test international de PISA 2003. Les corrélations entre le test international et la compétence cognitive partielle se situent dans une fourchette comprise entre r = 0,63 (modèles mentaux) et r = 0,81 (rapport aux chiffres). Le test complémentaire national aide en particulier à mieux comprendre les résultats du test international et à identifier les forces et les faiblesses relatives des élèves en Allemagne – une présentation détaillée des autres résultats peut être consultée dans Rost et al. (2004).

Compétence mathématique dans la comparaison nationale et internationale

40Comme, par exemple, l’Australie, le Canada et la Suisse, l’Allemagne a fait usage d’une option proposée par PISA en augmentant l’échantillon nécessaire d’élèves de quinze ans pour le niveau international, afin de pouvoir caractériser le niveau de compétence des jeunes, y compris dans des unités régionales de petite taille (OCDE, 2004a). On a, dans ce but, comparé les Länder entre eux au niveau national (Prenzel et al., 2005). Afin de pouvoir tirer des conclusions pour chaque Land et pour les types d’écoles qui y sont le plus fortement représentés, on a dû tester pour PISA 2003 dans les seize Länder environ 45 000 élèves, soit environ dix fois plus que pour la comparaison internationale.

Types d’écoles et taux de participation dans les Länder allemands

41Le système éducatif des Länder allemands est basé sur une structure de base commune (Conférence permanente des ministres de l’enseignement des Länder, 2005). Il existe toutefois, en particulier dans les niveaux correspondant en France au collège (Sekundarstufe I) et au lycée (Sekundarstufe II) d’où étaient issus les élèves constituant l’échantillon, toute une série de spécificités propres à chaque Land.

42Au niveau de l’enseignement secondaire les élèves sont repartis sur trois filières de niveau différent proposées en principe dans trois types d’établissements différents: le collège de base (Hauptschule) qui mène à un certificat d’études de base; le collège moyen (Realschule) qui mène à un certificat moyen; le collège-lycée (Gymnasium) mène au certificat donnant accès à l’université (Abitur, équivalent fonctionnel du baccalauréat français). Un quatrième type d’établissement (Gesamtschule) correspond au collège unique. Dans quelques Länder, il existe aussi des établissements regroupant plusieurs filières sous un même toit sans toutefois les mélanger, lesquels possèdent des dénominations variables selon chaque Land. Sauf pour les Gymnasium, la part des élèves de quinze ans dans les différentes écoles varie de façon parfois considérable entre les différents Länder. Le tableau IV montre la répartition des élèves sur les différents types d’établissements par Länder (Prenzel et al., 2005).

43Comme on peut le voir dans le tableau, l’affirmation selon laquelle le système scolaire allemand serait divisé en trois grandes filières [Hauptschule, Realschule et Gymnasium] n’est pas du tout valable pour tous les Länder. Il existe de nombreuses variantes comprenant de deux à cinq types d’école différents, chacune étant fréquentée par au moins 5 % des élèves de quinze ans. Le tableau montre également, que le Gymnasium traditionnel, représenté dans tous les Länder, est fréquenté par un pourcentage différent d’élèves d’une même classe d’âge. Ainsi le pourcentage des élèves de quinze ans varie dans les Gymnasium de 25,2 % (Schleswig-Holstein) à 34,5 % (Berlin). Dans les Hauptschule, présentes dans onze des seize Länder, le pourcentage varie de 0,4 % (Mecklembourg-Poméranie occidentale) à 32,2 % (Bavière). Cette rapide caractérisation illustre les spécificités propres à chaque Land et justifie le fait de considérer chacun comme un objet unique. Nous allons, dans la section suivante, présenter les résultats des Länder en comparaison avec les autres pays à partir de l’exemple de la compétence mathématique.

Tableau IV. – Répartition des élèves de quinze ans selon le type d’école et les Länder (en %)

Hauptschule

École comportant plusieurs cursus

Integrierte Gesamtschule

Realschule

Gymnasium

Berufsschule

Sonder-

/Förderschule

Bade-Württemberg

27,9

 2,0

30,3

27,8

 9,0

3,0

Bavière

32,2

 0,6

27,2

26,3

11,0

2,6

Berlin

11,2

28,5

21,6

34,5

 1,0

3,2

Brandenbourg

50,1

15,7

30,8

3,4

Brême

21,7

16,5

26,7

30,6

 1,1

3,4

Hambourg

10,6

 5,1

26,5

14,9

33,4

 5,9

3,6

Hesse

15,6

17,1

27,0

31,7

 5,2

3,3

Mecklembourg-Poméranie occidentale

 0,4

53,2

 4,0

 9,6

25,8

 1,7

5,4

Basse-Saxe

28,3

 0,4

 4,1

33,5

26,6

 3,6

3,5

Rhénanie du Nord-Westphalie

26,6

16,2

24,7

28,8

3,7

Rhénanie-Palatinat

22,9

12,8

 4,7

22,2

25,8

 8,5

2,9

Sarre

45,7

13,5

 1,6

25,7

10,8

2,7

Saxe

61,3

32,0

 2,6

4,0

Saxe-Anhalt

60,9

 1,1

30,6

 2,3

5,2

Schleswig-Holstein

29,3

 7,3

31,4

25,2

 3,4

3,5

Thuringe

57,6

 1,4

30,5

 5,6

4,9

Classement international des Länder

44Le tableau V montre les valeurs moyennes et les variations standard de performances pour le test international en mathématiques, que les états membres de l’OCDE ont atteints lors de PISA 2003. Ainsi la valeur moyenne de la France (511 points) se situe-t-elle sensiblement au-dessus de la moyenne de l’OCDE (500 points) alors que la valeur moyenne pour l’Allemagne (502 points) ne se différencie pas significativement de la moyenne OCDE. Dans ce classement figurent les scores obtenus par les Länder (Neubrand et al., 2005). Dans quatre Länder (Bavière, Bade-Württemberg, Saxe et Thuringe) les valeurs moyennes se situent sensiblement au-dessus de la moyenne OCDE. Dans quatre autres en revanche, les villes-États de Berlin, Hambourg et Brême ainsi que la Rhénanie du Nord-Westphalie, les résultats sont sensiblement en deçà. Il faut remarquer la différence de valeur moyenne entre le plus performant (la Bavière) et le plus faible (Brême) : elle correspond à 62 points de compétence et donc à un écart de performance de plus d’une année scolaire.

Tableau V. – Valeurs moyennes, dispersions et valeurs en pourcentage pour la compétence en mathématique (échelle internationale) : les Länder face à la comparaison internationale

Tableau V. – Valeurs moyennes, dispersions et valeurs en pourcentage pour la compétence en mathématique (échelle internationale) : les Länder face à la comparaison internationale

45On retrouve ces différences importantes de compétence entre les Länder, si on analyse les performances des Gymnasium : alors que pour ceux de Bavière, on obtient des valeurs moyennes de 613 points, elles ne s’élèvent qu’à 562 points pour ceux de Brême. Si l’on compare un même type d’école qui rassemble dans chaque Land les meilleurs élèves et qui, par-delà les Länder, est assez similaire pour ce qui concerne l’orientation programmatique, les performances moyennes accusent également une différence de plus de 50 points. Ces différences substantielles demeurent également, si l’on contrôle les différences de répartition dans les Gymnasium des différents Länder (Neubrand et al., 2005). La dispersion des compétences dans les États et les Länder est également intéressante. Il apparaît que, dans la comparaison internationale, de très bonnes moyennes peuvent être atteintes même si la dispersion des performances est relativement faible. Pour l’Allemagne en général, comme pour beaucoup de Länder, on observe des dispersions de compétences assez élevées, c’est-à-dire situées au-dessus de la moyenne OCDE. Elles sont particulièrement marquées dans les trois villes-États (Berlin, Brême et Hambourg), en Hesse et dans le Schleswig-Holstein. D’autres analyses des résultats des Länder selon le type d’école (Prenzel, Zimmer et al., 2005) montrent par exemple que dans certains Länder, les élèves de Realschule atteignent le même niveau que les élèves de Gymnasium d’autres Länder. La proportion d’élèves se situant à des niveaux de compétence particulièrement bas ou, au contraire, particulièrement élevés, est riche d’enseignements pour l’évaluation des systèmes éducatifs. On retrouve également des différences conséquentes entre les Länder, lorsqu’on observe la proportion des élèves particulièrement faibles.

46Les résultats des autres domaines de compétence sont identiques à ceux obtenus en mathématiques. Au final, lorsqu’on compare les Länder, on remarque que les situations problématiques en Allemagne sont très différentes d’un Land à l’autre : alors que certains Länder obtiennent des moyennes qui se rapprochent de celles du groupe de tête, d’autres restent nettement en dessous de la moyenne OCDE. On peut également observer à partir de ces comparaisons, dans quel domaine se situent les performances des différents types d’école. Les résultats mettent ainsi l’accent sur des défis variés concernant le développement futur de l’enseignement et de l’école en Allemagne.

Comparaison avec la compétence de résolution de problèmes

47Un résultat de la comparaison internationale de PISA 2003 qui a plus particulièrement suscité de l’intérêt en Allemagne concerne les relations entre la compétence mathématique et la compétence à résoudre des problèmes transversaux. Les tâches proposées lors du test PISA de résolution de problèmes supposent notamment une pensée analytique et représentent des exigences qui jouent également un rôle important pour les tâches mathématiques. Si l’on considère les tâches du test de résolution de problèmes, une série d’entre elles apparaissent en effet comme des tâches mathématiques « bien déguisées » (OCDE, 2004b). Les données empiriques montrent également que ces deux domaines de compétence proposent des exigences cognitives très proches. La corrélation latente entre la compétence de résolution de problèmes et la compétence mathématique atteint (au niveau individuel) r = 0,89 et se trouve par là même aussi élevée que la corrélation des sous-échelles mathématiques entre elles (OCDE, 2004b).

48Du fait que les valeurs de compétence en mathématique et en résolution de problèmes ont au plan international les mêmes normes – la même valeur moyenne (500) et la même variation standard (100) –, on peut s’attendre à ce que les compétences dans ces deux domaines soient également situées au même niveau. Les résultats de certains États déjouent cependant de cette attente : alors que la compétence moyenne de résolution de problèmes en Allemagne se situe au-dessus de la moyenne OCDE (autour de 513 points), on obtient seulement des valeurs médiocres pour la compétence mathématique (503 points), qui se situe dans la moyenne OCDE (Leutner et al., 2004). La différence des moyennes est en Allemagne, avec ses dix points, remarquablement élevée par rapport à d’autres États : il n’y a que le Japon (treize points) et la Hongrie (onze points) qui présentent des écarts aussi élevés. La France obtient également de meilleurs résultats en résolution de problèmes (519 points) qu’en mathématiques (511 points). À l’inverse, les élèves des Pays-Bas par exemple obtiennent 520 points en résolution de problèmes mais 538 points en mathématiques.

49Compte tenu des résultats allemands, on peut supposer que l’écart entre les performances en résolution de problèmes et en mathématiques dénote des potentiels cognitifs qui ne sont pas encore épuisés. Si l’on se fonde sur la propension à la pensée analytique que mesure PISA, les performances en mathématiques pourraient être meilleures.

50Comme le montrent D. Leutner et al. (2004) pour l’échantillon allemand de la comparaison internationale, cette différence est surtout marquée pour les niveaux de performance inférieurs, au détriment de la compétence mathématique. Ces analyses indiquent que les élèves se situant dans les niveaux de performance inférieurs pourraient être bien meilleurs si l’on en juge par leurs capacités à résoudre des problèmes et à penser en mathématiques. Ils font preuve de prédispositions cognitives encore insuffisamment exploitées pour le moment.

51Il faut toutefois relever les enseignements de la comparaison des Länder sur cette question (Leutner et al., 2005). Il n’existe visiblement pas, dans certains Länder, d’écarts importants entre les résultats en mathématiques et en résolution de problèmes. Et il est intéressant de noter que cela se produit dans les Länder qui ont globalement de bons résultats en mathématiques. Comme le montre l’illustration 2, c’est surtout dans les Länder qui ont un niveau relativement faible en mathématiques que la différence entre les résultats en mathématiques et en résolution de problèmes est élevée.

52Si l’on observe en outre les différences moyennes en mathématiques et en résolution de problèmes dans les niveaux de performance inférieurs, on constate qu’elles sont relativement grandes dans les trois villes-États (Berlin, Brême, Hambourg) ainsi qu’en Rhénanie du Nord-Westphalie, Schleswig-Holstein et Rhénanie-Palatinat. En Sarre, Saxe-Anhalt, Thuringe et Bavière, les potentiels cognitifs paraissent être en revanche bien exploités sur l’ensemble des performances.

53Globalement, l’examen de la compétence de résolution de problèmes participe à l’interprétation des enseignements de PISA. Il apparaît pour l’Allemagne – mais on retrouve la même tendance pour la France – que les élèves disposent en moyenne de meilleures capacités cognitives que ne le montrent les tests par matière : ils ne sont aucunement « idiots » pour utiliser une formule exagérée. Ce sont précisément les élèves situés dans des niveaux de compétences inférieurs qui pourraient atteindre un meilleur niveau, par exemple en mathématiques ou en sciences. En outre, la comparaison en Allemagne montre qu’il est beaucoup plus facile, dans certaines régions que dans d’autres, de transférer [umsetzen] les capacités cognitives en compétences mathématiques. Et cette constatation peut tout à fait être envisagée comme un défi pédagogique.

Origine sociale et compétence mathématique

54Un objectif majeur des institutions d’enseignement est que tous aient les mêmes chances de développer les compétences nécessaires à leur intégration sociale, indépendamment des conditions sociales dans lesquelles grandissent les enfants ou les adolescents. Un rapport étroit entre origine sociale et compétence scolaire peut renvoyer à une injustice sociale et montrer en même temps qu’on ne parvient à développer tous les potentiels que de manière insuffisante. Le degré de dépendance entre l’arrière-plan socio-économique et le niveau de compétences des élèves est défini dans l’étude PISA au moyen d’une régression linéaire des valeurs de compétences sur l’index de statut économique, social et culturel (ESCS ; cf. OCDE, 2004a). La variance ainsi obtenue sert d’unité de mesure pour définir le rapport entre niveau de compétence et origine sociale.

55Comme le montre la comparaison internationale, l’origine sociale joue, dans tous les États, un grand rôle dans le développement des compétences. Mais le degré de dépendance varie : des États comme la Finlande ou le Canada montrent qu’un niveau de compétence élevé peut être atteint avec un rapport relativement faible entre origine et compétence. Alors que dans ces États environ 10 % de la variance de performance peut s’expliquer par l’origine sociale, la dépendance est plus étroite en Allemagne (22,8 % de la variance) ou en France (16,6 % de la variance). Pour l’Allemagne, la valeur de référence du rapport se situe largement au-dessus de la moyenne OCDE (Ehmke et al., 2004). Et comme le montrent des analyses plus approfondies, ce rapport est beaucoup moins marqué dans certains Länder que dans d’autres.

Illustration 2. – Différence entre la compétence de résolution de problèmes et la compétence mathématique moyenne (les Länder sont classés d’après leurs résultats en compétence mathématique)

Illustration 2. – Différence entre la compétence de résolution de problèmes et la compétence mathématique moyenne (les Länder sont classés d’après leurs résultats en compétence mathématique)

56L’illustration 3 montre, d’une part, l’importance de la dépendance entre origine sociale et compétence mathématique (à l’aune de la variance), et, d’autre part, le niveau de performance moyen atteint en mathématiques d’un échantillon d’États de l’OCDE et de Länder allemands. Les valeurs moyennes de l’OCDE et de l’Allemagne pour le rapport entre origine sociale et compétence (respectivement 16,8 % et 22,8 % de variance) ainsi que pour le niveau de performance moyen des pays de l’OCDE (valeur 500) délimitent six champs différents. Le premier champ (en haut à gauche) correspond à une constellation favorable : pour un rapport relativement faible entre origine et compétence, on atteint un niveau de performance relativement élevé. Appartiennent par exemple à ce premier champ, la Finlande, le Japon et le Canada. Mais quelques Länder (la Bavière, la Saxe et la Thuringe) montrent une combinaison souhaitable d’un niveau de performance relativement élevé et d’un rapport relativement faible entre origine et compétence. Pour tous ces pays ou ces Länder, la proportion d’élèves faibles est également relativement minime.

Illustration 3. – Compétence mathématique et variance (R2) par rapport à l’index ECSC

Illustration 3. – Compétence mathématique et variance (R2) par rapport à l’index ECSC

57En revanche, la combinaison entre faible niveau de performance et compétence faible est moins favorable. Dans ce champ (au centre et en bas à droite), on trouve plusieurs Länder allemands. Quatre d’entre eux (Berlin, Rhénanie du Nord-Westphalie, Hambourg et Brême) se situent par leurs performances largement en deçà de la moyenne OCDE. De plus, dans ces Länder, le rapport entre origine sociale et compétences mathématiques est beaucoup plus marqué que la moyenne OCDE.

58Il faut donc souligner que, in fine, par-delà les États et les Länder, le niveau de compétence moyen n’augmente pas systématiquement lorsque la variance augmente. Au contraire, dans toute une série de pays, on atteint un niveau de compétence en mathématiques, supérieur à la moyenne pour un rapport relativement faible entre origine et compétences. Cela signifie également qu’un système de formation qui donne à chacun, indépendamment de son origine sociale, de bonnes chances de développer ses compétences et qui les motive, peut atteindre un niveau de compétence très élevé (dans la comparaison internationale). Les efforts pour élaborer un système de formation socialement juste sont donc tout à fait utiles pour le développement d’un niveau de compétence élevé et concurrentiel. Cet enseignement représente par là même un élément de comparaison (benchmark) pour plusieurs États et Länder.

PISA et recherche empirique sur la formation

59Les études comparatives internationales comme PISA prennent les systèmes nationaux d’éducation au sérieux : elles évaluent et comparent les résultats de la formation, dont on peut admettre qu’ils sont importants pour l’avenir des individus comme de la société. Un programme d’indicateurs de l’OCDE, conformément à la vocation de l’organisation, considère tout d’abord les résultats dans une perspective économique. Mais les compétences examinées par PISA sont également des bases du développement social et de la discussion politique. Une étude comme PISA n’est évidemment pas en mesure d’examiner de manière exhaustive tous les aspects importants de l’éducation. PISA a choisi une voie pragmatique qui est de partir d’indicateurs fiables et parlants pour analyser des compétences-clés, en incluant dans une certaine mesure des présupposés pour la formation continue. Ce n’est que de cette manière qu’il a été possible de trouver des points de comparaison acceptables par tous malgré la grande diversité internationale des programmes d’enseignement [Lehrplänen] et des organisations scolaires.

60Dans une perspective scientifique, PISA utilise le savoir-faire développé ces dernières années dans la recherche didactique et pédagogique ainsi qu’en psychométrie. D’un point de vue scientifique, les limites de PISA sont claires : il s’agit d’une étude en coupe, essentiellement descriptive et comparative, qui ne peut fournir de manière empirique aucune explication pour les différences ou les faits constatés. Par ailleurs, de nombreuses caractéristiques qui, d’un point de vue théorique sont des facteurs conditionnant, ne sont recueillies que par questionnaires. Au vu de l’objectif, qui est de mettre à disposition de connaissances visant à la conduite politique des systèmes d’éducation, d’autres niveaux d’action – par exemple ceux des personnels enseignants, des équipes de direction, des formateurs ou même des parents – sont restés jusqu’ici à l’arrière-plan. Si l’on veut acquérir des connaissances au niveau des personnels enseignants ou de leur formation, il faut alors choisir, lors de la définition des échantillons, d’évaluer des classes complètes.

61Il est possible, au niveau national, d’apporter un correctif à toute une série de ces réserves auxquelles PISA est confrontée pour diverses raisons au niveau international. Nous avons décrit dans cet article plusieurs voies par lesquelles il est possible, au niveau national, en élargissant l’échantillon et en pratiquant des évaluations supplémentaires, d’acquérir des connaissances plus approfondies d’un point de vue scientifique.

62Un premier aspect était la question de savoir dans quelle mesure la conception des tests de PISA s’accorde aux traditions et aux spécificités nationales. Nous avons pu montrer que les épreuves proposées par PISA sont porteuses d’exigences globalement en accord avec les exigences fondamentales des programmes d’enseignement allemands. Nous avons pu également montrer que les tests développés en Allemagne avec des types d’exercices plus familiers auraient finalement conduit aux mêmes résultats que les tests internationaux. À travers le développement de tests complémentaires, nous avons eu, de surcroît, la possibilité d’appréhender, de manière différenciée, certains éléments des compétences mathématiques et scientifiques et d’en expliquer la valeur. De cette façon, PISA a pu être utilisé pour acquérir des connaissances sur des modèles de compétence et des procédés de définition de compétences. Un troisième aspect de l’élargissement national a concerné l’examen des disparités régionales du fait que la responsabilité du système scolaire allemand incombe en fait aux Länder. Dans ce domaine, le tableau est très contrasté : il y a non seulement des différences dramatiques entre le niveau moyen des Länder, mais également au niveau du rapport entre origine sociale et compétence. Selon le Land dans lequel il est scolarisé, un élève peut se retrouver avec un an de retard ou un an d’avance par rapport aux élèves d’autres Länder. Ces résultats remettent en cause la comparaison des performances scolaires à l’intérieur d’un État (y compris pour le Gymnasium). Visiblement, au sein d’un même État, on parvient dans certains Länder à beaucoup mieux transformer [umsetzen] les potentiels cognitifs en compétences dans une matière donnée. Pour interpréter ces résultats, il ne faut donc pas seulement considérer, pour chaque Land, les spécificités de l’organisation scolaire ou des traditions d’enseignement ni exclure les effets de la valeur de l’enseignement et de l’école, variables selon les Länder.

63Même les comparaisons entre les Länder, rendues possibles par l’élargissement de l’échantillon, n’offrent, dans un premier temps, que des connaissances descriptives, car elles ne reposent que sur une seule période d’évaluation. C’est pour cette raison que, pour PISA 2003, nous avons rajouté une période d’évaluation. Dans l’échantillon d’écoles choisies pour la comparaison internationale, nous avons sélectionné, au hasard, deux classes complètes supplémentaires. Ces classes ont à nouveau été testées en mathématiques et en sciences un an après l’évaluation PISA. De cette manière, nous avons pu contrôler ce que les élèves ont appris en une année scolaire et nous avons surtout pu nous interroger sur les facteurs important pour l’acquisition de compétences au niveau de la classe, de l’école, ou du foyer familial – on trouvera un résumé de ces résultats d’analyses que nous ne pouvons ici développer dans Prenzel et al., 2006. Grâce à ces élargissements, l’étude comparative internationale est devenue un projet de recherche important, qui peut contribuer à mieux comprendre les conditions de l’enseignement et de l’environnement scolaire. Comme PISA met à disposition un excellent échantillon, une batterie d’épreuves de test ainsi que des instruments d’évaluation, la charge de travail supplémentaire est limitée lorsqu’on veut mettre en place un travail de recherche sur les différences constatées par PISA.

Haut de page

Bibliographie

Blum W. ; Neubrand M. ; Ehmke T. ; Senkbeil M. ; Jordan A. ; Ulfig F. & Carstensen C. H. (2004). « Mathematische Kompetenz ». In M. Prenzel, J. Baumert, W. Blum, R. Lehmann, D. Leutner, M. Neubrand, R. Pekrun, H.-G. Rolff, J. Rost & U. Schiefele (Hrsg.), PISA 2003. Der Bildungsstand der Jugendlichen in Deutschland : Ergebnisse des zweiten internationalen Vergleichs. Münster : Waxmann, p. 47-92.

Carstensen C. H. ; Knoll St. ; Siegle ; T. ; Rost J. & Prenzel M. (2005). « Technische Grundlagen des Ländervergleichs ». In M. Prenzel, J. Baumert, W. Blum, R. Lehmann, D. Leutner, M. Neubrand, R. Pekrun, J. Rost & U. Schiefele (Hrsg.), PISA 2003 Der zweite Vergleich der Länder in Deutschland : Was wissen und können Jugendliche ? Münster : Waxmann, p. 385-401.

Ehmke T. ; Hohensee F. ; Heidemeier H. & Prenzel M. (2004). « Familiäre Lebensverhältnisse, Bildungsbeteiligung und Kompetenzerwerb ». In M. Prenzel, J. Baumert, W. Blum, R. Lehmann, D. Leutner, M. Neubrand, R. Pekrun,
H.-G. Rolff, J. Rost & U. Schiefele (Hrsg.), PISA 2003. Der Bildungsstand der Jugendlichen in Deutschland : Ergebnisse des zweiten internationalen Vergleichs. Münster : Waxmann, p. 225-254.

Ehmke T. ; Siegle T. & Hohensee F. (2005). « Soziale Herkunft im Ländervergleich ». In M. Prenzel, J. Baumert, W. Blum, R. Lehmann, D. Leutner, M. Neubrand, R. Pekrun, J. Rost & U. Schiefele (Hrsg.), PISA 2003. Der zweite Vergleich der Länder in Deutschland : Was wissen und können Jugendliche ? Münster : Waxmann, p. 235-268.

Leutner D. ; Klieme E. ; Meyer K. & Wirth J. (2004). « Problemlösen ». In M. Prenzel, J. Baumert, W. Blum, R. Lehmann, D. Leutner, M. Neubrand, R. Pekrun,
H.-G. Rolff, J. Rost & U. Schiefele (Hrsg.), PISA 2003. Der Bildungsstand der Jugendlichen in Deutschland : Ergebnisse des zweiten internationalen Vergleichs. Münster : Waxmann, p. 147-175

Leutner D. ; Klieme E. ; Meyer K. & Wirth J. (2005). « Die Problemlösekompetenz in den Ländern der Bundesrepublik Deutschland ». In M. Prenzel, J. Baumert, W. Blum, R. Lehmann, D. Leutner, M. Neubrand, R. Pekrun, J. Rost & U. Schiefele (Hrsg.), PISA 2003. Der zweite Vergleich der Länder in Deutschland : Was wissen und können Jugendliche ? Münster : Waxmann, p. 125-146.

Neubrand M. ; Blum W. ; Ehmke T. ; Jordan A. ; Senkbeil M. ; Ulfig F. & Carstensen C. H. (2005). « Mathematische Kompetenz im Ländervergleich ». In M. Prenzel, J. Baumert, W. Blum, R. Lehmann, D. Leutner, M. Neubrand, R. Pekrun, J. Rost & U. Schiefele (Hrsg.), PISA 2003. Der zweite Vergleich der Länder in Deutschland : Was wissen und können Jugendliche ? Münster : Waxmann, p. 51-84.

OCDE (1999). Measuring student knowledge and skills : A new framework for assessment. Paris : OCDE.

OCDE (2003). The PISA 2003 Assessment Framework – Mathematics, reading, science and problem solving knowledge and skills. Paris : OCDE.

OCDE (2004a). Apprendre aujourd’hui, réussir demain : premiers résultats de PISA 2003. Paris : OCDE.

OCDE (2004b). Résoudre des problèmes, un atout pour réussir : premières évaluations des compétences transdisciplinaires issues de PISA 2003. Paris : OCDE.

Prenzel M. ; Baumert J. ; Blum W. ; Lehmann R. ; Leutner D. ; Neubrand M. ; Pekrun R. ; Rolff H.-G. ; Rost J. & Schiefele U. (2004). PISA 2003. Der Bildungsstand der Jugendlichen in Deutschland : Ergebnisse des zweiten internationalen Vergleichs. Münster : Waxmann.

Prenzel M. ; Baumert J. ; Blum W. ; Lehmann R. ; Leutner D. ; Neubrand M. ; Pekrun R. ; Rolff H.-G. ; Rost J. & Schiefele U. (2005). PISA 2003. Der zweite Vergleich der Länder in Deutschland : Was wissen und können Jugendliche ? Münster : Waxmann.

Prenzel M. ; Baumert J. ; Blum W. ; Lehmann R. ; Leutner D. ; Neubrand M. ; Pekrun R. ; Rolff H.-G. ; Rost J. & Schiefele U. (2006). PISA 2003. Untersuchungen zur Kompetenzentwicklung im Verlauf eines Schuljahres. Münster : Waxmann.

Prenzel M. ; Drechsel B. & Carstensen C. H. (2005). « Einführung in den Ländervergleich PISA 2003 ». In M. Prenzel, J. Baumert, W. Blum, R. Lehmann, D. Leutner, M. Neubrand, R. Pekrun, J. Rost & U. Schiefele (Hrsg.), PISA 2003 Der zweite Vergleich der Länder in Deutschland : Was wissen und können Jugendliche ? Münster : Waxmann, p. 13-50.

Prenzel M. ; Rost J. ; Senkbeil M. ; Häussler P. & Klopp A. (2001). « Naturwissenschaftliche Grundbildung : Testkonzeption und Ergebnisse ». In J. Baumert, E. Klieme, M. Neubrand, M. Prenzel, U. Schiefele, W. Schneider, P. Stanat, K.-J. Tillmann & M. Weiß (Hrsg.), PISA 2000. Basiskompetenzen von Schülerinnen und Schülern im internationalen Vergleich. Opladen : Leske + Budrich, p. 191-248.

Prenzel M. ; Zimmer K. ; Drechsel B. ; Heidemeier H. & Draxler C. (2005). « Der Blick in die Länder ». In M. Prenzel, J. Baumert, W. Blum, R. Lehmann, D. Leutner, M. Neubrand, R. Pekrun, J. Rost & U. Schiefele (Hrsg.), PISA 2003 Der zweite Vergleich der Länder in Deutschland : Was wissen und können Jugendliche ? Münster : Waxmann, p. 169-233.

Ramm G. ; Prenzel M. ; Baumert J. ; Blum W. ; Lehmann R. ; Leutner D. ; Neubrand M. ; Pekrun R. ; Rolff H.-G. ; Rost J. & Schiefele U. (Hrsg.) (2006). PISA 2003 : Dokumentation der Erhebungsinstrumente. Münster : Waxmann.

Rost J. ; Walter O. ; Carstensen C. H. ; Senkbeil M. & Prenzel M. (2004). « Naturwissenschaftliche Kompetenz ». In M. Prenzel, J. Baumert, W. Blum, R. Lehmann, D. Leutner, M. Neubrand, R. Pekrun, H.-G. Rolff, J. Rost & U. Schiefele (Hrsg.), PISA 2003. Der Bildungsstand
der Jugendlichen in Deutschland : Ergebnisse des zweiten
internationalen Vergleichs
w

Seidel T. & Prenzel M. (2004). « Muster unterrichtlicher Aktivitäten im Physikunterricht ». In J. Doll & M. Prenzel (Hrsg.), Bildungsqualität von Schule : Lehrerprofessionalisierung, Unterrichtsentwicklung und Schülerförderung als Strategien der Qualitätsverbesserung. Münster : Waxmann, p. 177-194.

Seidel T. & Prenzel M. (2006). « Stability of teaching patterns in physics instruction : Findings from a video study ». Learning and Instruction, vol. 16, p. 228-240.

Ständige Konferenz der Kultusminister der Länder der Bundesrepublik Deutschland [hrsg.] (2005). Schüler, Klassen und Absolventen der Schulen 1994 bis 2003. Bonn : KMK, vol. 174.

Haut de page

Table des illustrations

Titre Illustration 1. – Ensemble total et échantillons de PISA-I (comparaison internationale), PISA-E (comparaison des Länder), du « sur-échantillonnage » (oversampling) des élèves issus de l’immigration ainsi que l’évaluation complémentaire (PISA I-Plus)
URL http://rfp.revues.org/docannexe/image/428/img-1.png
Fichier image/png, 25k
Titre Tableau V. – Valeurs moyennes, dispersions et valeurs en pourcentage pour la compétence en mathématique (échelle internationale) : les Länder face à la comparaison internationale
URL http://rfp.revues.org/docannexe/image/428/img-2.png
Fichier image/png, 133k
Titre Illustration 2. – Différence entre la compétence de résolution de problèmes et la compétence mathématique moyenne (les Länder sont classés d’après leurs résultats en compétence mathématique)
URL http://rfp.revues.org/docannexe/image/428/img-3.png
Fichier image/png, 18k
Titre Illustration 3. – Compétence mathématique et variance (R2) par rapport à l’index ECSC
URL http://rfp.revues.org/docannexe/image/428/img-4.png
Fichier image/png, 21k
Haut de page

Pour citer cet article

Référence papier

Manfred Prenzel et Karin Zimmer, « Études complémentaires de PISA 2003 en Allemagne : principaux résultats et enseignements », Revue française de pédagogie, 157 | 2006, 55-70.

Référence électronique

Manfred Prenzel et Karin Zimmer, « Études complémentaires de PISA 2003 en Allemagne : principaux résultats et enseignements », Revue française de pédagogie [En ligne], 157 | octobre-décembre 2006, mis en ligne le 01 décembre 2010, consulté le 27 mars 2017. URL : http://rfp.revues.org/428 ; DOI : 10.4000/rfp.428

Haut de page

Auteurs

Manfred Prenzel

prenzel@ipn.uni-kiel.de
Institut Leibniz des sciences de l’éducation, Kiel (Allemagne)

Karin Zimmer

zimmer@ipn.uni-kiel.de
Institut Leibniz des sciences de l’éducation, Kiel (Allemagne)

Haut de page

Droits d’auteur

© tous droits réservés

Haut de page
  • Logo Université de Lyon
  • Logo ENS de Lyon
  • Logo ENS Éditions
  • Logo Institut français de l'éducation
  • Revues.org