Skip to navigation – Site map

HomeNuméros157PISA : analyses secondaires, ques...Définition des compétences, choix...

PISA : analyses secondaires, questions et débats théoriques et méthodologiques

Définition des compétences, choix méthodologiques et retombées sur la politique scolaire en Suisse

Definition of competencies, methodological choices and repercussions on school policy in Switzerland
Definición de las competencias, elecciones metodológicas y repercusiones sobre la política escolar en Suiza
Definition des Konzeptbegriffs, methodologisches Vorgehen und Auswirkungen auf die Schweizer Schulpolitik
Jean Moreau, Christian Nidegger and Anne Soussi
p. 43-53

Abstracts

In this paper we will use examples to highlight the methodological and conceptual choices made in the PISA survey. To what extent do the defined and operationalised competencies allow comparisons between different education systems while not introducing cultural and linguistic biases ? Do the sophisticated statistical methods used allow for transparency and the appropriation of the data by the results recipients : politicians, the school community ? In the second part, we will show the effects of the PISA results on school policy in Switzerland and more particularly on the creation of a national project for school harmonization (HarmoS). This project uses methods based on those used in PISA, notably a competence based approach, in spite of different objectives such as the management and regulation of the education systems.

Top of page

Full text

1L'enquête PISA vise à mesurer, tous les trois ans, les compétences dans trois domaines, littéracie, culture mathématique et culture scientifique. En 2003, cette enquête a concerné plus de quarante pays dont la Suisse. Avec des résultats relativement moyens en littéracie et des résultats au-dessus de la moyenne en mathématiques, ce pays qui se caractérise par la coexistence de trois régions linguistiques et de vingt-six systèmes scolaires différents, a subi un électrochoc (comme d’autres pays, par ailleurs) En effet, la Suisse qui avait jusqu’alors peu participé aux enquêtes internationales était persuadée de l’excellence de son système scolaire. Des mesures ont été mises en place au plan national suite aux résultats de l’enquête PISA 2000

2Nous allons dans le présent article essayer de mettre en évidence, en illustrant par quelques exemples, les choix méthodologiques et conceptuels pris en compte dans l’enquête PISA. Ainsi, un choix a été fait par les concepteurs, de mesurer des compétences qui seront utiles « tout au long de la vie ». Ce choix pose un certain nombre de questions : dans quelle mesure les compétences définies et opérationnalisées permettent-elles la comparaison de systèmes éducatifs différents et n’introduisent-elles pas de biais culturels et linguistiques ? Les méthodes statistiques sophistiquées utilisées permettent-elles la transparence et l’appropriation des données par les destinataires des résultats : décideurs politiques, acteurs de l’école (directions des écoles, enseignants, parents) ?

3Dans une deuxième partie, nous montrerons les effets des résultats de PISA sur la politique scolaire en Suisse et plus particulièrement sur la mise en place d’un projet d’harmonisation scolaire national (« HarmoS ») se caractérisant notamment par l’entrée à l’école à quatre ans et l’élaboration de standards minimaux de compétences dans quatre domaines scolaires, Langue I (langue d’enseignement), Langue II (première langue étrangère), mathématiques et sciences, dont trois sont identiques à ceux de PISA, et ceci à trois moments-clés du cursus scolaire, 2e, 6e et 9e années. Il est à noter que ce projet s’inspire largement de démarches utilisées lors de la mise en œuvre de l’enquête PISA, approche par compétences et méthodologie statistique de même nature.

PISA : problèmes liés à une utilisation locale

Construction du matériel de test

4Pour constituer le matériel nécessaire à l’enquête, et assurer une diversité linguistique et culturelle, des directives précises ont été définies afin que chaque pays puisse proposer des items. En fait, pour l’enquête principale 2003 dans le domaine des mathématiques, plus de 60 % des items proviennent de trois instituts (australien américain et néerlandais) chargés de l’enquête, quelques items issus de l’enquête TIMSS. Les 40 % restant proviennent d’une douzaine de pays. L’ensemble des items proposés par ces pays a été adapté par ces instituts. Un groupe d’experts internationaux a assuré la supervision de l’ensemble. On notera que plus de 70 % des items ont été proposés en anglais, 14 % en néerlandais (provenant d’un des instituts pilotant l’enquête). Les autres items ont été proposés en allemand, espagnol, japonais, tchèque et français. L’ensemble du matériel retenu a été soumis aux pays participants afin qu’ils puissent faire part de leurs remarques et de leurs éventuels désaccords.

5Un point important à respecter pour la mise en œuvre d’une enquête internationale à visée comparative est la question de la traduction et de l’adaptation du matériel. Pour ce faire, PISA a conçu un système de traduction à partir de deux sources (l’une en anglais et l’autre en français). Les pays étaient ensuite invités à harmoniser les deux traductions. Cependant, la traduction à partir de deux sources n’a pas toujours pu être respectée. De plus, chaque pays pouvait proposer des adaptations nationales afin de s’assurer que les textes proposés soient plus proches du contexte linguistique local. Toutefois, c’est bien le même matériel qui est soumis aux élèves. Ainsi, dans le but de la comparaison, la diversité culturelle est bien envisagée comme une difficulté à surmonter et à réduire et non comme un élément constitutif du domaine à mesurer. Cela peut avoir pour conséquence que pour garantir les possibilités de comparaison, on définisse un plus petit dénominateur commun qui soit éloigné de toutes les situations locales existantes.

6Lors de chaque prise d’information, un des trois domaines est particulièrement étudié. À cet effet, un certain nombre d’échelles sont construites afin de mieux décrire les compétences des élèves dans ce domaine. Pour l’enquête 2003, dont le domaine principal était les mathématiques, il avait été prévu au départ de constituer des échelles de type « compétences » manifestées par les élèves (reproduction, connexions, réflexion), comparables aux sous échelles utilisées pour la littéracie en 2000 (retrouver l’information, développer une interprétation et réfléchir sur le texte). Cependant, il s’est avéré que ces échelles étaient non seulement trop fortement corrélées mais aussi hiérarchiques. C’est pourquoi les concepteurs ont opté pour des échelles qui reflétaient différents aspects des contenus mathématiques. Dans le tableau 1, on notera que si ces différentes échelles comprennent à peu près le même nombre d’items, le type de questions varie toutefois, considérablement d’une échelle à l’autre. Les résultats des élèves pourraient alors dépendre plus du type de question que du contenu de l’échelle. Or, on sait d’expérience qu’il est potentiellement plus facile de répondre à une question à choix multiple que de formuler soi-même une réponse. Dans l’enquête PISA 2000 sur la littéracie, nous avions pu vérifier cet effet (Broi et al., 2003).

Tableau 1. – PISA 2003 : items de mathématiques (répartition selon le type de contenu et le format des items)

Format des items

Type de contenu

Items à choix multiple

Items à réponse construite fermée

Items à réponse construite ouverte

Total

Espace et formes

8

6

6

20

Quantité

6

2

15

23

Variations et relations

3

4

15

22

Incertitude

11

1

8

20

Total

28

13

44

85

Source : OCDE, PISA 2003, Technical Report, p. 29 (traduit et adapté par nos soins).

Adéquation du modèle statistique aux analyses au niveau local

7La validation du matériel a été réalisée à partir d’un double processus : 1) empirique par des experts qui ont classé l’ensemble du matériel selon les objectifs visés et la difficulté attendue des items ; 2) statistique sur la base des résultats au pré-test réalisé dans l’ensemble des pays participants à l’enquête, l’année précédant le recueil de données principal. Une série d’aller-retour entre ces processus a permis de sélectionner le matériel qui sera retenu pour l’enquête principale.

  • 1 Un élève de compétence x a 50 % de chance (dans PISA 2000, 62 %) de répondre correctement à l’item (...)

8La mesure des compétences des élèves implique la prise en compte de nombreux aspects. Ces aspects concernent bien sûr l’instrument lui même : le choix des textes et des différents items proposés aux élèves, mais aussi la manière dont les réponses aux questions vont être utilisées pour produire des scores. Le choix d’un modèle par les concepteurs du projet (le modèle de Rasch) a des conséquences sur les évaluations des compétences moyennes des pays participant à cette enquête. Rappelons que ce modèle (cas particulier des modèles de réponse à l’item) définit la relation entre la compétence de l’élève, la difficulté de l’item et sa probabilité de réussir correctement cet item. Cette relation est exprimée par une fonction mathématique (la fonction caractéristique de l’item) et elle est représentée par une courbe en forme de S. Tous les items sont supposés avoir le même pouvoir discriminatif. Les compétences des élèves et les difficultés des items alors sont situées sur le même continuum1.

9On peut donc s’interroger sur certaines conséquences liées au choix du modèle. Tout d’abord, la difficulté d’une question telle qu’elle est définie par le modèle sur le plan international est-elle cohérente avec les différentes réalités locales ? En particulier des questions de difficulté équivalente ont-elles des réussites identiques au niveau local, la Suisse romande dans notre exemple ? En outre, la difficulté d’un item, telle qu’elle transparaît sur le plan statistique, est-elle compatible avec sa définition critérielle par rapport au contenu de chaque tâche ?

10Rappelons en effet, que différentes analyses statistiques de l’épreuve ont été mises en œuvre pour s’assurer des propriétés psychométriques des items dans chaque pays, en particulier : leur discrimination, leur difficulté et leur adéquation avec le modèle. Ces propriétés ne doivent pas trop différer entre les pays. Un item peut en effet être supprimé si ses caractéristiques sont insuffisantes.

11Malgré ces précautions méthodologiques, on remarque que la calibration des items n’assure pas l’homogénéité des niveaux de difficulté des items dans un même pays. Si, par exemple, on compare le pourcentage de réussite de chaque item pour deux cantons suisses, Fribourg et Genève (items de lecture pour PISA 2000), avec sa difficulté telle qu’elle est évaluée par le modèle, on constate (voir graphique 1) que certains items de niveau, de difficulté identique selon le modèle statistique, obtiennent néanmoins des pourcentages de réussite très différents dans une même population scolaire. Le calibrage du modèle au niveau international n’a donc pas nécessairement une pertinence pour une évaluation locale des compétences. Cette distorsion introduite par le calibrage international entre les évaluations des difficultés des items peut différer d’une population à l’autre. La comparaison des deux nuages de points montre qu’il ne s’agit pas d’une simple translation des nuages.

Graphique 1. – Difficultés et pourcentages de réussite des items de lecture (PISA 2000)

Graphique 1. – Difficultés et pourcentages de réussite des items de lecture (PISA 2000)

NB : pour des raisons de lisibilité, seuls 50 % des items (choisis aléatoirement) sont représentés dans le graphique ci-dessus

Utilisation du modèle de Rasch pour l’évaluation des élèves

12L’enquête PISA n’a pas pour objectif l’évaluation des performances de chaque élève, mais plutôt la comparaison de systèmes éducatifs. Pourtant la tentation est grande d’utiliser sans précaution la même méthodologie pour évaluer les élèves. En effet, le modèle choisi permet à la fois d’estimer la difficulté des items et de produire des scores pour chaque élève.

13Les différentes tâches proposées aux élèves sont en effet hiérarchisées en fonction de critères de difficulté croissante et devraient permettre de positionner les élèves sur une échelle de Guttman. Dans une échelle de Guttman, un élève qui répond correctement à une question doit également donner une réponse correcte à toutes les questions plus faciles. On constate cependant qu’un élève qui réussit un item de difficulté donné peut échouer à des items plus faciles. En outre, un nombre important d’élèves de niveau faible (par exemple, niveau 1) réussissent des items de difficultés élevées (niveau 4 ou 5). En fait, conséquence directe du modèle de Rasch, aucun élève, même parmi les moins performants, n’a une probabilité nulle de répondre correctement à un item, même un item difficile. Des élèves peu performants ont donc pu réussir des items de niveau élevé. On constate, par exemple (PISA 2000) qu’un nombre important d’entre eux (plus de 50 % des élèves de niveau 1) répondent correctement à au moins une question difficile (niveau 4 ou 5). On comprend que les élèves les moins performants sont des élèves qui n’ont répondu correctement qu’à peu de questions et surtout à des questions faciles.

  • 2 Par exemple en 2003, l’ensemble des items a été réparti dans treize cahiers. Chaque item apparaît d (...)

14On doit également remarquer que pour un tel modèle, des élèves avec des profils de réponses différentes ont pu obtenir le même score. En effet, le score de l’élève ne dépend pour un cahier donné que du nombre d’items réussis (score brut) et non de la difficulté des items réussis. Deux élèves qui répondent correctement au même nombre de questions – du même cahier 2 – obtiennent le même score quelle que soit la difficulté des questions auxquelles ils ont répondu. Autre conséquence surprenante, un élève peut être classé dans un niveau de lecture donné sans être confronté à des items de ce niveau. Par exemple, des élèves ont pu obtenir un niveau 5 sans être confrontés à des items de niveau 5. Tout dépend du nombre d’items réussis. Certains cahiers, en effet, ne présentent aucun item de niveau 5 concernant l’interprétation du texte. Pourtant des élèves confrontés à ces cahiers ont obtenu le niveau 5.

Utilisation des indices internationaux au niveau régional : l’exemple du niveau socioéconomique

15Les performances des élèves sont mises en relation avec un certain nombre d’indices comme par exemple un indice de niveau socioéconomique. De notre point de vue, cet indice pose des questions au niveau de son utilisation pour des analyses régionales. En effet, dans la plupart des études, on observe une relation entre l’indice socioéconomique et la performance des élèves. Ce phénomène est également mis en évidence dans PISA 2003 (OCDE, 2004, chapitre 4). Par contre, lorsqu’au niveau régional on met en regard le niveau socioéconomique moyen et la performance des élèves, on s’aperçoit que ce ne sont pas les cantons qui ont le niveau socioéconomique moyen le plus élevé qui obtiennent la performance moyenne la meilleure (voir graphique 2).

Graphique 2. – Moyenne en mathématiques et niveau socioéconomique (NSE) moyen

Graphique 2. – Moyenne en mathématiques et niveau socioéconomique (NSE) moyen

N.B. : Les histogrammes représentent le niveau socioéconomique (NSE) moyen (échelle de gauche), La courbe indique les scores moyens en mathématiques (échelle de droite).

16Comment expliquer ce phénomène ? On peut par exemple se demander si la moyenne occulte des structures différentes des niveaux socioéconomiques entre les cantons. Le graphique 3 montre que si l’on répartit les élèves en quatre groupes en fonction de leur niveau socioéconomique, on observe par exemple que Genève a plus d’élèves de niveaux 3 et 4 que des deux autres niveaux (1 et 2) comparativement aux autres cantons. Ceci nous amène à faire l’hypothèse d’une distorsion possible de cet indice international qui « favoriserait » les professions des services en leur attribuant une valeur d’indice plus élevé qu’à des professions « artisanales » qui exigent des qualifications égales ou supérieures et qui sont plus représentées dans les cantons moins urbains. Ainsi, le niveau socioéconomique moyen des cantons urbains serait en quelque sorte surévalué par une forte présence de professions donnant une valeur élevée d’indice bien que ne nécessitant pas de grandes qualifications. À l’inverse, le niveau socioéconomique moyen des cantons moins urbains (Fribourg, Valais, Jura et Berne) aurait tendance à être sous-évalué compte tenu de la proportion plus grande de professions donnant lieu à une valeur de cet indice plus faible malgré des professions à qualifications relativement élevées.

Graphique 3. – Moyenne en mathématiques et niveau socioéconomique (NSE)

Graphique 3. – Moyenne en mathématiques et niveau socioéconomique (NSE)

N.B. : Pour le niveau socioéconomique (NSE), les élèves de la Suisse romande ont été répartis en quatre catégories égales (de la plus basse à la plus élevée)

17Par contre lorsque l’on met en relation la moyenne du niveau socioéconomique et les performances à l’intérieur des cantons en fonction de l’orientation des élèves, on constate bien une hiérarchie des performances en fonction de cet indice du niveau socioéconomique. En effet, la relation entre performance et niveau socioéconomique semble bien réelle mais l’indice utilisé par PISA n’est pas pertinent pour certaines comparaisons entre cantons. Ainsi lorsque l’on travaille sur les données à un niveau local, il est indispensable de se poser la question de la pertinence ou de la distance entre les instruments, conçus pour une comparaison à large échelle, et leurs exploitations locales afin d’éviter des interprétations abusives ou incohérentes des résultats observés.

Répercussions sur la politique en Suisse et modèles de compétences

  • 3 Cette instance permanente regroupe les chefs de départements (ministres) chargés de l’instruction p (...)

18Suite aux premiers résultats assez moyens obtenus à l’enquête PISA 2000, la Suisse par l’intermédiaire de la Conférence des directeurs de l’instruction publique 3 a décidé de mettre en place un certain nombre de mesures dont le lien avec PISA n’est pas toujours évident. Au plan cantonal, de nombreux plans d’action visant à développer et renforcer les compétences en lecture voire en littéracie ont été élaborés.

19La Suisse est un système fédéral avec vingt-six cantons et autant de systèmes éducatifs et comporte trois régions linguistiques (germanophone, francophone, italophone). Ainsi, selon les cantons, qui sont responsables et souverains en matière scolaire, l’âge d’entrée à l’école n’est pas le même, le découpage entre les différents niveaux d’enseignement (primaire, secondaire I, etc.) est variable ainsi que la dotation horaire pour les différentes disciplines d’enseignement. Dans la liste des mesures proposées au niveau fédéral, on trouve un ambitieux projet d’harmonisation scolaire national (HarmoS) dont les principales propositions sont les suivantes :

  1. entrée dans l’école obligatoire à quatre ans révolus ;

  2. unification des finalités de l’école obligatoire ;

  3. description des compétences de base que doivent atteindre tous les élèves à la fin de la 2e, 6e et 9e années scolaires, au moyen de standards nationaux de formation ;

  4. élaboration d’un plan d’étude cadre pour chaque région linguistique ;

  5. vérification régulière au niveau du système scolaire de l’atteinte des standards (et mesures de remédiation mises en œuvre si nécessaire).

20De manière générale, le projet HarmoS a pour objectifs d’harmoniser les contenus de l’enseignement, de renforcer le pilotage coordonné de la scolarité obligatoire, d’évaluer le système de formation à l’échelle nationale et de développer la qualité de l’enseignement. Outre la définition de standards que nous développerons plus en détail, HarmoS prévoit d’autres instruments de pilotage tels que le monitorage, les plans d’étude et moyens d’enseignement ainsi que la formation des enseignants. Le monitorage vise à recueillir des données systématiques sur le système éducatif et son environnement, notamment au moyen de tests standardisés effectués régulièrement pour fournir des informations plus fiables sur la réussite, la qualité et la faiblesse du système et constitue un instrument de travail pour les responsables politiques permettant une prise de décision pour son pilotage. Concernant plans d’étude, moyens d’enseignement et formation des enseignants, on cherche à mettre en place une coordination, notamment par région linguistique, et une professionnalisation dans le cas de la formation des enseignants afin d’améliorer la qualité de l’enseignement.

Modèles de compétences et élaboration de standards

21Dans cette première phase de l’harmonisation, la définition de standards et l’élaboration de modèles de compétences concernent seulement quatre domaines de compétences : la langue I (ou d’enseignement), les langues II, les mathématiques et les sciences. S’il s’agit de domaines pour lesquels la dotation horaire est relativement importante tout au long de la scolarité, on peut aussi observer une certaine ressemblance avec les domaines mesurés dans PISA (littéracie, culture mathématique et culture scientifique). Comme on peut le constater, ce projet au travers de modèles de compétences s’inscrit dans les courants actuels en éducation. Comme le relève M. Crahay (2006), on est passé de pédagogie par objectifs à une logique de la compétence.

22Les responsables au niveau national ont réuni des experts de différents pays dont E. Klieme qui a fait un certain nombre de propositions en vue d’élaborer des standards sur la base de l’expérience menée en Allemagne (initiée elle aussi après les résultats de l’enquête PISA 2000).

23Le projet suisse repose sur des postulats définis par E. Klieme et al. (2003, p. 22). La compétence est définie de la manière suivante : « En accord avec Weinert (2001, p. 27), nous entendons par compétences les capacités et aptitudes cognitives dont l’individu dispose ou qu’il peut acquérir pour résoudre des problèmes précis, ainsi que les dispositions motivationnelles, volitives et sociales qui s’y rattachent pour utiliser avec succès et responsabilité les résolutions de problèmes dans des situations variables. »

24Les compétences sont donc considérées ici comme des dispositions, « c’est-à-dire comme des programmes des représentations, des mécanismes et des capacités internes qui déterminent les comportements et réalisations observables des individus » (Klieme et al., 2003, p. 152).

25Le concept de compétence a de nombreuses orientations, notamment dans le monde francophone. D’autres définitions existent dans le monde francophone. Ainsi, L. Allal (1999), la définit de la manière suivante : c’est « un réseau intégré et fonctionnel formé de composantes cognitives, affectives, sociales, sensorimotrices, susceptible d’être mobilisé en actions finalisées face à une famille de situations et fondé sur l’appropriation de modes d’interaction et d’outils socioculturels. » D’autres auteurs comme X. Roegier et P. Joannaert en ont une représentation assez proche. Le second ajoute toutefois un élément intéressant : « Une compétence suppose, au-delà du traitement efficace, que ce même sujet pose un regard critique sur les résultats de ce traitement qui doit être socialement acceptable. » (2002, p. 41). Il introduit l’idée d’un regard critique du sujet qui doit non seulement mobiliser différentes ressources mais aussi les sélectionner et les coordonner.

26Pour B. Rey et al. (2003), face à ce magma d’acceptions du terme compétences, il est nécessaire d’introduire des niveaux. Certaines sont dites de premier degré (procédures de base), d’autres de deuxième degré où il s’agit de posséder des procédures de base et de savoir sélectionner la bonne dans une situation donnée. Le troisième type, compétence de troisième degré, consiste à combiner plusieurs procédures de base face à une situation nouvelle et complexe.

27Enfin, une autre représentation du concept vient du monde du travail. Pour G. Le Boterf (1995), une compétence est « un savoir-agir, c’est-à-dire un savoir intégrer, mobiliser et transférer un ensemble de ressources (connaissances, savoirs, aptitudes, raisonnements, etc.) dans un contexte donné pour faire face aux différents problèmes rencontrés ou pour réaliser une tâche ». Il ajoute et en cela se distingue fondamentalement de Weinert, « il n’y a de compétence que de compétence en acte […] La compétence ne réside pas dans les ressources (connaissances, capacités, etc.) à mobiliser mais dans la mobilisation même de ces ressources. »

28On peut observer deux types de définition, celles qui mettent en avant le contexte et la situation (compétence en acte) et celles où la compétence préexiste dans la tête du sujet. Une autre catégorisation réside dans le type de situations (déjà rencontrées ou nouvelles) : B. Rey utilise ce critère dans l’idée d’une gradation de ces compétences.

29Par rapport aux standards proprement dits, on peut en recenser essentiellement trois types dans la littérature internationale, selon leur point de centration (input ou processus de l’apprentissage scolaire contre output) :

  1. les standards de contenus qui font plutôt référence aux résultats scolaires en se centrant sur les objectifs et les contenus d’apprentissages ;

  2. les standards de performance, basés eux aussi sur les résultats mais qui se situent plutôt au niveau des valeurs du test et sont marqués sur une échelle de score ;

  3. les standards d’opportunity-to-learn qui se rapportent aux input et processus de l’apprentissage scolaire et décrivent les programmes, le personnel et autres ressources qui doivent être mis à la disposition des établissements et des régions scolaires.

30On peut aussi choisir des niveaux-cibles variés : un niveau basique à atteindre par une grande majorité d’élèves (standards minimum), un niveau idéal ou encore un niveau moyen d’exigences (standards réguliers).

31Le choix qui a été fait en Suisse est de définir des standards de formation minimaux. Ces « standards de formation formulent des exigences à l’égard de l’enseignement et de l’apprentissage scolaire. Ils désignent les objectifs du travail pédagogique, en les exprimant en termes de résultats scolaires attendus. Ils concrétisent ainsi la mission éducative que doivent remplir les écoles de formation générale » (Klieme et al., 2003, p. 16). Pour Klieme, ces standards doivent présenter certaines caractéristiques :

  1. ils doivent donc se référer aux objectifs de l’évaluation et les transposer en exigences concrètes car les objectifs de l’éducation sont le plus souvent des définitions assez générales des contenus de savoirs, des capacités et des aptitudes visés ;

  2. les objectifs sont concrétisés sous forme de compétences exigées au travers de modèles de compétences qui exposent les aspects, les degrés et les progressions des compétences. Ces compétences se différencient de ce qu’on trouve dans les plans d’études (listes de matières et de contenus d’enseignement) et nécessitent que l’on identifie des dimensions fondamentales des processus d’apprentissage dans un domaine d’enseignement ou une discipline ;

  3. enfin, en tant que résultats des processus d’apprentissage, ils doivent être concrétisés sous forme d’exercices et de situations-problèmes ainsi que de procédés fiables permettant de saisir le niveau de compétence réellement atteint par les élèves.

32En d’autres termes, ils décrivent des compétences fondées sur un modèle et des niveaux de compétences (progression) validés de manière empirique et doivent être suffisamment concrets pour être vérifiés et mesurés à partir de tests validés.

Limites et problèmes

33Comme on a pu le constater, seuls quatre domaines ont été retenus, ce qui a un côté relativement réducteur. Par ailleurs, ces standards de formation doivent être mesurables pour tous les élèves ce qui constitue aussi un obstacle important (par exemple évaluer les compétences à l’oral et notamment dans des situations d’interaction). Enfin, on parle de standards minimaux ce qui peut, comme l’ont relevé K. Muller et R. Silver (2005) dans leur étude critique sur les standards, conduire à plus long terme à une baisse du niveau d’exigences.

34Une autre difficulté réside dans l’aspect national de l’opération. Les standards de formation sont censés se baser sur les objectifs scolaires définis dans les curricula. Or la Suisse possède vingt-six systèmes scolaires différents et trois régions linguistiques. Les conceptions théoriques sous-jacentes peuvent être pas mal contrastées : les unes s’inspirant de courants francophones (France, Québec ou Belgique), les autres des courants germanophones (Allemagne principalement) et les derniers davantage de courants italiens. Deux exemples peuvent être donnés à titre d’illustration : la Suisse romande a déjà fait un travail de coordination et a élaboré un Plan d’étude-cadre romand (PECARO) sur la base de plans d’études de sept cantons défini en terme de compétences ; dans la partie germanophone, ce travail reste à faire (et le sera sur la base des standards). Dans les domaines disciplinaires, il y a des différences importantes d’approches : par exemple, en mathématiques la Suisse romande donne une place importante à la résolution de problèmes ce qui n’est pas le cas dans la partie germanophone. Par ailleurs, dans d’autres cas, certaines notions telle que la proportionnalité (notamment les fractions) sont abordées à l’école primaire dans la partie germanophone ce qui n’est pas le cas en Suisse romande, on observe l’inverse dans le cas de la géométrie et plus particulièrement de l’approche de l’espace. Dans un même ordre d’idées, en Suisse romande, un modèle didactique autour des genres textuels (Dolz & Schneuwly, 1996) a un impact important sur la conception de l’enseignement de la langue, alors que cette dimension n’est pas présente dans les autres régions. Ceci constitue un paradoxe puisqu’on doit à la fois s’inspirer des programmes scolaires tout en étant confrontés, selon les régions, à la prépondérance de courants et modèles théoriques différents, voire contradictoires. Soulignons que les concepteurs de l’enquête PISA ont pris le parti de se détacher des aspects programmatiques contrairement à d’autres enquêtes internationales menée par l’IEA (Reading literacy en 1991 ou TIMSS en 1995).

Un exemple : la langue I (langue d’enseignement)

35Un modèle de compétences a été défini dans le domaine de la langue I valable pour les trois langues d’enseignement (allemand, français et italien). Pour ce faire, à l’intérieur de ce domaine, quatre sous-domaines (skills) ont été définis selon une terminologie courante sur le plan international : lire et écouter (réception) ainsi qu’écrire et parler (production).

36Le modèle prévoit trois niveaux de description : 1) les aspects de l’activité langagière ; 2) la description des compétences dans les quatre sous-domaines ; 3) la description des tâches.

37Pour P. Sieber, responsable du domaine Langue 1 dans le projet HarmoS (2005), les actions langagières sont le point de départ de la description des compétences. Elles sont réalisées dans différentes modalités (production ou réception ) et font appel à différents médias (oral et écrit, communication directe et indirecte). Il définit l’activité langagière en cinq aspects qui ne sont pas hiérarchiques et qui interviennent de façon variable selon les situations : situer (reconnaître ou appliquer la fonction de l’activité langagière), planifier (pondérer le poids relatif des différents éléments de contenu, les structurer, les inscrire dans le genre textuel choisi, etc.), réaliser (il s’agit de l’activité de réception ou de production à proprement parler), évaluer (réfléchir et évaluer) et réparer (réviser un texte ou relire le texte pour vérifier et compléter sa compréhension). Ces aspects recouvrent partiellement les sous-échelles utilisées dans PISA (retrouver une information, développer une interprétation et réfléchir sur le texte). Il faut toutefois préciser que le modèle défini ici doit prendre en compte à la fois la réception et la production. Or, ces compétences partielles, tout à fait adéquates dans le cas de la littéracie (compréhension de l’écrit ou lecture) dans le sens défini pour l’enquête PISA, à savoir la capacité à comprendre et utiliser des textes écrits ainsi qu’à réfléchir à leur propos, n’auraient pas été adaptées pour les quatre sous-domaines et en particulier, écrire et parler. C’est pourquoi dans le modèle de compétences élaborés pour la langue I dans HarmoS on a choisi de considérer des aspects qui dépassent le cadre de la littéracie (réception) et englobent à la fois la réception et l’expression.

38Des compétences partielles, dont on trouvera la description complète en annexe, ont été, entre autres, définies pour la lecture, en fonction des cinq aspects retenus. Ainsi, concernant Situer, on trouve entre autres, des compétences telles que s’adapter aux situations de communication ou reconnaître la fonction du texte. Concernant Planifier, il s’agit notamment de définir sa propre situation par rapport à la lecture et de s’organiser (identifier l’organisation du texte – macrostructure, éléments typographiques). Réaliser comporte de nombreuses compétences partielles, parmi lesquelles : réaliser les correspondances phonèmes-graphèmes ; mobiliser ses compétences langagières (syntaxiques et sémantiques), verbales et non-verbales (organisateurs, anaphores, temps verbaux, etc.) ; interpréter, réaliser des inférences et établir des relations causales ; ou encore retrouver des informations explicites et implicites. L’aspect Réparer est plus difficile à prendre en compte dans le cas de la lecture : il peut être considéré comme la compétence à contrôler sa lecture (construction du sens) et à revenir sur celle-ci. Enfin, Évaluer peut être considéré comme comportant les compétences à dégager les éléments les plus importants, à résumer ou à réfléchir par rapport au contenu et à la forme du texte, à analyser la lecture (plans émotionnel, cognitif et métacognitif), et à identifier l’intention de l’auteur.

39On notera que certaines compétences partielles sont les mêmes que dans PISA. Ainsi, retrouver une information et développer une interprétation sont inclues dans l’aspect réaliser, et réfléchir sur le texte est une composante d’évaluer.

En guise de conclusion

40Les enquêtes internationales du type PISA contribuent à une meilleure connaissance de nos systèmes éducatifs à travers la comparaison. Elles peuvent même permettre des exploitations plus locales. Cependant, ces deux types d’exploitation nécessitent une contextualisation qui prend en compte certaines limites de ces enquêtes, notamment lors du passage du niveau international au niveau local ou réciproquement. Il faut également garder à l’esprit que ces instruments, aussi sophistiqués qu’ils soient, ne peuvent pas prendre en compte tous les aspects de l’éducation. Ils ne sont pas non plus des instruments universels à même de répondre à toutes les questions que l’on pourrait se poser dans le domaine de l’éducation. Les exemples présentés dans cet article montrent quelques-unes de ces limites.

41Cependant, la tentation est forte d’utiliser le même type de démarche dans un contexte national ayant d’autres objectifs. C’est ce qui est arrivé en Suisse. En effet, les résultats de l’enquête PISA 2000 ont donné une impulsion décisive à un projet relativement ambitieux d’harmonisation de la scolarité et notamment au volet visant la définition de standards minimaux nationaux. Ces standards nécessitent le développement d’instruments qui s’inspire largement d’une approche de type PISA. Or, PISA est une évaluation qui permet de comparer à un moment donné de la scolarité les compétences des élèves dans trois domaines spécifiques sur la base d’un référentiel de compétences attendues « universelles » communes, définies sans lien direct avec les programmes d’enseignement.

42Dans le cas d’un projet du type « HarmoS », les objectifs sont différents, il ne s’agit plus de comparer des entités nationales ou locales mais de pilotage et de régulation du système éducatif ou plus exactement de plusieurs systèmes éducatifs ayant des langues et des cultures différentes par la définition de standards mesurables. Il est dès lors nécessaire de définir des compétences qui tiennent compte des programmes scolaires tout en prenant en compte leur dimension variée, tâche qui s’avère complexe et délicate. Par ailleurs, une autre difficulté réside dans l’aspect mesurable, lequel est forcément réducteur par rapport aux contenus curriculaires enseignés à l’école.

43De plus, au moment où il s’agit d’élaborer des tâches, on est confronté à un autre type de difficulté : certains types de question sont plus faciles à utiliser (questions à choix multiples ou questions à réponse fermée contra questions ouvertes où le correcteur devra interpréter la réponse de l’élève). Or, les résultats de PISA aussi bien en littéracie qu’en mathématiques ont montré l’effet du type de questionnement. De plus, le type de test retenu sera de préférence écrit, ce qui a forcément des incidences sur les domaines mesurés : par exemple la production orale (et en particulier en interaction) ou l’expérimentation en sciences.

44Pour conclure, PISA a permis des apports non seulement en termes de connaissance des systèmes éducatifs mais également du point de vue des méthodes et de leur implémentation. Cependant, il faut rester conscient des limites de ce type d’enquêtes. En effet, l’élaboration de standards nécessite le développement d’instruments plus diversifiés pour cerner les objectifs variés de formation visés par les systèmes scolaires qui dépassent largement les compétences prises en compte dans les enquêtes comparatives internationales.

Top of page

Bibliography

Allal L. (1999). « Acquisition et évaluation des compétences en situation scolaire ». Raisons éducatives, n° 2 (« L’énigme de la compétence »), p. 77-94.

Broi A.-M. ; Moreau J. ; Soussi A. & Wirthner M. (2003). Les compétences en littératie. Rapport thématique de l’enquête PISA 2000. Neuchâtel : Office fédéral de la statisitique (OFS) ; Conférence suisse des directeurs cantonaux de l’instruction publique (CDIP).

Confédération Helvétique : Conférence suisse des directeurs cantonaux de l’instruction publique (2004). HarmoS : finalités et conceptions du projet (juin 2004). Berne : CDIP. Document au format PDF disponible sur Internet à l’adresse : <http://www.edk.ch/PDF_Downloads/Harmos/Harmos_Weissbuch_f.pdf> (consulté le 23 janvier 2007).

Crahay M. (2006). « Dangers, incertitudes et incomplétude de la logique de la compétence en éducation ». Revue française de pédagogie, n° 154, p. 97-110.

Dolz J. & Schneuwly B. (1996) « Genre et progression en expression écrite : éléments de réflexion à propos d’une expérience romande », Enjeux, n° 37/38, p. 49-75.

Embretson S. E. & Reise S. P. (2000).Item response theory for psychologists. Mahwah : L. Erlbaum.

Klieme E. et al. (2003). Expertise. Zur Entwicklung nationaler Bildungsstandards Bonn : Bundesministerium für Bildungs und Forschung [BMBF] : Referat Publikationen. Document au format PDF disponible sur Internet à l’adresse : <http://www.bmbf.de/pub/zur_entwicklung_nationaler_bildungsstandards.pdf> (consulté le 23 janvier 2007).

Le Boterf G. (1995). De la compétence : essai sur attracteur étrange. Paris : Éd. d’Organisation.

Jonnaert P. (2002). Compétences et socioconstructivisme : un cadre théorique. Bruxelles : De Boeck.

Müller K. & Silver R. (2005). « Standards in education. Review of US literature ». In Matthis Behrens (coord.), Analyse de la littérature critique sur le développement, l’usage et l’implémentation de standards dans un système éducatif. Neuchâtel : Institut de recherche et de documentation pédagogique.

Nidegger C. [coord.] (2005). PISA 2003 : Compétences des jeunes romands : Résultats de la seconde enquête PISA auprès des élèves de 9e année. Neuchâtel : Institut de recherche et de documentation pédagogique.

OCDE (2003). Cadre d’évaluation de PISA 2003. Connaissances et compétences en mathématiques, lecture, science et résolution de problèmes. Paris : OCDE.

OECD (2004). Learning for tomorrow’s world : First results from PISA 2003.Paris : OECD.

OECD (2005). Pisa 2003 technical report. Paris : OECD.

Rey B. ; Carette V. ; Defrance A. & Kahn S. (2003). Les compétences à l’école. Bruxelles : De Boeck.

Roegiers X. (2000). Une pédagogie de l’intégration : compétences et intégration des acquis dans l’enseignement. Bruxelles : De Boeck.

Sieber P. et al. (2005). Schritte zu einem Kompetenzmodell Erstprache. (document provisoire).

Weinert F. E. (2001). « Vergleichende Lestungsmessug in Schulen : eine umtrittene Selbstverständlichkeit ». In F. E. Weinert (éd.), Leistungsmessungen in Schulen.Weinheim & Basel : Beltz Verlage, p. 17-31.

Top of page

Appendix

Compétences partielles dans le domaine de la lecture

Top of page

Notes

1 Un élève de compétence x a 50 % de chance (dans PISA 2000, 62 %) de répondre correctement à l’item de difficulté x.

2 Par exemple en 2003, l’ensemble des items a été réparti dans treize cahiers. Chaque item apparaît dans quatre cahiers différents. Les élèves ne répondent qu’à un des treize cahiers.

3 Cette instance permanente regroupe les chefs de départements (ministres) chargés de l’instruction publique des vingt-six cantons en vue de coordonner leur action sur la base d’accords entre les cantons.

Top of page

List of illustrations

Title Graphique 1. – Difficultés et pourcentages de réussite des items de lecture (PISA 2000)
Caption NB : pour des raisons de lisibilité, seuls 50 % des items (choisis aléatoirement) sont représentés dans le graphique ci-dessus
URL http://journals.openedition.org/rfp/docannexe/image/415/img-1.png
File image/png, 20k
Title Graphique 2. – Moyenne en mathématiques et niveau socioéconomique (NSE) moyen
Caption N.B. : Les histogrammes représentent le niveau socioéconomique (NSE) moyen (échelle de gauche), La courbe indique les scores moyens en mathématiques (échelle de droite).
URL http://journals.openedition.org/rfp/docannexe/image/415/img-2.png
File image/png, 17k
Title Graphique 3. – Moyenne en mathématiques et niveau socioéconomique (NSE)
Caption N.B. : Pour le niveau socioéconomique (NSE), les élèves de la Suisse romande ont été répartis en quatre catégories égales (de la plus basse à la plus élevée)
URL http://journals.openedition.org/rfp/docannexe/image/415/img-3.png
File image/png, 26k
URL http://journals.openedition.org/rfp/docannexe/image/415/img-4.png
File image/png, 60k
Top of page

References

Bibliographical reference

Jean Moreau, Christian Nidegger and Anne Soussi, “Définition des compétences, choix méthodologiques et retombées sur la politique scolaire en Suisse”Revue française de pédagogie, 157 | 2006, 43-53.

Electronic reference

Jean Moreau, Christian Nidegger and Anne Soussi, “Définition des compétences, choix méthodologiques et retombées sur la politique scolaire en Suisse”Revue française de pédagogie [Online], 157 | octobre-décembre 2006, Online since 01 December 2010, connection on 29 March 2024. URL: http://journals.openedition.org/rfp/415; DOI: https://doi.org/10.4000/rfp.415

Top of page

About the authors

Jean Moreau

jean.moreau@unil.ch
Unité de recherche pour le pilotage des systèmes pédagogiques (URSP), Lausanne

Christian Nidegger

christian.nidegger@etat.ge.ch
Service de la recherche en éducation (SRED), Genève

By this author

Anne Soussi

anne.soussi@etat.ge.ch
Service de la recherche en éducation (SRED), Genève

By this author

Top of page

Copyright

CC-BY-NC-ND-4.0

The text only may be used under licence CC BY-NC-ND 4.0. All other elements (illustrations, imported files) are “All rights reserved”, unless otherwise stated.

Top of page
Search OpenEdition Search

You will be redirected to OpenEdition Search