4 La mise en oeuvre de l’évaluation

4  La mise en oeuvre de l'évaluation - Image d'illustration

Suite de la présentation critique d’un instrument d’évaluation mis en œuvre en Grèce (en l’occurrence, les examens Examens Examens de français du PALSO) pour l’octroi d’une certification en langue française, mémoire de DEA – Sciences du langage, Université de Mons-Hainaut, 1998.

Pour ce qui concerne la mise en oeuvre des objectifs de l’évaluation, il faudra passer en revue les conditions dans lesquelles se déroule l’évaluation et la qualité des contenus de l’évaluation.

4.1 Les conditions dans lesquelles se déroule l’évaluation

On tentera d’abord de dégager les influences sur le score des conditions de passation des épreuves que constituent la disposition des lieux, les contraintes de temps et les contingences techniques liées au choix de certains outils d’évaluation.

4.1.1 La disposition des lieux

La disposition des lieux peut difficilement influer sur le score relatif des examinés puisque les examens Examens Examens sont systématiquement organisés dans des bâtiments scolaires publics dont l’aspect invariable sur l’ensemble du territoire national garantit un cadre de passation des examens Examens Examens standardisé.

4.1.2 Les contraintes de temps

Les rapports rédigés par les chefs de centre au terme de chaque épreuve renseignent les organisateurs sur l’influence qu’une contrainte de temps aurait pu avoir sur le déroulement des épreuves. Ces rapports n’en ont jamais fait mention. Au contraire, il a été récemment décidé de diminuer le temps trop généreux de passation de certaines épreuves.

4.1.3 Les contingences techniques liées au choix de certains outils d’évaluation

La variabilité de la qualité acoustique du cassettophone et de la distance qui le sépare de chaque examiné pourrait par contre jouer un rôle déterminant sur les scores. Il est très difficile de connaître la place qu’occupait chaque examiné par rapport à l’enregistreur ou la qualité technique de ce dernier, mais une étude statistique de l’influence que peut avoir exercé la qualité de l’audition sur les scores montrera que cette influence est négligeable.

Le fait que les candidats doivent reporter leurs réponses sur un formulaire spécialement composé pour une lecture optique , que ces candidats sont plus ou moins rompus à ce genre de tâche, et que, durant cette phase de recopie, la tricherie est facile peut influencer les résultat finaux. Nous ne disposons pas de données empiriques pour confirmer ou infirmer ces dernières craintes.

4.2 Parcours de l’examen

Tout au long de la présentation de l’examen qui va suivre, on vérifiera systématiquement au fil des épreuves, des activités qui les composent et des items éventuels, la qualité des instructions et des consignes, la qualité des échantillons de discours soumis aux candidats et la nature des tâches proposées.

Seront ainsi vérifiés au niveau des instructions et des consignes :

- la simplicité de la syntaxe et du vocabulaire,
- l’adéquation du choix de la langue des consignes et
- la constance des soucis de clarté et de « naturalité ».

La qualité des échantillons sera objectivée par un contrôle systématique de :

- l’adéquation de la nature et du rôle des documents soumis aux candidats à ceux des objectifs d’apprentissage,

- l’accessibilité de ces documents aux candidats plus jeunes,

- leur représentativité linguistique et sociale, et

- l’adéquation du support de présentation au genre sélectionné.

Enfin, l’observation des tâches successivement proposées aux candidats permettra de vérifier

- dans quelle mesure les seules compétences à évaluer sont évaluées,

- si les candidats sont bien capables de développer les compétences évaluées en langue d’origine ,

- dans quelle mesure les difficultés de chaque exercice sont ou non liées à celles de la langue source.

Rappelons qu’un examen distinct est organisé pour chacun des deux niveaux de compétence évalués. Les examens pour le niveau certificat comportent 3 épreuves mesurant des compétences de communication correspondant grosso modo aux trois skills de la communication que constituent la compréhension du discours écrit, l’expression écrite et la compréhension d’un discours oral. Des activités mesurant la mise en exercice du système linguistique sont en outre intégrées dans la première épreuve. Au niveau certificat, une quatrième épreuve correspondant au skill de production orale est organisée et intègre également une évaluation de la maîtrise de l’interaction.

Seront passées en revue, épreuve après épreuve, activité par activité, item par item, toutes les tâches proposées aux examinés, et plus particulièrement celles dont la description métrologique livrée infra fait soupçonner quelque dysfonctionnement significatif.

Pour éviter au lecteur un compte rendu fastidieux de l’analyse qui a été effectuée de chacune des activités et/ou de chacun des items qui les composent selon les 66 critères d’évaluation, un tableau synoptique, repris dans les pages qui suivent immédiatement celle-ci, consignera l’ensemble de ces observations. Les plus pertinentes d’entre ces dernières seront exposées et discutées au fil du parcours des activités qui suivra.

Sur l’édition électronique de l’étude, nous ne reprenons pas ces tableaux qui sont trop lourds à télécharger (66 critères x 54 activités = 3564 cellules !) et difficiles à présenter sur une largeur d’écran. Ils seront remplacés par une simple liste des critères d’évaluation qui ont été utilisés au cours de l’analyse :

Type de la compétence mesurée :

- communicationnelle
- linguistique

Type d’information à repérer :

- consigne
- degré d’implication du candidat / d’un tiers
- incidences
- information sur la personne
- informations sur l’objet
- informations utiles
- intentions
- lieu
- matière
- mesures
- moments
- nombre
- origine document
- sexe

Nature des compétences mis en oeuvre :

- lexique
- morphosyntaxe
- orthographe
- sémantique

Opérateurs discursifs mis en oeuvre :

- articulateurs
- diaphores
- indicateurs de l’attitude du locuteur
- indicateurs du genre
- indicateurs du nombre
- indicateurs du temps et de l’aspect
- indicateurs spatio-temporels

Autres regroupements :

- homonymes en langue cible
- homonymes grecs

Degré de facilité et cause probable :

- faible degré de facilité
- haut degré de facilité
- concurrence/confusion avec ce n’est pas dit
- deux bonnes réponses
- difficultés liée à la langue-source
- document mal découpé
- document mal reproduit
- éléments à apparier comportent mêmes mots
- influence item voisin
- mot difficile
- parasité par compétence cognitive
- piège
- préconnaissance requise
- question subjective
- recherche d’harmonie dans la distribution
- résolution possible sans compétence visée

Qualité de la consigne :

- langue adéquate
- simplicité de syntaxe/vocabulaire
- souci de clarté/naturalité

Qualité du document :

- accessible par les plus jeunes
- adéquation nature/rôle avec objectifs
- adéquation support avec genre
- document authentique
- phrases courtes
- représentativité linguistique/sociale
- serait accessible en LM
- texte spécialisé

Qualité de l’activité :

- compétences développable en LM
- difficulté liée à LM
- mise en situation communicative
- naturalité
- naturalité des alternatives et des leurres

Type de représentation des référents :

- acoustique
- iconique
- linguistique

peuvent influer sur la validité de la mesure :

- nombre de choix
- rubrique je ne sais pas

L’évaluation de chaque activité sera précédée d’une transcription des consignes. Les documents authentiques sur lesquels reposent les activités sont reproduits en annexe. Leur consultation permettra une compréhension plus facile de l’analyse qui suit.

4.2.1 Les instructions préliminaires

Les instructions qui figurent sur la couverture de chacune des épreuves d’examen sont en français. La question du choix de la langue pédagogique sera l’objet d’une discussion infra mais il peut déjà être souligné que sans une compréhension totale des injonctions, recommandations et informations qui forment à chaque fois le contenu du texte,

- les bonnes conditions dans lesquelles devraient se dérouler l’épreuve d’évaluation et

- la qualité des mesures effectuées ne sont pas absolument garanties.

Voir en ligne

Palso : http://www.palso.gr

L'auteur de cet article

Olivier Delhaye –  Didacticien - Université Aristote de Thessalonique