Les 12 sections que vous parcourez sont tirées d’un mémoire de DEA en Sciences du langage, déposé à l’Université de Mons-Hainaut en 1998 ; la plus Grande Distinction lui a été attribuée.
La lecture de ces textes (dans l’ordre suggéré) peut aider l’enseignant des langues à comprendre concrètement comment peut être conçue puis mise en œuvre une évaluation certificative des compétences de communication en langue étrangère, même imparfaite encore.
Pour ce qui concerne la mise en oeuvre des objectifs de l’évaluation, il faudra passer en revue les conditions dans lesquelles se déroule l’évaluation et la qualité des contenus de l’évaluation.
4.1 Les conditions dans lesquelles se déroule l’évaluation
On tentera d’abord de dégager les influences sur le score des conditions de passation des épreuves que constituent la disposition des lieux, les contraintes de temps et les contingences techniques liées au choix de certains outils d’évaluation.
4.1.1 La disposition des lieux
La disposition des lieux peut difficilement influer sur le score relatif des examinés puisque les examens sont systématiquement organisés dans des bâtiments scolaires publics dont l’aspect invariable sur l’ensemble du territoire national garantit un cadre de passation des examens standardisé.
4.1.2 Les contraintes de temps
Les rapports rédigés par les chefs de centre au terme de chaque épreuve renseignent les organisateurs sur l’influence qu’une contrainte de temps aurait pu avoir sur le déroulement des épreuves. Ces rapports n’en ont jamais fait mention. Au contraire, il a été récemment décidé de diminuer le temps trop généreux de passation de certaines épreuves.
4.1.3 Les contingences techniques liées au choix de certains outils d’évaluation
La variabilité de la qualité acoustique du cassettophone et de la distance qui le sépare de chaque examiné pourrait par contre jouer un rôle déterminant sur les scores. Il est très difficile de connaître la place qu’occupait chaque examiné par rapport à l’enregistreur ou la qualité technique de ce dernier, mais une étude statistique de l’influence que peut avoir exercé la qualité de l’audition sur les scores montrera que cette influence est négligeable.
Le fait que les candidats doivent reporter leurs réponses sur un formulaire spécialement composé pour une lecture optique , que ces candidats sont plus ou moins rompus à ce genre de tâche, et que, durant cette phase de recopie, la tricherie est facile peut influencer les résultat finaux. Nous ne disposons pas de données empiriques pour confirmer ou infirmer ces dernières craintes.
4.2 Parcours de l’examen
Tout au long de la présentation de l’examen qui va suivre, on vérifiera systématiquement au fil des épreuves, des activités qui les composent et des items éventuels, la qualité des instructions et des consignes, la qualité des échantillons de discours soumis aux candidats et la nature des tâches proposées.
Seront ainsi vérifiés au niveau des instructions et des consignes :
– la simplicité de la syntaxe et du vocabulaire,
– l’adéquation du choix de la langue des consignes et
– la constance des soucis de clarté et de « naturalité ».
La qualité des échantillons sera objectivée par un contrôle systématique de :
– l’adéquation de la nature et du rôle des documents soumis aux candidats à ceux des objectifs d’apprentissage,
– l’accessibilité de ces documents aux candidats plus jeunes,
– leur représentativité linguistique et sociale, et
– l’adéquation du support de présentation au genre sélectionné.
Enfin, l’observation des tâches successivement proposées aux candidats permettra de vérifier
– dans quelle mesure les seules compétences à évaluer sont évaluées,
– si les candidats sont bien capables de développer les compétences évaluées en langue d’origine ,
– dans quelle mesure les difficultés de chaque exercice sont ou non liées à celles de la langue source.
Rappelons qu’un examen distinct est organisé pour chacun des deux niveaux de compétence évalués. Les examens pour le niveau certificat comportent 3 épreuves mesurant des compétences de communication correspondant grosso modo aux trois skills de la communication que constituent la compréhension du discours écrit, l’expression écrite et la compréhension d’un discours oral. Des activités mesurant la mise en exercice du système linguistique sont en outre intégrées dans la première épreuve. Au niveau certificat, une quatrième épreuve correspondant au skill de production orale est organisée et intègre également une évaluation de la maîtrise de l’interaction.
Seront passées en revue, épreuve après épreuve, activité par activité, item par item, toutes les tâches proposées aux examinés, et plus particulièrement celles dont la description métrologique livrée infra fait soupçonner quelque dysfonctionnement significatif.
Pour éviter au lecteur un compte rendu fastidieux de l’analyse qui a été effectuée de chacune des activités et/ou de chacun des items qui les composent selon les 66 critères d’évaluation, un tableau synoptique, repris dans les pages qui suivent immédiatement celle-ci, consignera l’ensemble de ces observations. Les plus pertinentes d’entre ces dernières seront exposées et discutées au fil du parcours des activités qui suivra.
Sur l’édition électronique de l’étude, nous ne reprenons pas ces tableaux qui sont trop lourds à télécharger (66 critères x 54 activités = 3564 cellules !) et difficiles à présenter sur une largeur d’écran. Ils seront remplacés par une simple liste des critères d’évaluation qui ont été utilisés au cours de l’analyse :
Type de la compétence mesurée :
– communicationnelle
– linguistique
Type d’information à repérer :
– consigne
– degré d’implication du candidat / d’un tiers
– incidences
– information sur la personne
– informations sur l’objet
– informations utiles
– intentions
– lieu
– matière
– mesures
– moments
– nombre
– origine document
– sexe
Nature des compétences mis en oeuvre :
– lexique
– morphosyntaxe
– orthographe
– sémantique
Opérateurs discursifs mis en oeuvre :
– articulateurs
– diaphores
– indicateurs de l’attitude du locuteur
– indicateurs du genre
– indicateurs du nombre
– indicateurs du temps et de l’aspect
– indicateurs spatio-temporels
Autres regroupements :
– homonymes en langue cible
– homonymes grecs
Degré de facilité et cause probable :
– faible degré de facilité
– haut degré de facilité
– concurrence/confusion avec ce n’est pas dit
– deux bonnes réponses
– difficultés liée à la langue-source
– document mal découpé
– document mal reproduit
– éléments à apparier comportent mêmes mots
– influence item voisin
– mot difficile
– parasité par compétence cognitive
– piège
– préconnaissance requise
– question subjective
– recherche d’harmonie dans la distribution
– résolution possible sans compétence visée
Qualité de la consigne :
– langue adéquate
– simplicité de syntaxe/vocabulaire
– souci de clarté/naturalité
Qualité du document :
– accessible par les plus jeunes
– adéquation nature/rôle avec objectifs
– adéquation support avec genre
– document authentique
– phrases courtes
– représentativité linguistique/sociale
– serait accessible en LM
– texte spécialisé
Qualité de l’activité :
– compétences développable en LM
– difficulté liée à LM
– mise en situation communicative
– naturalité
– naturalité des alternatives et des leurres
Type de représentation des référents :
– acoustique
– iconique
– linguistique
peuvent influer sur la validité de la mesure :
– nombre de choix
– rubrique je ne sais pas
L’évaluation de chaque activité sera précédée d’une transcription des consignes. Les documents authentiques sur lesquels reposent les activités sont reproduits en annexe. Leur consultation permettra une compréhension plus facile de l’analyse qui suit.
4.2.1 Les instructions préliminaires
Les instructions qui figurent sur la couverture de chacune des épreuves d’examen sont en français. La question du choix de la langue pédagogique sera l’objet d’une discussion infra mais il peut déjà être souligné que sans une compréhension totale des injonctions, recommandations et informations qui forment à chaque fois le contenu du texte,
– les bonnes conditions dans lesquelles devraient se dérouler l’épreuve d’évaluation et
– la qualité des mesures effectuées ne sont pas absolument garanties.
Suite, https://gallika.net/?article22
Lien vers les annales de ces examens, devenus « Examens PALSO-LAAS » : https://palso.gr/exams_/language-schools/laas-nocn-past-papers/
__________
[1] Abstract rédigé avec l’aide d’une IA.
En résumé
Cet article explore la mise en œuvre de l’évaluation dans le cadre des certifications de langue française en Grèce, avec une attention particulière aux conditions de passation et à la qualité des contenus évalués. L’auteur examine l’impact potentiel de facteurs externes (disposition des lieux, contraintes de temps, qualité des équipements) et analyse les instructions, les échantillons linguistiques et les tâches proposées aux candidats. Une évaluation rigoureuse de chaque épreuve est réalisée à l’aide de 66 critères pour garantir la validité et la fiabilité des mesures. [1]
Résumé généré par ChatGPT