Survol d'un examen du TFLF (Université de Liège) - Image d'illustration

Survol d’un examen du TFLF (Université de Liège)

Cette analyse rapide, réalisée et publiée à la demande de collègues, livre en vrac quelques défauts et qualités relevés dans l’examen intitulé Test Francophone de Langue Française (TFLF), Certificat de compétences linguistiques, Institut Supérieur des Langues Vivantes (ISLV), Université de Liège, Livret du candidat, Niveau B2 du Cadre européen commun de référence pour les langues, Session de MAI 2015.

Le texte qui suit est un relevé de ce qui, dans cet examen, reflète la qualité métrologique de l’évaluation. C’est ce qui avait été demandé sur le site http://qr.gallika.net.

Les considérations n’engagent que moi et ne reflètent en rien le jugement global que je pourrais porter à l’égard de l’examen ou du dispositif de certification dont il émane. Ce dispositif est d’ailleurs bourré de qualités : il est belge – comme moi ! –, il est plus transparent que de nombreux autres dispositifs, et il est surtout très « amical », comme on dit en Grèce. Tant pour les apprenants du français que pour leurs profs, d’ailleurs !

Le lecteur comprendra mieux ces propos s’il sait ce que sont les qualités métrologiques de fiabilité et de validité. Il peut s’informer ici : http://gallika.net/methodo/evaluation/article/la-docimologie

Test Francophone de Langue Française (TFLF), Niveau B2 du Cadre européen commun de référence pour les langues, Session de MAI 2015

Le titre se réfère à l’échelle de niveaux communs de référence d’une compétence langagière promu par le CECR (B2) mais la grille semble ne se référer qu’à deux des quatre modes d’activités langagières recensés dans le CECR (http://www.coe.int/t/dg4/linguistic/Source/Framework_fr.pdf, p. 18) : la réception et la production. Les compétences d’interaction et de médiation ne sont apparemment pas évaluées. Une compétence appartenant à un autre paradigme est également mesurée : celle de la mise-en-œuvre du système de la langue (« Structures »).

Les consignes sont en fait réduites à des instructions : les activités proposées ne sont mises, ni en situation de communication (pourtant attendue dans le cadre d’une approche communicative), ni en contexte d’(inter)action sociale (attendu dans toute perspective actionnelle). Ce choix, qu’explique probablement un souci de clarté et de brièveté, s’avèrera malheureux à l’épreuve d’expression écrite.

À première vue, les documents visuels et/ou sonores sur lesquels portent les consignes d’activité de réception sont authentiques. Toutefois, le premier document (compréhension écrite) a été tronqué, la division en paragraphes modifiée, les sous-titres supprimés et le texte légèrement modifié (pour le rendre plus facile à comprendre ?) à certains endroits. Le document original est d’une lecture beaucoup plus aisée, plus agréable aussi, parce qu’il est plus cohérent et plus cohésif :

Une indication systématique des sources permettrait de retrouver plus facilement les documents d’exploitation et de pouvoir en vérifier le degré d’authenticité.

Voici les liens qui conduisent aux sources de l’examen étudié :
- Apprendre avec l’enseignement à distance :
http://www.lalibre.be/actu/belgique/apprendre-a-son-rythme-a-domicile-ou-a-l-etranger-521193ac35708f18276ea565
- Stage pour ados en surpoids :
http://www.rtbf.be/video/detail_stage-pour-ados-en-surpoids?id=2008137
- L’Hermione reprend la mer :
http://www.rtbf.be/video/detail_l-hermione-reprend-la-mer?id=2008492

On constate que les trois documents émanent de médias belges. Il serait peut-être intéressant de diversifier les sources pour qu’un plus grand éventail de prononciations du français soit soumis aux examinés. N’oublions pas que ces anciens examens Examens Examens constituent aussi souvent des matériels d’apprentissage.

« Compréhension écrite »

Activité 1
Questionnaire à choix multiples. Il est précisé que plusieurs réponses peuvent être correctes. En fait, toutes les réponses sont bonnes ! Cette particularité devrait réduire l’indice de fiabilité de l’item : en effet, l’examiné cochera au moins une des trois cases et, même s’il le fait au hasard, il obtiendra certainement au moins 1/3.
Au plan de la mise en page, il eût été préférable de placer des carrés (indiquent que plusieurs choix sont permis) devant chacune des options plutôt que des ronds (choix s’excluant l’un l’autre).

Activité 2
L’indice de fiabilité de cette activité sera probablement faible dans la mesure où l’examiné devra choisir entre deux réponses, seulement. La probabilité de réussite à chaque item sera donc de 50%, ce qui est énorme. Pour les examinés plus faibles, il s’agira donc juste de jouer à pile ou face.

Plus que la compréhension proprement dite du texte, c’est la compétence linguistique lexicale qui est évaluée. Il peut suffire, pour répondre correctement, de repérer et de comprendre les séquences : minimum/moyennant, soit… soit…, encodé et sur les… la moitié.

L’item 2.4 est problématique. Pour être valide, la première réponse devrait être formulée ainsi : Vrai. La moitié des inscrits ne commencent pas les cours. À vrai dire, le texte original est lui-même incohérent. Il y est dit que « Chaque année, l’EAD enregistre quelque 11 500 à 14 000 nouvelles inscriptions », puis, 30 lignes plus bas, que« Sur les 30 000 nouvelles formations demandées chaque année, environ la moitié des apprenants ne débutent pas le processus de formation alors qu’ils sont inscrits ».

Activité 3
Cette activité est peut-être trop facile : les éléments de réponses sont carrément juxtaposés dans le texte (où et quand il le souhaite, à son rythme et selon ses possibilités). Si l’examiné a repéré un élément de réponse, il aura fatalement repéré les deux autres et pourra par ailleurs les recopier sans même les avoir nécessairement compris.

Activité 4
Cette activité ne permet pas une évaluation fiable parce que la mesure de la compétence lexicale n’est effectuée qu’une seule fois : l’examiné a la chance de connaître ou de ne pas connaître la locution « prendre le pli », de comprendre ou de ne pas comprendre le cotexte et/ou le contexte.

Activité 5
Voici un bel exemple d’activité où l’on souffle à l’examiné ce qu’il devait comprendre seul : qu’à l’EAD, on peut « corriger ses exercices » et « vérifier ses connaissances ». Ici, on contrôle seulement si l’examiné est en mesure de repérer dans le texte deux séquences qui correspondent à ce qui a été décodé à sa place.

Activité 6
Cette activité pèche en ce que de trop nombreuses réponses sont possibles : le prix, non certifiant, la souplesse, le risque, le meilleur encadrement, la liberté, etc. On ne sait pas comment elles seront notées par l’humain.

Remarque ultime, portant sur l’ensemble de l’épreuve de compréhension écrite : la nature des activités, l’ordre dans lequel elles sont présentées et/ou la longueur excessive du texte (600 mots) obligent l’examiné à lire et à re-parcourir de trop nombreuses fois le document. Ceci peut constituer une source de fatigue et de retard dans l’accomplissement de l’examen.

« Expression écrite »

L’examiné est amené à répondre à une série de questions en donnant son opinion ou, ce qui n’est pas annoncé dans la consigne, en justifiant son point de vue : Oui, je pense que… parce que…

L’épreuve doit plaire aux examinés et à leurs enseignants parce qu’il s’agit de produire un écrit sans aucune contrainte d’ordre sociolinguistique, pragmatique ou stratégique. Elle plaira d’autant plus qu’elle fait toujours réaliser la même paire d’actes de parole : donner son opinion / justifier son point de vue.

Où sont les dizaines d’autres micro-fonctions dont le Cadre demande de contrôler la capacité de réalisation ? Comment contrôler les degrés de cohérence et de cohésion (articulateurs, etc.), la connaissance et le respect des contraintes sociolinguistiques, la capacité d’élaboration de stratégies de communication dans cette pauvre succession de questions/réponses scolaires :


- Si tu devais suivre des cours à distance, quelle(s) matière(s) choisirais-tu ? Justifie ton choix.
- Si je devais suivre des cours à distance, je choisirais l’Histoire et la Biologie parce que j’adore ces deux matières. Tous les soirs, je lis des livres d’histoire. Je visite plein de sites qui parlent de biologie sur Internet.
(A2)

« Structures »

Activité 1
Il faut comprendre une métalangue (plus-que-parfait, pronom, mode, etc.) inconnue de nombreux – et éventuellement excellents ! – locuteurs natifs.

Au moins deux compétences linguistiques sont mesurées en même temps, ce qui rend l’évaluation moins valide et l’exercice (ici, il s’agit plus d’un exercice que d’une activité, même dans ce cadre évaluatif : pas de contexte de communication, répétition immotivée) difficile. Un francophone natif peinera à réaliser ces transformations… parce qu’il n’a jamais fait ça.

Par contre, le fait que l’activité soit composée de 5 items lui confère un plus haut degré de fiabilité : une même mesure (mise au temps/mode correct, pronominalisation de compléments) est effectuée cinq fois. Elle est donc plus sûre, plus précise aussi.

La notation des réponses à l’activité 2 sera ardue : il y a souvent trois, parfois six réponses possibles. Et la validité de chaque réponse fournie ne peut être établie qu’en liaison avec l’ensemble des réponses données dans les autres lacunes du texte.

« Compréhension orale »

Pas si orale que ça puisqu’il y a l’image, mais cette adaptation à l’ère du multimodal est certainement un bien.

« Exercice » 1

Le sujet du reportage n’est peut-être pas adroit : des examinés pourront se sentir mal à l’aise s’ils se sentent concernés. C’est un problème de validité et de fiabilité tout à la fois.

J’ai pu répondre aux questions 1, 3 et 5 avant même d’avoir trouvé et visionné la vidéo. Ces questions ne mesurent donc pas à coup sûr le degré de compréhension orale (problème de validité).

Il est malaisé de répondre aux questions 3 (la réponse est discutable) et 4 (pas le temps de noter et surtout séquences difficiles et peu utiles : velouté de carottes aux lentilles, etc.).

L’activité 6 est vraiment de très bonne qualité. Il est impossible de valider les assertions sans avoir vu/entendu/compris la vidéo. En outre, quatre des cinq réponses attendues sont contre-intuitives, ce qui est parfait.

Toutefois, j’ai dû revoir plus de deux fois la vidéo et j’ai trouvé le « on est déjà venu me le dire » de l’item 6.3 particulièrement mal articulé ou inaudible.

« Exercice » 2

Activité 1
Ce ne sont pas des chiffres qu’il est demandé de transcrire, mais des nombres. Quatre mesures de la détention d’une même compétence (compréhension de la quantification chiffrée), c’est suffisamment fiable.

Activités 3 et 4
L’évitement de toute négation dans la formulation des consignes (n’a (n’ont) jamais été utilisée (/s), Ce n’est pas la première sortie en mer du bateau) figure dans les bonnes pratiques de rédaction d’un examen.

Voilà ! Je sais, la critique est facile. Mais elle est constructive puisque des formes alternatives précises d’activités d’évaluation pourraient être mises en place. Répétons aussi que ce survol ne concerne qu’une épreuve, qu’un seul niveau, qu’une seule session d’examen.

Voir en ligne

L’épreuve d’examen commentée : http://www.exams.gr/images/B2_LIVRET_CANDIDAT_MAI2015_site.pdf

L'auteur de cet article

Olivier Delhaye –  Didacticien - Université Aristote de Thessalonique