Aller au contenu
English

Tirer les leçons de l'échec public d'un algorithme

  • Étude de cas 2
  • 120 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Cette étude de cas applique l'évaluation d'impact et les niveaux de risque du module 3 à un système public réel. En 2020, l'organisme anglais de réglementation des examens a ajusté les notes du A level avec un modèle statistique. Quatre jours après la publication des résultats, le gouvernement est revenu aux notes des enseignants. Nous lisons les rapports officiels et rédigeons l'évaluation d'impact qui aurait dû précéder le lancement.

Ce que vous saurez faire

Rédigez l’évaluation d’impact dont un système public réel avait besoin avant de prendre des décisions concernant des personnes. Vous lisez les rapports officiels sur le modèle de notation anglais de 2020. Vous déterminez ce que les preuves montraient avant la publication des résultats. Puis vous décidez ce qui aurait dû empêcher le lancement.

Étude de casPièce de portfolio

Durée
Environ 2 h
S’exécute dans
Un navigateur et un outil de rédaction
Compétences utilisées
  • Lire un rapport officiel comme source de preuves
  • Niveau de risque selon la méthode du cours
  • Juste en moyenne, erroné pour une personne
  • Évaluation d'impact
  • Une mesure pour chaque option
  • Conditions d'arrêt écrites avant les résultats
  • Recours

Les documents du cas ne sont pas du code : lisez-les dans votre navigateur, ou téléchargez-les pour travailler hors ligne. Écrivez votre réponse dans votre propre outil de traitement de texte. Les documents sont en anglais.

Le dossier du cas contient un README et une fiche des sources. Celle-ci indique le tableau et la page de chaque chiffre présenté ici. Vous rédigez votre réponse dans le modèle d’évaluation d’impact du cours.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 120 minutes

Ce que vous devez savoir

Ces leçons sont les plus importantes :

Cette page enseigne une nouvelle idée : un système peut être juste en moyenne et erroné pour une personne.

Ce qu’il vous faut

  • Un navigateur et un outil de rédaction (un traitement de texte, un éditeur de texte ou un tableur).
  • Le dossier du cas et le modèle d’évaluation d’impact, tous deux dans les laboratoires C33.
  • Aucun compte, aucune installation et aucuns frais.

Le 18 mars 2020, à cause de la pandémie, le gouvernement a annulé les examens d’été en Angleterre. Les élèves avaient quand même besoin de notes pour l’université, le collège ou le travail.

Les enseignants ont donc donné à chaque élève une note d’évaluation de l’établissement (centre assessment grade, CAG). C’était la note que l’élève aurait le plus probablement obtenue à l’examen. Les enseignants ont aussi classé leurs élèves dans chaque matière. Ensuite, Ofqual, l’organisme de réglementation des examens en Angleterre, a ajusté les notes des enseignants avec un modèle statistique. Le but était de maintenir des résultats comparables à ceux des années précédentes.

Les résultats du A level ont été publiés le 13 août 2020. Beaucoup d’élèves ont reçu une note inférieure à celle proposée par leur enseignant. Le 17 août, l’organisme de réglementation et le ministère de l’Éducation sont revenus aux notes des enseignants. Ils ont gardé la note du modèle lorsqu’elle était plus élevée.

Chez Larkfield, le comité de gouvernance demande du matériel de formation à Farida. La demande est construite pour le cours : « Rédigez l’évaluation d’impact qui aurait dû précéder la publication de ces notes. Qu’aurait-elle révélé? »

Le modèle était une méthode statistique, pas un grand modèle de langage. Cela ne change rien ici : une évaluation d’impact pose les mêmes questions à tout système qui décide pour des personnes.

Vous rédigez l’évaluation d’impact d’une page du modèle de notation, comme avant la publication des résultats, avec le modèle du cours. Cette page vous guide dans l’examen des preuves, du niveau de risque, des options, d’une comparaison équitable et d’une recommandation. Ensuite, elle vérifie deux conditions d’arrêt avec les données réelles.

Les « données » de cette étude de cas sont trois documents officiels sur GOV.UK (source officielle, vérifiée le 22 octobre 2026) :

Document Ce qu’il contient
Rapport provisoire, Ofqual, 13 août 2020, 319 pages, avec un résumé de 5 pages et l’annexe Q Le fonctionnement du modèle, les tests sur les années précédentes et les résultats du A level par note, région, type d’école et groupe d’élèves
Déclaration du président d’Ofqual, 17 août 2020 Le retour aux notes des enseignants et ses raisons
Article du ministère de l’Éducation, 17 août 2020 La même décision, présentée par le gouvernement

Avant toute analyse, vérifiez ce que les nombres comptent :

  • Ils comptent des notes, pas des élèves. Un élève qui passe trois A levels a trois notes. Les tableaux donnent des proportions de 718,276 notes du A level.
  • Angleterre seulement, A level et AS. L’analyse du GCSE est venue plus tard.
  • Le rapport vient de l’organisme de réglementation lui-même. Lisez ses tableaux comme des preuves, et ses conclusions comme une interprétation de celles-ci.
  • Le rapport a été publié le jour des résultats. Mais ses tableaux utilisent des données datant d’« environ une semaine avant la publication des résultats » (p. 136). Les preuves existaient donc avant le lancement.
  • Les proportions sont arrondies à une décimale. Ainsi, « environ 39 % » est notre somme de trois proportions arrondies, pas un chiffre officiel.

Une évaluation d’impact commence par la décision, pas par le modèle. Ici, la décision était : la note du modèle doit-elle remplacer celle de l’enseignant pour chaque élève, le jour des résultats?

L’organisme de réglementation a défini cinq objectifs pour le processus (rapport provisoire, p. 60). L’un était de « protéger, autant que possible, tous les élèves contre un avantage ou un désavantage systématique ». Les objectifs couvrent l’exactitude, la cohérence, la livraison et l’explication. Mais aucun ne précise comment un élève fait corriger une note erronée, ni dans quel délai. La section 5 du modèle pose exactement cette question.

Évaluez maintenant le système avec la méthode du cours. D’abord, les deux questions avant la notation. L’éducation est un exemple dans la première. C’est aussi l’un des domaines que le règlement européen sur l’IA classe aujourd’hui à haut risque. Cette loi n’existait pas en 2020 : nous utilisons la méthode ici seulement pour nous exercer. La réponse à la deuxième question est aussi oui : la note calculée était la note publiée. Un élève pouvait seulement la contester après, par un appel. Le spécialiste juridique lit donc l’évaluation en premier.

Ensuite, les quatre facteurs (les scores reflètent l’interprétation de cette étude de cas) :

Facteur Score Pourquoi
Préjudice d’un résultat erroné 3 Accès à l’université, au collège ou à un emploi; difficile à corriger après la clôture des offres
Personnes touchées 3 Une décision sur l’accès de chaque personne à l’éducation
Autonomie 3 Il agit seul : la note calculée était la note publiée
Données 2 Données personnelles : notes, classements et résultats antérieurs

La somme est 11 : high. La deuxième règle donne la même réponse, car le système agit seul avec un préjudice de 2 ou plus. Si vous attribuez 3 aux données, parce que beaucoup d’élèves ont moins de 18 ans, la somme est 12. Le niveau ne change pas. Un niveau élevé nécessite des contrôles 12. Cela comprend une évaluation d’impact complète examinée par le comité, une barrière de mise en production avec des seuils écrits et des conditions de pause.

L’organisme de réglementation a choisi le modèle Direct Centre Performance (DCP). « Centre » désigne une école ou un collège.

Un schéma de flux. Les résultats antérieurs de l'école dans la matière sont ajustés selon les acquis antérieurs des élèves de cette année. Ils donnent les proportions de notes prédites pour l'école, par exemple 4 élèves sur 20 obtiennent un A. Début juin, les enseignants envoient une note pour chaque élève et un classement. Le classement remplit les proportions prédites du haut vers le bas et donne la note calculée pour chaque élève. Une note en pointillés : avec moins de 15 élèves, le modèle accorde plus de poids à la note de l'enseignant. Un encadré à bordure épaisse : la note de l'élève vient de l'historique de l'école et du classement; la note de l'enseignant compte surtout dans les petits groupes.
Comment le modèle établissait une note, selon le résumé (p. 3–4). La proportion de l'exemple est construite.
Description textuelle du diagramme

Les résultats antérieurs de l’école dans la matière donnent les proportions de notes prédites pour l’école. Le classement des enseignants remplit ces proportions du haut vers le bas, ce qui donne la note calculée de chaque élève. Avec moins de 15 élèves, le modèle accorde plus de poids à la note de l’enseignant. Pour la plupart des élèves, la note vient donc de l’historique de l’école et du classement.

Selon le rapport, la prédiction venait de « la performance historique de l’école ou du collège dans cette matière » (résumé, p. 4). Les notes des enseignants avaient plus de poids dans les petits groupes. Aucun modèle ne prédit bien les résultats des très petits groupes.

Lisez seulement trois éléments : combien de notes ont changé, l’exactitude du modèle pour un élève et les gains selon les écoles.

Notes du A level publiées, comparées aux notes des enseignants. Source officielle : rapport provisoire, tableau 9.8 (p. 135). Hausses de deux notes ou plus : moins de 0,1 % chacune, non représentées.
Description textuelle du graphique

Un diagramme à colonnes de 718,276 notes du A level. Baisse de trois notes ou plus : 0.2 %. Baisse de deux notes : 3.3 %. Baisse d’une note : 35.6 %. Même note que celle de l’enseignant : 58.7 %. Hausse d’une note : 2.2 %. Les trois colonnes de baisse ont une couleur différente.

Ce que cela nous apprend. Environ 39 % des notes des enseignants ont été baissées : environ 281,000 notes du A level (notre calcul selon le tableau 9.8). La plupart ont baissé d’une note. Mais 3.5 % ont baissé de deux notes ou plus : environ 25,000 notes. Une baisse de deux notes peut transformer une offre universitaire en refus.

La nouvelle idée : juste en moyenne, erroné pour une personne

Section intitulée « La nouvelle idée : juste en moyenne, erroné pour une personne »

Imaginez un magasin de chaussures qui commande pour toute une ville. Grâce aux années précédentes, il sait combien de chaussures de chaque pointure la ville achète. La commande est donc correcte. Mais il distribue ensuite les chaussures par rue, pas selon les pieds. Chaque rue reçoit les pointures qu’elle avait l’an dernier. Le total est correct, mais beaucoup de personnes reçoivent la mauvaise pointure.

C’est le problème ici : les résultats nationaux semblaient corrects. Les enseignants proposaient A* pour 13.9 % des notes du A level, contre 7.7 % en 2019 (résumé, p. 2). Les notes publiées donnaient 8.9 % (tableau 9.6, p. 134), près d’une année ordinaire. Mais la note de chaque élève venait du passé de l’école, pas de l’élève.

L’idée : un système peut être juste en moyenne et erroné pour une personne. Une évaluation d’impact pose donc deux questions. Le résultat est-il équitable pour chaque groupe? Et quelle ampleur peut avoir l’erreur pour une personne, et comment peut-elle la faire corriger? La deuxième question appartient aux sections 4 et 5 du modèle.

Deux panneaux. Le pays, la moyenne : la proportion de A* au A level était de 7,7 % en 2019; les enseignants proposaient 13,9 %; les notes publiées donnaient 8,9 %. C'est près d'une année ordinaire, donc la moyenne semble correcte. Une élève, un exemple construit : la note de l'enseignant est A*, au rang 1 sur 20. L'école n'avait aucun A* dans cette matière les années précédentes. Les proportions prédites sont donc 0 A* et 4 A. La note calculée est A, une note plus basse, peu importe son travail.
Juste en moyenne, erroné pour une personne. Les chiffres nationaux sont officiels (résumé, p. 2; tableau 9.6); l'élève et son école sont construites.
Description textuelle du diagramme

À gauche, le pays : la proportion de A* était de 7.7 % en 2019, les enseignants proposaient 13.9 %, et les notes publiées donnaient 8.9 %. La moyenne semble donc correcte. À droite, une élève construite : son enseignant proposait A*, et elle est classée 1 sur 20. Son école n’avait aucun A* dans cette matière les années précédentes. Le modèle prédit donc 0 A* et 4 A. Elle obtient un A, peu importe son travail.

L’élève est construite, mais la règle est bien celle du modèle. Avec 20 élèves, l’historique de l’école décide. Le classement choisit seulement qui reçoit les notes que cet historique permet.

L’organisme de réglementation a testé ses modèles candidats sur les élèves de 2019, dont les vraies notes d’examen étaient connues. Sa mesure principale était « la probabilité que la note prédite corresponde à la note réellement obtenue par l’élève » (rapport provisoire, p. 49). Le tableau E.8 donne cette mesure pour le modèle choisi, dans chaque matière du A level.

Le modèle choisi, testé sur les élèves de 2019 : la proportion dont la note prédite correspondait à la vraie note, et la proportion à une note près, dans chacune des 55 matières du A level, arrondies au pourcentage entier. Source officielle : rapport provisoire, tableau E.8 (p. 204–205).
Description textuelle du graphique

Deux rangées de 55 points, un point par matière du A level. Note exacte : de 26.7 % (Italian) à 67.9 % (History), médiane d’environ 54 %. No subject reached 70%. À une note près : de 64.0% à 98.7%; 41 matières sur 55 à 90 % ou plus.

Ce que cela nous apprend. À une note près, le modèle semblait bon : 41 matières sur 55 à 90 % ou plus. Mais pour la note exacte, il était correct pour 26.7 % à 67.9 % des élèves, selon la matière. En Mathematics, la matière comptant le plus d’élèves, il manquait la vraie note pour environ 4 élèves sur 10. Ces tests ont été effectués avant la publication des notes.

Lisez aussi ces résultats de façon équitable. Les examens ordinaires ne sont pas parfaits non plus. Le rapport compare son exactitude à la cohérence de la correction (résumé, p. 5). Et le test classait les élèves selon leurs vraies notes de 2019 (p. 49). Les classements des enseignants peuvent être différents. Mais le constat reste : le test du système lui-même annonçait beaucoup de notes individuelles erronées, sans préciser lesquelles.

La section 5 du modèle demande si le résultat diffère entre les groupes. Le rapport vérifie deux types de groupes.

Pour les groupes d’élèves, il n’a trouvé « aucune preuve que le processus d’attribution des notes de cette année a introduit un biais » (résumé, p. 5). L’annexe Q comparait les élèves de statut socioéconomique inférieur et supérieur : « Les niveaux d’ajustement sont semblables entre les groupes » (annexe Q, p. 1).

Pour les types d’écoles, le tableau 9.10 (p. 136) donne la variation des notes A et supérieures au A level, en points de pourcentage :

Type d’école De 2019 à 2020 De 2018 à 2019
École secondaire non sélective +2.0 −1.5
École secondaire sélective +1.2 −1.5
École indépendante +4.7 −1.9
Établissement de fin du secondaire, de formation complémentaire ou d’enseignement supérieur +0.3 −1.1
Academy +1.7 −1.3
Autre +3.6 +0.8

Ce que cela nous apprend. Tous les types d’écoles ont progressé, avec une hausse nationale de 2.4 points (résumé, p. 4). Mais les écoles indépendantes ont progressé de 4.7 points, et les collèges de fin du secondaire et de formation complémentaire de 0.3. L’écart entre le type le plus élevé et le plus bas était de 4.4 points. De 2018 à 2019, il était de 2.7 (notre calcul). L’interprétation du rapport : « Cela reflète les différences d’une année typique. » Une autre personne peut ne pas être d’accord. Une évaluation d’impact précise donc à l’avance à partir de quand un écart est trop grand.

La référence de base : le modèle décide, tel que lancé

Section intitulée « La référence de base : le modèle décide, tel que lancé »

Comparez chaque option au système lancé, pas à la perfection :

Le modèle décide (tel que lancé) Valeur Source
Notes des enseignants baissées environ 39 sur 100 Tableau 9.8 (notre somme)
Baisse de deux notes ou plus 3.5 sur 100, environ 25,000 notes Tableau 9.8 (notre calcul)
Proportion de A* 8.9 %, contre 7.7 % en 2019 Tableau 9.6; résumé, p. 2
Note exacte lors du test, par matière De 26.7 % à 67.9 % Tableau E.8
Ce que reçoit un élève la note calculée Article du DfE
Comment un élève la fait corriger un appel envoyé par l’école Déclaration du président

Après le changement, le président d’Ofqual a écrit : « Attendre des écoles qu’elles déposent des appels pour les notes incorrectes imposait une charge aux enseignants ». Le ministère de l’Éducation a cité le ministre : le processus présentait « plus d’incohérence et d’injustice qu’un processus d’appel ne peut raisonnablement résoudre ».

Une évaluation juste compare des options réelles, chacune proposée pour une raison. Les options C et D servent ici à présenter le choix avant le lancement. C correspond à ce qui s’est passé après le changement.

Option Ce qu’elle signifie Pourquoi elle est proposée
A. Les notes transmises par les enseignants Attribuer chaque CAG Les enseignants connaissent leurs élèves; l’historique de l’école ne décide pas
B. Le modèle décide La conception telle qu’elle a été lancée Des résultats conformes aux années précédentes, une méthode pour chaque école
C. La plus élevée des deux La note du modèle ou celle de l’enseignant, « selon la plus élevée » Le modèle ne baisse aucune note; il peut encore en augmenter une
D. Le modèle signale, une personne décide Le modèle signale les écoles dont les notes dépassent largement leur historique; l’organisme d’examen les examine avec l’école avant les résultats Vérifier les notes optimistes, avec une personne et les preuves de l’école

L’option D fait passer le score d’autonomie de 3 à 2. La somme devient 10, et le niveau reste high. Ici, les préjudices et les personnes maintiennent le risque élevé. Ce qui change, c’est qui décide. Une personne peut bloquer une note erronée avant qu’elle parvienne à un élève.

Une comparaison juste évalue chaque option selon la même règle. La mesure porte sur le premier préjudice nommé par le niveau de risque. Sur 100 notes d’enseignants, combien un modèle baisse-t-il sans révision humaine avant le jour des résultats? La dernière colonne montre le coût de chaque option pour l’autre objectif : des résultats conformes aux années précédentes.

Option Notes baissées sans révision humaine, sur 100 notes Part des A* (7.7 % en 2019)
A. Les notes des enseignants 0 13.9 % (telles que transmises)
B. Le modèle décide environ 39 8.9 %
C. La plus élevée des deux 0 au moins 13.9 %
D. Le modèle signale, une personne décide 0 (chaque note baissée a été révisée) entre 8.9 % et 13.9 % : inconnu

Ce que cela nous apprend. Seule l’option B baisse des notes sans que personne les examine. Les autres ont un autre coût. A et C acceptent une hausse des résultats supérieure à « tout ce que nous avons déjà vu en une année » (résumé, p. 2). Une personne nommée doit l’accepter. D demande du temps de révision avant les résultats, et personne n’a mesuré si ce temps était disponible. L’évaluation expose ce compromis au lieu de le cacher.

Avant de poursuivre, écrivez votre décision en une ligne, avec sa raison.

Option B, le modèle décide : ne pas autoriser en l’état. Le préjudice est élevé et difficile à réparer. Son propre test n’a pas trouvé la note exacte pour de nombreux élèves, sans préciser lesquels. Le seul recours était un appel que les écoles devaient déposer.

Option D : autoriser sous conditions, si les révisions peuvent se terminer avant le jour des résultats. Les conditions : publier la méthode et les résultats par groupe avant le jour des résultats. Offrir à chaque élève une voie d’appel directe et rapide. Fixer les deux seuils d’arrêt ci-dessous. Si les révisions ne peuvent pas se terminer à temps, choisir C. Les personnes qui ont demandé des résultats conformes aux années précédentes doivent alors accepter les notes plus élevées en leur nom.

C’est une décision défendable à partir des preuves disponibles à l’époque. Un autre lecteur peut choisir A, s’il justifie son choix avec les mêmes preuves.

De bout en bout avec de nouvelles données : tester les seuils d’arrêt

Section intitulée « De bout en bout avec de nouvelles données : tester les seuils d’arrêt »

Un seuil d’arrêt n’est utile que s’il est écrit avant les résultats, puis vérifié sur ceux-ci. La chronologie montre quand chaque étape était possible.

Une chronologie en deux colonnes. Avant le jour des résultats : 18 mars 2020, annulation des examens; avril et mai, test des modèles sur les années précédentes et choix d'un modèle, avec une bordure pointillée et la note : rédiger ici l'évaluation d'impact et ses seuils d'arrêt; début juin, plus de 5 millions de notes et de rangs transmis par les enseignants; environ une semaine avant les résultats, réception des données de notes par l'organisme de réglementation, avec une bordure pointillée et la note : vérifier ici les seuils d'arrêt. Les résultats et la suite : 13 août, résultats des A level et rapport provisoire; 17 août, passage aux notes des enseignants, avec une bordure épaisse; 20 août, résultats des GCSE.
Quand une évaluation d'impact était possible. Dates tirées du résumé (p. 1), du rapport provisoire (p. 31 et 136) et des deux déclarations du 17 août 2020.
Description textuelle du diagramme

Avant le jour des résultats : annulation des examens le 18 mars 2020; test des modèles et choix en avril et mai; plus de 5 millions de notes et de rangs transmis par les enseignants début juin; réception des données de notes par l’organisme de réglementation environ une semaine avant les résultats. Puis, résultats des A level et rapport provisoire le 13 août, changement le 17 août et résultats des GCSE le 20 août. L’évaluation et ses seuils d’arrêt doivent être rédigés en avril et mai. La vérification sur les données réelles doit se faire dans la semaine précédant les résultats.

Écrivez deux seuils en avril et mai, à partir de la conception et des années précédentes seulement. Les deux sont des choix propres à cette étude de cas :

  • Seuil 1, personnes : si le modèle baisse plus de 10 notes d’enseignants sur 100, et que les élèves ne peuvent pas faire appel directement avant la confirmation des places universitaires, arrêter.
  • Seuil 2, groupes : si l’écart entre les types d’écoles dépasse celui de la dernière année normale, arrêter et expliquer avant les résultats. La mesure est la variation des notes A et plus. La dernière année normale figure dans la colonne 2018 à 2019 du tableau 9.10 : un écart de 2.7 points.

Vérifiez-les maintenant sur les nouvelles données : celles de 2020, une semaine avant le jour des résultats.

Seuil Limite écrite à l’avance Les données de 2020 Arrêter?
1. Notes baissées, sans appel direct plus de 10 sur 100 environ 39 sur 100; appels par les écoles seulement oui
2. Écart entre les types d’écoles plus de 2.7 points 4.4 points oui

Ce que cela nous apprend. Les deux seuils sont franchis environ une semaine avant les résultats, sur des données que l’organisme de réglementation possédait déjà. Avec des options écrites à l’avance, un arrêt mène à un choix calme, plutôt qu’à un changement quatre jours après les résultats. Deux limites demeurent. Les seuils sont nos choix : avec une limite de 5 points, le seuil 2 ne serait pas franchi. Et nous connaissons la fin de l’histoire, donc tout seuil semble judicieux maintenant. C’est pourquoi on écrit les seuils avant les données, et on les conserve.

  • Les preuves du préjudice figuraient dans le rapport du système lui-même. Les résultats des tests, les notes baissées et l’écart entre les types d’écoles existaient tous avant le jour des résultats.
  • Juste en moyenne, faux pour une personne. Les proportions nationales et les vérifications par groupe semblaient équitables. Le préjudice touchait les notes d’élèves individuels. Larkfield a observé la même tendance. Dans le cours sur les MLOps, le tableau de bord affichait 100 % de billets de soutien acceptés. Pourtant, 10 billets nécessitant une personne n’ont été transmis à personne (cas consigné, MLOps et LLMOps : exploiter l’IA en production).
  • Le recours fait partie de la conception, pas de la dernière étape. Aucun objectif du processus ne précisait comment un élève pouvait faire corriger une note erronée. Quand le processus d’appel n’a plus suffi, tout le système s’est arrêté.
  • Un niveau élevé ne signifie pas « non ». Il exige les contrôles les plus forts et une décision humaine lorsqu’un résultat erroné est difficile à corriger.
  • Limites. Nous avons lu un rapport provisoire et deux déclarations, pas les examens ultérieurs. Avec le recul, chaque décision semble facile. Les concepteurs du modèle ont travaillé vite, pendant une pandémie, avec la consigne de maintenir des résultats conformes aux années précédentes.
  • Gardez les étiquettes. Chaque chiffre indique son document, son tableau et sa page. Écrivez « notre calcul » pour une somme, et « construit » pour un élève fictif.
  • Mentionnez la licence avec la déclaration de la fiche source, et n’utilisez aucun logo.
  • Jugez le système, pas les personnes. Nommez les décisions et les preuves, sans attribuer de blâme.
  • Aucune conclusion juridique. Cette page ne dit pas si une loi a été enfreinte. Au travail, demandez à votre juriste quelles règles s’appliquent à vos systèmes.
  • N’utilisez jamais de vrais élèves. Ne cherchez pas de vrais élèves ou de vraies écoles, et n’écrivez pas à leur sujet.
  1. Copiez le modèle d’évaluation d’impact dans votre outil de rédaction. Inscrivez comme date « avant le jour des résultats, été 2020 ».
  2. Dans la section 1, nommez le système, la décision évaluée et le responsable qui signe.
  3. Dans la section 2, décrivez ce que le modèle fait seul et les usages qui doivent rester interdits.
  4. Dans la section 3, listez les groupes touchés. Indiquez qui est plus exposé, et pourquoi.
  5. Dans la section 4, décrivez le bénéfice et les préjudices. Donnez pour chaque préjudice son chiffre, son tableau et sa page.
  6. Dans la section 5, décrivez les vérifications par groupe, l’erreur pour une personne et la voie de recours avec son délai.
  7. Dans la section 6, associez à chaque préjudice un contrôle, un responsable et la preuve que le contrôle fonctionne.
  8. Dans la section 7, écrivez la décision, ses conditions et vos deux seuils d’arrêt. Indiquez ce qui changerait la décision.

Vérifiez votre page à l’aide du README de l’étude de cas. Une bonne évaluation utilise seulement les preuves disponibles avant le jour des résultats. Elle précise l’erreur pour un élève, pas seulement les moyennes. Elle fixe des seuils d’arrêt à l’avance et nomme qui accepte chaque compromis.

Afficher une réponse possible

Cette évaluation est défendable, mais ce n’est pas la seule possible. Tous les chiffres proviennent des documents officiels sur GOV.UK (Open Government Licence v3.0).

Section Une réponse possible
1. Périmètre Le modèle Direct Centre Performance (DCP), utilisé pour ajuster les notes d’évaluation des centres pour les A level et AS de l’été 2020. Responsable : le conseil de l’organisme de réglementation, qui signe; le spécialiste juridique lit d’abord l’évaluation (les deux questions avant le calcul du score reçoivent un oui). Prochaine révision : une semaine avant les résultats, sur les données réelles, puis après les premiers appels.
2. Le système Il prédit une distribution de notes pour chaque école ou collège à partir des « résultats historiques de l’école ou du collège dans cette matière ». Il y place les élèves selon le classement des enseignants. Les groupes de moins de 15 s’appuient davantage sur les notes des enseignants. Il agit seul : la note calculée est la note attribuée. Usage interdit : juger le travail d’un élève individuel. Mauvais usage prévisible : traiter les résultats passés d’une école comme une mesure des capacités d’un élève.
3. Personnes touchées Chaque élève recevant une note (plus de 5 millions de CAG et de positions de classement), leurs écoles, ainsi que les universités et les employeurs qui utilisent ces notes. Plus exposés : les élèves performants d’écoles aux résultats passés plus faibles, et les élèves de groupes de 15 ou plus, où l’historique pèse le plus.
4. Bénéfices et préjudices Bénéfice : des notes conformes aux années précédentes (les notes des enseignants étaient « généralement optimistes » : 7.7 % de A* en 2019 contre 13.9 % proposés). Préjudice : un élève reçoit une note inférieure à celle proposée par l’enseignant à cause de l’historique de son école. Sa place universitaire est en jeu. Preuves : dans le test sur les élèves de 2019, la note exacte était correcte pour 26.7 % à 67.9 % des élèves, selon la matière (tableau E.8). En 2020, environ 39 % des notes des enseignants pour les A level ont été baissées, dont 3.5 % de deux niveaux ou plus (tableau 9.8, nos sommes). Difficile à réparer : les places universitaires sont confirmées avant une date limite.
5. Équité, droits, recours Groupes d’élèves : aucune preuve de biais (résumé, p. 5; annexe Q). Types d’écoles : l’écart entre eux était de 4.4 points contre 2.7 de 2018 à 2019 (tableau 9.10, notre calcul). Il faut l’expliquer avant les résultats. Un élève : l’erreur peut atteindre un niveau ou plus, et personne ne sait pour qui. Recours : chaque élève doit comprendre pourquoi sa note a changé et pouvoir faire appel directement. La décision doit arriver avant la confirmation des places universitaires.
6. Contrôles Publier la méthode et les résultats par groupe avant le jour des résultats. Une voie d’appel directe et rapide qui peut rétablir la note de l’enseignant. Une personne de l’organisme d’examen révise les écoles signalées par le modèle, avec les preuves de l’école. Deux seuils d’arrêt, écrits en avril et mai. Une solution de repli choisie à l’avance (la plus élevée des deux notes).
7. Décision Ne pas autoriser en l’état. Autoriser sous conditions selon l’option D, si les révisions se terminent avant les résultats; sinon, choisir l’option C. Les personnes ayant fixé la consigne doivent accepter les notes plus élevées en leur nom. Seuils d’arrêt : plus de 10 notes sur 100 baissées sans appel direct; un écart entre les types d’écoles supérieur à celui de 2018 à 2019. Les deux ont été franchis sur les données une semaine avant les résultats. Ce qui changerait la décision : la preuve que l’ajustement ne dépendait pas de l’école, et une voie d’appel testée à l’échelle des notes baissées.

Ce qui s’est passé (pour la discussion) : le 17 août 2020, l’organisme de réglementation a déclaré : « Le passage aux notes d’évaluation des centres s’appliquera aux AS et aux A level, ainsi qu’aux résultats des GCSE que les élèves recevront plus tard cette semaine. » Le ministère a déclaré : « L’algorithme a révélé plusieurs anomalies qu’Ofqual n’avait pas prévues et qui ont gravement ébranlé la confiance dans le système. » La leçon pour la gouvernance : les preuves du préjudice figuraient dans le rapport du système lui-même avant le lancement. Une évaluation d’impact pose la question qui transforme ces preuves en décision.

Erreur courante

Seules les moyennes ont été vérifiées

Symptôme : l’évaluation dit « aucune preuve de biais » et « 96.4 % à un niveau près », et elle est signée. Le jour des résultats, de nombreux élèves reçoivent une note baissée que leur propre travail n’a pas déterminée.

Cause : chaque vérification mesurait un groupe ou une proportion nationale. Aucune ne demandait quelle ampleur pouvait avoir l’erreur pour une personne, ni comment cette personne pourrait la faire corriger.

Correction : dans la section 4, donnez l’erreur pour une personne avec sa preuve : le test de la note exacte, pas seulement « à un niveau près ». Dans la section 5, écrivez la voie de recours et son délai. Dans la section 7, ajoutez un seuil d’arrêt pour les personnes, pas seulement pour les groupes.

Ce travail montre à un employeur que vous pouvez transformer un rapport officiel en décision. C’est utile pour les postes en risque, conformité, audit, politiques et produits.

Quoi publier :

  • Une note d’une page, « Avant d’attribuer des notes par modèle », avec votre évaluation d’impact en annexe.
  • Les documents officiels sous forme de liens, avec leurs tableaux et leurs pages, et la déclaration de licence de la fiche source.
  • Une ligne précisant que la demande de Larkfield et l’élève de l’exemple sont construits pour un cours.

Personnalisez-le avec un changement. Fixez vos propres seuils d’arrêt et montrez ce qui change quand vous modifiez la limite du seuil 2. Ou appliquez les sept sections à un système de votre travail, sans ses détails confidentiels.

Comment le décrire en entrevue, en deux phrases : « J’ai rédigé l’évaluation d’impact nécessaire au modèle de notation anglais de 2020, avec les preuves disponibles avant les résultats. Elle montrait un modèle juste en moyenne, mais souvent faux pour un élève, et deux seuils d’arrêt franchis une semaine avant le lancement. »

Vérifiez votre compréhension

Selon le rapport, 96,4 % des notes du A level calculées par le modèle s'écartaient d'au plus un niveau de celles des enseignants. Il n'a trouvé aucune preuve de biais entre les groupes d'élèves. Pourquoi cela ne suffit-il pas pour la section 4 de l'évaluation d'impact?

Afficher la réponse

Ces deux vérifications portent sur des moyennes et des groupes. Elles ne disent pas quelle ampleur peut avoir l’erreur pour un élève. Dans son propre test sur les élèves de 2019, le modèle a trouvé la note exacte pour seulement 26.7 % à 67.9 % des élèves, selon la matière (tableau E.8). Et environ 39 notes sur 100 attribuées par les enseignants ont été abaissées (tableau 9.8, notre somme). La section 4 doit présenter le préjudice pour une personne, avec les preuves. La section 5 doit expliquer comment cette personne fait corriger une note erronée, et dans quel délai.

Vérifiez votre compréhension

Évaluez le modèle de notation avec la méthode du cours. Quel est son niveau de risque? Change-t-il si le modèle signale seulement des écoles et qu'une personne de l'organisme d'examen décide?

Afficher la réponse

Préjudice 3 : accès à l’éducation, difficile à réparer. Personnes 3 : une décision sur l’accès de chaque personne. Autonomie 3 : la note calculée est la note attribuée. Données 2 : données personnelles. La somme est 11 : high, et la deuxième règle le confirme. Les deux questions avant la notation reçoivent un oui, donc le spécialiste juridique examine le dossier en premier. Si une personne décide, l’autonomie passe à 2 et la somme est 10 : toujours high. Le niveau reste le même, mais moins de notes erronées parviennent aux élèves. Une personne vérifie chaque changement avec l’école.

Vérifiez votre compréhension

Votre deuxième critère d'arrêt dit : arrêter si l'écart entre les types d'écoles dépasse celui de la dernière année normale. Pourquoi devez-vous l'écrire, avec sa limite, avant de voir les données de 2020?

Afficher la réponse

Parce qu’après l’arrivée des données, on peut justifier n’importe quel écart. Le rapport a interprété un écart de 4.4 points comme des « différences d’une année typique ». Pourtant, l’écart de 2018 à 2019 était de 2.7. Une limite écrite à l’avance transforme cette interprétation en un test que tout le monde peut vérifier. Avec une limite de 5, le critère n’aurait pas déclenché d’arrêt. Le choix de la limite fait donc partie de la décision, prise avant que le résultat puisse l’influencer.

Récapitulatif

  • Vous avez lu trois documents officiels comme preuves et vérifié ce que leurs chiffres comptent : des notes, pas des élèves. Les données datent d’une semaine avant le jour des résultats.
  • La méthode du cours classe le modèle de notation au niveau high (11). Les deux questions avant la notation l’envoient au spécialiste juridique.
  • Vous avez appris qu’un système peut avoir raison en moyenne et se tromper pour une personne. Dans son propre test, le modèle a trouvé la note exacte pour 26.7 % à 67.9 % des élèves.
  • Une mesure, les notes abaissées sans révision humaine, a montré que seule la conception mise en service abaissait des notes sans vérification.
  • Deux critères d’arrêt, écrits à l’avance, se sont déclenchés sur les données de 2020 environ une semaine avant le jour des résultats.

Vous pouvez maintenant rédiger l’évaluation d’impact dont un système public avait besoin. Mais examiner un système à la fois est lent, et les gouvernements publient des registres entiers de leurs évaluations. Ensuite, vous construisez un inventaire à partir d’un registre publié et vérifiez ses niveaux de risque.

Leçon suivante : Examiner un registre public de l'IA