Aller au contenu
English

La boucle de rétroaction et ses pièges

  • Leçon 34
  • 35 min
  • Module 8 : Apprendre des réviseurs

Où nous en sommes

Notre modèle de reclassement apprend à partir des alertes révisées par des personnes. Mais ces personnes révisent seulement ce que le détecteur montre. Les étiquettes répètent donc ses choix. Dans cette leçon, nous mesurons ce biais de sélection et le réduisons avec un petit échantillon aléatoire à réviser.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 34 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelLa boucle de rétroaction et ses pièges
Aperçu du cours

Ce que vous saurez faire

Repérez le piège de tout système qui apprend à partir de ses propres alertes. Les étiquettes existent seulement là où le détecteur a regardé. Mesurez ce biais. Réduisez-le avec un petit échantillon aléatoire de révisions et une réponse « inconnu » honnête.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il mesure la proportion d’alertes réelles dans les étiquettes et les étiquettes de chaque type de fraude. Ensuite, il compte les prises de contrôle de compte trouvées par le modèle de reclassement. Il prend un échantillon aléatoire de révisions et teste « inconnu ». Ses cellules de préparation installent les paquets et téléchargent les données (environ 7 Mo). Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien. Le carnet s’exécute dans Colab, Kaggle ou VS Code.

Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1 et scikit-learn 1.9.1. Colab et Kaggle n’ont pas été testés.

Une vieille histoire : un homme cherche ses clés sous un lampadaire, la nuit. Un ami l’aide à chercher. Après quelques minutes, l’ami demande : « Vous êtes sûr de les avoir perdues ici? » L’homme répond : « Non, je les ai perdues dans le parc. Mais c’est ici qu’il y a de la lumière. »

Chaque détecteur a son lampadaire. L’équipe de Sofia regarde seulement les 50 alertes que le détecteur montre. Chaque étiquette vient de cette petite zone éclairée. Une fraude dans la partie sombre de la liste ne reçoit jamais d’étiquette. Si un modèle apprend seulement à partir des étiquettes, il apprend à chercher sous la même lumière. Il le fait un peu mieux chaque fois.

Le problème : les étiquettes répètent les choix du détecteur

Section intitulée « Le problème : les étiquettes répètent les choix du détecteur »

Dans la dernière leçon, le modèle de reclassement a appris à partir de 1 400 alertes révisées. Il a augmenté la précision au budget fixé. Mais regardez un type de fraude. Dans une prise de contrôle de compte, un voleur accède au compte d’un client. Le voleur utilise souvent l’appareil du client, dans le pays du client. Ces fraudes semblent plus normales qu’une carte volée utilisée à l’étranger.

Pendant les semaines de test, la forêt seule a placé 76 paiements liés à des prises de contrôle de compte parmi les 50 premiers de chaque jour. Après le reclassement, 71. Le modèle de reclassement a augmenté la précision globale, mais il a trouvé moins de prises de contrôle de compte. Il a surtout appris à partir des types que l’équipe voyait le plus souvent. Les prises de contrôle de compte ressemblaient aux alertes « non ».

Quand les lignes qui reçoivent des étiquettes ne sont pas choisies au hasard, les étiquettes ne représentent pas toutes les données. C’est le biais de sélection. Ici, le détecteur choisit les lignes. Un modèle apprend à partir de ces lignes, puis choisit les suivantes. La boucle s’alimente elle-même. C’est une boucle de rétroaction : la sortie du système devient sa prochaine entrée.

Une boucle : détecter, réviser les 50 premiers par jour, étiqueter réel, non ou inconnu, reclasser, puis revenir à la révision. Une branche latérale : les 150 autres candidats du détecteur, chaque jour, ne sont jamais montrés et ne reçoivent aucune étiquette. Un échantillon aléatoire de 5 par jour parmi eux passe à la révision, puis aux étiquettes. Une flèche pointillée des candidats non vus vers le modèle de reclassement indique : les fraudes ici ne servent jamais à l'apprentissage.
La boucle de rétroaction. Les étiquettes viennent seulement de ce que l'équipe révise. L'échantillon aléatoire est le seul chemin entre les candidats non vus et les étiquettes.
Description textuelle du diagramme

Le diagramme montre une boucle de quatre étapes. Détecter : le détecteur attribue un score à chaque paiement. Réviser : l’équipe révise les 50 premiers par jour. Étiqueter : chaque alerte reçoit réel, non ou inconnu. Reclasser : un modèle apprend à partir des étiquettes et ordonne les alertes de demain, puis revient à Réviser. Une branche latérale part de Détecter : 150 candidats par jour qui ne sont jamais montrés, sans étiquette. À partir d’eux, une case « Échantillon aléatoire, 5 par jour parmi les candidats non vus » mène à Étiqueter. Une flèche pointillée des candidats non vus vers Reclasser indique « les fraudes ici ne servent jamais à l’apprentissage ».

Voici un exemple construit. Un détecteur attribue un score à dix paiements. L’équipe peut en réviser trois. Trois paiements sont frauduleux : deux cartes volées et une prise de contrôle de compte.

Rang Paiement Réalité Révisé? Étiquette
1 P1 carte volée oui réel
2 P2 carte volée oui réel
3 P3 légitime oui non
4 P4 légitime non aucune
5 P5 légitime non aucune
6 P6 prise de contrôle de compte non aucune
7 P7 légitime non aucune
8 P8 légitime non aucune
9 P9 légitime non aucune
10 P10 légitime non aucune

Comptez les proportions :

  • Dans les étiquettes, 2 sur 3 sont réelles : 67 %.
  • Parmi les dix paiements, 3 sur 10 sont frauduleux : 30 %.
  • Prises de contrôle de compte avec une étiquette : 0 sur 1.

Un modèle qui apprend à partir de ces trois étiquettes apprend que « les cartes volées sont réelles ». Il n’a aucun exemple de prise de contrôle de compte. Il ne peut donc pas faire monter P6. Le lendemain, le type de P6 reste encore dans l’ombre.

Ajoutez maintenant une révision choisie au hasard parmi les sept paiements non vus. Il y a une chance sur sept que ce soit P6. Sur plusieurs jours, les révisions aléatoires trouvent quelques prises de contrôle de compte. Elles vous indiquent aussi combien de fraudes les trois premiers manquent.

Passons aux vraies données : les quatre semaines de révisions simulées de la dernière leçon. Le carnet compte la proportion de fraudes réelles dans quatre groupes de paiements :

reviewed alerts (the labels) 0.506
all candidates (top 200) 0.157
candidates not shown (51st to 200th) 0.041
all payments 0.018
La proportion de fraudes réelles, du 1er au 28 septembre 2025. Étiquettes : les 1 400 alertes révisées. 200 premiers : tous les candidats, les 200 scores les plus élevés de chaque jour. Échantillon : 140 révisions choisies au hasard parmi les candidats que l'équipe n'a pas vus. Tous : chaque paiement des quatre semaines.
Description textuelle du graphique

Un diagramme à quatre colonnes. Les alertes révisées, soit les étiquettes, contiennent 50,6 % de fraudes réelles. Tous les candidats, les 200 premiers de chaque jour, en contiennent 15,7 %. Un échantillon aléatoire des candidats que l’équipe n’a pas vus en contient 2,9 %. Tous les paiements des quatre semaines en contiennent 1,8 %. La première colonne est 28 fois plus haute que la dernière.

Les étiquettes contiennent 50,6 % de fraudes. Tous les paiements contiennent 1,8 % de fraudes. Les étiquettes sont pleines de fraudes parce que le détecteur les a choisies. Cela convient à Sofia : elle veut remplir ses 50 places avec des fraudes. Mais un modèle qui apprend à partir des étiquettes voit un monde où la moitié des paiements inhabituels sont frauduleux. Ce monde n’existe pas.

Le biais n’est pas le même pour chaque type de fraude. Voici les paiements insérés de chaque type pendant les quatre semaines, et combien ont reçu une étiquette :

Type Paiements insérés Avec une étiquette Proportion étiquetée
Carte volée 440 390 88,6 %
Test de carte 400 297 74,3 %
Prise de contrôle de compte 54 21 38,9 %
La proportion des paiements insérés de chaque type que l'équipe a révisés pendant les quatre semaines. Le type qui semble le plus normal, la prise de contrôle de compte, reçoit le moins d'étiquettes.
Description textuelle du graphique

Un diagramme à trois colonnes. Parmi les paiements par carte volée, 88,6 % ont reçu une étiquette. Parmi les tests de carte, 74,3 %. Parmi les prises de contrôle de compte, 38,9 % : seulement 21 sur 54.

Le détecteur repère bien les cartes volées : un nouveau pays, un nouvel appareil, beaucoup de paiements. Il repère moins bien les prises de contrôle de compte. Les étiquettes contiennent donc 390 paiements par carte volée et seulement 21 prises de contrôle de compte. Avec 21 exemples, le modèle de reclassement apprend peu sur les prises de contrôle de compte. C’est pourquoi il en a trouvé 71 plutôt que 76 pendant les semaines de test.

Imaginez maintenant que la boucle fonctionne pendant un an. Chaque mois, le modèle de reclassement s’entraîne sur les étiquettes du mois précédent. Ces étiquettes contiennent moins de prises de contrôle de compte, parce que le dernier modèle les a fait descendre. Le modèle suivant apprend donc encore moins sur elles. Rien dans la précision au budget fixé ne vous avertit. Elle reste élevée, parce que les places sont remplies par les types que le modèle connaît. Les types qu’il ne connaît pas disparaissent des étiquettes, des rapports et de l’attention de l’équipe.

L’étape qui réduit le biais : un petit échantillon aléatoire

Section intitulée « L’étape qui réduit le biais : un petit échantillon aléatoire »

Chaque jour, l’équipe révise quelques candidats supplémentaires, choisis au hasard parmi ceux qu’elle n’a pas vus. Personne n’a choisi ces paiements parce qu’ils semblaient frauduleux. Leurs étiquettes forment donc un échantillon représentatif des candidats non vus. Ici : 5 par jour, parmi les 150 candidats classés du 51e au 200e rang, pendant les quatre semaines.

random sample: 140 reviews, 4 real (2.9%); 95% interval 1.1% to 7.1%
estimate: about 4.3 real payments a day among the 150 candidates that the team did not see

L’échantillon indique qu’environ 4 fraudes réelles par jour se trouvent juste sous les 50 premiers. L’intervalle est large, parce que 140 révisions forment un petit échantillon. L’intervalle à 95 % de Évaluer sans corrigé complet va de 1,1 % à 7,1 %.

Les données du cours ont un corrigé, donc nous pouvons vérifier. La vraie proportion est 4,1 % : 6,2 paiements réellement frauduleux par jour parmi les candidats non vus. L’estimation est basse, mais la réalité se trouve dans son intervalle. Une vraie équipe n’a pas de corrigé. L’échantillon aléatoire est le seul chiffre honnête qu’elle peut obtenir.

L’échantillon aléatoire améliore-t-il le modèle de reclassement? Pas ici. Réentraîné avec les 140 étiquettes supplémentaires, il obtient une précision au budget fixé de 0,514, comme avant. L’échantillon a ajouté seulement 4 paiements réellement frauduleux : trop peu pour apprendre quoi que ce soit.

Soyez donc clair sur son rôle. L’échantillon aléatoire sert à mesurer : combien de fraudes les 50 premiers manquent-ils, et de quels types? Au fil des mois, il fournit aussi des étiquettes aux types que le détecteur montre rarement. Ce n’est pas une astuce pour augmenter la précision de cette semaine.

Cinq révisions supplémentaires par jour, à 4 minutes chacune, prennent 20 minutes par jour à l’équipe de Sofia. C’est un dixième du temps des 50 révisions normales (une hypothèse du cours : 4 minutes par révision). En échange, l’équipe apprend combien elle en manque. Sans l’échantillon, personne ne le sait.

Un réviseur ne peut pas toujours décider. Une prise de contrôle de compte peut ressembler au client qui utilise un nouveau téléphone. Un enregistrement honnête prévoit alors trois réponses : réel, non et inconnu. Inconnu signifie : nous ne savons pas encore, revenons plus tard ou demandons au client.

Que se passe-t-il si l’équipe inscrit « non » pour « pas sûr »? Le carnet suppose que l’équipe avait des doutes sur chaque prise de contrôle de compte. Il entraîne le modèle de reclassement de deux façons :

written as not precision 0.509, account takeovers found 59
left out precision 0.510, account takeovers found 61

Avec les bonnes réponses, le modèle de reclassement a trouvé 71 prises de contrôle de compte. Étiquetées « non », les 21 prises de contrôle de compte lui apprennent que ce type est légitime : il en trouve 59. Exclues comme inconnues, elles ne lui fournissent aucune information, mais il n’apprend rien de faux : 61. La différence est petite ici, parce qu’il y avait seulement 21 étiquettes de ce type. Avec plus d’étiquettes, un « non » erroné fait plus de tort.

Gardez donc « inconnu » comme réponse distincte. Excluez les alertes inconnues de l’entraînement. Revenez-y quand la réponse arrive : une rétrofacturation de la banque ou un appel avec le client.

Afficher quand le biais de sélection compte et les étapes pour le réduire

Il compte quand :

  • Un modèle apprend à partir d’étiquettes produites par ses propres alertes. Les modèles de reclassement, les classificateurs de fraude et les filtres antipourriel font tous cela.
  • Certains types d’anomalies semblent normaux au détecteur. Ils reçoivent peu d’étiquettes, et le modèle suivant les voit encore moins.
  • Vous rapportez seulement la précision au budget fixé. Elle reste élevée pendant que des types entiers disparaissent.

Les étapes :

  • Révisez un petit échantillon aléatoire chaque jour, parmi les candidats que l’équipe n’a pas vus. Ici : 5 par jour.
  • Comptez les étiquettes par type, chaque mois. Un type dont les étiquettes diminuent est un avertissement.
  • Gardez inconnu comme réponse distincte. Ne l’inscrivez jamais comme « non ».
  • Gardez le détecteur non supervisé comme première étape. Il n’apprend pas à partir des étiquettes, donc la boucle ne peut pas réduire sa portée.
  1. Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. La cellule de données se termine par la ligne Ready: (prêt).
  3. Dans la section 1, exécutez la cellule. Vous voyez 1,400 reviewed alerts, 708 real (1 400 alertes révisées, 708 réelles).
  4. Dans la section 2, écrivez votre prédiction, puis exécutez la cellule des proportions. Vous voyez 0.506 et 0.018.
  5. Exécutez la cellule des types. Les prises de contrôle de compte ont 54 paiements insérés et 21 avec une étiquette.
  6. Dans la section 3, exécutez la cellule du modèle de reclassement. Vous voyez 76 et 71 prises de contrôle de compte.
  7. Dans la section 4, exécutez les cellules de l’échantillon aléatoire. Vous voyez 4 real (2.9%) (4 réelles, soit 2,9 %), puis 4.1% dans le corrigé.
  8. Dans la section 5, exécutez la cellule « inconnu ». Vous voyez 59 et 61.
  9. Dans la section 6, écrivez les deux réponses et exécutez chaque cellule de vérification. Chacune affiche Check passed (vérification réussie).

À vous de jouer : un échantillon aléatoire plus grand

Section intitulée « À vous de jouer : un échantillon aléatoire plus grand »

Changez une seule chose : révisez 10 candidats aléatoires par jour au lieu de 5. Avant l’exécution, faites une prédiction : l’estimation des fraudes manquées par jour se rapprochera-t-elle de la vraie valeur de 6,2?

Afficher la réponse
sample_10 = unseen.groupby("day", group_keys=False).apply(lambda g: g.sample(10, random_state=1))
missed_per_day_10 = round(float(sample_10.label.mean() * 150), 1)
Check passed: missed_per_day_10 is 6.4.

Avec 10 révisions par jour (280 au total), l’estimation est de 6,4 paiements réellement frauduleux par jour. La vraie valeur est de 6,2. Un échantillon plus grand donne un intervalle plus étroit. Une seule estimation risque donc moins d’être très éloignée de la réalité. Il prend deux fois plus de temps : 40 minutes par jour au lieu de 20. Vos nombres aléatoires peuvent donner une autre valeur si vous changez la graine. C’est la raison d’être de l’intervalle.

Erreur courante

La précision qui est restée élevée pendant qu'un type disparaissait

Symptôme : après la mise en production du modèle de reclassement, le rapport hebdomadaire de Sofia semble meilleur. La précision au budget fixé augmente, de 0,498 à 0,514. Trois mois plus tard, la banque signale une vague de rétrofacturations liées à des prises de contrôle de compte. Aucune ne figurait dans les alertes de l’équipe. (L’histoire est construite; les chiffres ci-dessous sont mesurés.)

Cause : le modèle de reclassement a appris à partir d’étiquettes contenant 390 paiements par carte volée et seulement 21 prises de contrôle de compte. Il a fait descendre les prises de contrôle de compte : 76 parmi les 50 premiers avec la forêt seule, 71 après reclassement. La précision est restée élevée, parce que les places libérées sont allées aux cartes volées. Le rapport comptait toutes les alertes réelles ensemble, ce qui masquait la perte.

Correction : rapportez le rappel et les étiquettes par type, chaque semaine. Gardez un échantillon aléatoire de révisions pour que l’équipe puisse estimer ce qu’elle manque. Réentraînez seulement avec des étiquettes contenant une proportion représentative de chaque type, ou pondérez les types rares.

Conséquence pour le travail en IA : un modèle qui apprend à partir de ses propres sorties réduit un peu sa vision chaque fois. Les scores habituels ne le montrent pas. Seul un échantillon que le modèle n’a pas choisi montre ce qui se trouve hors de la lumière.

Vérifiez votre compréhension

Illustrez le piège du biais de sélection avec des chiffres. Quelle proportion des alertes révisées est réelle? Et des paiements? Pourquoi diffèrent-elles?

Afficher la réponse

Pendant les quatre semaines de révision, 50,6 % des 1 400 alertes révisées sont réelles (708). Parmi tous les paiements, seulement 1,8 % sont des fraudes insérées. Parmi les 200 candidats par jour, la proportion est de 15,7 %. Ces proportions diffèrent parce que le détecteur a choisi les paiements qui ont reçu une étiquette. Il a montré les paiements les plus suspects. Les données étiquetées contiennent donc beaucoup de fraudes. Elles ne forment pas un échantillon aléatoire des paiements. Un modèle entraîné sur ces données apprend un monde où la moitié des paiements inhabituels sont frauduleux.

Vérifiez votre compréhension

Nommez l'étape qui réduit le biais. Dites ce qu'elle a mesuré chez Larkfield et ce qu'elle n'a pas fait.

Afficher la réponse

Révisez chaque jour un petit échantillon aléatoire des candidats que l’équipe n’a pas vus : 5 par jour, des rangs 51 à 200. En quatre semaines, 140 révisions aléatoires ont trouvé 4 paiements réellement frauduleux : 2,9 %, avec un intervalle à 95 % de 1,1 % à 7,1 %. Cela donne une estimation d’environ 4 fraudes manquées par jour, juste après les 50 premiers candidats. Le corrigé indique 6,2, une valeur dans l’intervalle. Cette étape n’a pas augmenté la précision au budget fixé. Avec les étiquettes supplémentaires, le modèle de reclassement (reranker) obtenait 0,514, comme sans elles. Son rôle est de mesurer les cas manqués, pas d’augmenter le score de cette semaine.

Vérifiez votre compréhension

Une réviseuse hésite devant une alerte. Pourquoi devrait-elle inscrire « inconnu » plutôt que « non »? Utilisez les chiffres des prises de contrôle de compte.

Afficher la réponse

« Non » est une étiquette qui apprend au modèle que ce type de paiement est honnête. Quand chaque prise de contrôle de compte incertaine était notée « non », le modèle de reclassement en trouvait 59 pendant les semaines de test. En excluant ces cas comme « inconnu », il en trouvait 61. Avec les bonnes réponses, il en trouvait 71. « Inconnu » fait perdre de l’information, mais n’enseigne pas la mauvaise réponse. Excluez les alertes inconnues de l’entraînement. Ajoutez-les lorsque la vraie réponse arrive.

Récapitulatif

  • Les étiquettes existent seulement là où le détecteur a cherché. C’est le biais de sélection. Un modèle qui apprend de ses propres alertes en fait une boucle de rétroaction.
  • Chez Larkfield : 50,6 % des alertes révisées sont réelles, contre 1,8 % de tous les paiements. Seulement 38,9 % des prises de contrôle de compte ont reçu une étiquette. Le modèle de reclassement en a trouvé moins (76 → 71).
  • Un petit échantillon aléatoire de révisions, 5 par jour, mesure ce que les 50 premiers candidats ne montrent pas. Ici, environ 4 cas par jour (valeur réelle : 6,2). Il n’augmente pas la précision.
  • Inscrivez inconnu honnêtement. Noter « non » à la place enseigne la mauvaise réponse au modèle.

Le modèle de reclassement place maintenant les alertes réelles en premier. L’échantillon aléatoire permet de vérifier ce qu’il manque. Mais chaque alerte reste un simple score. Ensuite, nous trouvons les variables qui ont fait monter le score. Nous rédigeons une alerte sur laquelle Sofia peut décider en une minute.

Leçon suivante : Expliquer une alerte