La boucle de rétroaction et ses pièges
- Leçon 34
- 35 min
- Module 8 : Apprendre des réviseurs
Où nous en sommes
Notre modèle de reclassement apprend à partir des alertes révisées par des personnes. Mais ces personnes révisent seulement ce que le détecteur montre. Les étiquettes répètent donc ses choix. Dans cette leçon, nous mesurons ce biais de sélection et le réduisons avec un petit échantillon aléatoire à réviser.
Leçon 34 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelLa boucle de rétroaction et ses pièges
1. Ce que « inhabituel » veut dire
2. Des références de base simples et difficiles à battre
3. Maîtrise statistique des procédés et dérive de distribution
- Cartes de contrôle : cette variation est-elle normale?
- Règles pour les motifs, et le prix de chaque règle
- Cartes pour les taux et les dénombrements
- Petits décalages durables : CUSUM et EWMA
- La distribution a-t-elle changé?
- Dérive dans de nombreuses variables, et quoi faire
- Loi de Benford et autres vérifications d'affaires
4. Distance, densité et isolement
5. Les anomalies dans le temps
6. Méthodes profondes et plongements
7. Évaluer avec peu d'étiquettes
8. Apprendre des réviseurs
9. Exploiter un détecteur en production
Ce que vous saurez faire
Repérez le piège de tout système qui apprend à partir de ses propres alertes. Les étiquettes existent seulement là où le détecteur a regardé. Mesurez ce biais. Réduisez-le avec un petit échantillon aléatoire de révisions et une réponse « inconnu » honnête.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il mesure la proportion d’alertes réelles dans les étiquettes et les étiquettes de chaque type de fraude. Ensuite, il compte les prises de contrôle de compte trouvées par le modèle de reclassement. Il prend un échantillon aléatoire de révisions et teste « inconnu ». Ses cellules de préparation installent les paquets et téléchargent les données (environ 7 Mo). Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les deux étapes, les candidats et le modèle de reclassement (reranker), de Du non supervisé au semi-supervisé.
- Pourquoi les étiquettes révisées ne forment pas un échantillon représentatif. Vous l’avez vu dans Les étiquettes sont rares, et cela change tout. Cette leçon le mesure.
Ce qu’il vous faut sur votre ordinateur
Rien. Le carnet s’exécute dans Colab, Kaggle ou VS Code.
Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1 et scikit-learn 1.9.1. Colab et Kaggle n’ont pas été testés.
Les clés sous le lampadaire
Section intitulée « Les clés sous le lampadaire »Une vieille histoire : un homme cherche ses clés sous un lampadaire, la nuit. Un ami l’aide à chercher. Après quelques minutes, l’ami demande : « Vous êtes sûr de les avoir perdues ici? » L’homme répond : « Non, je les ai perdues dans le parc. Mais c’est ici qu’il y a de la lumière. »
Chaque détecteur a son lampadaire. L’équipe de Sofia regarde seulement les 50 alertes que le détecteur montre. Chaque étiquette vient de cette petite zone éclairée. Une fraude dans la partie sombre de la liste ne reçoit jamais d’étiquette. Si un modèle apprend seulement à partir des étiquettes, il apprend à chercher sous la même lumière. Il le fait un peu mieux chaque fois.
Le problème : les étiquettes répètent les choix du détecteur
Section intitulée « Le problème : les étiquettes répètent les choix du détecteur »Dans la dernière leçon, le modèle de reclassement a appris à partir de 1 400 alertes révisées. Il a augmenté la précision au budget fixé. Mais regardez un type de fraude. Dans une prise de contrôle de compte, un voleur accède au compte d’un client. Le voleur utilise souvent l’appareil du client, dans le pays du client. Ces fraudes semblent plus normales qu’une carte volée utilisée à l’étranger.
Pendant les semaines de test, la forêt seule a placé 76 paiements liés à des prises de contrôle de compte parmi les 50 premiers de chaque jour. Après le reclassement, 71. Le modèle de reclassement a augmenté la précision globale, mais il a trouvé moins de prises de contrôle de compte. Il a surtout appris à partir des types que l’équipe voyait le plus souvent. Les prises de contrôle de compte ressemblaient aux alertes « non ».
L’idée et son nom
Section intitulée « L’idée et son nom »Quand les lignes qui reçoivent des étiquettes ne sont pas choisies au hasard, les étiquettes ne représentent pas toutes les données. C’est le biais de sélection. Ici, le détecteur choisit les lignes. Un modèle apprend à partir de ces lignes, puis choisit les suivantes. La boucle s’alimente elle-même. C’est une boucle de rétroaction : la sortie du système devient sa prochaine entrée.
Description textuelle du diagramme
Le diagramme montre une boucle de quatre étapes. Détecter : le détecteur attribue un score à chaque paiement. Réviser : l’équipe révise les 50 premiers par jour. Étiqueter : chaque alerte reçoit réel, non ou inconnu. Reclasser : un modèle apprend à partir des étiquettes et ordonne les alertes de demain, puis revient à Réviser. Une branche latérale part de Détecter : 150 candidats par jour qui ne sont jamais montrés, sans étiquette. À partir d’eux, une case « Échantillon aléatoire, 5 par jour parmi les candidats non vus » mène à Étiqueter. Une flèche pointillée des candidats non vus vers Reclasser indique « les fraudes ici ne servent jamais à l’apprentissage ».
Un petit exemple : dix paiements, trois révisions
Section intitulée « Un petit exemple : dix paiements, trois révisions »Voici un exemple construit. Un détecteur attribue un score à dix paiements. L’équipe peut en réviser trois. Trois paiements sont frauduleux : deux cartes volées et une prise de contrôle de compte.
| Rang | Paiement | Réalité | Révisé? | Étiquette |
|---|---|---|---|---|
| 1 | P1 | carte volée | oui | réel |
| 2 | P2 | carte volée | oui | réel |
| 3 | P3 | légitime | oui | non |
| 4 | P4 | légitime | non | aucune |
| 5 | P5 | légitime | non | aucune |
| 6 | P6 | prise de contrôle de compte | non | aucune |
| 7 | P7 | légitime | non | aucune |
| 8 | P8 | légitime | non | aucune |
| 9 | P9 | légitime | non | aucune |
| 10 | P10 | légitime | non | aucune |
Comptez les proportions :
- Dans les étiquettes, 2 sur 3 sont réelles : 67 %.
- Parmi les dix paiements, 3 sur 10 sont frauduleux : 30 %.
- Prises de contrôle de compte avec une étiquette : 0 sur 1.
Un modèle qui apprend à partir de ces trois étiquettes apprend que « les cartes volées sont réelles ». Il n’a aucun exemple de prise de contrôle de compte. Il ne peut donc pas faire monter P6. Le lendemain, le type de P6 reste encore dans l’ombre.
Ajoutez maintenant une révision choisie au hasard parmi les sept paiements non vus. Il y a une chance sur sept que ce soit P6. Sur plusieurs jours, les révisions aléatoires trouvent quelques prises de contrôle de compte. Elles vous indiquent aussi combien de fraudes les trois premiers manquent.
Larkfield : le biais en chiffres
Section intitulée « Larkfield : le biais en chiffres »Passons aux vraies données : les quatre semaines de révisions simulées de la dernière leçon. Le carnet compte la proportion de fraudes réelles dans quatre groupes de paiements :
reviewed alerts (the labels) 0.506all candidates (top 200) 0.157candidates not shown (51st to 200th) 0.041all payments 0.018Description textuelle du graphique
Un diagramme à quatre colonnes. Les alertes révisées, soit les étiquettes, contiennent 50,6 % de fraudes réelles. Tous les candidats, les 200 premiers de chaque jour, en contiennent 15,7 %. Un échantillon aléatoire des candidats que l’équipe n’a pas vus en contient 2,9 %. Tous les paiements des quatre semaines en contiennent 1,8 %. La première colonne est 28 fois plus haute que la dernière.
Les étiquettes contiennent 50,6 % de fraudes. Tous les paiements contiennent 1,8 % de fraudes. Les étiquettes sont pleines de fraudes parce que le détecteur les a choisies. Cela convient à Sofia : elle veut remplir ses 50 places avec des fraudes. Mais un modèle qui apprend à partir des étiquettes voit un monde où la moitié des paiements inhabituels sont frauduleux. Ce monde n’existe pas.
Quels types reçoivent des étiquettes
Section intitulée « Quels types reçoivent des étiquettes »Le biais n’est pas le même pour chaque type de fraude. Voici les paiements insérés de chaque type pendant les quatre semaines, et combien ont reçu une étiquette :
| Type | Paiements insérés | Avec une étiquette | Proportion étiquetée |
|---|---|---|---|
| Carte volée | 440 | 390 | 88,6 % |
| Test de carte | 400 | 297 | 74,3 % |
| Prise de contrôle de compte | 54 | 21 | 38,9 % |
Description textuelle du graphique
Un diagramme à trois colonnes. Parmi les paiements par carte volée, 88,6 % ont reçu une étiquette. Parmi les tests de carte, 74,3 %. Parmi les prises de contrôle de compte, 38,9 % : seulement 21 sur 54.
Le détecteur repère bien les cartes volées : un nouveau pays, un nouvel appareil, beaucoup de paiements. Il repère moins bien les prises de contrôle de compte. Les étiquettes contiennent donc 390 paiements par carte volée et seulement 21 prises de contrôle de compte. Avec 21 exemples, le modèle de reclassement apprend peu sur les prises de contrôle de compte. C’est pourquoi il en a trouvé 71 plutôt que 76 pendant les semaines de test.
La boucle au fil des mois
Section intitulée « La boucle au fil des mois »Imaginez maintenant que la boucle fonctionne pendant un an. Chaque mois, le modèle de reclassement s’entraîne sur les étiquettes du mois précédent. Ces étiquettes contiennent moins de prises de contrôle de compte, parce que le dernier modèle les a fait descendre. Le modèle suivant apprend donc encore moins sur elles. Rien dans la précision au budget fixé ne vous avertit. Elle reste élevée, parce que les places sont remplies par les types que le modèle connaît. Les types qu’il ne connaît pas disparaissent des étiquettes, des rapports et de l’attention de l’équipe.
L’étape qui réduit le biais : un petit échantillon aléatoire
Section intitulée « L’étape qui réduit le biais : un petit échantillon aléatoire »Chaque jour, l’équipe révise quelques candidats supplémentaires, choisis au hasard parmi ceux qu’elle n’a pas vus. Personne n’a choisi ces paiements parce qu’ils semblaient frauduleux. Leurs étiquettes forment donc un échantillon représentatif des candidats non vus. Ici : 5 par jour, parmi les 150 candidats classés du 51e au 200e rang, pendant les quatre semaines.
random sample: 140 reviews, 4 real (2.9%); 95% interval 1.1% to 7.1%estimate: about 4.3 real payments a day among the 150 candidates that the team did not seeL’échantillon indique qu’environ 4 fraudes réelles par jour se trouvent juste sous les 50 premiers. L’intervalle est large, parce que 140 révisions forment un petit échantillon. L’intervalle à 95 % de Évaluer sans corrigé complet va de 1,1 % à 7,1 %.
Les données du cours ont un corrigé, donc nous pouvons vérifier. La vraie proportion est 4,1 % : 6,2 paiements réellement frauduleux par jour parmi les candidats non vus. L’estimation est basse, mais la réalité se trouve dans son intervalle. Une vraie équipe n’a pas de corrigé. L’échantillon aléatoire est le seul chiffre honnête qu’elle peut obtenir.
Ce que l’échantillon aléatoire ne fait pas
Section intitulée « Ce que l’échantillon aléatoire ne fait pas »L’échantillon aléatoire améliore-t-il le modèle de reclassement? Pas ici. Réentraîné avec les 140 étiquettes supplémentaires, il obtient une précision au budget fixé de 0,514, comme avant. L’échantillon a ajouté seulement 4 paiements réellement frauduleux : trop peu pour apprendre quoi que ce soit.
Soyez donc clair sur son rôle. L’échantillon aléatoire sert à mesurer : combien de fraudes les 50 premiers manquent-ils, et de quels types? Au fil des mois, il fournit aussi des étiquettes aux types que le détecteur montre rarement. Ce n’est pas une astuce pour augmenter la précision de cette semaine.
Ce qu’il coûte
Section intitulée « Ce qu’il coûte »Cinq révisions supplémentaires par jour, à 4 minutes chacune, prennent 20 minutes par jour à l’équipe de Sofia. C’est un dixième du temps des 50 révisions normales (une hypothèse du cours : 4 minutes par révision). En échange, l’équipe apprend combien elle en manque. Sans l’échantillon, personne ne le sait.
« Pas sûr » n’est pas « non »
Section intitulée « « Pas sûr » n’est pas « non » »Un réviseur ne peut pas toujours décider. Une prise de contrôle de compte peut ressembler au client qui utilise un nouveau téléphone. Un enregistrement honnête prévoit alors trois réponses : réel, non et inconnu. Inconnu signifie : nous ne savons pas encore, revenons plus tard ou demandons au client.
Que se passe-t-il si l’équipe inscrit « non » pour « pas sûr »? Le carnet suppose que l’équipe avait des doutes sur chaque prise de contrôle de compte. Il entraîne le modèle de reclassement de deux façons :
written as not precision 0.509, account takeovers found 59left out precision 0.510, account takeovers found 61Avec les bonnes réponses, le modèle de reclassement a trouvé 71 prises de contrôle de compte. Étiquetées « non », les 21 prises de contrôle de compte lui apprennent que ce type est légitime : il en trouve 59. Exclues comme inconnues, elles ne lui fournissent aucune information, mais il n’apprend rien de faux : 61. La différence est petite ici, parce qu’il y avait seulement 21 étiquettes de ce type. Avec plus d’étiquettes, un « non » erroné fait plus de tort.
Gardez donc « inconnu » comme réponse distincte. Excluez les alertes inconnues de l’entraînement. Revenez-y quand la réponse arrive : une rétrofacturation de la banque ou un appel avec le client.
Quand s’inquiéter et quoi faire
Section intitulée « Quand s’inquiéter et quoi faire »Afficher quand le biais de sélection compte et les étapes pour le réduire
Il compte quand :
- Un modèle apprend à partir d’étiquettes produites par ses propres alertes. Les modèles de reclassement, les classificateurs de fraude et les filtres antipourriel font tous cela.
- Certains types d’anomalies semblent normaux au détecteur. Ils reçoivent peu d’étiquettes, et le modèle suivant les voit encore moins.
- Vous rapportez seulement la précision au budget fixé. Elle reste élevée pendant que des types entiers disparaissent.
Les étapes :
- Révisez un petit échantillon aléatoire chaque jour, parmi les candidats que l’équipe n’a pas vus. Ici : 5 par jour.
- Comptez les étiquettes par type, chaque mois. Un type dont les étiquettes diminuent est un avertissement.
- Gardez inconnu comme réponse distincte. Ne l’inscrivez jamais comme « non ».
- Gardez le détecteur non supervisé comme première étape. Il n’apprend pas à partir des étiquettes, donc la boucle ne peut pas réduire sa portée.
Exercice guidé : le biais dans le carnet
Section intitulée « Exercice guidé : le biais dans le carnet »- Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La cellule de données se termine par la ligne
Ready:(prêt). - Dans la section 1, exécutez la cellule. Vous voyez
1,400 reviewed alerts, 708 real(1 400 alertes révisées, 708 réelles). - Dans la section 2, écrivez votre prédiction, puis exécutez la cellule des proportions. Vous voyez
0.506et0.018. - Exécutez la cellule des types. Les prises de contrôle de compte ont
54paiements insérés et21avec une étiquette. - Dans la section 3, exécutez la cellule du modèle de reclassement. Vous voyez
76et71prises de contrôle de compte. - Dans la section 4, exécutez les cellules de l’échantillon aléatoire. Vous voyez
4 real (2.9%)(4 réelles, soit 2,9 %), puis4.1%dans le corrigé. - Dans la section 5, exécutez la cellule « inconnu ». Vous voyez
59et61. - Dans la section 6, écrivez les deux réponses et exécutez chaque cellule de vérification. Chacune affiche
Check passed(vérification réussie).
À vous de jouer : un échantillon aléatoire plus grand
Section intitulée « À vous de jouer : un échantillon aléatoire plus grand »Changez une seule chose : révisez 10 candidats aléatoires par jour au lieu de 5. Avant l’exécution, faites une prédiction : l’estimation des fraudes manquées par jour se rapprochera-t-elle de la vraie valeur de 6,2?
Afficher la réponse
sample_10 = unseen.groupby("day", group_keys=False).apply(lambda g: g.sample(10, random_state=1))missed_per_day_10 = round(float(sample_10.label.mean() * 150), 1)Check passed: missed_per_day_10 is 6.4.Avec 10 révisions par jour (280 au total), l’estimation est de 6,4 paiements réellement frauduleux par jour. La vraie valeur est de 6,2. Un échantillon plus grand donne un intervalle plus étroit. Une seule estimation risque donc moins d’être très éloignée de la réalité. Il prend deux fois plus de temps : 40 minutes par jour au lieu de 20. Vos nombres aléatoires peuvent donner une autre valeur si vous changez la graine. C’est la raison d’être de l’intervalle.
Erreur courante
La précision qui est restée élevée pendant qu'un type disparaissait
Symptôme : après la mise en production du modèle de reclassement, le rapport hebdomadaire de Sofia semble meilleur. La précision au budget fixé augmente, de 0,498 à 0,514. Trois mois plus tard, la banque signale une vague de rétrofacturations liées à des prises de contrôle de compte. Aucune ne figurait dans les alertes de l’équipe. (L’histoire est construite; les chiffres ci-dessous sont mesurés.)
Cause : le modèle de reclassement a appris à partir d’étiquettes contenant 390 paiements par carte volée et seulement 21 prises de contrôle de compte. Il a fait descendre les prises de contrôle de compte : 76 parmi les 50 premiers avec la forêt seule, 71 après reclassement. La précision est restée élevée, parce que les places libérées sont allées aux cartes volées. Le rapport comptait toutes les alertes réelles ensemble, ce qui masquait la perte.
Correction : rapportez le rappel et les étiquettes par type, chaque semaine. Gardez un échantillon aléatoire de révisions pour que l’équipe puisse estimer ce qu’elle manque. Réentraînez seulement avec des étiquettes contenant une proportion représentative de chaque type, ou pondérez les types rares.
Conséquence pour le travail en IA : un modèle qui apprend à partir de ses propres sorties réduit un peu sa vision chaque fois. Les scores habituels ne le montrent pas. Seul un échantillon que le modèle n’a pas choisi montre ce qui se trouve hors de la lumière.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Illustrez le piège du biais de sélection avec des chiffres. Quelle proportion des alertes révisées est réelle? Et des paiements? Pourquoi diffèrent-elles?
Afficher la réponse
Pendant les quatre semaines de révision, 50,6 % des 1 400 alertes révisées sont réelles (708). Parmi tous les paiements, seulement 1,8 % sont des fraudes insérées. Parmi les 200 candidats par jour, la proportion est de 15,7 %. Ces proportions diffèrent parce que le détecteur a choisi les paiements qui ont reçu une étiquette. Il a montré les paiements les plus suspects. Les données étiquetées contiennent donc beaucoup de fraudes. Elles ne forment pas un échantillon aléatoire des paiements. Un modèle entraîné sur ces données apprend un monde où la moitié des paiements inhabituels sont frauduleux.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Nommez l'étape qui réduit le biais. Dites ce qu'elle a mesuré chez Larkfield et ce qu'elle n'a pas fait.
Afficher la réponse
Révisez chaque jour un petit échantillon aléatoire des candidats que l’équipe n’a pas vus : 5 par jour, des rangs 51 à 200. En quatre semaines, 140 révisions aléatoires ont trouvé 4 paiements réellement frauduleux : 2,9 %, avec un intervalle à 95 % de 1,1 % à 7,1 %. Cela donne une estimation d’environ 4 fraudes manquées par jour, juste après les 50 premiers candidats. Le corrigé indique 6,2, une valeur dans l’intervalle. Cette étape n’a pas augmenté la précision au budget fixé. Avec les étiquettes supplémentaires, le modèle de reclassement (reranker) obtenait 0,514, comme sans elles. Son rôle est de mesurer les cas manqués, pas d’augmenter le score de cette semaine.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Une réviseuse hésite devant une alerte. Pourquoi devrait-elle inscrire « inconnu » plutôt que « non »? Utilisez les chiffres des prises de contrôle de compte.
Afficher la réponse
« Non » est une étiquette qui apprend au modèle que ce type de paiement est honnête. Quand chaque prise de contrôle de compte incertaine était notée « non », le modèle de reclassement en trouvait 59 pendant les semaines de test. En excluant ces cas comme « inconnu », il en trouvait 61. Avec les bonnes réponses, il en trouvait 71. « Inconnu » fait perdre de l’information, mais n’enseigne pas la mauvaise réponse. Excluez les alertes inconnues de l’entraînement. Ajoutez-les lorsque la vraie réponse arrive.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Les étiquettes existent seulement là où le détecteur a cherché. C’est le biais de sélection. Un modèle qui apprend de ses propres alertes en fait une boucle de rétroaction.
- Chez Larkfield : 50,6 % des alertes révisées sont réelles, contre 1,8 % de tous les paiements. Seulement 38,9 % des prises de contrôle de compte ont reçu une étiquette. Le modèle de reclassement en a trouvé moins (76 → 71).
- Un petit échantillon aléatoire de révisions, 5 par jour, mesure ce que les 50 premiers candidats ne montrent pas. Ici, environ 4 cas par jour (valeur réelle : 6,2). Il n’augmente pas la précision.
- Inscrivez inconnu honnêtement. Noter « non » à la place enseigne la mauvaise réponse au modèle.
Le modèle de reclassement place maintenant les alertes réelles en premier. L’échantillon aléatoire permet de vérifier ce qu’il manque. Mais chaque alerte reste un simple score. Ensuite, nous trouvons les variables qui ont fait monter le score. Nous rédigeons une alerte sur laquelle Sofia peut décider en une minute.
Leçon suivante : Expliquer une alerte