Aller au contenu
English

Du non supervisé au semi-supervisé

  • Leçon 33
  • 35 min
  • Module 8 : Apprendre des réviseurs

Où nous en sommes

L'équipe de Sofia examine 50 alertes par jour et indique si chacune est réelle ou non. Nos détecteurs ignorent ces réponses. Dans cette leçon, nous utilisons les étiquettes des réviseurs pour entraîner un petit classificateur ajouté aux scores d'anomalie. Nous mesurons ensuite son amélioration de la précision au budget.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 33 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelDu non supervisé au semi-supervisé
Aperçu du cours

Ce que vous saurez faire

Utilisez les réponses que les réviseurs donnent déjà chaque jour. Un petit deuxième modèle apprend de ces réponses et place les alertes réelles en premier. Mesurez ensuite, honnêtement, son apport au budget de 50 alertes par jour.

Carnet JupyterFaites cette leçon dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, tâches et vérifications de cette leçon. Il attribue des scores aux paiements avec Isolation Forest (forêt d’isolement), simule quatre semaines de révision et entraîne le modèle de reclassement (reranker). Il le mesure ensuite sur les semaines suivantes. Ses cellules de préparation installent les paquets et téléchargent les données (environ 7 Mo). Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien. Le carnet fonctionne dans Colab, Kaggle ou VS Code.

Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1 et scikit-learn 1.9.1. Colab et Kaggle n’ont pas été testés.

Imaginez une nouvelle employée au comptoir des retours d’un magasin. Une règle lui demande d’appeler un gestionnaire pour chaque retour sans reçu. Durant sa première semaine, elle appelle le gestionnaire vingt fois par jour. Le gestionnaire vient, regarde et dit « celui-là est correct » la plupart du temps.

Après un mois, elle a appris quelque chose. Un client régulier qui retourne un cadeau sans reçu ne pose presque jamais de problème. Un inconnu qui retourne cinq téléphones neufs, par contre, pose problème. Elle suit toujours la règle, mais elle organise mieux ses appels. Le gestionnaire voit maintenant les cas inquiétants en premier.

Personne ne lui a donné de nouvelle règle. Elle a appris des réponses du gestionnaire. Cette leçon fait la même chose pour les alertes de Larkfield.

Isolation Forest est le détecteur de ce module. Vous l’avez construit dans Isolation Forest. Ici, un seul fait suffit. Il donne un score à chaque paiement : plus le score est élevé, plus le paiement est inhabituel. Chaque jour, l’équipe de Sofia examine les 50 paiements aux scores les plus élevés.

Avec de bonnes variables, environ la moitié de ces 50 alertes sont des fraudes insérées. L’autre moitié correspond à des paiements honnêtes qui semblent inhabituels. L’équipe de Sofia indique si chaque alerte est réelle ou non. Puis le lendemain arrive, et le détecteur attribue les scores aux nouveaux paiements exactement de la même façon. Il ne sait pas ce que l’équipe a dit hier.

Les mêmes types de fausses alertes reviennent donc chaque jour. Les clients d’affaires qui achètent en gros en sont un exemple. Tranches et équité a mesuré les fausses alertes par 10 000 paiements honnêtes. Pour les comptes d’affaires, le nombre était de 444,1; pour les comptes personnels, de 47,5. L’équipe de Sofia répond « non » à ces commandes en gros encore et encore. Chaque « non » coûte 4 minutes, soit environ 3 dollars (une hypothèse du cours). Et le détecteur ignore chacune de ces réponses.

L’idée : un deuxième modèle qui réordonne les alertes

Section intitulée « L’idée : un deuxième modèle qui réordonne les alertes »

Les réponses des réviseurs sont des étiquettes : la bonne réponse pour un exemple, consignée par écrit. Nous ne pouvons pas remplacer le détecteur avec elles. Les étiquettes existent seulement pour les alertes que l’équipe a vues. Mais nous pouvons les utiliser pour une tâche plus limitée : réordonner les premiers candidats du détecteur.

Cette conception comporte deux étapes :

  1. Première étape, le détecteur. Isolation Forest attribue un score à chaque paiement. Chaque jour, les 200 scores les plus élevés sont les candidats. Il n’a besoin d’aucune étiquette.
  2. Deuxième étape, le modèle de reclassement. Un petit classificateur apprend des alertes révisées. Il donne un nouveau score à chaque candidat : sa probabilité d’être réel. L’équipe examine les 50 candidats aux nouveaux scores les plus élevés.

Le deuxième modèle s’appelle un modèle de reclassement, car il change le classement, soit l’ordre de la liste. Il n’examine jamais les 1 875 paiements d’une journée au complet. Il examine seulement les candidats du détecteur.

Un flux de gauche à droite. Tous les paiements d'une journée passent à la première étape, Isolation Forest, qui n'a besoin d'aucune étiquette. Ses 200 scores les plus élevés sont les candidats. Ils passent à la deuxième étape, le modèle de reclassement, une régression logistique. Ses 50 premiers passent à l'équipe de Sofia, qui indique si chacun est réel ou non. Une flèche en pointillé ramène ces étiquettes au modèle de reclassement pour son prochain entraînement.
Les deux étapes. Le détecteur trouve les candidats sans étiquettes. Le modèle de reclassement apprend des révisions et décide de l'ordre des 50 candidats que l'équipe voit.
Description textuelle du diagramme

Le diagramme montre un flux de gauche à droite. Tous les paiements d’une journée, environ 1 875, passent à la première étape : Isolation Forest, qui n’a besoin d’aucune étiquette. Sa sortie contient les 200 scores les plus élevés de la journée, les candidats. Ils passent à la deuxième étape : le modèle de reclassement, une régression logistique. Elle utilise le score de la forêt et huit variables de comportement. Sa sortie contient les 50 premiers, qui passent à l’équipe de Sofia. L’équipe indique si chaque alerte est réelle ou non. Une flèche en pointillé relie ces étiquettes au modèle de reclassement. Elle porte la mention « quatre semaines d’étiquettes servent à l’entraîner ».

Dans Les étiquettes sont rares, et cela change tout, « semi-supervisé » signifiait : apprendre de données que vous considérez comme normales. Le mot a un deuxième sens courant : beaucoup de données sans étiquettes, plus quelques lignes avec étiquettes. La conception en deux étapes appartient à ce deuxième type. Le détecteur apprend de tous les paiements sans étiquettes. Le modèle de reclassement apprend des quelques paiements révisés. Le diagramme de cette leçon-là avait une flèche pour cette étape : « les révisions ajoutent quelques étiquettes ».

Un tout petit exemple : six alertes et un budget de trois

Section intitulée « Un tout petit exemple : six alertes et un budget de trois »

Voici un exemple construit, assez petit pour être vérifié à la main. Un détecteur donne six candidats. L’équipe peut en examiner trois. Chaque candidat a deux renseignements : l’appareil était-il nouveau pour ce client, et s’agit-il d’un compte d’affaires? La dernière colonne contient la réponse des réviseurs, tirée des jours précédents.

Alerte Score de la forêt Nouvel appareil Compte d’affaires Réponse des réviseurs
A 0,80 non oui non
B 0,78 oui non réelle
C 0,76 non oui non
D 0,74 oui non réelle
E 0,72 oui non réelle
F 0,70 non non non

Les trois premiers du détecteur sont A, B et C. Seul B est réel : une précision de 1 ÷ 3 = 0,33.

Au fil des jours précédents, les réviseurs ont appris deux tendances. Un nouvel appareil signifiait souvent une fraude. Un compte d’affaires signifiait souvent une commande en gros. Nous donnons donc un nouveau score à chaque candidat : le score de la forêt, plus 0,10 pour un nouvel appareil, moins 0,10 pour un compte d’affaires.

Alerte Score de la forêt + nouvel appareil − compte d’affaires Nouveau score Nouveau rang
A 0,80 0 −0,10 0,70 4
B 0,78 +0,10 0 0,88 1
C 0,76 0 −0,10 0,66 6
D 0,74 +0,10 0 0,84 2
E 0,72 +0,10 0 0,82 3
F 0,70 0 0 0,70 4

Les trois nouveaux premiers sont B, D et E. Tous les trois sont réels : une précision de 3 ÷ 3 = 1,00. Le détecteur avait trouvé les bons candidats. Il les avait simplement placés dans le mauvais ordre.

Ici, nous avons choisi les poids de 0,10 à la main. Un vrai modèle de reclassement apprend ses poids à partir des étiquettes. La régression logistique fait exactement cela. Elle trouve les poids qui séparent le mieux les alertes « réelles » des « non réelles » parmi les alertes révisées. Puis elle transforme la somme pondérée en un nombre entre 0 et 1.

Passons aux vraies données. Le cours simule l’équipe de Sofia pendant les quatre semaines du 1er au 28 septembre 2025. Chaque jour, Isolation Forest attribue un score aux paiements. Les 200 scores les plus élevés sont les candidats, et l’équipe examine les 50 premiers. Chaque alerte révisée reçoit sa réponse du corrigé.

C’est une hypothèse : les vrais réviseurs font des erreurs, et certaines réponses arrivent des semaines plus tard. Ici, chaque réponse est correcte et immédiate.

18,200 candidates in 91 days
1,400 reviewed alerts in 4 weeks, 708 real (50.6%)

Le modèle de reclassement apprend donc de 1 400 étiquettes : 708 réelles et 692 non réelles.

Le modèle de reclassement utilise neuf nombres pour chaque candidat : le score de la forêt et les huit variables de comportement. Chaque variable compare un paiement au passé du client, comme le module 4 les construit :

Variable Ce qu’elle indique
iso Le score d’Isolation Forest : à quel point le paiement est inhabituel dans l’ensemble
log_amount_vs_usual Le montant comparé au montant habituel du client (0 = identique, sur une échelle logarithmique)
new_country 1 si le client n’a jamais payé depuis ce pays avant aujourd’hui
new_device 1 si le client n’a jamais utilisé cet appareil avant aujourd’hui
log_minutes_since_last Le temps depuis le dernier paiement du client (échelle logarithmique)
payments_last_hour Les paiements du client dans la dernière heure
device_payments_last_hour Les paiements de l’appareil dans la dernière heure, pour tous les clients
night 1 si le paiement a eu lieu entre minuit et 6 h
is_business 1 pour un compte d’affaires

Le carnet met les neuf nombres à l’échelle pour que chacun ait une moyenne de 0 et la même dispersion. Puis il ajuste une régression logistique sur les alertes révisées seulement :

FEATS = ["iso"] + list(behaviour.columns)
re_scaler = StandardScaler().fit(labels[FEATS])
re_ranker = LogisticRegression(max_iter=2000).fit(re_scaler.transform(labels[FEATS]), labels.label)

Chaque variable reçoit un poids. Un poids positif fait monter un candidat dans la liste. Un poids négatif le fait descendre. Comme les variables sont mises à l’échelle, vous pouvez comparer la grandeur des poids :

Variable Poids
iso 1,98
new_device 1,78
is_business −1,72
new_country 1,22
device_payments_last_hour 1,08
log_minutes_since_last −0,91
log_amount_vs_usual −0,72
night 0,68
payments_last_hour −0,55

Les trois plus grands poids correspondent au score de la forêt, à un nouvel appareil et à un compte d’affaires. Le poids du compte d’affaires est négatif. Parmi les alertes, les comptes d’affaires étaient surtout des commandes en gros. Le modèle de reclassement les fait donc descendre. C’est la leçon de la collègue au comptoir des retours, apprise à partir de 1 400 réponses.

Deux poids semblent étranges. Un montant plus élevé que d’habitude a un poids négatif. Un nombre accru de paiements dans la dernière heure aussi. Pourquoi? Le modèle de reclassement a appris des alertes, pas de tous les paiements. Parmi les alertes, beaucoup de fraudes réelles sont des tests de carte : de minuscules montants, bien en dessous du montant habituel du client. Un poids décrit ce qui sépare le réel du non réel parmi les candidats. Il ne décrit pas la fraude en général.

Passons au test. Le modèle de reclassement réordonne les candidats des semaines suivantes, du 29 septembre au 30 novembre 2025 (63 jours). Il n’a jamais vu ces jours. L’équipe examine toujours 50 alertes par jour.

test weeks: Isolation Forest alone 0.498 precision, 0.834 of the real candidates found
re-ranked 0.514 precision, 0.862 of the real candidates found

La précision au budget passe de 0,498 à 0,514. C’est un gain réel, mais petit. Comptez les paiements réellement frauduleux sur les 63 jours. L’équipe en trouve 1 568 avec la forêt seule et 1 619 avec le modèle de reclassement : 51 de plus, moins d’un par jour. Les fausses alertes passent de 1 582 à 1 531. La plupart des commandes en gros quittent les 50 premiers, mais d’autres fausses alertes prennent leurs places. Le cas d’échec ci-dessous montre les chiffres.

La mesure du cours donne trois scores supplémentaires à un modèle de reclassement. Ils viennent de l’autoencodeur du module 6, de la MAD par client et des deux règles du module 2. Il atteint 0,516 (rappel 0,834 → 0,865). Plus d’entrées, presque le même résultat.

Est-ce que 0,514 est bon ou mauvais? Comparez cette valeur au meilleur ordre possible. Supposons qu’un modèle de reclassement connaisse les réponses et place chaque candidat réel en premier. Pendant les semaines de test, sa précision au budget serait de 0,533, pas de 1. Sur 55 des 63 jours de test, les 200 candidats contiennent moins de 50 paiements réellement frauduleux. La journée médiane en compte 28. Aucun ordre ne peut remplir 50 places avec 28 fraudes.

Précision à 50 alertes par jour, du 29 septembre au 30 novembre 2025. Forêt : Isolation Forest seul. Reclassés : le modèle de reclassement de cette leçon. Meilleur ordre : un modèle de reclassement qui connaît les réponses. Le modèle de reclassement comble environ la moitié de l'écart avec le meilleur ordre possible de ces candidats.
Description textuelle du graphique

Un diagramme à trois colonnes, sur un axe de 0 à 0,6. Isolation Forest seul atteint 0,498. Le modèle de reclassement atteint 0,514. Un modèle de reclassement qui connaît les réponses, et place donc chaque candidat réel en premier, atteint 0,533. Les trois colonnes sont proches : la forêt place déjà la plupart des candidats réels dans les 50 premiers.

L’écart entre la forêt et le meilleur ordre est donc seulement de 0,035. Le modèle de reclassement en comble 0,016, soit environ la moitié. Avec de bonnes variables, Isolation Forest place déjà la plupart des candidats réels dans les 50 premiers. Un modèle de reclassement aide surtout lorsque les premières alertes du détecteur contiennent beaucoup de fausses alertes. Il aide encore plus lorsque ces fausses alertes répètent un comportement que les étiquettes peuvent lui enseigner.

Le tableau comparatif mesure chaque détecteur sur les mêmes trois mois, de septembre à novembre. Le modèle de reclassement ne peut pas utiliser septembre : il en apprend. Ses chiffres viennent donc seulement des semaines suivantes et ne figurent pas dans le tableau. Comparez-le seulement à la forêt sur les mêmes semaines, comme ci-dessus.

Quand utiliser un modèle de reclassement, et à quel coût

Section intitulée « Quand utiliser un modèle de reclassement, et à quel coût »
Afficher quand l’utiliser, quand l’éviter et le coût

Utilisez-le quand :

  • L’équipe fournit des étiquettes chaque jour, et elles arrivent rapidement.
  • Les mêmes types de fausses alertes reviennent, comme les commandes en gros.
  • Vous avez quelques centaines d’étiquettes, avec les deux réponses. Ici : 708 réelles et 692 non réelles.

Ne l’utilisez pas quand :

  • Vous avez seulement quelques dizaines d’étiquettes. Les poids suivent alors le hasard.
  • Les réponses des réviseurs sont souvent incorrectes ou tardives. Le modèle de reclassement reproduit leurs erreurs.
  • Les nouveaux types de fraude comptent le plus. Le modèle de reclassement apprend les types qu’il a vus. La prochaine leçon montre ce qu’il fait des types qu’il a rarement vus.

Ce qu’il coûte :

  • Un deuxième modèle à entraîner, stocker et vérifier. Ici, la régression logistique s’entraîne en moins d’une seconde.
  • Un calendrier : réentraînez-le toutes les quelques semaines avec les étiquettes les plus récentes, et mesurez-le sur les semaines suivantes.
  • Gardez le détecteur comme première étape. Sans lui, rien ne trouve les candidats que personne n’a encore étiquetés.

Exercice guidé : le modèle de reclassement dans le carnet

Section intitulée « Exercice guidé : le modèle de reclassement dans le carnet »
  1. Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet en haut de cette page.
  2. Exécutez les cellules de préparation. La cellule des données se termine par la ligne Ready: (prêt).
  3. Dans la section 2, exécutez la première cellule. Vous voyez 18,200 candidates in 91 days (18 200 candidats en 91 jours).
  4. Exécutez la cellule de révision. Vous voyez 1,400 reviewed alerts in 4 weeks, 708 real (50.6%) (1 400 alertes révisées en 4 semaines, 708 réelles, soit 50,6 %).
  5. Dans la section 3, exécutez la cellule d’entraînement. Les plus grands poids sont ceux de iso, new_device et is_business.
  6. Écrivez votre prédiction pour les semaines de test. Puis exécutez la cellule de test. Vous voyez 0.498 et 0.514.
  7. Dans la section 5, écrivez les deux réponses et exécutez chaque cellule de vérification. Chacune affiche Check passed (vérification réussie).

Changez une seule chose : entraînez le modèle de reclassement sur deux semaines de révision (du 1er au 14 septembre), plutôt que quatre. Testez-le sur les mêmes semaines. Avant de l’exécuter, faites une prédiction : la précision au budget baisse-t-elle beaucoup, un peu ou pas du tout?

Afficher la réponse
labels_2w = candidates[(candidates.day <= "2025-09-14") & candidates.shown]
s2 = StandardScaler().fit(labels_2w[FEATS])
r2 = LogisticRegression(max_iter=2000).fit(s2.transform(labels_2w[FEATS]), labels_2w.label)
test["re_rank_2w"] = r2.predict_proba(s2.transform(test[FEATS]))[:, 1]
precision_two_weeks = precision_at_50(test, "re_rank_2w")[0]
Check passed: precision_two_weeks is right.

Avec deux semaines de révision (700 étiquettes), la précision au budget est de 0,511. Avec quatre semaines, elle est de 0,514. Ici, deux semaines d’étiquettes enseignent déjà l’essentiel de ce que quatre semaines enseignent. Les tendances sont peu nombreuses et fortes : un nouvel appareil, un compte d’entreprise. Avec des tendances moins marquées, il faudrait plus de semaines.

Erreur courante

85 % moins de fausses alertes, et presque la même précision

Symptôme : Omar lit les nouveaux chiffres hebdomadaires. Pendant les semaines de test, les fausses alertes liées aux comptes d’entreprise sont passées de 1 102 à 168. Il dit à l’équipe : « Le modèle de reclassement a éliminé 85 % des fausses alertes. » Mais l’équipe de Sofia ne sent pas la différence.

false alerts in the top 50, 63 days: business accounts 1102 -> 168
all 1582 -> 1531

Cause : le budget est fixé à 50 alertes par jour. Quand le modèle de reclassement fait descendre une commande en gros, le candidat suivant prend sa place. La plupart du temps, ce candidat est une autre fausse alerte, liée à un compte personnel. Un type de fausse alerte a donc presque disparu, mais le total n’a baissé que de 51, soit environ 3 %.

Solution : mesurez les 50 premiers candidats au complet, chaque jour : précision au budget, rappel et coût par semaine. Compter un seul type d’alerte ne suffit pas à mesurer le résultat. Présentez ce nombre avec les totaux, comme ici.

Conséquence pour le travail en IA : un chiffre sur une tranche peut sembler un grand succès sans changer la charge de travail de l’équipe. Avec un budget fixe, demandez-vous : qu’est-ce qui a pris les places libres?

Vérifiez votre compréhension

Expliquez les deux étapes d'une architecture avec un modèle de reclassement. À partir de quoi chaque étape apprend-elle? Pourquoi ne pas remplacer le détecteur par un classificateur entraîné sur les révisions?

Afficher la réponse

À la première étape, le détecteur attribue un score à chaque paiement sans étiquettes et garde les meilleurs candidats (ici, 200 par jour). À la deuxième étape, le modèle de reclassement est un petit classificateur entraîné sur les alertes révisées. Il reclasse les candidats, et l’équipe révise les 50 premiers. Nous gardons le détecteur, car seules les alertes vues par l’équipe ont des étiquettes. Un classificateur entraîné sur ces alertes ne connaît rien des paiements qu’aucun détecteur n’a montrés. C’est le détecteur qui trouve les cas nouveaux et sans étiquette.

Vérifiez votre compréhension

Le modèle de reclassement a fait passer la précision au budget de 0,498 à 0,514 pendant les semaines de test. Un ordre parfait des candidats donnerait 0,533. Que vous disent ces trois chiffres, et pourquoi le gain est-il faible?

Afficher la réponse

Le gain est réel, mais faible : environ 51 paiements réellement frauduleux de plus en 63 jours, soit moins d’un par jour. Le meilleur ordre possible des mêmes candidats atteint seulement 0,533. En effet, la plupart des jours, les candidats comprennent moins de 50 paiements réellement frauduleux. La forêt était donc déjà proche du plafond : l’écart était de 0,035, et le modèle de reclassement l’a réduit de moitié environ. Un modèle de reclassement aide davantage quand les premières alertes du détecteur comprennent beaucoup de fausses alertes qui suivent une même tendance.

Vérifiez votre compréhension

Le poids du « montant comparé au montant habituel » est négatif dans le modèle de reclassement. Cela signifie-t-il que les montants élevés risquent moins d'être frauduleux? Expliquez.

Afficher la réponse

Non, pas en général. Le modèle de reclassement a appris uniquement à partir des alertes du détecteur. Parmi ces alertes, beaucoup de fraudes réelles sont des tests de carte avec de très petits montants. Ces montants sont bien inférieurs au montant habituel du client. Parmi les candidats, un montant plus faible est donc associé à une fraude « réelle ». Un poids décrit ce qui distingue les fraudes réelles des fausses alertes parmi les alertes utilisées pour entraîner le modèle. Il ne dit rien sur l’ensemble des paiements.

Récapitulatif

  • Les réponses des réviseurs sont des étiquettes. Un modèle de reclassement, petit classificateur ajouté au détecteur, peut apprendre de ces réponses et placer les alertes réelles en premier.
  • Deux étapes : le détecteur trouve les candidats sans étiquettes; le modèle de reclassement les ordonne. Gardez les deux.
  • Pendant les semaines de test de Larkfield, la précision au budget est passée de 0,498 à 0,514. Le meilleur ordre possible des candidats donne 0,533. Le gain est faible, car la forêt était déjà proche du plafond.
  • Entraînez le modèle sur les premières semaines. Mesurez ses résultats sur des semaines suivantes qu’il n’a jamais vues.
  • Avec un budget fixe, une fausse alerte retirée laisse une place au candidat suivant. Mesurez les 50 premiers candidats au complet.

Le modèle de reclassement a appris uniquement à partir des alertes vues par l’équipe. Il n’a jamais vu une fraude que le détecteur avait classée au 120e rang. Ensuite, nous mesurons l’effet sur les étiquettes et sur les types de fraude que le détecteur montre rarement.

Leçon suivante : La boucle de rétroaction et ses pièges