Aller au contenu
English

Les étiquettes sont rares, et cela change tout

  • Leçon 3
  • 30 min
  • Module 1 : Ce que « inhabituel » veut dire

Où nous en sommes

Nous pouvons maintenant nommer le type d'anomalie que nous cherchons. La prochaine question détermine la méthode : combien d'exemples avons-nous avec la bonne réponse? Dans cette leçon, nous voyons pourquoi les étiquettes sont rares ici. Nous découvrons les contextes supervisé, semi-supervisé et non supervisé, et les cas où une simple règle convient mieux.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 3 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelLes étiquettes sont rares, et cela change tout
Aperçu du cours

Ce que vous saurez faire

Choisissez une méthode selon les étiquettes que vous avez vraiment, pas celles que vous aimeriez avoir. Et cessez de juger un détecteur par son exactitude. Quand les anomalies sont rares, « tout va bien » est presque toujours la bonne réponse, mais ne trouve rien.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien. Cette leçon ne contient pas de code.

L’agent de contrôle des bagages qui ne dit jamais « arrêtez »

Section intitulée « L’agent de contrôle des bagages qui ne dit jamais « arrêtez » »

Pensez à une personne qui vérifie les bagages dans un aéroport. Chaque jour, des milliers de bagages passent à l’écran. Presque tous contiennent des vêtements, des livres et des chaussures. Un bagage dangereux est si rare qu’une agente peut travailler pendant des années sans en voir un seul.

Deux choses en découlent. D’abord, l’agente ne peut pas apprendre surtout à partir de bagages dangereux, car il n’y en a presque aucun. Elle apprend très bien à reconnaître les bagages normaux et arrête ceux qui ne correspondent pas. Ensuite, imaginez un agent paresseux qui dit « tout va bien » pour chaque bagage. Il a raison pour presque tous les bagages, chaque jour. Selon le nombre de bonnes réponses, il semble excellent. Il est aussi inutile.

L’équipe antifraude de Larkfield est dans la même situation que l’agente de contrôle. Cette leçon porte sur ces deux problèmes. Comment apprendre quand on connaît peu d’exemples? Et comment éviter le piège de l’agent paresseux?

Ce qu’est une étiquette, et pourquoi la fraude en a si peu

Section intitulée « Ce qu’est une étiquette, et pourquoi la fraude en a si peu »

Une étiquette est la bonne réponse pour un exemple, consignée par écrit. Pour un paiement, l’étiquette indique « frauduleux » ou « honnête ». Dans Apprentissage automatique : du problème à un modèle fiable, chaque billet de soutien avait une étiquette : transmis au niveau supérieur ou non. Un modèle apprenait à partir de milliers de billets étiquetés. Ici, les étiquettes sont rares, pour quatre raisons :

  1. L’événement est rare. La plupart des paiements sont honnêtes. Dans les données de Larkfield, 4 971 des 343 074 paiements sont des fraudes insérées : 1,45 %, soit environ 1 sur 70. Un vrai commerce a beaucoup moins de fraudes. Nous en avons inséré davantage pour que les exercices aient assez de cas.
  2. Les étiquettes arrivent tard. Le titulaire de la carte peut découvrir un paiement étrange sur son relevé bancaire des semaines plus tard. Tant que la banque ne le signale pas, personne ne sait.
  3. Les étiquettes existent seulement là où quelqu’un a vérifié. Un paiement reçoit une étiquette quand l’équipe de Sofia le révise. Son équipe révise 50 alertes par jour. Presque tous les autres paiements ne reçoivent jamais d’étiquette.
  4. De nouveaux types apparaissent. Les voleurs changent leurs méthodes. Les fraudes du mois prochain pourraient ne ressembler à aucune fraude étiquetée du mois dernier.

La proportion d’anomalies parmi toutes les lignes s’appelle le taux de base. C’est le nombre le plus important à connaître avant de juger un détecteur. L’image montre 70 paiements, avec le taux de base de Larkfield :

Une grille de 70 carrés. 69 sont vides, un est rempli. Le texte indique : 70 paiements, 69 honnêtes, 1 fraude insérée. Tous les paiements de Larkfield : 4 971 insérés sur 343 074 (1,45 %).
Le taux de base de Larkfield : environ 1 paiement sur 70 est une fraude insérée. Un vrai commerce en a beaucoup moins.
Description textuelle du diagramme

L’image est une grille de 70 petits carrés. Soixante-neuf sont vides : les paiements honnêtes. Un carré, près du centre, est rempli : une fraude insérée. Sous la grille, le texte indique : 70 paiements, 69 honnêtes, 1 fraude insérée. Tous les paiements de Larkfield : 4 971 insérés sur 343 074, soit 1,45 %.

L’exactitude est la proportion de toutes les réponses qui sont bonnes. C’est le premier score auquel la plupart des gens pensent, mais ici, il induit en erreur.

Prenez les 70 paiements de l’image : 69 honnêtes et 1 frauduleux. Comparez deux détecteurs :

Détecteur Alertes Fraudes trouvées Fausses alertes Bonnes réponses Exactitude
« Aucun paiement n’est frauduleux » 0 0 0 69 sur 70 98,6 %
Un détecteur qui signale 5 paiements, dont la fraude 5 1 4 66 sur 70 94,3 %

Comptez les bonnes réponses du deuxième détecteur. Il a raison pour la fraude et pour les 65 paiements honnêtes sans alerte : 66. Il se trompe pour ses 4 fausses alertes. Son exactitude est donc de 66 ÷ 70 = 94,3 %. Le détecteur qui ne fait rien obtient un score plus élevé que celui qui trouve la fraude. L’exactitude récompense l’agent paresseux.

Sur les 343 074 paiements, « aucun paiement n’est frauduleux » donne la bonne réponse pour les 338 103 paiements honnêtes. Son exactitude atteint 98,55 %. Le cours évalue les détecteurs sur ses mois d’évaluation, de septembre à novembre 2025. Durant ces mois, 1,66 % des paiements sont insérés. L’exactitude mesurée de « aucun paiement n’est frauduleux » est alors de 98,34 %.

Prenez maintenant un bon détecteur. Isolation Forest (forêt d’isolement), une méthode que vous construisez au module 4, envoie 50 alertes par jour. La moitié de ses alertes sont des fraudes insérées. Son exactitude est aussi de 98,34 %. Même un détecteur qui connaît les réponses n’obtient que 98,57 %. Les jours calmes, il doit remplir certaines de ses 50 places avec des paiements honnêtes. Les jours chargés, 50 places ne suffisent pas pour toutes les fraudes. Les deux graphiques comparent l’exactitude et la précision au budget pour les trois mêmes détecteurs :

Exactitude pendant les mois d'évaluation, avec 50 alertes par jour. Rien : aucune alerte. Forêt : Isolation Forest. Parfait : un détecteur qui connaît les réponses. Les trois colonnes ont presque la même hauteur. Ici, l'exactitude ne distingue pas un détecteur inutile d'un détecteur parfait.
Description textuelle du graphique

Un graphique avec trois colonnes, sur un axe de 0 à 100 %. « Aucun paiement n’est frauduleux » atteint 98,34 %. Isolation Forest, avec 50 alertes par jour, atteint 98,34 %. Un détecteur qui connaît les réponses atteint 98,57 %. Les trois colonnes semblent identiques.

Précision au budget pour les trois mêmes détecteurs, tirée du tableau comparatif du cours. C'est la proportion des 50 alertes quotidiennes qui sont des paiements insérés. La différence est maintenant claire : 0, puis 0,500, puis 0,542.
Description textuelle du graphique

Un graphique avec trois colonnes, sur un axe de 0 à 1. « Aucun paiement n’est frauduleux » ne révise rien, donc sa précision au budget est de 0. Isolation Forest atteint 0,500 : en moyenne, 25 de ses 50 alertes quotidiennes sont des fraudes insérées. Un détecteur qui connaît les réponses atteint 0,542. Il ne peut pas atteindre 1, car la plupart des jours comptent moins de 50 paiements insérés.

Voilà pourquoi le cours ne classe jamais les détecteurs selon leur exactitude. Il utilise la précision au budget, le rappel et le coût par semaine. Le rappel est la proportion de toutes les anomalies insérées que les alertes révisées trouvent. Ces nombres changent quand un détecteur s’améliore. Le module 7 approfondit l’évaluation avec peu d’étiquettes.

Les étiquettes disponibles déterminent le contexte du problème : le type d’apprentissage possible. Il existe trois contextes, et une quatrième réponse qui ne nécessite aucun apprentissage.

Un diagramme de décision. La question : quelles bonnes réponses, ou étiquettes, avons-nous? Quatre branches. Beaucoup d'exemples étiquetés de chaque type de fraude, et les types restent les mêmes : supervisé, un classificateur apprend les étiquettes. Seulement des données que nous jugeons normales : semi-supervisé, apprendre ce qui est normal et signaler ce qui ne correspond pas. Aucune étiquette : non supervisé, donner un score au caractère inhabituel de chaque ligne. Un motif qu'une personne peut décrire exactement : une règle, comme une limite, un nombre ou une liste d'autorisation. Une flèche pointillée du contexte non supervisé vers le contexte semi-supervisé indique : les révisions ajoutent quelques étiquettes.
Des étiquettes disponibles au contexte. La plupart des problèmes d'anomalies commencent sans étiquettes ou avec seulement des données normales. Les révisions ajoutent lentement des étiquettes.
Description textuelle du diagramme

Le diagramme commence par une question : quelles bonnes réponses, ou étiquettes, avons-nous? Il a quatre branches. Première : beaucoup d’exemples étiquetés de chaque type de fraude, et les types restent les mêmes. Cela mène au contexte supervisé, où un classificateur apprend les étiquettes. Deuxième : seulement des données que nous jugeons normales. Cela mène au contexte semi-supervisé : apprendre ce qui est normal et signaler ce qui ne correspond pas. Troisième : aucune étiquette. Cela mène au contexte non supervisé : donner un score au caractère inhabituel de chaque ligne. Quatrième : un motif qu’une personne peut décrire exactement. Cela mène à une règle, comme une limite, un nombre ou une liste d’autorisation. Une flèche pointillée va du contexte non supervisé vers le contexte semi-supervisé. Elle porte l’étiquette « les révisions ajoutent quelques étiquettes ».

Supervisé : apprendre à partir d’exemples étiquetés

Section intitulée « Supervisé : apprendre à partir d’exemples étiquetés »

Dans le contexte supervisé, vous avez beaucoup d’exemples étiquetés, frauduleux et honnêtes. Un modèle apprend à les distinguer. C’est le classificateur du cours d’apprentissage automatique. Il fonctionne bien quand vous avez assez d’étiquettes de chaque type et que les fraudes de demain ressemblent à celles d’hier.

Il échoue quand un nouveau type de fraude apparaît. Un classificateur apprend les motifs présents dans ses étiquettes. Une fraude qui ne ressemble à aucun d’eux reçoit un score faible. Et avec 1 fraude sur 70 paiements, un classificateur demande beaucoup de précautions. Le cours d’apprentissage automatique l’a montré pour les rares billets transmis au niveau supérieur.

Semi-supervisé : apprendre seulement à reconnaître ce qui est normal

Section intitulée « Semi-supervisé : apprendre seulement à reconnaître ce qui est normal »

Dans le contexte semi-supervisé, vous avez des données que vous jugez normales, et aucune étiquette de fraude. Une méthode apprend la forme des données normales et signale ce qui ne correspond pas. C’est l’agente de contrôle des bagages : elle connaît très bien les bagages normaux.

Il y a une difficulté. Les données « jugées normales » sont rarement parfaitement propres. Les mois de référence de Larkfield, de juin à août 2025, contiennent aussi des fraudes insérées. Il y a des fraudes chaque mois. La méthode fonctionne quand même si les anomalies représentent une petite proportion, comme ici. Un SVM à une classe (One-Class SVM, module 4) et un autoencodeur (module 6) sont des méthodes de ce contexte.

Dans le contexte non supervisé, vous n’avez aucune étiquette. Une méthode donne un score à chaque ligne : à quel point est-elle inhabituelle par rapport aux autres lignes? Les statistiques robustes (module 2), la distance aux voisins et Isolation Forest (module 4) fonctionnent ainsi. C’est le point de départ le plus courant, et la majeure partie de ce cours se situe dans ce contexte.

Même sans étiquettes pour l’entraînement, vous avez besoin de quelques étiquettes pour vérifier le détecteur. Quelqu’un doit réviser les premières alertes et dire lesquelles étaient réelles. Le cours utilise son corrigé pour cela. Une vraie équipe utilise ses révisions.

Parfois, une personne peut décrire le motif exactement. Deux exemples : « plus de 5 paiements en 10 minutes sur une carte » et « un remboursement supérieur à 100 dollars nécessite une approbation ». Une règle est alors souvent la meilleure réponse. Elle est instantanée, ne nécessite aucune donnée d’entraînement, et tout le monde peut la lire. Sa faiblesse : elle trouve seulement ce que quelqu’un a imaginé. Les règles, et quand une règle est la bonne réponse compare deux règles aux autres méthodes.

Vous avez Contexte Ce que la méthode apprend Exemple chez Larkfield Dans ce cours
Beaucoup d’étiquettes de chaque type, et les types se répètent Supervisé La différence entre les paiements étiquetés frauduleux et honnêtes Peu de cas de ce genre : les fraudes sont rares et changent Le cours d’apprentissage automatique
Des données jugées normales Semi-supervisé La forme des données normales Les mois de référence, de juin à août Modules 4 et 6
Aucune étiquette Non supervisé Le caractère inhabituel de chaque ligne Chaque table, le premier jour Modules 2, 4 et 5
Un motif exact Une règle Rien : une personne l’écrit Les règles de vélocité et d’appareil Module 2

Les étiquettes obtenues ne forment pas un échantillon représentatif

Section intitulée « Les étiquettes obtenues ne forment pas un échantillon représentatif »

Avec le temps, les révisions de Sofia ajoutent des étiquettes. Cela semble offrir une solution : après quelques semaines, entraîner un classificateur sur les alertes révisées. Mais ces étiquettes ont un problème. Elles existent seulement pour les paiements qu’un détecteur a présentés à l’équipe.

Le module 8 mesure cet effet avec quatre semaines de révisions simulées. Les réviseurs sont une simulation, une hypothèse du cours, mais l’effet est réel. Parmi 1 400 alertes révisées, 708 étaient de vraies fraudes : 50,6 %. Dans un échantillon aléatoire des paiements que l’équipe n’avait pas vus, seulement 2,9 % étaient insérés. Ces paiements étaient classés juste sous les 50 premiers de chaque jour. Parmi tous les paiements, la proportion était de 1,8 %. Les alertes révisées contiennent beaucoup de fraudes parce que le détecteur les a choisies.

Un modèle entraîné seulement sur ces étiquettes apprend « ce que le détecteur a déjà trouvé ». Les fraudes que le détecteur manque ne reçoivent jamais d’étiquette, donc le modèle suivant les manque aussi. Le module 8 montre comment apprendre quand même des réviseurs. Ajoutez un petit échantillon aléatoire de révisions et traitez les étiquettes comme un échantillon biaisé.

Les données du cours sont synthétiques, donc nous connaissons chaque anomalie insérée. Cette liste est le corrigé. Une vraie équipe n’en a jamais. Le cours utilise le corrigé seulement pour évaluer les détecteurs dans le tableau comparatif, jamais pour les entraîner. Il est emballé dans un fichier nommé sealed-key.txt pour que vous ne le lisiez pas par accident. Vous pouvez le déballer si vous le souhaitez. Il sert à évaluer votre propre travail, pas à garder un secret. Découvrir les données de Larkfield montre comment le tableau comparatif l’utilise.

Pour chaque situation, choisissez une réponse : supervisé, semi-supervisé, non supervisé ou une règle. Expliquez ensuite pourquoi en une phrase.

  1. Lisez d’abord les cinq situations.
  2. Écrivez votre réponse et votre raison pour chacune.
  3. Ouvrez les réponses et comparez vos raisons, pas seulement vos choix.
  1. L’équipe des finances de Larkfield dit : « Les remboursements supérieurs à 100 dollars nécessitent l’approbation d’un chef d’équipe. Trouvez ceux qui dépassent 100 dollars sans approbation. »
  2. Amira a 60 jours de métriques de ticket-api. Personne n’a indiqué si chaque minute était bonne ou mauvaise.
  3. Une banque a cinq ans de paiements par carte, avec 40 000 fraudes confirmées de quelques types identiques. Ces types n’ont pas changé.
  4. La nouvelle région de Larkfield, east, est en service depuis une semaine. Grace a deux mois de remboursements d’une période stable dans les anciennes régions.
  5. L’équipe de Sofia a révisé 1 400 alertes. Tomás veut entraîner un classificateur sur ces alertes et cesser d’utiliser le détecteur non supervisé.
Afficher les réponses
  1. Une règle. Le motif est exact et figure dans une politique. Aucune donnée n’est nécessaire pour l’apprendre.
  2. Non supervisé. Il n’y a aucune étiquette. Donnez un score au caractère inhabituel de chaque minute, puis laissez Amira réviser les premières alertes.
  3. Supervisé est un bon choix ici : beaucoup d’étiquettes de chaque type, et les types se répètent. Gardez une vérification non supervisée en parallèle pour les nouveaux types.
  4. Semi-supervisé. Grace juge les données de la période stable normales. Apprenez leur forme et comparez-y la nouvelle région. Mais une nouvelle région peut avoir une nouvelle normale, comme le montrent les prochains modules.
  5. Pas encore. Les 1 400 étiquettes proviennent seulement des alertes choisies par le détecteur. Ainsi, 50,6 % sont réelles, contre 2,9 % dans un échantillon aléatoire des paiements que l’équipe n’a pas vus. Un classificateur entraîné sur ces étiquettes manque ce que le détecteur n’a jamais montré. Gardez le détecteur non supervisé et ajoutez des étiquettes provenant d’un échantillon aléatoire. Le module 8 le fait.

Changez une condition. Dans un vrai magasin, supposez qu’un paiement sur 1 000 est frauduleux plutôt qu’un sur 70. Prédisez l’exactitude de « aucun paiement n’est frauduleux ». Puis prédisez ce qui arrive à la précision au budget si un détecteur envoie encore 50 alertes par jour. Il traite environ 1 875 paiements.

Afficher la réponse

« Aucun paiement n’est frauduleux » donne la bonne réponse pour 999 paiements sur 1 000. Son exactitude atteint 99,9 %, encore plus qu’avant, mais cette réponse reste inutile. Avec environ 1 875 paiements par jour, il n’y a qu’environ 1,9 fraude par jour. Même un détecteur parfait ne peut donc remplir qu’environ 2 de ses 50 places avec des fraudes. Sa précision au budget est d’environ 0,04. Un taux de base plus faible fait paraître l’exactitude meilleure et la précision moins bonne. Indiquez donc toujours le taux de base à côté de la précision. Et le budget doit correspondre au nombre de cas réels.

Erreur courante

Un détecteur avec une exactitude de 98,34 %

Symptôme : Tomás annonce : « Mon nouveau détecteur a une exactitude de 98,34 % sur les mois d’évaluation. » Le chiffre semble excellent. Omar est prêt à l’utiliser.

Cause : durant ces mois, 1,66 % des paiements sont des fraudes insérées. Un détecteur qui n’envoie jamais d’alerte donne la bonne réponse pour les 98,34 % restants. Il a donc exactement la même exactitude. Si un détecteur qui ne fait aucun effort obtient aussi ce score, celui-ci ne dit rien sur la détection des fraudes. Dans les données du cours, Isolation Forest (forêt d’isolement), avec 50 alertes par jour, atteint aussi 98,34 %. Ne rien faire donne le même résultat (les deux ont été mesurés).

Solution : indiquez d’abord le taux de base, puis la précision au budget, le rappel et le coût par semaine. Comparez chaque détecteur à « aucun paiement n’est révisé » dans le même tableau. Cette référence donne une précision de 0 et coûte 10 367 dollars par semaine en fraudes manquées.

Conséquence pour le travail en IA : avec un événement rare, une exactitude élevée peut cacher un détecteur qui ne trouve rien. Une équipe qui lui fait confiance découvre l’échec grâce aux pertes, des semaines plus tard.

Vérifiez votre compréhension

Nommez les trois contextes d'apprentissage pour la détection d'anomalies, puis la solution qui ne demande aucun apprentissage. Pour chacun, dites ce qu'il vous faut et donnez un exemple.

Afficher la réponse
  • Supervisé : beaucoup d’exemples étiquetés de chaque type, et des types qui se répètent. Un classificateur les apprend. Exemple : une banque avec des années de fraudes confirmées appartenant à quelques types stables.
  • Semi-supervisé : des données que vous considérez comme normales, sans étiquettes de fraude. La méthode apprend la forme des données normales. Exemple : les mois de référence de Larkfield, de juin à août.
  • Non supervisé : aucune étiquette. La méthode attribue un score au caractère inhabituel de chaque ligne. Exemple : 60 jours de mesures de ticket-api que personne n’a étiquetées.
  • Une règle : un motif exact qu’une personne peut écrire. Exemple : les remboursements de plus de 100 dollars sans l’approbation d’un chef d’équipe.

Vérifiez votre compréhension

Prédisez : 1,45 % des paiements de Larkfield sont des fraudes insérées. Quelle est l'exactitude d'un détecteur qui répond « honnête » pour chaque paiement? Pourquoi cela fait-il de l'exactitude un mauvais score ici?

Afficher la réponse

Il donne la bonne réponse pour chaque paiement honnête : 338 103 sur 343 074, soit 98,55 %. Il ne trouve aucune fraude. Comme le taux de base est très faible, ne rien faire donne déjà un score proche de 100 %. Un bon détecteur obtient presque le même score. Durant les mois d’évaluation, ne rien faire et Isolation Forest avec 50 alertes par jour atteignent tous deux 98,34 %. L’exactitude ne permet pas de les distinguer. La précision au budget le permet : 0 contre 0,500.

Vérifiez votre compréhension

Les alertes révisées par Sofia contiennent 50,6 % de fraudes réelles. Un échantillon aléatoire des paiements que son équipe n'a pas vus n'en contient que 2,9 %. Expliquez pourquoi et ce que cela signifie pour un modèle entraîné seulement sur les alertes révisées.

Afficher la réponse

Les étiquettes existent seulement pour les alertes qu’un détecteur a présentées à l’équipe. Le détecteur a choisi les paiements les plus suspects. Les alertes révisées contiennent donc beaucoup de fraudes, bien plus que les paiements en général. Un modèle entraîné seulement sur ces alertes apprend ce que l’ancien détecteur a déjà trouvé. Les fraudes que l’ancien détecteur a manquées ne reçoivent jamais d’étiquette. Le nouveau modèle les manque donc aussi. Un petit échantillon aléatoire de paiements à réviser fournit des étiquettes que le détecteur n’a pas choisies.

Récapitulatif

  • Une étiquette est la bonne réponse pour un exemple. Les étiquettes de fraude sont rares : l’événement est rare, les étiquettes arrivent tard et de nouveaux types apparaissent. Elles existent seulement là où quelqu’un a vérifié.
  • Le taux de base est la proportion d’anomalies : 4 971 sur 343 074 paiements, soit environ 1 sur 70.
  • L’exactitude ment quand les anomalies sont rares. « Aucun paiement n’est frauduleux » atteint 98,55 % sur l’ensemble des paiements. Durant les mois d’évaluation, cette réponse atteint 98,34 %, comme un bon détecteur. Utilisez la précision au budget, le rappel et le coût par semaine.
  • Vos étiquettes déterminent le contexte : supervisé (beaucoup d’étiquettes de chaque type), semi-supervisé (données normales fiables), non supervisé (aucune étiquette), ou une règle (un motif exact).
  • Les alertes révisées ne forment pas un échantillon représentatif. Elles contiennent 50,6 % de fraudes réelles, contre 2,9 % dans un échantillon aléatoire des paiements non examinés.

Vous pouvez maintenant choisir un contexte selon vos étiquettes, et vous savez à quels chiffres vous fier. Mais jusqu’ici, vous avez seulement lu des explications sur les données de Larkfield. Ensuite, vous les ouvrirez dans un carnet (notebook) Jupyter et vérifierez chaque table. Vous évaluerez aussi vos premiers détecteurs dans le tableau comparatif.

Leçon suivante : Découvrir les données de Larkfield