Aller au contenu
English

Le budget d'alertes

  • Leçon 30
  • 35 min
  • Module 7 : Évaluer avec peu d'étiquettes

Où nous en sommes

Dans la dernière leçon, nous avons évalué un détecteur pour différents nombres d'alertes par jour. Mais l'équipe de Sofia peut réviser seulement 50 alertes par jour. Dans cette leçon, nous choisissons le seuil selon ce budget plutôt que selon une contamination estimée. Nous calculons aussi le coût par semaine des fraudes manquées et des fausses alertes envoyées. Une clinique qui reçoit d'abord les patients les plus urgents illustre cette idée.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 30 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelLe budget d'alertes
Aperçu du cours

Ce que vous saurez faire

Choisissez le seuil d’un détecteur selon le nombre d’alertes que l’équipe peut réviser chaque jour. Puis chiffrez ce choix : le coût par semaine des fraudes manquées et des fausses alertes.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il calcule les coûts d’un petit exemple de 10 paiements et compare le réglage de contamination au budget. Ensuite, il trouve le seuil de chaque jour et trace la courbe des coûts d’Isolation Forest (forêt d’isolement). Ses cellules de configuration installent pandas et scikit-learn et téléchargent les données du cours (environ 7 Mo). Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

  • La précision à k, le rappel et la courbe précision-rappel pour les scores d’anomalie, vus dans Pourquoi l’exactitude est trompeuse ici.
  • Isolation Forest et son réglage contamination (contamination), vus dans Isolation Forest.
  • Les seuils pour les scores d’un classificateur, vus dans Seuils et calibration du cours d’apprentissage automatique. Cette leçon choisit un seuil autrement, selon un budget.

Ce qu’il vous faut sur votre ordinateur

Rien : le carnet fonctionne dans Colab ou Kaggle. Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1 et scikit-learn 1.9.1. Colab, Kaggle et Windows n’ont pas été testés.

Imaginez une petite clinique. Elle a une seule médecin, qui peut recevoir 20 patients par jour. Une journée calme, 15 personnes arrivent, et elle les reçoit toutes. Une journée chargée en hiver, 60 personnes arrivent. Elle ne peut pas en recevoir 60. Une infirmière les classe donc selon l’urgence, et la médecin reçoit d’abord les 20 cas les plus urgents.

Remarquez ce que la clinique ne fait pas. Elle ne dit pas « nous recevons tous les patients dont la température dépasse 38,5 degrés ». Une journée d’hiver, cette règle enverrait 45 personnes à une médecin qui peut en recevoir 20. Certains patients urgents attendraient. Une journée d’été, la médecin aurait du temps libre. La clinique part de sa capacité, soit 20 places, et les patients les plus urgents les remplissent.

L’équipe de révision de Sofia joue le rôle de la clinique. Elle peut réviser 50 alertes par jour. Le cours appelle ce nombre le budget d’alertes : le nombre d’alertes que l’équipe peut lire attentivement chaque jour. C’est une hypothèse du cours, et ce budget appartient à l’équipe, pas au détecteur.

Chaque détecteur d’anomalies donne un score. Pour envoyer des alertes, vous devez convertir les scores en « alerte » ou « aucune alerte ». Il vous faut donc un seuil : chaque paiement dont le score le dépasse devient une alerte. D’où vient ce seuil?

Dans le module 4, Isolation Forest avait un réglage appelé contamination : la proportion d’anomalies attendue dans les données. scikit-learn l’utilise pour fixer le seuil. Sa valeur par défaut, "auto", utilise une règle fixe tirée de l’article qui présente la méthode. Priya, la scientifique des données de Larkfield, essaie la valeur par défaut et 1 % :

flag_auto = forest.predict(X_eval) == -1 # contamination="auto", the default
cut_1pct = np.quantile(-forest.score_samples(X_ref), 0.99) # contamination=0.01: the top 1% of the reference months
flag_1pct = score > cut_1pct
for name, flag in [("auto", flag_auto), ("0.01", flag_1pct)]:
per_day = pd.Series(flag).groupby(evaluation.ts.dt.floor("D").to_numpy()).sum()
print(f"contamination {name:>4}: {flag.sum() / days:6.1f} alerts a day on average (lowest {per_day.min()}, highest {per_day.max()})")

La sortie :

contamination auto: 386.3 alerts a day on average (lowest 187, highest 939)
contamination 0.01: 25.7 alerts a day on average (lowest 0, highest 96)

Avec la valeur par défaut, l’équipe reçoit en moyenne 386 alertes par jour, soit presque huit fois son budget. Une journée, elle en reçoit 939. Avec 1 %, elle en reçoit en moyenne 25,7 par jour. Bien des jours, la moitié de son temps reste libre, et le pire jour, 96 alertes arrivent. La proportion réelle de fraudes insérées est de 1,66 %, soit environ 31 par jour. Aucun des deux réglages ne correspond donc aux données. Et la bonne proportion n’aide pas non plus : la capacité de l’équipe reste de 50, quelle que soit la proportion de fraudes.

Le réglage de contamination répond à la question « quelle est la proportion de fraudes? ». Personne ne connaît ce nombre, et l’équipe n’en a pas besoin. Elle a besoin d’une réponse à une autre question : « quels sont les 50 paiements à lire aujourd’hui? »

La règle de la clinique donne la réponse. Chaque jour, classez les paiements par score, du plus élevé au plus faible, et envoyez les 50 premiers à l’équipe. Le score du 50e paiement devient le seuil du jour. Ainsi, le budget fixe le seuil, et le seuil change chaque jour. C’est aussi pourquoi la dernière leçon mesurait la précision à k : avec un budget, k correspond au budget.

Deux colonnes. Selon une estimation : estimez la proportion de fraudes (contamination) ou choisissez un seuil fixe; chaque paiement au-dessus devient une alerte; le nombre d'alertes par jour dépend des dépassements, 12 un jour calme et 133 un jour chargé. Selon le budget : l'équipe peut lire 50 alertes par jour; chaque jour, classez les scores et gardez les 50 premiers; le 50e score devient le seuil du jour, de 0,582 à 0,771.
Un seuil fondé sur une estimation envoie un nombre d'alertes que personne n'a choisi. Un seuil fondé sur le budget envoie 50 alertes chaque jour, et c'est le seuil qui change.
Description textuelle du diagramme

Le schéma a deux colonnes. La colonne de gauche, « Selon une estimation », contient des cases en pointillés. D’abord, vous estimez la proportion de fraudes avec le réglage de contamination ou avec un seuil fixe. Puis, chaque paiement au-dessus devient une alerte. Le nombre d’alertes par jour dépend donc des dépassements du seuil : 12 un jour calme et 133 un jour chargé. La colonne de droite, « Selon le budget », contient des cases bleues aux contours pleins. D’abord, l’équipe peut lire 50 alertes par jour. Ensuite, chaque jour, vous classez les scores et gardez les 50 premiers. Le score du 50e paiement devient le seuil du jour, qui est passé de 0,582 à 0,771 chez Larkfield.

Voici 10 paiements d’une même journée, classés par score. Quatre sont des fraudes insérées. C’est un exemple construit, qui utilise les coûts du cours. Une fraude manquée coûte son montant plus 15 dollars de frais de rétrofacturation. Ce sont les frais de la banque quand un client conteste un paiement. Une fausse alerte coûte 3 dollars, soit environ 4 minutes du temps d’un réviseur. Ces coûts sont des hypothèses du cours, identiques dans chaque leçon.

Paiement P1 P2 P3 P4 P5 P6 P7 P8 P9 P10
Score 0,91 0,88 0,80 0,77 0,70 0,64 0,60 0,52 0,47 0,41
Fraude insérée oui oui non oui non non oui non non non
Montant ($) 40 25 60 120 15 30 18 45 22 70

Avec un budget de 3, l’équipe révise P1, P2 et P3. Le seuil est de 0,80, le score de P3. Deux alertes sont réelles et une est fausse. Deux fraudes sont manquées : P4 (120 + 15 = 135 dollars) et P7 (18 + 15 = 33 dollars). Le coût est donc de 135 + 33 pour les fraudes manquées et de 3 pour la fausse alerte : 171 dollars. La fonction tiny_cost() du carnet fait ce calcul pour quatre budgets :

budget threshold precision recall missed missed cost false alerts false-alert cost cost
0 3 0.80 0.667 0.50 2 168 1 3 171
1 5 0.70 0.600 0.75 1 33 2 6 39
2 8 0.52 0.500 1.00 0 0 4 12 12
3 10 0.41 0.400 1.00 0 0 6 18 18

Lisez la colonne des coûts de haut en bas. Un budget plus grand permet d’abord d’économiser beaucoup. Chaque fraude que l’équipe détecte évite de perdre son montant et les frais. Puis, à 8 alertes, toutes les fraudes sont trouvées, et les alertes suivantes ne peuvent être que fausses. Ainsi, 10 alertes coûtent plus que 8. Le coût baisse donc, puis remonte. Son point le plus bas correspond au budget le moins cher pour ces coûts. La précision baisse constamment, de 0,667 à 0,400. Cette baisse seule ne rend pas un budget plus grand mauvais.

Priya applique la règle à Isolation Forest avec les variables de comportement. compare.daily_alerts() garde les 50 scores les plus élevés de chaque jour, et elle lit le score du 50e :

alerts = compare.daily_alerts(evaluation, score, budget=50)
threshold = alerts[alerts.reviewed].groupby("day").score.min() # the score of the 50th payment of each day
print(threshold.describe()[["min", "50%", "max"]].round(3).to_string())
print("Black Friday 2025-11-28:", round(threshold["2025-11-28"], 3))

La sortie :

min 0.582
50% 0.653
max 0.771
Black Friday 2025-11-28: 0.665

Sur les 91 jours d’évaluation, le seuil passe de 0,582 (6 octobre) à 0,771 (18 octobre). Tomás demande : « Pourquoi ne pas prendre la médiane, 0,653, et la garder fixe? C’est plus simple. » Priya essaie :

fixed threshold 0.6530: lowest 12, median 50, highest 133 alerts a day
days with more than 50 alerts: 42 of 91

Une journée typique, le seuil fixe envoie 50 alertes, comme prévu. Mais pendant 42 des 91 jours, il en envoie plus de 50, jusqu’à 133. Ces jours-là, l’équipe ne peut pas toutes les lire, et les alertes qui attendent sont celles qu’elle manque. Les jours calmes, il en envoie aussi peu que 12, et l’équipe n’utilise pas tout son temps.

  • Un seuil fixe (0,653)
  • Le budget : les 50 premiers chaque jour
Avec un seuil fixe, le nombre d'alertes par jour varie de 12 à 133. Avec le budget, l'équipe en reçoit 50 chaque jour, et c'est le seuil qui change.
Description textuelle du graphique

Un graphique linéaire couvre les 91 jours du 1er septembre au 30 novembre 2025. L’axe vertical indique de 0 à 140 alertes par jour. La ligne du budget reste à 50. La ligne du seuil fixe varie autour : elle dépasse 50 pendant 42 jours et reste en dessous les autres jours. Son minimum est de 12 alertes, et son maximum de 133 alertes, le 14 octobre. Le Vendredi fou, le 28 novembre, le seuil fixe envoie 68 alertes.

La précision au budget indique à Sofia si son équipe utilise bien son temps. Omar veut la réponse d’affaires : « Combien ce choix nous coûte-t-il? » Le cours convertit chaque choix en un nombre, le coût par semaine :

  • chaque paiement inséré que l’équipe ne révise pas coûte son montant plus les 15 dollars de frais de rétrofacturation;
  • chaque fausse alerte coûte 3 dollars de temps de révision;
  • la somme est divisée par le nombre de semaines, soit 13 pour les 91 jours d’évaluation.

Un paiement légitime bloqué a aussi un coût : un panier perdu et une perte de confiance. Le cours n’invente pas de valeur monétaire pour ce coût et le compte séparément. La dernière leçon de ce module examine qui paie ce coût.

Priya calcule à la main le coût d’Isolation Forest à 50 alertes par jour. Elle le vérifie avec compare.score_payments() :

{'missed payments a week': 41.6, 'their amounts a week': 2069, 'chargeback fees a week': 624, 'false alerts a week': 174.9, 'false-alert cost a week': 525, 'cost per week': 3218}
compare.score_payments says: 3218

Donc, 2 069 + 624 + 525 = 3 218 dollars par semaine. Ne rien faire coûte 10 367 dollars par semaine : chaque paiement inséré passe. L’essentiel du coût restant correspond au montant des 41,6 fraudes par semaine que l’équipe ne voit pas. Les fausses alertes coûtent seulement 525 dollars, même si elles représentent la moitié des alertes.

La précision selon le budget, pour quatre détecteurs

Section intitulée « La précision selon le budget, pour quatre détecteurs »

Avant de choisir un budget, comparez les détecteurs pour chaque budget. Le graphique montre la précision à chaque budget quotidien, de 5 à 200 alertes par jour :

  • Isolation Forest
  • Distance aux k plus proches voisins (kNN)
  • Autoencodeur
  • Deux règles, classées
  • Parfait (pointillés)
La précision baisse quand le budget augmente, pour tous les détecteurs, même le détecteur parfait. Isolation Forest et la distance aux k plus proches voisins restent proches du détecteur parfait; les deux règles restent sous 45 %.
Description textuelle du graphique

Un graphique linéaire présente le budget quotidien de 0 à 200 sur l’axe horizontal et la précision de 0 à 100 % sur l’axe vertical. Il contient un point pour chacun des 11 budgets. Isolation Forest commence à 86,6 % pour 5 alertes par jour. Il atteint 50,0 % à 50 par jour (point marqué) et termine à 15,2 % à 200 par jour. La distance aux k plus proches voisins suit presque la même ligne : 82,4 % à 5, 50,5 % à 50, 15,3 % à 200. L’autoencodeur commence plus bas : il reste entre 46,7 % et 48,6 % jusqu’à 30 par jour. Il baisse ensuite à 43,4 % à 50 et à 15,1 % à 200. Les deux règles, classées, restent entre 41,5 % et 44,5 % jusqu’à 30 par jour. Elles baissent ensuite à 36,0 % à 50 et à 13,4 % à 200. Le détecteur parfait, en pointillés, commence à 92,7 %, atteint 54,2 % à 50 et 15,5 % à 200.

Avec de petits budgets, Isolation Forest et la distance aux k plus proches voisins devancent largement les autres. À 200 alertes par jour, chaque détecteur est proche du détecteur parfait. Aucun détecteur ne peut trouver plus de fraudes qu’il n’en existe. Un grand budget masque donc la différence entre les détecteurs, et un petit budget la montre.

Le tableau comparatif donne 0,427 pour les deux règles, classées. Dans ce tableau, une règle envoie chaque paiement qui dépasse ses limites, soit 53,5 par jour. Ici, chaque journée compte exactement le nombre d’alertes du budget. Le résultat de 36,0 % des règles à 50 est donc une mesure différente, pas un résultat différent.

Dans l’explorateur, choisissez un détecteur et modifiez le budget. Le panneau de gauche montre la courbe PR de la dernière leçon, avec votre budget marqué. Le panneau de droite montre le coût par semaine, avec le coût le plus bas marqué.

Explorer

Choisissez le budget quotidien

0,000,250,500,751,0000,250,500,751Rappel : paiements insérés trouvés5 par jour : précision 0,866, rappel 0,14010 par jour : précision 0,802, rappel 0,25920 par jour : précision 0,727, rappel 0,47030 par jour : précision 0,654, rappel 0,63440 par jour : précision 0,572, rappel 0,73950 par jour : précision 0,500, rappel 0,80860 par jour : précision 0,438, rappel 0,85080 par jour : précision 0,352, rappel 0,908100 par jour : précision 0,292, rappel 0,942150 par jour : précision 0,201, rappel 0,973200 par jour : précision 0,152, rappel 0,980parfait50 par jourPrécision et rappelPrécision, un point par budget02,5k5k7,5k10k050100150200Alertes par jour (le budget)aucun détecteur 10 367 $5 par jour : 8 938 $ par semaine10 par jour : 8 002 $ par semaine20 par jour : 6 082 $ par semaine30 par jour : 4 780 $ par semaine40 par jour : 3 874 $ par semaine50 par jour : 3 218 $ par semaine60 par jour : 3 092 $ par semaine80 par jour : 2 802 $ par semaine100 par jour : 2 841 $ par semaine150 par jour : 3 357 $ par semaine200 par jour : 4 175 $ par semaineparfaitle plus bas3 218 $Coût par semainefraudes manquées + fausses alertes
0,000,250,500,751,0000,501Rappel : paiements insérés trouvés5 par jour : précision 0,866, rappel 0,14010 par jour : précision 0,802, rappel 0,25920 par jour : précision 0,727, rappel 0,47030 par jour : précision 0,654, rappel 0,63440 par jour : précision 0,572, rappel 0,73950 par jour : précision 0,500, rappel 0,80860 par jour : précision 0,438, rappel 0,85080 par jour : précision 0,352, rappel 0,908100 par jour : précision 0,292, rappel 0,942150 par jour : précision 0,201, rappel 0,973200 par jour : précision 0,152, rappel 0,980parfait50 par jourPrécision et rappelPrécision, un point par budget02,5k5k7,5k10k050100150200Alertes par jour (le budget)aucun détecteur 10 367 $5 par jour : 8 938 $ par semaine10 par jour : 8 002 $ par semaine20 par jour : 6 082 $ par semaine30 par jour : 4 780 $ par semaine40 par jour : 3 874 $ par semaine50 par jour : 3 218 $ par semaine60 par jour : 3 092 $ par semaine80 par jour : 2 802 $ par semaine100 par jour : 2 841 $ par semaine150 par jour : 3 357 $ par semaine200 par jour : 4 175 $ par semaineparfaitle plus bas3 218 $Coût par semainefraudes manquées + fausses alertes

Ligne pleine : le détecteur choisi. Ligne pointillée : le détecteur parfait, le plafond. Les mois d’évaluation, de septembre à novembre 2025. Les coûts sont des hypothèses du cours : un paiement inséré manqué coûte son montant plus 15 $, une fausse alerte 3 $.

Précision au budget
0,500
Rappel des paiements insérés
0,808
Fausses alertes par semaine
174,9
Paiements insérés manqués par semaine
41,6
Coût par semaine (hypothèses)
3 218 $

Isolation Forest à 50 alertes par jour : 50 % des alertes sont des fraudes insérées (précision 0,500), et elles trouvent 80,8 % des paiements insérés (rappel 0,808). Chaque semaine, l’équipe lit 174,9 fausses alertes et manque 41,6 paiements insérés : 3 218 $ par semaine. Le coût le plus bas pour ce détecteur est de 2 802 $ par semaine, à 80 alertes par jour.

Mesuré sur les mois d'évaluation, de septembre à novembre 2025. Les coûts sont les hypothèses du cours : un paiement inséré manqué coûte son montant plus 15 dollars, une fausse alerte 3 dollars.
Description textuelle de l’explorateur

L’explorateur a deux commandes : six boutons pour le détecteur et un curseur pour le nombre d’alertes que l’équipe révise chaque jour. Les valeurs sont 5, 10, 20, 30, 40, 50, 60, 80, 100, 150 ou 200. Le panneau de gauche montre la précision selon le rappel pour le détecteur choisi, avec un point par budget. Un gros point marque le budget choisi. Le détecteur parfait apparaît en pointillés. Le panneau de droite montre le coût par semaine selon le budget. Une ligne en pointillés à 10 367 dollars représente l’absence de détecteur. Une marque indique le budget choisi et un cercle indique le coût le plus bas. Un tableau en dessous donne les valeurs exactes. Pour Isolation Forest à 50 par jour : précision de 0,500, rappel de 0,808, 174,9 fausses alertes et 41,6 paiements insérés manqués par semaine, 3 218 dollars par semaine. Le coût le plus bas pour Isolation Forest est de 2 802 dollars par semaine, à 80 par jour. À 100 par jour, il est de 2 841 dollars; à 200, de 4 175 dollars. Pour la distance aux k plus proches voisins, le coût le plus bas est de 2 302 dollars à 80 par jour. Pour le détecteur parfait, le coût le plus bas est de 953 dollars à 50 par jour. Pour la MAD par client, chaque budget coûte plus de 8 200 dollars par semaine.

La réponse à la prédiction : à 100 par jour, Isolation Forest coûte 2 841 dollars par semaine, moins que 3 218. À 200 par jour, il coûte 4 175 dollars, donc plus. Le coût le plus bas est à 80 par jour, soit 2 802 dollars. La distance aux k plus proches voisins atteint aussi son coût le plus bas à 80 par jour, soit 2 302 dollars. La courbe des coûts est plate près de son minimum. De 60 à 100 alertes par jour, Isolation Forest reste entre 2 802 et 3 092 dollars.

L’équipe de Sofia devrait-elle donc réviser 80 alertes par jour? Omar aime ce nombre : 416 dollars de moins par semaine qu’à 50 (3 218 − 2 802). Sofia voit l’autre côté. Son équipe peut en réviser 50, et 80 représente 60 % de travail en plus. Et les 30 alertes supplémentaires par jour sont surtout fausses. À 50 par jour, l’équipe trouve 25,0 fraudes réelles par jour; à 80 par jour, elle en trouve 28,2. Ainsi, environ 3 seulement des 30 alertes supplémentaires sont réelles.

La courbe des coûts repose aussi sur les hypothèses. Supposons qu’une fausse alerte coûte 6 dollars au lieu de 3. L’équipe prend plus de temps par alerte ou paie des heures supplémentaires. La deuxième tâche du carnet ajoute 3 dollars par fausse alerte à chaque point. Avec la nouvelle colonne, trois lignes de curve se lisent ainsi :

budget cost per week ($) cost at 6 dollars
4 50 3218 3742.7
5 60 3092 3799.4
6 80 2802 3891.6

À 6 dollars par fausse alerte, 50 par jour est le budget le moins cher. Celui de 80 est le plus cher des trois. Le « meilleur » budget n’est donc pas un fait propre au détecteur. Il dépend du coût d’une fausse alerte, et cette décision revient à l’entreprise. Le cours garde les 50 par jour de Sofia et présente le coût par semaine à côté. Priya inscrit les deux dans la note de décision : « 50 par jour coûtent 3 218 dollars par semaine; 80 par jour économiseraient environ 416 dollars et exigeraient 30 révisions supplémentaires par jour ».

Le module 9 construit une tâche planifiée qui envoie les alertes. Dans ce module, une alerte est un groupe. Il contient tous les paiements d’un client pour une journée. Il peut aussi contenir ceux d’un appareil qui a payé avec les cartes de 3 clients ou plus. Un test de carte de 30 paiements devient une alerte, pas 30. Le même budget signifie donc autre chose :

Les alertes regroupées de la tâche de détection en octobre 2025. À 5 alertes regroupées par jour, 56,1 % sont réelles et couvrent 90,3 % des paiements insérés; à 50 par jour, seulement 7,4 % sont réelles et couvrent 96,4 %.
Description textuelle du graphique

Un graphique à colonnes contient quatre colonnes, avec un axe de 0 à 60 %. Avec des alertes regroupées (une par client et par jour), 56,1 % des 5 alertes par jour sont réelles. À 10 par jour, la proportion est de 31,9 %; à 20, de 17,1 %; à 50, de 7,4 %. La proportion de paiements insérés que les alertes couvrent augmente peu : 90,3 % à 5 par jour, 93,8 % à 10, 95,4 % à 20 et 96,4 % à 50.

Cinq alertes regroupées par jour couvrent déjà 90 % des paiements insérés, parce qu’un groupe contient une fraude entière. À 50 alertes regroupées par jour, plus de 9 alertes sur 10 sont fausses. Quand vous changez ce qui constitue une alerte, choisissez donc le budget de nouveau. Le module 9 revient sur ce point sous le nom de « fatigue d’alerte ».

Utilisez un budget quand des personnes révisent les alertes et que leur temps est limité. C’est le cas de la plupart des équipes de fraude, de risque et d’exploitation. Le budget maintient une charge de travail stable les jours occupés. Il utilise aussi le temps de l’équipe les jours calmes.

N’utilisez pas uniquement un budget si chaque alerte dépassant un seuil doit être traitée, peu importe leur nombre. Une alarme de sécurité sur une machine en est un exemple. Si 200 machines surchauffent, une personne doit s’occuper de chacune. Utilisez alors un seuil fixe et prévoyez le personnel nécessaire pour la pire journée. Plusieurs équipes utilisent les deux approches. Elles révisent les 50 alertes aux scores les plus élevés chaque jour. Un seuil fixe très élevé déclenche aussi toujours une alerte.

Un budget a aussi un coût. Un jour où il y a 120 fraudes réelles, l’équipe ne lit quand même que 50 alertes. Les autres fraudes passent inaperçues. Le budget ne vous indique pas que cela s’est produit. Surveillez chaque jour le nombre de paiements au-dessus du seuil habituel, comme le fait la tâche de détection du module 9.

  1. Ouvrez le carnet (notebook) Jupyter dans l’encadré Faites cette leçon dans un carnet en haut de cette page.
  2. Exécutez les cellules de préparation. La cellule de données se termine par la ligne Ready: (prêt).
  3. Dans la section 1, prédisez quel budget coûte le moins cher. Puis exécutez le petit exemple. Vous voyez 171, 39, 12 et 18.
  4. Dans la section 2, exécutez la cellule qui entraîne Isolation Forest (forêt d’isolement). Vous voyez 169,803 evaluation payments over 91 days (169 803 paiements d’évaluation sur 91 jours).
  5. Dans la section 3, exécutez la cellule de contamination. Vous voyez 386.3 alertes par jour pour auto (automatique).
  6. Dans la section 4, exécutez la cellule du seuil. Vous voyez une médiane de 0.653.
  7. Exécutez la cellule du seuil fixe. Vous voyez highest 133 alerts a day (maximum de 133 alertes par jour).
  8. Dans la section 5, exécutez la cellule du coût. Les deux lignes indiquent 3218.
  9. Dans la section 6, prédisez le coût à 100 alertes par jour. Puis exécutez la courbe des coûts. Vous voyez lowest cost: 2802 dollars a week at 80 alerts a day (coût minimal : 2 802 dollars par semaine à 80 alertes par jour).

À vous de jouer : changer le coût d’une fausse alerte

Section intitulée « À vous de jouer : changer le coût d’une fausse alerte »

La section 7 du carnet propose deux tâches. D’abord, calculez le coût par semaine d’Isolation Forest à 30 alertes par jour dans cost_at_30. Ensuite, supposez qu’une fausse alerte coûte 6 dollars. Ajoutez une colonne cost at 6 dollars (coût à 6 dollars) à curve. Trouvez le budget au coût le plus bas dans best_budget_at_6. Avant d’exécuter le code, faites une prédiction : le budget le moins cher augmentera-t-il, diminuera-t-il ou restera-t-il à 80?

Afficher les réponses
cost_at_30 = compare.score_payments(evaluation, score, "Isolation Forest", budget=30)["cost per week ($)"]
# 3 more dollars for each false alert: add 3 x (false alerts per week) to each cost
curve["cost at 6 dollars"] = curve["cost per week ($)"] + 3 * curve["false alerts per week"]
best_budget_at_6 = int(curve.loc[curve["cost at 6 dollars"].idxmin(), "budget"])

cost_at_30 vaut 4780. À 30 alertes par jour, davantage de fraudes passent inaperçues qu’à 50 alertes par jour (3 218). best_budget_at_6 vaut 50. Quand une fausse alerte coûte plus cher, le budget le moins cher diminue, de 80 à 50. C’est parce que les alertes supplémentaires sont surtout fausses.

Erreur courante

L'estimation de la contamination détermine le travail de l'équipe

Symptôme : Tomás déploie Isolation Forest avec ses paramètres par défaut. Le premier lundi, l’équipe de Sofia découvre en moyenne 386 alertes à traiter chaque jour, et 939 lors du pire jour. L’équipe lit les 50 premières dans l’ordre chronologique, puis s’arrête. Elle ne lit jamais la plupart des alertes.

Cause : contamination="auto" a fixé le seuil selon une règle fixe, et non selon la capacité de l’équipe. Ce réglage a signalé 20,7 % des paiements, alors que 1,66 % sont insérés. Même la bonne proportion, 1,66 %, ne correspondrait pas à la capacité de l’équipe de 50 alertes par jour. De plus, les alertes lues dans l’ordre chronologique ne sont pas les plus inhabituelles.

Solution : laissez le budget fixer le seuil. Chaque jour, triez les scores et envoyez les 50 plus élevés, comme le fait compare.daily_alerts(evaluation, score, budget=50). Présentez ensuite la précision au budget choisi et le coût par semaine.

Conséquence pour le travail en IA : un seuil que personne n’a choisi surcharge une équipe les jours occupés. Il gaspille son temps les jours calmes. Après une semaine de surcharge, les personnes arrêtent de lire les alertes, et le détecteur devient du bruit.

Vérifiez votre compréhension

Expliquez pourquoi le seuil d'Isolation Forest passe de 0,582 à 0,771 pendant les mois d'évaluation. Pourquoi est-ce ce que Larkfield veut?

Afficher la réponse

Chaque jour, l’équipe révise les 50 scores les plus élevés. Le seuil est donc le score du 50e paiement de cette journée. Un jour où les paiements inhabituels sont nombreux, le 50e score est élevé. Un jour calme, il est bas. Le nombre d’alertes reste à 50, soit la capacité de l’équipe, et c’est le seuil qui change. Un seuil fixe (0,653) enverrait de 12 à 133 alertes par jour. Il dépasserait 50 alertes pendant 42 des 91 jours.

Vérifiez votre compréhension

Calculez : à 50 alertes par jour, Isolation Forest manque des paiements insérés d'une valeur de 2 069 dollars par semaine. Il manque 41,6 paiements insérés par semaine et envoie 174,9 fausses alertes par semaine. Quel est le coût par semaine selon les coûts du cours?

Afficher la réponse

Fraudes manquées : 2 069 dollars plus 15 dollars de frais de rétrofacturation pour chacun des 41,6 paiements, soit 624 dollars. Fausses alertes : 3 dollars × 174,9 = 525 dollars. Total : 2 069 + 624 + 525 = 3 218 dollars par semaine. Ne rien faire coûte 10 367 dollars par semaine.

Vérifiez votre compréhension

Omar lit que 80 alertes par jour est le budget le moins cher pour Isolation Forest (2 802 dollars par semaine). Larkfield devrait-elle passer de 50 à 80? Donnez une raison pour et une raison contre, avec des chiffres.

Afficher la réponse

Pour : cela économise environ 416 dollars par semaine (3 218 − 2 802), car l’équipe détecte plus de fraudes. Contre : cela exige 30 révisions supplémentaires par jour, soit 60 % de travail de plus que la capacité de l’équipe. Ces alertes supplémentaires sont surtout fausses. De plus, l’économie dépend du coût supposé de 3 dollars par fausse alerte. À 6 dollars, 50 alertes par jour devient le budget le moins cher. C’est une décision d’affaires : présentez les deux chiffres et gardez le budget que l’équipe peut réellement réviser.

Récapitulatif

  • Le budget d’alertes est le nombre d’alertes que l’équipe peut réviser chaque jour : 50 pour l’équipe de Sofia. Laissez-le fixer le seuil : chaque jour, triez les scores et envoyez les 50 plus élevés. Le seuil change (de 0,582 à 0,771); le travail reste stable.
  • Une estimation de la contamination ou un seuil fixe envoie un nombre d’alertes que personne n’a choisi. Cela donne 386 alertes par jour avec le réglage par défaut, et de 12 à 133 avec un seuil fixe.
  • Coût par semaine = paiements insérés manqués (montant + 15 dollars) + 3 dollars par fausse alerte, par semaine. Isolation Forest à 50 alertes par jour : 3 218 dollars; ne rien faire : 10 367 dollars.
  • Le budget le moins cher (80 alertes par jour pour Isolation Forest) dépend des coûts supposés. À 6 dollars par fausse alerte, il passe à 50. Présentez ensemble la précision au budget choisi et le coût par semaine.

Vous pouvez maintenant choisir un budget et calculer son coût. Mais tous les chiffres jusqu’ici viennent des fraudes que nous avons insérées. Les paiements réels n’ont pas de corrigé. Ensuite, vous estimez la précision avec un échantillon que des personnes révisent. Vous découvrez aussi ce que chaque type de preuve cache.

Leçon suivante : Évaluer sans corrigé complet