Pourquoi l'exactitude est trompeuse ici
- Leçon 29
- 30 min
- Module 7 : Évaluer avec peu d'étiquettes
Où nous en sommes
Notre tableau comparatif compte les anomalies insérées que chaque détecteur trouve. Omar demande un seul nombre, et Tomás propose l'exactitude. Dans cette leçon, nous voyons pourquoi l'exactitude dit très peu quand les fraudes sont rares. Nous utilisons plutôt la précision à k, le rappel et le délai de détection. Une alarme de fumée qui ne sonne jamais illustre le problème.
Leçon 29 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelPourquoi l'exactitude est trompeuse ici
1. Ce que « inhabituel » veut dire
2. Des références de base simples et difficiles à battre
3. Maîtrise statistique des procédés et dérive de distribution
- Cartes de contrôle : cette variation est-elle normale?
- Règles pour les motifs, et le prix de chaque règle
- Cartes pour les taux et les dénombrements
- Petits décalages durables : CUSUM et EWMA
- La distribution a-t-elle changé?
- Dérive dans de nombreuses variables, et quoi faire
- Loi de Benford et autres vérifications d'affaires
4. Distance, densité et isolement
5. Les anomalies dans le temps
6. Méthodes profondes et plongements
7. Évaluer avec peu d'étiquettes
8. Apprendre des réviseurs
9. Exploiter un détecteur en production
Ce que vous saurez faire
Évaluez un détecteur de fraude selon ce que l’équipe de révision voit et manque chaque jour. Quand les fraudes sont rares, le score habituel, l’exactitude, est presque identique pour un détecteur inutile et un détecteur parfait.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il calcule l’exactitude d’un détecteur qui ne fait rien et la précision à k pour cinq valeurs de k. Il calcule aussi la courbe précision–rappel et le délai de détection. Ses cellules de préparation installent pandas et scikit-learn et téléchargent les données du cours (environ 7 Mo). Aucune préparation locale n’est donc nécessaire. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La précision, le rappel et la courbe précision–rappel d’un classificateur, vus dans Le compromis entre précision et rappel du cours Apprentissage automatique : du problème à un modèle fiable. Cette leçon applique les mêmes idées aux scores d’anomalie, sans les reprendre en profondeur.
- Les anomalies insérées et la division des données du cours, vues dans Découvrir les données de Larkfield. L’apprentissage utilise juin à août 2025, et le calcul des scores utilise septembre à novembre 2025.
- Isolation Forest (forêt d’isolement) appliqué aux variables de comportement, vu dans Isolation Forest et Les variables comptent plus que l’algorithme.
Ce qu’il vous faut sur votre ordinateur
Rien : le carnet fonctionne dans Colab ou Kaggle. Pour l’exécuter sur votre ordinateur, utilisez Python 3.12 dans Jupyter. La cellule de préparation installe les paquets nécessaires.
Nous avons testé le carnet avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1 et scikit-learn 1.9.1. Nous n’avons pas testé Colab, Kaggle ni Windows.
Une alarme de fumée qui ne sonne jamais
Section intitulée « Une alarme de fumée qui ne sonne jamais »Pensez à une alarme de fumée dans une cuisine. Presque tous les jours de l’année, il n’y a pas de feu. Imaginez maintenant une alarme brisée qui ne sonne jamais. Chaque soir, vous lui demandez : « Y a-t-il eu un feu aujourd’hui? » Elle répond « non », et elle a raison. Elle a raison 364 jours par année, donc 99,7 % du temps.
Le seul jour où il y a un feu, elle a tort. C’est pourtant le seul jour qui compte. Personne ne dirait que cette alarme est « bonne à 99,7 % ». Nous jugeons une alarme avec deux autres questions. Quand elle sonne, y a-t-il vraiment un feu? Et quand il y a un feu, sonne-t-elle à temps?
Un détecteur de fraude est une alarme de fumée pour les paiements. Presque tous les paiements sont honnêtes, et seules les quelques fraudes coûtent de l’argent. La question « à quelle fréquence le détecteur a-t-il raison? » contient donc le même piège que l’alarme brisée.
Le problème : Tomás propose l’exactitude
Section intitulée « Le problème : Tomás propose l’exactitude »Omar, le gestionnaire de produit, veut un seul nombre pour chaque détecteur du tableau comparatif. « Lequel est le meilleur? Donnez-moi un seul score. » Tomás, l’ingénieur en IA, propose le score le plus courant en apprentissage automatique. L’exactitude est la proportion de bonnes réponses parmi toutes les réponses. On additionne les bonnes alertes et les bonnes réponses « aucune alerte », puis on divise par le nombre de paiements.
Un petit exemple : 1 000 paiements et une fraude
Section intitulée « Un petit exemple : 1 000 paiements et une fraude »Voici 1 000 paiements, dont un est une fraude. C’est un exemple construit. Le « détecteur » est une ligne de code qui ne produit jamais d’alerte :
is_fraud = np.zeros(1000, dtype=bool)is_fraud[417] = True # 1 fraud in 1,000 paymentssays_nothing = np.zeros(1000, dtype=bool) # a "detector" that never alertsaccuracy = (says_nothing == is_fraud).mean()print(f"accuracy of 'nothing is fraud': {accuracy:.3f}; frauds found: {int((says_nothing & is_fraud).sum())} of 1")La sortie :
accuracy of 'nothing is fraud': 0.999; frauds found: 0 of 1Le détecteur ne fait rien, et son exactitude est de 99,9 %. Il a raison pour les 999 paiements honnêtes. L’exactitude accorde autant de poids à chacun de ces paiements qu’à la seule fraude. L’exactitude est donc élevée parce que la fraude est rare, et non parce que le détecteur est bon.
Sur les paiements de Larkfield
Section intitulée « Sur les paiements de Larkfield »Les mois d’évaluation de Larkfield comptent 169 803 paiements, dont 2 817 sont des fraudes insérées. Cela représente 1,66 %, soit environ 31 par jour. Les fraudes sont beaucoup plus fréquentes ici que dans un vrai magasin. Ainsi, chaque journée contient assez de cas pour apprendre. La fiche du jeu de données le précise. Même avec autant de fraudes, « rien n’est une fraude » donne la bonne réponse pour 98,34 % des paiements.
Priya, la scientifique des données de Larkfield, calcule l’exactitude des détecteurs du tableau comparatif. Chacun transmet les 50 scores les plus élevés de chaque jour à l’équipe de Sofia. L’équipe peut en effet réviser 50 alertes par jour. Dans le carnet, la fonction accuracy_at_budget() marque ces 50 paiements quotidiens comme « fraude » et tous les autres comme « honnêtes » :
print(f"nothing is fraud: accuracy {(~planted).mean():.4f}")print(f"Isolation Forest, 50/day: accuracy {accuracy_at_budget(score):.4f}")print(f"perfect detector, 50/day: accuracy {accuracy_at_budget(planted + 0.0):.4f}")La sortie :
nothing is fraud: accuracy 0.9834Isolation Forest, 50/day: accuracy 0.9834perfect detector, 50/day: accuracy 0.9857Un détecteur parfait est un détecteur de test qui connaît le corrigé. Il montre donc le meilleur résultat qu’un détecteur peut atteindre. Les trois exactitudes diffèrent de moins d’un quart de point. Les deux graphiques placent l’exactitude à côté d’un deuxième score : la précision à 50 par jour. C’est la proportion des 50 alertes quotidiennes qui sont de vraies fraudes. Nous la présentons plus en détail ci-dessous.
Description textuelle du graphique
Un diagramme à colonnes avec quatre colonnes sur un axe de 0 à 100 %. « Rien n’est une fraude » a une exactitude de 98,3 %. MAD par client obtient 95,9 %. Isolation Forest obtient 98,3 %. Le détecteur parfait, qui connaît les réponses, obtient 98,6 %. Les quatre colonnes atteignent presque le haut du graphique, et l’œil ne distingue aucune différence.
Description textuelle du graphique
Un diagramme à colonnes avec les mêmes quatre détecteurs sur un axe de 0 à 100 %. « Rien n’est une fraude » n’envoie aucune alerte et n’a donc pas de colonne. MAD par client obtient 4,8 % : moins de 1 alerte sur 20 est vraie. Isolation Forest obtient 50,0 % : la moitié de ses alertes sont de vraies fraudes. Le détecteur parfait obtient 54,2 %. Ici, les colonnes diffèrent beaucoup, et Isolation Forest est proche du détecteur parfait.
L’exactitude place même MAD par client (95,92 %) sous le détecteur qui ne fait rien. Les fausses alertes de MAD sont de mauvaises réponses. Ne rien faire ne produit aucune fausse alerte. Selon l’exactitude, le meilleur plan pour Larkfield est d’éteindre les détecteurs.
Pourquoi même le détecteur parfait n’atteint pas une exactitude de 100 %
Section intitulée « Pourquoi même le détecteur parfait n’atteint pas une exactitude de 100 % »Le détecteur parfait connaît toutes les réponses. Pourquoi atteint-il seulement 98,57 %? Parce qu’il doit aussi respecter le budget de 50 alertes par jour. Lors d’une journée avec 70 fraudes insérées, il ne peut en envoyer que 50. Les 20 autres comptent comme des erreurs. Lors d’une journée avec 20 fraudes insérées, il envoie quand même 50 alertes. Ainsi, 30 d’entre elles sont des paiements honnêtes. Beaucoup de journées comptent moins de 50 fraudes. Sa précision à 50 par jour est donc de 0,542, et non de 1. Gardez ce plafond en tête : aucun détecteur ne peut le dépasser avec ce budget.
L’idée : mesurer ce que l’équipe voit
Section intitulée « L’idée : mesurer ce que l’équipe voit »Revenons à l’alarme de fumée. Nous l’avons jugée avec deux questions : quand elle sonne, y a-t-il un feu? Quand il y a un feu, sonne-t-elle à temps? Le travail quotidien de l’équipe pose les mêmes questions pour un détecteur. Chaque jour, le détecteur attribue un score à chaque paiement. L’équipe lit les alertes aux scores les plus élevés. Nous mesurons donc ces alertes et les fraudes qui n’en font pas partie.
Description textuelle du diagramme
Le diagramme commence par une journée de paiements : environ 1 870 paiements, dont environ 31 fraudes insérées. Une flèche mène au détecteur, qui attribue un score à chaque paiement. Une deuxième flèche mène aux « k scores les plus élevés », les alertes que l’équipe lit. Trois cases viennent de ces k scores. La précision à k est la proportion de vraies fraudes parmi les k alertes. Elle répond à la question « le temps de l’équipe est-il bien utilisé? ». Le rappel est la proportion de toutes les fraudes insérées que les alertes trouvent. Il répond à la question « que manquons-nous? ». Le délai de détection compte les minutes entre le premier paiement d’une fraude et la première alerte. Il répond à la question « l’avons-nous arrêtée à temps? ». Une quatrième case à bordure pointillée vient directement de tous les paiements : l’exactitude, les bonnes réponses parmi tous les paiements. Presque tous les paiements sont honnêtes, donc chaque détecteur obtient environ 98 %.
La précision à k
Section intitulée « La précision à k »Pensez à un moteur de recherche. Vous tapez une question et lisez la première page : 10 résultats. Le résultat numéro 5 000 ne vous intéresse pas. Vous voulez savoir combien de ces 10 résultats sont utiles. Une équipe de révision travaille de la même façon. Elle lit les k meilleures alertes chaque jour; nous évaluons donc ces k alertes.
La précision à k est la proportion de vraies fraudes parmi les k alertes que l’équipe lit. Le « k » est le nombre d’alertes par jour. Chez Larkfield, k vaut 50; le cours écrit donc souvent « précision au budget ». Le rappel est la proportion de toutes les fraudes insérées que ces alertes trouvent. Le rappel exige une liste de toutes les fraudes. Ici, les fraudes insérées nous donnent cette liste. Nous parlons donc de rappel des cas connus : il compte seulement les fraudes que nous connaissons.
Voici un petit exemple détaillé. Une journée compte 12 fraudes. Les 10 meilleures alertes du détecteur contiennent 7 vraies fraudes et 3 paiements honnêtes :
| Mesure | Calcul | Valeur |
|---|---|---|
| Précision à 10 | 7 vraies alertes ÷ 10 alertes | 0,70 |
| Rappel | 7 fraudes trouvées ÷ 12 fraudes | 0,58 |
| Fraudes manquées | 12 − 7 | 5 |
| Fausses alertes | 10 − 7 | 3 |
La précision indique si le temps de l’équipe est bien utilisé. Le rappel indique combien de fraudes passent inaperçues. Les paiements honnêtes sans alerte n’entrent dans aucun de ces nombres. La majorité honnête ne peut donc pas cacher le résultat.
La précision à k sur les paiements de Larkfield
Section intitulée « La précision à k sur les paiements de Larkfield »Dans le carnet, Priya évalue Isolation Forest pour cinq valeurs de k :
rows = []for k in (10, 25, 50, 100, 200): r = compare.score_payments(evaluation, score, "Isolation Forest", f"top {k} a day", budget=k) rows.append({"alerts a day (k)": k, "precision at k": r["precision at budget"], "recall": r["recall"]})pd.DataFrame(rows)La sortie :
alerts a day (k) precision at k recall0 10 0.802 0.2591 25 0.691 0.5582 50 0.500 0.8083 100 0.292 0.9424 200 0.152 0.980Lisez une ligne à la fois. À 10 alertes par jour, 8 alertes sur 10 sont vraies, mais l’équipe ne trouve qu’un quart des fraudes. À 200 alertes par jour, elle en trouve 98 %, mais seulement 15 % des alertes sont vraies. Plus d’alertes trouvent plus de fraudes, mais chaque alerte est moins souvent vraie. Le point d’arrêt dépend du temps de l’équipe, le sujet de la prochaine leçon.
La courbe précision–rappel
Section intitulée « La courbe précision–rappel »Le cours d’apprentissage automatique présentait la courbe précision–rappel (courbe PR) d’un classificateur. Chaque seuil donne un point, avec le rappel sur l’axe horizontal et la précision sur l’axe vertical. La même courbe fonctionne pour les scores d’anomalie. Ici, chaque point correspond à un budget quotidien, de 5 à 200 alertes par jour. La courbe montre donc toutes les valeurs de k à la fois.
- Isolation Forest
- Deux règles, classées
- MAD par client
- Parfait (pointillé)
Description textuelle du graphique
Un graphique en courbes avec le rappel de 0 à 1 horizontalement et la précision de 0 à 1 verticalement. Chaque détecteur a un point pour chacun des 11 budgets quotidiens, de 5 à 200 alertes par jour. Isolation Forest commence en haut à gauche (5 par jour : précision de 0,866, rappel de 0,140), puis descend vers la droite. À 50 par jour, un point marqué sur le graphique, sa précision est de 0,500 et son rappel de 0,808. À 200 par jour, il termine avec une précision de 0,152 et un rappel de 0,980. Les deux règles, classées, restent entre une précision de 0,13 et de 0,45 et atteignent un rappel de 0,863. MAD par client reste près du bas : précision sous 0,07, rappel d’au plus 0,241. Le détecteur parfait est une ligne pointillée juste au-dessus d’Isolation Forest. Il commence avec une précision de 0,927 et atteint un rappel de 1,0 à 150 alertes par jour.
Une courbe près du coin supérieur droit est meilleure : précision élevée et rappel élevé en même temps. Isolation Forest est proche du détecteur parfait. MAD par client reste près du bas. Aucun budget ne le rend donc utile pour ces fraudes.
Pourquoi la courbe du détecteur parfait descend-elle vers la droite? Beaucoup de journées comptent moins de fraudes que le budget. Quand l’équipe lit 200 alertes lors d’une journée avec 31 fraudes, au plus 31 peuvent être vraies. La précision doit donc baisser quand le budget augmente, même avec une connaissance parfaite.
Le cours d’apprentissage automatique résumait aussi la courbe en un nombre : la précision moyenne. Dans le carnet, la cellule du graphique la calcule avec un seul seuil pour les 91 jours réunis. Elle n’utilise pas 50 alertes par jour. Isolation Forest obtient 0,901. Des scores aléatoires donneraient la proportion de paiements insérés, soit 0,0166. Ce nombre est utile pour comparer rapidement les détecteurs. Mais il mélange tous les budgets, alors que l’équipe de Sofia travaille avec un seul budget. Le cours rapporte donc la précision au budget.
Le délai de détection
Section intitulée « Le délai de détection »Une carte volée ne sert pas à un seul paiement. Le fraudeur l’utilise encore et encore jusqu’à ce que quelqu’un l’arrête. Pour la fraude, le moment de la première alerte compte donc aussi. Le délai de détection est le temps entre le premier paiement d’une fraude et la première alerte à son sujet. Le cours appelle épisode tous les paiements d’une même fraude : une carte volée, un test de carte ou une prise de contrôle de compte.
episodes = compare.planted_payments().set_index("payment_id")alerts = compare.daily_alerts(evaluation, score, 50)a = alerts[alerts.payment_id.isin(episodes.index)].copy()a["episode"], a["kind"] = a.payment_id.map(episodes.episode), a.payment_id.map(episodes.kind)first = a.groupby("episode").agg(kind=("kind", "first"), start=("ts", "min"), first_alert=("ts", lambda s: s[a.loc[s.index, "reviewed"]].min()))first["minutes"] = (first.first_alert - first.start).dt.total_seconds() / 60first.groupby("kind").agg(episodes=("minutes", "size"), found=("minutes", "count"), median_minutes=("minutes", "median"))La sortie :
episodes found median_minuteskindaccount_takeover 111 53 0.000card_testing 26 26 0.817stolen_card 169 167 0.000Une médiane de 0 minute signifie que, pour au moins la moitié des épisodes trouvés, le premier paiement faisait déjà partie des 50 meilleurs scores. C’est vrai pour 147 des 306 épisodes. Les tests de carte sont trouvés moins d’une minute après leur début. Mais la colonne found (trouvé) raconte une autre histoire. Isolation Forest trouve presque toutes les cartes volées et tous les tests de carte. Il trouve moins de la moitié des prises de contrôle de compte.
Description textuelle du graphique
Un diagramme à colonnes avec trois colonnes sur un axe de 0 à 100 %. Carte volée : 98,8 % des 169 épisodes trouvés. Test de carte : 100 % des 26 épisodes trouvés. Prise de contrôle de compte : 47,7 % des 111 épisodes trouvés. La colonne des prises de contrôle de compte fait environ la moitié de la hauteur des deux autres.
Une prise de contrôle utilise le compte du vrai client, souvent sur son propre appareil. Elle semble donc plus normale que la carte d’un inconnu dans un nouveau pays. Un rappel moyen cacherait ce point faible : regardez toujours le rappel par type.
Pour les séries temporelles, le tableau comparatif du module 5 mesure déjà le délai de détection en minutes. Pour la fuite de mémoire lente de l’API de billets, le seuil de latence a alerté après 3 342 minutes. C’est plus de deux jours. La référence de base saisonnière a alerté après 506 minutes. Les deux ont « trouvé » la fuite; le rappel seul les jugerait donc égaux.
Quelle mesure utiliser, et quand
Section intitulée « Quelle mesure utiliser, et quand »| Question | Mesure | À utiliser quand | À éviter quand |
|---|---|---|---|
| Le temps de l’équipe est-il bien utilisé? | Précision à k (au budget) | Une équipe révise un nombre fixe d’alertes | Personne ne révise les alertes |
| Qu’est-ce qui passe inaperçu? | Rappel des cas connus, par type | Vous avez des cas insérés ou confirmés | Les cas connus sont d’un seul type |
| Agissons-nous à temps? | Délai de détection | Chaque minute coûte de l’argent (fraude, pannes) | Le dommage se produit d’un seul coup |
| Quel détecteur classe le mieux dans l’ensemble? | Courbe PR, précision moyenne | Vous comparez les détecteurs avant de choisir un budget | Vous présentez les résultats à l’équipe qui travaille avec un seul budget |
| À quelle fréquence a-t-il raison? | Exactitude | Les deux classes ont environ la même taille | Les anomalies sont rares : presque toujours ici |
Ces mesures coûtent peu : il vous faut les alertes et une liste des cas connus. La liste est la partie difficile. Les cas insérés existent seulement dans des données de test comme celles de Larkfield. Plus loin dans ce module, vous estimerez la précision sans corrigé complet.
Exercice guidé : les mesures dans le carnet
Section intitulée « Exercice guidé : les mesures dans le carnet »- Ouvrez le carnet (notebook) Jupyter depuis l’encadré Faites cette leçon dans un carnet en haut de cette page.
- Exécutez les cellules de préparation. La cellule de données se termine par la ligne
Ready:(prêt). - Dans la section 1, exécutez le petit exemple. Vous voyez
accuracy of 'nothing is fraud': 0.999(exactitude de « aucune fraude »). - Dans la section 2, exécutez la cellule qui charge les paiements et entraîne Isolation Forest (forêt d’isolement). Vous voyez
2,817 planted (1.66%)(paiements insérés). - Écrivez votre prédiction pour les trois exactitudes. Puis exécutez la cellule suivante. Vous voyez
0.9834,0.9834et0.9857. - Dans la section 3, exécutez la cellule de précision à k. À k = 50, vous voyez une précision de
0.500et un rappel de0.808. - Dans la section 4, exécutez la cellule de la courbe PR. Le titre du graphique affiche la précision moyenne,
0.901. - Dans la section 5, exécutez la cellule du délai de détection. Vous voyez
53prises de contrôle de compte détectées sur111.
À vous de jouer
Section intitulée « À vous de jouer »La section 6 du carnet contient deux tâches. D’abord, calculez l’exactitude de « aucune fraude » sur les paiements d’évaluation, arrondie à 4 décimales, dans accuracy_nothing. Ensuite, calculez la précision d’Isolation Forest à k = 100 alertes par jour dans precision_at_100. Avant d’exécuter la deuxième tâche, prédisez le résultat à partir du tableau ci-dessus.
Afficher les réponses
accuracy_nothing = round(float((~planted).mean()), 4)precision_at_100 = compare.score_payments(evaluation, score, "Isolation Forest", "top 100", budget=100)["precision at budget"]accuracy_nothing vaut 0.9834, et precision_at_100 vaut 0.292. À 100 alertes par jour, moins de 3 alertes sur 10 sont réelles. L’exactitude de « aucune fraude » correspond à la part des paiements honnêtes, soit 1 − 0,0166.
Erreur courante
Choisir le détecteur selon l'exactitude
Symptôme : Tomás classe les détecteurs du tableau comparatif selon leur exactitude à 50 alertes par jour : distance aux k plus proches voisins (kNN), 0,9837; Isolation Forest, 0,9834; « aucune fraude », 0,9834; autoencodeur, 0,9799; les deux règles, 0,9759; MAD par client, 0,9592. Le classement semble précis, et aucune erreur ne s’affiche. Mais ne rien faire égale Isolation Forest et dépasse trois véritables détecteurs.
Cause : avec 1,66 % de fraudes, les paiements honnêtes déterminent l’exactitude. Un détecteur qui envoie 50 alertes donne jusqu’à 50 mauvaises réponses par jour. Ne rien faire en donne environ 31. L’exactitude pénalise donc les alertes, même les bonnes.
Correction : classez les détecteurs selon leur précision au budget fixé, avec le rappel par type et le délai de détection à côté. Pour les mêmes détecteurs, la précision à 50 alertes par jour va de 0,505 (distance kNN) à 0,048 (MAD par client). Ne rien faire ne produit aucune alerte.
Conséquence pour le travail en IA : une équipe qui rapporte l’exactitude pour des événements rares peut livrer un détecteur qui ne détecte rien. Le tableau de bord affiche quand même 98 %. Le même piège existe pour tout événement rare : pannes d’équipement, maladies rares, incidents de sécurité.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Omar lit qu'un nouveau détecteur atteint 99,2 % d'exactitude sur des paiements dont 0,8 % sont frauduleux. Que lui dites-vous, et quels chiffres demandez-vous?
Afficher la réponse
Un détecteur qui ne produit jamais d’alerte atteint aussi 99,2 % d’exactitude ici, car 99,2 % des paiements sont honnêtes. Donc, 99,2 % ne dit rien sur les fraudes. Demandez trois chiffres. D’abord, la précision au budget de l’équipe : la part des alertes quotidiennes qui sont réelles. Ensuite, le rappel des fraudes connues, par type. Enfin, le délai de détection. Chez Larkfield, l’exactitude est de 0,9834 pour l’absence d’action comme pour Isolation Forest. Mais la précision à 50 alertes par jour est de 0 pour l’un et de 0,500 pour l’autre.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez et expliquez : l'équipe double son budget, de 50 à 100 alertes par jour. Qu'arrive-t-il à la précision à k et au rappel d'Isolation Forest?
Afficher la réponse
Le rappel augmente et la précision diminue. Les 50 alertes supplémentaires par jour ont des scores plus faibles, donc moins d’entre elles sont réelles. Résultats mesurés : la précision passe de 0,500 à 0,292, et le rappel passe de 0,808 à 0,942. La courbe PR montre la même chose : un déplacement vers la droite et vers le bas.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Isolation Forest détecte 167 des 169 cartes volées, les 26 tests de carte et 53 des 111 prises de contrôle de compte. Le délai médian est de 0 minute pour les cas détectés. Que cache un rappel global, et pourquoi le délai de détection compte-t-il?
Afficher la réponse
Un rappel global mélange les types. Il cache donc que moins de la moitié des prises de contrôle de compte sont détectées. Les prises de contrôle de compte semblent plus normales, car elles utilisent le compte du client et souvent son appareil. Le délai de détection compte parce qu’une fraude continue de produire des paiements jusqu’à ce que quelqu’un l’arrête. Une alerte après le dernier paiement détecte la fraude, mais n’économise aucun argent.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Quand les fraudes sont rares, l’exactitude est presque la même pour tous les détecteurs : 0,9834 pour l’absence d’action et Isolation Forest, 0,9857 pour un détecteur parfait. Selon l’exactitude, ne rien faire dépasse la MAD par client.
- La précision à k est la part des fraudes réelles parmi les k alertes que l’équipe lit chaque jour. Le rappel des cas connus est la part des fraudes connues qu’ils détectent. À 50 alertes par jour, Isolation Forest obtient 0,500 et 0,808.
- Plus d’alertes par jour augmentent le rappel et diminuent la précision. La courbe PR montre tous les budgets à la fois; même la précision du détecteur parfait diminue quand le budget dépasse le nombre de fraudes.
- Le délai de détection indique si l’alerte arrive à temps. Le rappel par type montre le point faible : Isolation Forest ne détecte que 53 des 111 prises de contrôle de compte.
Vous pouvez maintenant mesurer un détecteur pour n’importe quel nombre d’alertes par jour. Mais quel nombre Larkfield devrait-elle choisir? Ensuite, vous choisirez le seuil selon le budget de Sofia et calculerez le coût par semaine de chaque choix.
Leçon suivante : Le budget d'alertes