Évaluer sans corrigé complet
- Leçon 31
- 35 min
- Module 7 : Évaluer avec peu d'étiquettes
Où nous en sommes
Dans les deux dernières leçons, nous avons mesuré la précision au budget et le coût par semaine. Tous ces nombres provenaient des anomalies que nous avons insérées. Les vrais paiements, eux, n'ont pas de corrigé complet. Dans cette leçon, nous comparons trois méthodes pour évaluer sans corrigé : anomalies insérées, échantillon révisé et accord entre détecteurs. Nous voyons aussi ce que chacune cache. Une usine d'ampoules illustre les trois.
Leçon 31 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelÉvaluer sans corrigé complet
1. Ce que « inhabituel » veut dire
2. Des références de base simples et difficiles à battre
3. Maîtrise statistique des procédés et dérive de distribution
- Cartes de contrôle : cette variation est-elle normale?
- Règles pour les motifs, et le prix de chaque règle
- Cartes pour les taux et les dénombrements
- Petits décalages durables : CUSUM et EWMA
- La distribution a-t-elle changé?
- Dérive dans de nombreuses variables, et quoi faire
- Loi de Benford et autres vérifications d'affaires
4. Distance, densité et isolement
5. Les anomalies dans le temps
6. Méthodes profondes et plongements
7. Évaluer avec peu d'étiquettes
8. Apprendre des réviseurs
9. Exploiter un détecteur en production
Ce que vous saurez faire
Estimez la qualité d’un détecteur quand personne ne connaît toutes les réponses. Sachez aussi ce que chaque type de preuve ne peut pas montrer. Les vrais paiements n’ont pas de corrigé. Un nombre fondé uniquement sur des cas insérés peut donner une fausse assurance concernant les fraudes importantes.
Carnet JupyterFaites cette leçon dans un carnet
Le carnet (notebook) Jupyter contient toutes les cellules de code, tâches et vérifications de cette leçon. Il calcule l’intervalle d’un échantillon révisé. Il joue le rôle du réviseur sur 200 alertes aléatoires, puis sur 1 000 autres échantillons. Ensuite, il compare les alertes d’Isolation Forest (forêt d’isolement) et de la distance aux k plus proches voisins (kNN). Ses cellules de préparation installent pandas et scikit-learn et téléchargent les données du cours (environ 7 Mo). Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La précision au budget et le coût par semaine, vus dans Le budget d’alertes.
- Le rappel par type de fraude, vu dans Pourquoi l’exactitude est trompeuse ici.
- La distance kNN et Isolation Forest sur les variables de comportement, vus dans Loin des voisins : la distance kNN et Isolation Forest.
- Une proportion calculée à partir d’un échantillon et sa dispersion, vues dans Mathématiques et statistiques essentielles pour l’IA. Cette leçon présente la seule formule nécessaire.
Ce qu’il vous faut sur votre ordinateur
Rien : le carnet fonctionne dans Colab ou Kaggle. Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1 et scikit-learn 1.9.1; Colab, Kaggle et Windows n’ont pas été testés.
Une usine d’ampoules
Section intitulée « Une usine d’ampoules »Imaginez une usine qui fabrique 10 000 ampoules par jour. Une machine au bout de la chaîne teste chaque ampoule et rejette celles qui semblent défectueuses. Comment l’usine sait-elle que la machine fonctionne? Personne ne peut tester à nouveau 10 000 ampoules à la main. L’usine utilise trois méthodes.
D’abord, une employée ajoute à la chaîne 20 ampoules qu’elle a brisées exprès. À la fin de la journée, elle compte combien de ses 20 ampoules la machine a rejetées. Ensuite, un inspecteur de la qualité prend 50 ampoules au hasard dans le tas des « bonnes » ampoules. Il teste chacune à la main. Enfin, l’usine achète une deuxième machine d’une autre entreprise et vérifie où les deux machines sont d’accord.
Chaque méthode révèle une information juste, mais chacune a un angle mort. Les ampoules brisées testent seulement les façons de briser une ampoule que l’employée connaissait. Les 50 ampoules de l’inspecteur donnent une bonne estimation, mais pas un compte exact. Et deux machines peuvent manquer le même défaut. Un détecteur de fraude dispose des mêmes trois méthodes et des mêmes trois angles morts.
Le problème : le corrigé s’arrête aux données du cours
Section intitulée « Le problème : le corrigé s’arrête aux données du cours »Tous les nombres présentés jusqu’ici dans ce module provenaient du corrigé : la liste des fraudes insérées dans les données du cours. La précision à 50 alertes par jour est de 0,500. Le corrigé indique lesquelles des 4 550 alertes sont réelles. En pratique, les paiements du prochain mois de Larkfield n’auront pas de corrigé.
De quoi Larkfield dispose-t-elle à la place? L’équipe de Sofia classe chaque alerte qu’elle lit comme « réelle » ou « non réelle ». Mais Tomás veut maintenant essayer son autoencodeur en mode fantôme. Il attribue un score à chaque paiement sans rien envoyer à l’équipe. Personne ne lit ses alertes, donc personne ne connaît sa précision. Et une fraude confirmée par une rétrofacturation bancaire peut arriver plusieurs semaines après le paiement.
Tomás a une réponse rapide : « On l’a testé sur les fraudes insérées. Sa précision à 50 alertes par jour était de 0,434. C’est réglé. » Priya, la scientifique des données de Larkfield, hésite. Les fraudes insérées sont celles que nous avons imaginées. Un nombre tiré de notre propre test décrit-il les vraies fraudes?
Trois méthodes d’évaluation et ce que chacune cache
Section intitulée « Trois méthodes d’évaluation et ce que chacune cache »Description textuelle du diagramme
Le diagramme présente trois colonnes, une par méthode d’évaluation. Chaque colonne contient une boîte bleue, « révèle », au-dessus d’une boîte en pointillés, « cache ». Les anomalies insérées révèlent la précision et le rappel exacts, par type de fraude. Elles cachent tous les types de fraude que personne n’a insérés. Un échantillon aléatoire révisé révèle la précision des vraies alertes, avec un intervalle. Il cache les fraudes sans alerte, donc le rappel reste inconnu. L’accord entre deux détecteurs révèle quelles alertes lire en premier, là où les deux détecteurs sont d’accord. Il cache les fraudes que les deux détecteurs manquent.
Méthode 1 : anomalies insérées
Section intitulée « Méthode 1 : anomalies insérées »Les anomalies insérées, aussi appelées anomalies injectées, correspondent aux ampoules brisées de l’employée. Vous ajoutez des cas créés vous-même à des données réelles ou synthétiques. Puis, vous comptez combien le détecteur en trouve. Les données du cours sont construites ainsi. Les 4 971 paiements insérés représentent des cartes volées, des tests de cartes et des prises de contrôle de comptes. Le corrigé les répertorie tous.
La force des cas insérés, c’est que les nombres sont exacts. La précision et le rappel ne nécessitent aucune estimation, et vous pouvez les répartir par type :
print("precision at 50 from the planted key:", compare.score_payments(evaluation, iforest, "Isolation Forest")["precision at budget"])compare.recall_by_kind(evaluation, iforest)La sortie :
precision at 50 from the planted key: 0.5
kindaccount_takeover 0.443card_testing 0.718stolen_card 0.905Name: reviewed, dtype: float64Isolation Forest trouve 90,5 % des paiements par carte volée et 44,3 % des paiements liés aux prises de contrôle de comptes. Vous pouvez le voir uniquement parce que vous connaissez le type de chaque cas inséré.
Que cachent les cas insérés? Tout ce que vous n’avez pas inséré. La nouvelle technique d’un fraudeur ne figure pas dans le corrigé. Elle ne contribue donc ni au rappel ni à la précision. Pire encore, vous pouvez ajuster un détecteur jusqu’à ce qu’il trouve très bien vos cas insérés. Il apprend alors votre façon d’insérer des cas plutôt que la fraude. Les cas insérés ont aussi la proportion que vous avez choisie. Les données de Larkfield contiennent beaucoup plus de fraudes qu’un vrai commerce. Leur précision dépasse donc celle obtenue en pratique.
Utilisez donc les cas insérés pour comparer les méthodes sur le même test, comme le fait le tableau comparatif. Ne présentez pas leurs résultats comme la précision réelle du détecteur.
Méthode 2 : un échantillon révisé par des personnes
Section intitulée « Méthode 2 : un échantillon révisé par des personnes »La deuxième méthode correspond à l’inspecteur de la qualité. Prenez un échantillon aléatoire des alertes et demandez à une personne de vérifier chacune. La proportion de fraudes réelles dans l’échantillon constitue votre estimation. Aléatoire signifie que chaque alerte a la même chance d’être choisie. L’échantillon est donc une petite copie représentative de toutes les alertes.
Un petit exemple : 20 alertes révisées
Section intitulée « Un petit exemple : 20 alertes révisées »Un réviseur a vérifié 20 alertes, dont 11 étaient de vraies fraudes. L’estimation est de 11 ÷ 20 = 0,55. Mais 20 autres alertes donneraient une autre proportion. À quelle distance de la vérité pouvons-nous être?
La réponse habituelle est un intervalle à 95 %. C’est une plage autour de l’estimation. Elle contient la proportion réelle dans environ 95 échantillons de ce type sur 100. Pour une proportion, sa demi-largeur, la marge, vaut 1,96 × √(proportion × (1 − proportion) ÷ nombre révisé). La racine carrée diminue quand vous révisez plus d’alertes, donc la marge diminue aussi :
real, reviewed = 11, 20 # a reviewer checked 20 alerts, and 11 were real fraudsestimate = real / reviewedmargin = 1.96 * np.sqrt(estimate * (1 - estimate) / reviewed) # the 95% interval of a shareprint(f"estimate {estimate:.2f}, 95% interval {estimate - margin:.2f} to {estimate + margin:.2f}")for n in (20, 50, 200, 800): print(f"{n:>4} reviewed alerts: plus or minus {1.96 * np.sqrt(0.5 * 0.5 / n):.3f} around 0.50")La sortie :
estimate 0.55, 95% interval 0.33 to 0.77 20 reviewed alerts: plus or minus 0.219 around 0.50 50 reviewed alerts: plus or minus 0.139 around 0.50 200 reviewed alerts: plus or minus 0.069 around 0.50 800 reviewed alerts: plus or minus 0.035 around 0.50Avec 20 révisions, la précision se situe entre 0,33 et 0,77 : ce n’est pas très utile. Avec 200 révisions, la marge est d’environ 0,07. Quatre fois plus de révisions réduisent la marge de moitié seulement. Chaque révision supplémentaire aide donc moins que la précédente.
Larkfield : 200 alertes révisées
Section intitulée « Larkfield : 200 alertes révisées »Priya teste l’idée sur Isolation Forest, où elle peut vérifier le résultat. Ses 4 550 alertes (50 par jour pendant 91 jours) forment le « tas ». Elle en choisit 200 au hasard. Le carnet joue ensuite le rôle du réviseur. Il utilise le corrigé uniquement pour classer les 200 alertes choisies comme « réelles » ou « non réelles », comme une personne.
# Pretend the key does not exist: a reviewer checks 200 alerts chosen at random.planted_ids = set(compare.planted_payments().payment_id) # the reveal: only to play the reviewerreviewed_alerts = sorted(alerts_if.payment_id[alerts_if.reviewed])is_real = np.array([p in planted_ids for p in reviewed_alerts])rng = np.random.default_rng(7)picked = rng.choice(len(reviewed_alerts), 200, replace=False)estimate = is_real[picked].mean()margin = 1.96 * np.sqrt(estimate * (1 - estimate) / 200)print(f"{is_real[picked].sum()} of 200 are real: estimate {estimate:.3f}, 95% interval {estimate - margin:.3f} to {estimate + margin:.3f}")print(f"the true precision of all {len(reviewed_alerts):,} alerts: {is_real.mean():.3f}")La sortie :
95 of 200 are real: estimate 0.475, 95% interval 0.406 to 0.544the true precision of all 4,550 alerts: 0.500L’estimation est de 0,475. L’intervalle, de 0,406 à 0,544, contient la précision réelle de 0,500.
De combien le résultat varie-t-il d’un échantillon à l’autre? Le carnet tire 1 000 échantillons de 200 alertes et calcule chaque estimation :
Description textuelle du graphique
Un histogramme de 1 000 estimations de la précision d’Isolation Forest. Chacune provient d’un échantillon aléatoire de 200 de ses 4 550 alertes. Les classes ont une largeur de 2,5 points et vont de 38,75 % à 63,75 %. Les barres forment une colline dont le sommet se trouve à la précision réelle, 50,0 %, indiquée par une ligne. Notre premier échantillon, 47,5 %, est indiqué juste à gauche du sommet. L’estimation la plus basse est de 39,5 % et la plus haute, de 61,0 %. 90 % des estimations se situent entre 44,0 % et 56,0 %. Dans 941 des 1 000 échantillons, l’intervalle à 95 % contient la précision réelle.
Les estimations forment une colline autour de la vérité. La plupart des échantillons donnent un résultat à moins de 0,06 de 0,500. Quelques échantillons malchanceux s’en éloignent de plus de 0,10. L’intervalle à 95 % contient la vérité dans 941 des 1 000 échantillons, près des 95 sur 100 annoncés.
Ce que cache un échantillon révisé
Section intitulée « Ce que cache un échantillon révisé »Un échantillon d’alertes vous renseigne sur les alertes. Il ne dit rien sur les fraudes qui n’ont déclenché aucune alerte. En effet, personne ne révise les paiements qui ne sont pas des alertes. Il donne donc la précision, mais jamais le rappel.
Pour estimer le rappel, il faudrait un échantillon aléatoire de tous les paiements, et les fraudes sont rares. Chez Larkfield, 200 paiements aléatoires contiennent en moyenne 200 × 0,0166 = 3,3 fraudes insérées. Ils en contiendraient moins dans un vrai commerce. C’est beaucoup trop peu pour compter combien le détecteur en a manqué. Voilà pourquoi le rappel dans ce cours provient des cas insérés. Le module 8 conserve un petit échantillon aléatoire pour une raison connexe.
Un échantillon révisé a aussi un prix. Les 200 révisions représentent quatre jours du budget de Sofia, fixé à 50 par jour. Au coût supposé dans ce cours de 3 $ par révision, cela représente 600 $ de temps de révision. Et les gens font des erreurs : un réviseur qui classe une vraie fraude comme « non réelle » modifie l’estimation. Dans ce cours, les réviseurs sont simulés et ont toujours raison, contrairement aux vrais réviseurs.
Méthode 3 : accord entre détecteurs
Section intitulée « Méthode 3 : accord entre détecteurs »La troisième méthode correspond à la deuxième machine. Exécutez deux détecteurs et regardez où leurs alertes concordent. L’accord ne nécessite aucun corrigé. Vous pouvez donc le calculer pour n’importe quelle journée de vrais paiements.
Priya compare Isolation Forest et la distance kNN, tous deux à 50 alertes par jour sur les variables de comportement. Chacun produit 4 550 alertes. L’indice de Jaccard mesure leur chevauchement : les alertes présentes dans les deux listes, divisées par celles présentes dans au moins une. 0 signifie aucune alerte commune, et 1 signifie les mêmes alertes.
a = set(alerts_if.payment_id[alerts_if.reviewed])k = set(alerts_knn.payment_id[alerts_knn.reviewed])groups = {"both": a & k, "only Isolation Forest": a - k, "only kNN": k - a}print(f"agreement (Jaccard): {len(a & k) / len(a | k):.2f}")pd.DataFrame.from_dict({name: {"alerts": len(ids), "real (from the key)": sum(p in planted_ids for p in ids), "precision": round(np.mean([p in planted_ids for p in ids]), 3)} for name, ids in groups.items()}, orient="index")La sortie :
agreement (Jaccard): 0.53 alerts real (from the key) precisionboth 3154 2060 0.653only Isolation Forest 1396 216 0.155only kNN 1396 238 0.170Les deux détecteurs partagent 3 154 de leurs 5 946 alertes distinctes : un indice de Jaccard de 0,53. La colonne « real » (réelle) utilise le corrigé pour montrer ce que signifie l’accord. Quand les deux détecteurs émettent une alerte, 65,3 % des alertes sont réelles. Quand un seul en émet une, moins de 1 sur 5 est réelle.
Description textuelle du graphique
Un diagramme à trois colonnes sur un axe de 0 à 100 %. « Les deux » : 65,3 % des 3 154 alertes envoyées par les deux détecteurs sont de vraies fraudes. « Isolation Forest seulement » : 15,5 % de ses 1 396 alertes exclusives sont réelles. « kNN seulement » : 17,0 % de ses 1 396 alertes exclusives sont réelles. La première colonne est environ quatre fois plus haute que les deux autres.
L’accord est donc une bonne façon d’ordonner le travail : lisez d’abord les alertes envoyées par les deux détecteurs. Il ne mesure pas la précision à lui seul. Sans corrigé, vous ne sauriez pas que « les deux » signifie 65,3 % plutôt que 30 %. Et il ne voit rien là où les deux détecteurs ne voient rien. Les deux listes excluent 303 paiements insérés, et l’accord ne peut en révéler aucun. Deux détecteurs utilisant les mêmes variables partagent souvent leurs angles morts. Un accord élevé peut donc aussi signifier « ils font les mêmes erreurs ».
Quelle méthode utiliser, et quand
Section intitulée « Quelle méthode utiliser, et quand »| Méthode | Ce qu’elle révèle | Son usage | Son coût |
|---|---|---|---|
| Anomalies insérées | Précision et rappel exacts, par type | Comparer les méthodes sur le même test avant le lancement | Temps pour construire des cas réalistes; aucun nouveau type |
| Échantillon aléatoire révisé | Précision des vraies alertes, avec un intervalle | Vérifier un détecteur en production ou en mode fantôme | Temps du réviseur : 200 révisions pour environ ±0,07 |
| Accord entre deux détecteurs | Où regarder en premier | Ordonner les alertes; repérer un détecteur qui a changé | Un deuxième détecteur à exécuter; aucune information sur les cas manqués |
Larkfield utilise les trois. Le tableau comparatif utilise les cas insérés pour choisir une méthode. Avant que l’autoencodeur de Tomás envoie une seule alerte, un réviseur vérifie 200 alertes aléatoires de son exécution en mode fantôme. Et les alertes communes à deux détecteurs passent en tête de la liste de Sofia.
Exercice guidé : trois méthodes dans le carnet
Section intitulée « Exercice guidé : trois méthodes dans le carnet »- Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet en haut de cette page.
- Exécutez les cellules de préparation. La cellule des données se termine par la ligne
Ready:(prêt). - Dans la section 1, exécutez le petit exemple. Vous voyez
estimate 0.55, 95% interval 0.33 to 0.77(estimation de 0,55, intervalle à 95 % de 0,33 à 0,77). - Dans la section 2, exécutez la cellule qui entraîne les deux détecteurs. Vous voyez
4,550 alerts(4 550 alertes) pour chacun. - Dans la section 3, exécutez la cellule des cas insérés. Vous voyez
account_takeover 0.443(prise de contrôle de compte : 0,443). - Dans la section 4, prédisez l’estimation à partir de 200 révisions. Puis, exécutez la cellule d’échantillonnage. Vous voyez
95 of 200 are real(95 sur 200 sont réelles). - Exécutez les 1 000 échantillons. Vous voyez
the interval holds the truth in 94.1%(l’intervalle contient la vérité dans 94,1 % des cas). - Dans la section 5, exécutez la cellule d’accord. Vous voyez
agreement (Jaccard): 0.53(accord de Jaccard : 0,53).
À vous : moins de révisions et ce que l’accord manque
Section intitulée « À vous : moins de révisions et ce que l’accord manque »La section 6 du carnet contient deux tâches. D’abord, répétez l’échantillon révisé avec seulement 50 alertes : utilisez de nouveau np.random.default_rng(7). Enregistrez la marge de l’intervalle à 95 %, arrondie à 3 décimales, dans margin_50. Avant l’exécution, prédisez la marge à partir du petit exemple. Ensuite, comptez les paiements insérés absents des alertes des deux détecteurs et enregistrez le résultat dans missed_by_both.
Afficher les réponses
rng = np.random.default_rng(7)picked_50 = rng.choice(len(reviewed_alerts), 50, replace=False)estimate_50 = is_real[picked_50].mean()margin_50 = round(float(1.96 * np.sqrt(estimate_50 * (1 - estimate_50) / 50)), 3)missed_by_both = len(planted_ids & set(evaluation.payment_id) - (a | k))Les 50 alertes donnent une estimation de 0,52 et margin_50 vaut 0.138, environ deux fois la marge de 200 alertes. missed_by_both vaut 303 : 303 des 2 817 paiements insérés des mois d’évaluation ne figurent dans aucune liste. L’accord entre les deux détecteurs ne peut jamais les désigner.
Erreur courante
Un échantillon qui n'est pas aléatoire
Symptôme : Tomás a besoin d’une estimation rapide. Il demande à un réviseur de vérifier « les 200 premières alertes » des mois d’évaluation. Elles datent du 1er au 4 septembre, et 65,0 % sont réelles. Une autre fois, il demande « les 200 alertes les plus suspectes », et 100 % sont réelles. La précision réelle des 4 550 alertes est de 50,0 %.
Cause : aucun des deux échantillons n’est aléatoire. Les 200 premières alertes couvrent quatre jours au début de septembre. Ces jours ne représentent pas fidèlement trois mois. Les 200 scores les plus élevés correspondent aux cas les plus faciles, donc ils sont toujours réels. La formule de l’intervalle à 95 % suppose que chaque alerte avait la même chance d’être choisie.
Solution : choisissez l’échantillon avec un générateur aléatoire, parmi toutes les alertes de la période, comme le fait rng.choice(len(reviewed_alerts), 200, replace=False). Notez la graine et la période pour qu’une autre personne puisse vérifier l’échantillon.
Conséquence pour le travail en IA : un échantillon facile à choisir est souvent le plus flatteur. Le détecteur paraît meilleur qu’il ne l’est, et l’équipe fait confiance au nombre. L’écart apparaît plus tard sous forme de fraudes manquées.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Pour chaque méthode d'évaluation sans corrigé complet (anomalies insérées, échantillon aléatoire révisé, accord entre deux détecteurs), dites ce qu'elle révèle et cache.
Afficher la réponse
- Les anomalies insérées donnent la précision et le rappel exacts, par type de fraude. Elles cachent tous les types de fraude que personne n’a insérés. Un détecteur peut apprendre votre façon d’insérer plutôt que reconnaître la fraude.
- Un échantillon aléatoire révisé d’alertes estime la précision des alertes réelles, avec un intervalle (200 révisions : environ plus ou moins 0,07). Il cache les fraudes sans alerte, donc il ne permet pas de calculer le rappel.
- L’accord entre deux détecteurs indique quelles alertes lire en premier (les deux détecteurs : 65,3 % de fraudes réelles chez Larkfield). Il cache ce que les deux détecteurs manquent, soit 303 paiements insérés ici. Il ne permet pas de calculer la précision sans étiquettes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Calculez : un réviseur vérifie 100 alertes aléatoires de l'exécution en mode fantôme de l'autoencodeur et trouve 40 fraudes réelles. Donnez l'estimation et son intervalle à 95 %. Combien de révisions faudrait-il pour réduire la marge de moitié environ?
Afficher la réponse
L’estimation est 40 ÷ 100 = 0,40. La marge est 1,96 × √(0,40 × 0,60 ÷ 100) = 1,96 × 0,049 = 0,096. L’intervalle va donc d’environ 0,30 à 0,50. Pour réduire la marge de moitié, révisez quatre fois plus d’alertes : environ 400.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Tomás dit : « Isolation Forest et la distance aux k plus proches voisins s'accordent sur 53 % de leurs alertes. Ils ont donc tous deux raison dans environ 53 % des cas. » Qu'est-ce qui ne va pas dans ce raisonnement?
Afficher la réponse
L’accord n’est pas la précision. L’indice de Jaccard de 0,53 indique le chevauchement des deux listes, pas le nombre d’alertes réelles. Selon le corrigé, les alertes communes correspondent à 65,3 % de fraudes réelles, et les autres à environ 16 %. Deux détecteurs pourraient aussi s’accorder complètement et se tromper tous les deux, parce qu’ils ont les mêmes angles morts. Pour connaître la précision, vous avez besoin d’étiquettes : des cas insérés ou un échantillon aléatoire que des personnes révisent.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Les paiements réels n’ont pas de corrigé complet. Chaque évaluation exige donc un autre type de preuve, et chaque type a un angle mort.
- Les anomalies insérées donnent des chiffres exacts par type de fraude. Isolation Forest (forêt d’isolement) trouve 90,5 % des paiements par carte volée et 44,3 % des paiements liés à une prise de contrôle de compte. Elles ne disent rien sur les types que personne n’a insérés.
- Un échantillon aléatoire d’alertes révisées estime la précision avec un intervalle à 95 % : 200 révisions ont donné 0,475 (de 0,406 à 0,544), contre une valeur réelle de 0,500. Il ne permet pas de calculer le rappel. Un échantillon non aléatoire, comme les 200 premières alertes, donne une image trop favorable du détecteur.
- L’accord entre deux détecteurs (Jaccard de 0,53) aide à ordonner le travail : les alertes communes correspondaient à 65,3 % de fraudes réelles. Il ne révèle pas les 303 paiements insérés que les deux ont manqués.
Vous pouvez maintenant juger un détecteur avec et sans corrigé. Mais tous ces chiffres sont des moyennes pour l’ensemble des clients. Ensuite, vous vérifiez les fausses alertes groupe par groupe. Vous voyez qui paie le prix quand un paiement honnête est bloqué.
Leçon suivante : Tranches et équité