Aller au contenu
English

Évaluer sans corrigé complet

  • Leçon 31
  • 35 min
  • Module 7 : Évaluer avec peu d'étiquettes

Où nous en sommes

Dans les deux dernières leçons, nous avons mesuré la précision au budget et le coût par semaine. Tous ces nombres provenaient des anomalies que nous avons insérées. Les vrais paiements, eux, n'ont pas de corrigé complet. Dans cette leçon, nous comparons trois méthodes pour évaluer sans corrigé : anomalies insérées, échantillon révisé et accord entre détecteurs. Nous voyons aussi ce que chacune cache. Une usine d'ampoules illustre les trois.

Leçon 31 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelÉvaluer sans corrigé complet
Aperçu du cours

Ce que vous saurez faire

Estimez la qualité d’un détecteur quand personne ne connaît toutes les réponses. Sachez aussi ce que chaque type de preuve ne peut pas montrer. Les vrais paiements n’ont pas de corrigé. Un nombre fondé uniquement sur des cas insérés peut donner une fausse assurance concernant les fraudes importantes.

Carnet JupyterFaites cette leçon dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, tâches et vérifications de cette leçon. Il calcule l’intervalle d’un échantillon révisé. Il joue le rôle du réviseur sur 200 alertes aléatoires, puis sur 1 000 autres échantillons. Ensuite, il compare les alertes d’Isolation Forest (forêt d’isolement) et de la distance aux k plus proches voisins (kNN). Ses cellules de préparation installent pandas et scikit-learn et téléchargent les données du cours (environ 7 Mo). Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien : le carnet fonctionne dans Colab ou Kaggle. Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1 et scikit-learn 1.9.1; Colab, Kaggle et Windows n’ont pas été testés.

Imaginez une usine qui fabrique 10 000 ampoules par jour. Une machine au bout de la chaîne teste chaque ampoule et rejette celles qui semblent défectueuses. Comment l’usine sait-elle que la machine fonctionne? Personne ne peut tester à nouveau 10 000 ampoules à la main. L’usine utilise trois méthodes.

D’abord, une employée ajoute à la chaîne 20 ampoules qu’elle a brisées exprès. À la fin de la journée, elle compte combien de ses 20 ampoules la machine a rejetées. Ensuite, un inspecteur de la qualité prend 50 ampoules au hasard dans le tas des « bonnes » ampoules. Il teste chacune à la main. Enfin, l’usine achète une deuxième machine d’une autre entreprise et vérifie où les deux machines sont d’accord.

Chaque méthode révèle une information juste, mais chacune a un angle mort. Les ampoules brisées testent seulement les façons de briser une ampoule que l’employée connaissait. Les 50 ampoules de l’inspecteur donnent une bonne estimation, mais pas un compte exact. Et deux machines peuvent manquer le même défaut. Un détecteur de fraude dispose des mêmes trois méthodes et des mêmes trois angles morts.

Le problème : le corrigé s’arrête aux données du cours

Section intitulée « Le problème : le corrigé s’arrête aux données du cours »

Tous les nombres présentés jusqu’ici dans ce module provenaient du corrigé : la liste des fraudes insérées dans les données du cours. La précision à 50 alertes par jour est de 0,500. Le corrigé indique lesquelles des 4 550 alertes sont réelles. En pratique, les paiements du prochain mois de Larkfield n’auront pas de corrigé.

De quoi Larkfield dispose-t-elle à la place? L’équipe de Sofia classe chaque alerte qu’elle lit comme « réelle » ou « non réelle ». Mais Tomás veut maintenant essayer son autoencodeur en mode fantôme. Il attribue un score à chaque paiement sans rien envoyer à l’équipe. Personne ne lit ses alertes, donc personne ne connaît sa précision. Et une fraude confirmée par une rétrofacturation bancaire peut arriver plusieurs semaines après le paiement.

Tomás a une réponse rapide : « On l’a testé sur les fraudes insérées. Sa précision à 50 alertes par jour était de 0,434. C’est réglé. » Priya, la scientifique des données de Larkfield, hésite. Les fraudes insérées sont celles que nous avons imaginées. Un nombre tiré de notre propre test décrit-il les vraies fraudes?

Trois méthodes d’évaluation et ce que chacune cache

Section intitulée « Trois méthodes d’évaluation et ce que chacune cache »
Trois colonnes. Anomalies insérées : révèlent la précision et le rappel exacts, par type de fraude; cachent tous les types de fraude que personne n'a insérés. Échantillon aléatoire révisé : révèle la précision des vraies alertes, avec un intervalle; cache les fraudes sans alerte, donc le rappel reste inconnu. Accord entre deux détecteurs : révèle quelles alertes lire en premier, là où les deux détecteurs sont d'accord; cache les fraudes que les deux détecteurs manquent.
Chaque méthode d'évaluation sans corrigé complet révèle une information juste et possède un angle mort. Utilisez-les ensemble.
Description textuelle du diagramme

Le diagramme présente trois colonnes, une par méthode d’évaluation. Chaque colonne contient une boîte bleue, « révèle », au-dessus d’une boîte en pointillés, « cache ». Les anomalies insérées révèlent la précision et le rappel exacts, par type de fraude. Elles cachent tous les types de fraude que personne n’a insérés. Un échantillon aléatoire révisé révèle la précision des vraies alertes, avec un intervalle. Il cache les fraudes sans alerte, donc le rappel reste inconnu. L’accord entre deux détecteurs révèle quelles alertes lire en premier, là où les deux détecteurs sont d’accord. Il cache les fraudes que les deux détecteurs manquent.

Les anomalies insérées, aussi appelées anomalies injectées, correspondent aux ampoules brisées de l’employée. Vous ajoutez des cas créés vous-même à des données réelles ou synthétiques. Puis, vous comptez combien le détecteur en trouve. Les données du cours sont construites ainsi. Les 4 971 paiements insérés représentent des cartes volées, des tests de cartes et des prises de contrôle de comptes. Le corrigé les répertorie tous.

La force des cas insérés, c’est que les nombres sont exacts. La précision et le rappel ne nécessitent aucune estimation, et vous pouvez les répartir par type :

print("precision at 50 from the planted key:", compare.score_payments(evaluation, iforest, "Isolation Forest")["precision at budget"])
compare.recall_by_kind(evaluation, iforest)

La sortie :

precision at 50 from the planted key: 0.5
kind
account_takeover 0.443
card_testing 0.718
stolen_card 0.905
Name: reviewed, dtype: float64

Isolation Forest trouve 90,5 % des paiements par carte volée et 44,3 % des paiements liés aux prises de contrôle de comptes. Vous pouvez le voir uniquement parce que vous connaissez le type de chaque cas inséré.

Que cachent les cas insérés? Tout ce que vous n’avez pas inséré. La nouvelle technique d’un fraudeur ne figure pas dans le corrigé. Elle ne contribue donc ni au rappel ni à la précision. Pire encore, vous pouvez ajuster un détecteur jusqu’à ce qu’il trouve très bien vos cas insérés. Il apprend alors votre façon d’insérer des cas plutôt que la fraude. Les cas insérés ont aussi la proportion que vous avez choisie. Les données de Larkfield contiennent beaucoup plus de fraudes qu’un vrai commerce. Leur précision dépasse donc celle obtenue en pratique.

Utilisez donc les cas insérés pour comparer les méthodes sur le même test, comme le fait le tableau comparatif. Ne présentez pas leurs résultats comme la précision réelle du détecteur.

Méthode 2 : un échantillon révisé par des personnes

Section intitulée « Méthode 2 : un échantillon révisé par des personnes »

La deuxième méthode correspond à l’inspecteur de la qualité. Prenez un échantillon aléatoire des alertes et demandez à une personne de vérifier chacune. La proportion de fraudes réelles dans l’échantillon constitue votre estimation. Aléatoire signifie que chaque alerte a la même chance d’être choisie. L’échantillon est donc une petite copie représentative de toutes les alertes.

Un réviseur a vérifié 20 alertes, dont 11 étaient de vraies fraudes. L’estimation est de 11 ÷ 20 = 0,55. Mais 20 autres alertes donneraient une autre proportion. À quelle distance de la vérité pouvons-nous être?

La réponse habituelle est un intervalle à 95 %. C’est une plage autour de l’estimation. Elle contient la proportion réelle dans environ 95 échantillons de ce type sur 100. Pour une proportion, sa demi-largeur, la marge, vaut 1,96 × √(proportion × (1 − proportion) ÷ nombre révisé). La racine carrée diminue quand vous révisez plus d’alertes, donc la marge diminue aussi :

real, reviewed = 11, 20 # a reviewer checked 20 alerts, and 11 were real frauds
estimate = real / reviewed
margin = 1.96 * np.sqrt(estimate * (1 - estimate) / reviewed) # the 95% interval of a share
print(f"estimate {estimate:.2f}, 95% interval {estimate - margin:.2f} to {estimate + margin:.2f}")
for n in (20, 50, 200, 800):
print(f"{n:>4} reviewed alerts: plus or minus {1.96 * np.sqrt(0.5 * 0.5 / n):.3f} around 0.50")

La sortie :

estimate 0.55, 95% interval 0.33 to 0.77
20 reviewed alerts: plus or minus 0.219 around 0.50
50 reviewed alerts: plus or minus 0.139 around 0.50
200 reviewed alerts: plus or minus 0.069 around 0.50
800 reviewed alerts: plus or minus 0.035 around 0.50

Avec 20 révisions, la précision se situe entre 0,33 et 0,77 : ce n’est pas très utile. Avec 200 révisions, la marge est d’environ 0,07. Quatre fois plus de révisions réduisent la marge de moitié seulement. Chaque révision supplémentaire aide donc moins que la précédente.

Priya teste l’idée sur Isolation Forest, où elle peut vérifier le résultat. Ses 4 550 alertes (50 par jour pendant 91 jours) forment le « tas ». Elle en choisit 200 au hasard. Le carnet joue ensuite le rôle du réviseur. Il utilise le corrigé uniquement pour classer les 200 alertes choisies comme « réelles » ou « non réelles », comme une personne.

# Pretend the key does not exist: a reviewer checks 200 alerts chosen at random.
planted_ids = set(compare.planted_payments().payment_id) # the reveal: only to play the reviewer
reviewed_alerts = sorted(alerts_if.payment_id[alerts_if.reviewed])
is_real = np.array([p in planted_ids for p in reviewed_alerts])
rng = np.random.default_rng(7)
picked = rng.choice(len(reviewed_alerts), 200, replace=False)
estimate = is_real[picked].mean()
margin = 1.96 * np.sqrt(estimate * (1 - estimate) / 200)
print(f"{is_real[picked].sum()} of 200 are real: estimate {estimate:.3f}, 95% interval {estimate - margin:.3f} to {estimate + margin:.3f}")
print(f"the true precision of all {len(reviewed_alerts):,} alerts: {is_real.mean():.3f}")

La sortie :

95 of 200 are real: estimate 0.475, 95% interval 0.406 to 0.544
the true precision of all 4,550 alerts: 0.500

L’estimation est de 0,475. L’intervalle, de 0,406 à 0,544, contient la précision réelle de 0,500.

De combien le résultat varie-t-il d’un échantillon à l’autre? Le carnet tire 1 000 échantillons de 200 alertes et calcule chaque estimation :

1 000 échantillons aléatoires de 200 alertes. Les estimations vont de 39,5 % à 61,0 %; 90 % se situent entre 44,0 % et 56,0 %. L'intervalle à 95 % d'un échantillon contient la précision réelle, 50,0 %, dans 94,1 % des échantillons.
Description textuelle du graphique

Un histogramme de 1 000 estimations de la précision d’Isolation Forest. Chacune provient d’un échantillon aléatoire de 200 de ses 4 550 alertes. Les classes ont une largeur de 2,5 points et vont de 38,75 % à 63,75 %. Les barres forment une colline dont le sommet se trouve à la précision réelle, 50,0 %, indiquée par une ligne. Notre premier échantillon, 47,5 %, est indiqué juste à gauche du sommet. L’estimation la plus basse est de 39,5 % et la plus haute, de 61,0 %. 90 % des estimations se situent entre 44,0 % et 56,0 %. Dans 941 des 1 000 échantillons, l’intervalle à 95 % contient la précision réelle.

Les estimations forment une colline autour de la vérité. La plupart des échantillons donnent un résultat à moins de 0,06 de 0,500. Quelques échantillons malchanceux s’en éloignent de plus de 0,10. L’intervalle à 95 % contient la vérité dans 941 des 1 000 échantillons, près des 95 sur 100 annoncés.

Un échantillon d’alertes vous renseigne sur les alertes. Il ne dit rien sur les fraudes qui n’ont déclenché aucune alerte. En effet, personne ne révise les paiements qui ne sont pas des alertes. Il donne donc la précision, mais jamais le rappel.

Pour estimer le rappel, il faudrait un échantillon aléatoire de tous les paiements, et les fraudes sont rares. Chez Larkfield, 200 paiements aléatoires contiennent en moyenne 200 × 0,0166 = 3,3 fraudes insérées. Ils en contiendraient moins dans un vrai commerce. C’est beaucoup trop peu pour compter combien le détecteur en a manqué. Voilà pourquoi le rappel dans ce cours provient des cas insérés. Le module 8 conserve un petit échantillon aléatoire pour une raison connexe.

Un échantillon révisé a aussi un prix. Les 200 révisions représentent quatre jours du budget de Sofia, fixé à 50 par jour. Au coût supposé dans ce cours de 3 $ par révision, cela représente 600 $ de temps de révision. Et les gens font des erreurs : un réviseur qui classe une vraie fraude comme « non réelle » modifie l’estimation. Dans ce cours, les réviseurs sont simulés et ont toujours raison, contrairement aux vrais réviseurs.

La troisième méthode correspond à la deuxième machine. Exécutez deux détecteurs et regardez où leurs alertes concordent. L’accord ne nécessite aucun corrigé. Vous pouvez donc le calculer pour n’importe quelle journée de vrais paiements.

Priya compare Isolation Forest et la distance kNN, tous deux à 50 alertes par jour sur les variables de comportement. Chacun produit 4 550 alertes. L’indice de Jaccard mesure leur chevauchement : les alertes présentes dans les deux listes, divisées par celles présentes dans au moins une. 0 signifie aucune alerte commune, et 1 signifie les mêmes alertes.

a = set(alerts_if.payment_id[alerts_if.reviewed])
k = set(alerts_knn.payment_id[alerts_knn.reviewed])
groups = {"both": a & k, "only Isolation Forest": a - k, "only kNN": k - a}
print(f"agreement (Jaccard): {len(a & k) / len(a | k):.2f}")
pd.DataFrame.from_dict({name: {"alerts": len(ids), "real (from the key)": sum(p in planted_ids for p in ids),
"precision": round(np.mean([p in planted_ids for p in ids]), 3)}
for name, ids in groups.items()}, orient="index")

La sortie :

agreement (Jaccard): 0.53
alerts real (from the key) precision
both 3154 2060 0.653
only Isolation Forest 1396 216 0.155
only kNN 1396 238 0.170

Les deux détecteurs partagent 3 154 de leurs 5 946 alertes distinctes : un indice de Jaccard de 0,53. La colonne « real » (réelle) utilise le corrigé pour montrer ce que signifie l’accord. Quand les deux détecteurs émettent une alerte, 65,3 % des alertes sont réelles. Quand un seul en émet une, moins de 1 sur 5 est réelle.

Quand Isolation Forest et la distance kNN émettent tous deux une alerte (3 154 alertes), 65,3 % sont réelles. Quand un seul en émet une (1 396 alertes chacun), 15,5 % et 17,0 % sont réelles.
Description textuelle du graphique

Un diagramme à trois colonnes sur un axe de 0 à 100 %. « Les deux » : 65,3 % des 3 154 alertes envoyées par les deux détecteurs sont de vraies fraudes. « Isolation Forest seulement » : 15,5 % de ses 1 396 alertes exclusives sont réelles. « kNN seulement » : 17,0 % de ses 1 396 alertes exclusives sont réelles. La première colonne est environ quatre fois plus haute que les deux autres.

L’accord est donc une bonne façon d’ordonner le travail : lisez d’abord les alertes envoyées par les deux détecteurs. Il ne mesure pas la précision à lui seul. Sans corrigé, vous ne sauriez pas que « les deux » signifie 65,3 % plutôt que 30 %. Et il ne voit rien là où les deux détecteurs ne voient rien. Les deux listes excluent 303 paiements insérés, et l’accord ne peut en révéler aucun. Deux détecteurs utilisant les mêmes variables partagent souvent leurs angles morts. Un accord élevé peut donc aussi signifier « ils font les mêmes erreurs ».

Méthode Ce qu’elle révèle Son usage Son coût
Anomalies insérées Précision et rappel exacts, par type Comparer les méthodes sur le même test avant le lancement Temps pour construire des cas réalistes; aucun nouveau type
Échantillon aléatoire révisé Précision des vraies alertes, avec un intervalle Vérifier un détecteur en production ou en mode fantôme Temps du réviseur : 200 révisions pour environ ±0,07
Accord entre deux détecteurs Où regarder en premier Ordonner les alertes; repérer un détecteur qui a changé Un deuxième détecteur à exécuter; aucune information sur les cas manqués

Larkfield utilise les trois. Le tableau comparatif utilise les cas insérés pour choisir une méthode. Avant que l’autoencodeur de Tomás envoie une seule alerte, un réviseur vérifie 200 alertes aléatoires de son exécution en mode fantôme. Et les alertes communes à deux détecteurs passent en tête de la liste de Sofia.

  1. Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet en haut de cette page.
  2. Exécutez les cellules de préparation. La cellule des données se termine par la ligne Ready: (prêt).
  3. Dans la section 1, exécutez le petit exemple. Vous voyez estimate 0.55, 95% interval 0.33 to 0.77 (estimation de 0,55, intervalle à 95 % de 0,33 à 0,77).
  4. Dans la section 2, exécutez la cellule qui entraîne les deux détecteurs. Vous voyez 4,550 alerts (4 550 alertes) pour chacun.
  5. Dans la section 3, exécutez la cellule des cas insérés. Vous voyez account_takeover 0.443 (prise de contrôle de compte : 0,443).
  6. Dans la section 4, prédisez l’estimation à partir de 200 révisions. Puis, exécutez la cellule d’échantillonnage. Vous voyez 95 of 200 are real (95 sur 200 sont réelles).
  7. Exécutez les 1 000 échantillons. Vous voyez the interval holds the truth in 94.1% (l’intervalle contient la vérité dans 94,1 % des cas).
  8. Dans la section 5, exécutez la cellule d’accord. Vous voyez agreement (Jaccard): 0.53 (accord de Jaccard : 0,53).

À vous : moins de révisions et ce que l’accord manque

Section intitulée « À vous : moins de révisions et ce que l’accord manque »

La section 6 du carnet contient deux tâches. D’abord, répétez l’échantillon révisé avec seulement 50 alertes : utilisez de nouveau np.random.default_rng(7). Enregistrez la marge de l’intervalle à 95 %, arrondie à 3 décimales, dans margin_50. Avant l’exécution, prédisez la marge à partir du petit exemple. Ensuite, comptez les paiements insérés absents des alertes des deux détecteurs et enregistrez le résultat dans missed_by_both.

Afficher les réponses
rng = np.random.default_rng(7)
picked_50 = rng.choice(len(reviewed_alerts), 50, replace=False)
estimate_50 = is_real[picked_50].mean()
margin_50 = round(float(1.96 * np.sqrt(estimate_50 * (1 - estimate_50) / 50)), 3)
missed_by_both = len(planted_ids & set(evaluation.payment_id) - (a | k))

Les 50 alertes donnent une estimation de 0,52 et margin_50 vaut 0.138, environ deux fois la marge de 200 alertes. missed_by_both vaut 303 : 303 des 2 817 paiements insérés des mois d’évaluation ne figurent dans aucune liste. L’accord entre les deux détecteurs ne peut jamais les désigner.

Erreur courante

Un échantillon qui n'est pas aléatoire

Symptôme : Tomás a besoin d’une estimation rapide. Il demande à un réviseur de vérifier « les 200 premières alertes » des mois d’évaluation. Elles datent du 1er au 4 septembre, et 65,0 % sont réelles. Une autre fois, il demande « les 200 alertes les plus suspectes », et 100 % sont réelles. La précision réelle des 4 550 alertes est de 50,0 %.

Cause : aucun des deux échantillons n’est aléatoire. Les 200 premières alertes couvrent quatre jours au début de septembre. Ces jours ne représentent pas fidèlement trois mois. Les 200 scores les plus élevés correspondent aux cas les plus faciles, donc ils sont toujours réels. La formule de l’intervalle à 95 % suppose que chaque alerte avait la même chance d’être choisie.

Solution : choisissez l’échantillon avec un générateur aléatoire, parmi toutes les alertes de la période, comme le fait rng.choice(len(reviewed_alerts), 200, replace=False). Notez la graine et la période pour qu’une autre personne puisse vérifier l’échantillon.

Conséquence pour le travail en IA : un échantillon facile à choisir est souvent le plus flatteur. Le détecteur paraît meilleur qu’il ne l’est, et l’équipe fait confiance au nombre. L’écart apparaît plus tard sous forme de fraudes manquées.

Vérifiez votre compréhension

Pour chaque méthode d'évaluation sans corrigé complet (anomalies insérées, échantillon aléatoire révisé, accord entre deux détecteurs), dites ce qu'elle révèle et cache.

Afficher la réponse
  • Les anomalies insérées donnent la précision et le rappel exacts, par type de fraude. Elles cachent tous les types de fraude que personne n’a insérés. Un détecteur peut apprendre votre façon d’insérer plutôt que reconnaître la fraude.
  • Un échantillon aléatoire révisé d’alertes estime la précision des alertes réelles, avec un intervalle (200 révisions : environ plus ou moins 0,07). Il cache les fraudes sans alerte, donc il ne permet pas de calculer le rappel.
  • L’accord entre deux détecteurs indique quelles alertes lire en premier (les deux détecteurs : 65,3 % de fraudes réelles chez Larkfield). Il cache ce que les deux détecteurs manquent, soit 303 paiements insérés ici. Il ne permet pas de calculer la précision sans étiquettes.

Vérifiez votre compréhension

Calculez : un réviseur vérifie 100 alertes aléatoires de l'exécution en mode fantôme de l'autoencodeur et trouve 40 fraudes réelles. Donnez l'estimation et son intervalle à 95 %. Combien de révisions faudrait-il pour réduire la marge de moitié environ?

Afficher la réponse

L’estimation est 40 ÷ 100 = 0,40. La marge est 1,96 × √(0,40 × 0,60 ÷ 100) = 1,96 × 0,049 = 0,096. L’intervalle va donc d’environ 0,30 à 0,50. Pour réduire la marge de moitié, révisez quatre fois plus d’alertes : environ 400.

Vérifiez votre compréhension

Tomás dit : « Isolation Forest et la distance aux k plus proches voisins s'accordent sur 53 % de leurs alertes. Ils ont donc tous deux raison dans environ 53 % des cas. » Qu'est-ce qui ne va pas dans ce raisonnement?

Afficher la réponse

L’accord n’est pas la précision. L’indice de Jaccard de 0,53 indique le chevauchement des deux listes, pas le nombre d’alertes réelles. Selon le corrigé, les alertes communes correspondent à 65,3 % de fraudes réelles, et les autres à environ 16 %. Deux détecteurs pourraient aussi s’accorder complètement et se tromper tous les deux, parce qu’ils ont les mêmes angles morts. Pour connaître la précision, vous avez besoin d’étiquettes : des cas insérés ou un échantillon aléatoire que des personnes révisent.

Récapitulatif

  • Les paiements réels n’ont pas de corrigé complet. Chaque évaluation exige donc un autre type de preuve, et chaque type a un angle mort.
  • Les anomalies insérées donnent des chiffres exacts par type de fraude. Isolation Forest (forêt d’isolement) trouve 90,5 % des paiements par carte volée et 44,3 % des paiements liés à une prise de contrôle de compte. Elles ne disent rien sur les types que personne n’a insérés.
  • Un échantillon aléatoire d’alertes révisées estime la précision avec un intervalle à 95 % : 200 révisions ont donné 0,475 (de 0,406 à 0,544), contre une valeur réelle de 0,500. Il ne permet pas de calculer le rappel. Un échantillon non aléatoire, comme les 200 premières alertes, donne une image trop favorable du détecteur.
  • L’accord entre deux détecteurs (Jaccard de 0,53) aide à ordonner le travail : les alertes communes correspondaient à 65,3 % de fraudes réelles. Il ne révèle pas les 303 paiements insérés que les deux ont manqués.

Vous pouvez maintenant juger un détecteur avec et sans corrigé. Mais tous ces chiffres sont des moyennes pour l’ensemble des clients. Ensuite, vous vérifiez les fausses alertes groupe par groupe. Vous voyez qui paie le prix quand un paiement honnête est bloqué.

Leçon suivante : Tranches et équité