Aller au contenu
English

Tranches et équité

  • Leçon 32
  • 30 min
  • Module 7 : Évaluer avec peu d'étiquettes

Où nous en sommes

Nous avons choisi un détecteur et un seuil selon le budget. Nous avons appris à vérifier sa précision sans corrigé complet. Mais une moyenne peut cacher un groupe de clients honnêtes qu'on arrête sans cesse. Dans cette leçon, nous vérifions les fausses alertes par type de compte, pays, appareil, région et ancienneté du client. Nous voyons pourquoi cela compte pour les personnes derrière les paiements. L'alarme à la porte d'un magasin illustre le problème.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 32 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelTranches et équité
Aperçu du cours

Ce que vous saurez faire

Vérifiez les fausses alertes d’un détecteur groupe par groupe. Décidez quoi faire lorsqu’un groupe de clients honnêtes en reçoit beaucoup plus. Une bonne moyenne peut cacher des clients qu’on arrête sans cesse.

Carnet JupyterFaites cette leçon dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, tâches et vérifications de cette leçon. Il calcule les fausses alertes d’Isolation Forest (forêt d’isolement) par type de compte, pays, appareil, région et ancienneté du client. Il compte aussi les clients concernés. Ensuite, il compare Isolation Forest et la distance aux k plus proches voisins (kNN) pour l’exercice du module. Ses cellules de préparation installent pandas et scikit-learn et téléchargent les données du cours (environ 7 Mo). Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien : le carnet s’exécute dans Colab ou Kaggle. Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1 et scikit-learn 1.9.1; Colab, Kaggle et Windows n’ont pas été testés.

Une alarme de porte qui sonne pour les mauvaises personnes

Section intitulée « Une alarme de porte qui sonne pour les mauvaises personnes »

Imaginez un magasin avec une alarme à la porte. Elle sonne quand un client sort avec un article qu’il n’a pas payé. Parfois, elle sonne par erreur. Le magasin compte ces erreurs : 1 fausse alarme pour 100 clients. Le gérant trouve cela acceptable.

Regardez maintenant qui entend les fausses alarmes. La jardinerie voisine met le même type d’étiquette sur ses plantes. Ainsi, presque chaque client qui transporte une plante de la jardinerie fait sonner l’alarme. Pour la plupart des clients, l’alarme ne sonne jamais par erreur. Pour les clients de la jardinerie, elle sonne presque à chaque visite. Chaque fois, un agent de sécurité les arrête et vérifie leurs sacs devant tout le monde.

La moyenne, 1 sur 100, est vraie. Elle cache pourtant le vrai problème : quelques clients subissent presque toutes les erreurs. Ils en paient le prix avec leur temps et leur dignité.

Un détecteur de fraude peut faire la même chose. Dans les deux dernières leçons, nous avons décrit Isolation Forest avec des moyennes sur tous les paiements. En voici une autre : la proportion de paiements honnêtes qui déclenchent une alerte. Un paiement honnête est un paiement qui n’est pas inséré. Une fausse alerte est une alerte sur un paiement honnête.

Dix clients ont chacun fait 100 paiements honnêtes. Huit sont des particuliers et deux sont des entreprises. C’est un exemple construit. Le tableau compte les fausses alertes de chaque groupe :

tiny = pd.DataFrame({
"customer": ["personal"] * 8 + ["business"] * 2,
"honest payments": [100] * 10,
"false alerts": [1, 0, 1, 1, 0, 1, 0, 1, 12, 9],
})
total = tiny[["honest payments", "false alerts"]].sum()
print(f"all customers: {total['false alerts'] / total['honest payments'] * 10_000:.0f} false alerts per 10,000 honest payments")
by_group = tiny.groupby("customer")[["honest payments", "false alerts"]].sum()
by_group["per 10,000"] = by_group["false alerts"] / by_group["honest payments"] * 10_000
by_group

La sortie :

all customers: 260 false alerts per 10,000 honest payments
honest payments false alerts per 10,000
customer
business 200 21 1050.0
personal 800 5 62.5

Ensemble, les clients reçoivent 26 fausses alertes pour 1 000 paiements, soit 260 pour 10 000. Mais les entreprises en reçoivent 1 050 pour 10 000, et les particuliers, 62,5. Les entreprises en reçoivent environ 17 fois plus. La moyenne de 260 ne décrit aucun des deux groupes.

Cette leçon compte les fausses alertes pour 10 000 paiements honnêtes. C’est un taux, ce qui permet de comparer des groupes de tailles différentes. Il utilise seulement les paiements honnêtes. Ainsi, les fraudes réelles d’un groupe ne font pas paraître son taux pire.

Une tranche est un groupe de données, comme les paiements des entreprises ou les paiements faits à l’étranger. Analyser par tranche signifie calculer la même mesure pour chaque groupe, côte à côte. C’est la deuxième question de l’alarme de porte. Ce n’est pas « à quelle fréquence sonne-t-elle par erreur? », mais « pour qui sonne-t-elle par erreur? ».

Supposons que les erreurs d’un système touchent beaucoup plus souvent un groupe de personnes. Le système traite alors ces personnes injustement, même si personne ne l’a prévu. C’est une question d’équité. Sécurité de l’IA, vie privée et conception responsable l’enseigne en profondeur. Biais et accessibilité teste un système groupe par groupe. Impact et coût des erreurs détermine qui doit réviser une décision qui peut nuire à quelqu’un. Cette leçon ne répète pas ce cours. Elle montre comment trouver un tel groupe dans les alertes d’un détecteur et ce que Larkfield fait à ce sujet.

Une fausse alerte ne représente pas seulement 4 minutes du temps de Sofia. Elle touche aussi un vrai client dont le paiement est retenu ou bloqué :

Un flux. Un paiement honnête, par exemple celui d'une entreprise qui commande 12 chaises de jardin, mène à une fausse alerte. Son score figure parmi les 50 plus élevés de la journée. La fausse alerte mène à deux cases : un réviseur la lit (4 minutes, environ 3 dollars), et le paiement est retenu ou bloqué. Le paiement retenu mène au client, qui perd du temps et peut perdre son panier et sa confiance. Une flèche pointillée, le même groupe encore et encore, revient au paiement honnête.
Les 3 dollars de révision sont le coût que le cours compte en argent. Le coût pour le client est compté séparément : le cours ne lui invente pas de valeur monétaire.
Description textuelle du diagramme

Le diagramme commence par un paiement honnête, par exemple celui d’une entreprise qui commande 12 chaises de jardin. Une flèche mène à une fausse alerte : le score du paiement figure parmi les 50 plus élevés de la journée. Deux flèches partent de la fausse alerte. L’une va vers « un réviseur la lit » : 4 minutes, environ 3 dollars. L’autre va vers « le paiement est retenu ou bloqué ». De là, une flèche mène au client, qui perd du temps et peut perdre son panier et une partie de sa confiance. Une flèche pointillée intitulée « le même groupe, encore et encore » revient du client au paiement honnête. Le même type de client fait le même type de paiement la semaine suivante.

Le coût par semaine du cours compte les 3 dollars de révision. Il ne donne pas de valeur monétaire au coût pour le client : un panier perdu, un appel au soutien, un client qui change de magasin. Le coût par semaine ne peut donc pas montrer ce tort à lui seul. Un tableau par tranche le peut.

Priya, la scientifique des données de Larkfield, utilise Isolation Forest à 50 alertes par jour, le détecteur des dernières leçons. Pendant les mois d’évaluation, 2 274 des 166 986 paiements honnêtes ont déclenché une alerte : 136,2 pour 10 000. La fonction false_alerts_by() du carnet donne le taux pour chaque groupe d’une colonne, avec ses nombres :

def false_alerts_by(groups, flags=None):
"""False alerts per 10,000 honest payments, for each group; with the counts, so small groups show.
flags: one True/False per evaluation payment (an alert or not); by default, Isolation Forest's top 50 a day."""
flags = alert if flags is None else flags
t = pd.DataFrame({"group": np.asarray(groups)[honest], "alert": flags[honest]})
out = t.groupby("group").alert.agg(false_alerts="sum", honest_payments="size")
out["per 10,000"] = (out.false_alerts / out.honest_payments * 10_000).round(1)
return out.sort_values("per 10,000", ascending=False)
false_alerts_by(evaluation.account_type)

La sortie :

false_alerts honest_payments per 10,000
group
business 1658 37337 444.1
personal 616 129649 47.5

Les entreprises ont fait 22 % des paiements honnêtes et reçu 73 % des fausses alertes (1 658 sur 2 274). Pour 10 000 paiements honnêtes, elles reçoivent 444,1 fausses alertes, contre 47,5 pour les particuliers : 9,3 fois plus.

Isolation Forest à 50 alertes par jour, de septembre à novembre 2025. Les entreprises reçoivent 9,3 fois plus de fausses alertes que les particuliers. Les paiements faits à l'étranger en reçoivent le plus, mais seulement 272 paiements honnêtes ont été faits à l'étranger.
Description textuelle du graphique

Un diagramme à colonnes des fausses alertes pour 10 000 paiements honnêtes, pour quatre groupes. Entreprises : 444,1. Particuliers : 47,5. Paiements faits à l’étranger : 661,8, sur seulement 272 paiements honnêtes. Paiements au Canada : 135,3. La moyenne sur tous les paiements honnêtes est de 136,2.

L’appareil compte moins : les paiements sur ordinateur reçoivent 199,5 fausses alertes pour 10 000; sur mobile, 117,0; sur tablette, 75,9. Cette tranche recoupe en partie la précédente. En effet, 59,4 % des paiements des entreprises viennent d’un ordinateur, contre 25,7 % de ceux des particuliers.

Les variables de comportement comparent chaque paiement au passé du client et comptent les paiements de la dernière heure. Une entreprise qui achète pour un projet fait beaucoup de gros paiements en une heure, depuis un seul ordinateur. Pour ces variables, cela ressemble à des tests de carte ou à une carte volée. Le module 2 a montré la même chose avec la règle de vélocité. Sur ses 1 788 fausses alertes, 1 785 étaient des commandes en gros d’entreprises.

Les alertes des entreprises sont-elles au moins utiles? Isolation Forest trouve 243 des 268 paiements insérés d’entreprises (90,7 %) et 2 033 des 2 549 paiements insérés de particuliers (79,8 %). Il trouve donc bien les fraudes des entreprises. Il le paie avec beaucoup de fausses alertes sur des entreprises honnêtes.

Un taux par paiement ne montre pas si les fausses alertes touchent beaucoup de clients ou toujours les mêmes quelques clients. Priya compte donc les clients concernés :

false = evaluation[alert & honest]
per_customer = false.groupby("customer_id").size()
account = evaluation.groupby("customer_id").account_type.first()
pd.DataFrame({"customers": account.value_counts(),
"with a false alert": account[per_customer.index].value_counts(),
"with 3 or more": account[per_customer[per_customer >= 3].index].value_counts(),
"most for one customer": per_customer.groupby(account[per_customer.index]).max()})

La sortie :

customers with a false alert with 3 or more most for one customer
account_type
business 2105 420 245 19
personal 21289 558 7 3

En 13 semaines, 420 des 2 105 entreprises ont reçu au moins une fausse alerte : une entreprise sur cinq. Parmi elles, 245 en ont reçu trois ou plus, et une entreprise en a reçu 19. Parmi les 21 289 particuliers, seulement 7 en ont reçu trois ou plus. Comme les clients de la jardinerie, les mêmes entreprises honnêtes sont arrêtées encore et encore.

Une petite tranche : les paiements faits à l’étranger

Section intitulée « Une petite tranche : les paiements faits à l’étranger »

Les paiements faits à l’étranger ont le taux le plus élevé : 661,8 pour 10 000. Mais regardez d’abord les nombres. Seulement 272 paiements honnêtes ont été faits à l’étranger en trois mois, et 18 ont déclenché une alerte. Une petite tranche varie beaucoup par hasard. Priya ajoute donc l’intervalle à 95 % de la dernière leçon :

false_alerts honest_payments per 10,000 95% interval per 10,000
group
abroad 18 272 661.8 366 to 957
in Canada 2256 166714 135.3 130 to 141

Le taux à l’étranger se situe entre 366 et 957 pour 10 000. Même sa borne inférieure dépasse largement les 135,3 du Canada; la différence est donc réelle. Mais « 661,8 » donne une fausse impression de précision : ce nombre repose sur 18 alertes. Rapportez les nombres avec le taux, et un intervalle quand la tranche est petite. Les clients qui voyagent sont honnêtes, mais le détecteur les arrête souvent. Un nouveau pays est un signe fort de carte volée.

Priya s’attendait aussi à ce que deux groupes soient davantage arrêtés : les nouveaux clients, qui ont peu d’historique, et la nouvelle région east (est), active depuis le 1er septembre 2025.

region
false_alerts honest_payments per 10,000
group
north 950 64227 147.9
coast 470 32677 143.8
south 610 46778 130.4
east 244 23304 104.7
customer age
false_alerts honest_payments per 10,000
group
older 2056 146872 140.0
first 30 days 218 20114 108.4

Les deux sont sous la moyenne. Les clients dans leurs 30 premiers jours reçoivent 108,4 fausses alertes pour 10 000, contre 140,0 pour les clients plus anciens. La région east reçoit 104,7, le taux le plus bas des quatre régions. Un tableau par tranche qui ne trouve aucun problème est utile aussi : il remplace une supposition par des preuves.

Priya, Sofia et Omar discutent de la tranche des entreprises. Plusieurs corrections sont possibles, et chacune a un coût :

  • Ne bloquez pas selon le score seul. Une alerte envoie le paiement à un réviseur, pas à un blocage automatique. Pour une alerte d’entreprise, la première étape est un appel ou un message au client. Cela prend du temps de révision et protège le client.
  • Donnez au détecteur le contexte manquant. Les variables traitent une commande en gros comme des tests de carte. Une variable comme « cette entreprise commande habituellement en gros » pourrait aider. Il faut la mesurer de nouveau dans le tableau comparatif. Elle peut aussi cacher une vraie prise de contrôle d’un compte d’entreprise.
  • Rapportez la tranche avec les autres nombres. Chaque rapport du détecteur montre la précision au budget et le coût par semaine. Il montre aussi les fausses alertes pour 10 000 paiements honnêtes, pour les entreprises et les particuliers.

Un quota d’alertes distinct pour chaque groupe est risqué. Il peut cacher de vraies fraudes dans un groupe pour rendre les nombres égaux. Le cours Sécurité de l’IA, vie privée et conception responsable discute de tels compromis.

Analysez par tranche chaque détecteur dont les alertes touchent les clients. Utilisez les groupes sur lesquels l’entreprise peut agir : type de compte, pays, appareil, région, ancienneté du client. Refaites cette analyse après chaque changement du détecteur ou de ses variables.

L’analyse par tranche coûte peu : les alertes et une colonne pour chaque groupe. Les pièges sont dans l’interprétation. Une petite tranche varie par hasard; montrez donc toujours son nombre et un intervalle. Beaucoup de tranches signifient beaucoup de comparaisons. Certaines sembleront élevées par hasard, comme dans les tests de dérive du module 3. Certains groupes nécessitent aussi des données qu’il ne faut pas collecter sans bonne raison, comme l’âge ou l’origine d’une personne. Demandez avant d’ajouter une telle colonne; le cours Sécurité de l’IA, vie privée et conception responsable couvre ce sujet.

Exercice guidé : analyser les fausses alertes par tranche

Section intitulée « Exercice guidé : analyser les fausses alertes par tranche »
  1. Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet en haut de cette page.
  2. Exécutez les cellules de préparation. La cellule de données se termine par la ligne Ready: (prêt).
  3. Dans la section 1, prédisez si les entreprises sont proches de la moyenne. Puis exécutez le petit exemple. Vous voyez 1050.0 et 62.5.
  4. Dans la section 2, exécutez la cellule qui entraîne Isolation Forest. Vous voyez 136.2 per 10,000 (136,2 pour 10 000).
  5. Dans la section 3, exécutez la tranche par type de compte. Vous voyez 444.1 pour les entreprises.
  6. Dans la section 4, exécutez la tranche de l’étranger. Vous voyez 366 to 957 (366 à 957).
  7. Dans la section 5, exécutez les tranches par appareil, région et ancienneté. Vous voyez 108.4 pour les 30 premiers jours.
  8. Exécutez le compte des clients. Vous voyez 245 entreprises avec 3 fausses alertes ou plus.

La section 6 du carnet contient deux tâches. D’abord, analysez les fausses alertes par merchant_category (catégorie de marchand). Écrivez la catégorie au taux le plus élevé dans worst_category. Ensuite, calculez les fausses alertes pour 10 000 paiements honnêtes de nuit dans night_per_10000. La nuit va de 0 h à 5 h 59, soit hour (heure) de 0 à 5. Avant d’exécuter ces tâches, prédisez quelle catégorie est la pire.

Afficher les réponses
by_category = false_alerts_by(evaluation.merchant_category)
worst_category = by_category.index[0]
night = np.where(evaluation.hour.between(0, 5), "night", "day")
night_per_10000 = float(false_alerts_by(night).loc["night", "per 10,000"])

worst_category est furniture (meubles), avec 350,2 fausses alertes pour 10 000 paiements honnêtes, puis tools (outils) avec 234,7. L’électronique a le taux le plus bas, 40,5. Les entreprises achètent de grosses commandes de meubles et d’outils. night_per_10000 est 841.5, contre 112,6 le jour : les clients honnêtes qui paient la nuit sont arrêtés environ 7,5 fois plus souvent. La tranche de nuit contient 5 395 paiements honnêtes; ce n’est donc pas une toute petite tranche.

Erreur courante

Une bonne moyenne et un groupe qui paie

Symptôme : Tomás présente le détecteur à Omar : « Seulement 136 fausses alertes pour 10 000 paiements honnêtes, environ 1,4 %. Les clients le remarqueront à peine. » Deux semaines plus tard, le soutien reçoit beaucoup d’appels d’entreprises dont les commandes ont été retenues. Certaines ont eu trois ou quatre commandes retenues.

Cause : la moyenne mélange 129 649 paiements honnêtes de particuliers, avec 47,5 fausses alertes pour 10 000, et 37 337 paiements honnêtes d’entreprises, avec 444,1. En 13 semaines, 245 entreprises ont reçu trois fausses alertes ou plus. La moyenne est juste, et elle ne décrit personne.

Correction : avant la mise en service d’un détecteur, analysez les fausses alertes par groupes pertinents, avec leurs nombres. Rapportez la pire tranche à côté de la moyenne. Puis changez l’action pour cette tranche, par exemple un appel avant tout blocage, ou changez les variables, et mesurez de nouveau.

Conséquence pour le travail en IA : un système acceptable en moyenne peut mal traiter un groupe, encore et encore, sans aucune erreur dans un journal. Le tort apparaît tard, sous forme de plaintes ou de clients perdus. Il peut aussi créer des problèmes juridiques et de réputation.

Exercice du module : défendre un détecteur auprès de Sofia

Section intitulée « Exercice du module : défendre un détecteur auprès de Sofia »

Cet exercice réunit les quatre leçons du module. La tâche : choisir entre Isolation Forest (forêt d’isolement) et la distance aux k plus proches voisins (kNN) pour l’équipe de Sofia, à 50 alertes par jour. Défendez votre choix en trois phrases, avec la précision au budget, le coût par semaine et le résultat d’une tranche.

Dans la section 7 du carnet (notebook) Jupyter, Priya évalue les deux détecteurs avec compare.score_payments(). Elle répartit les fausses alertes de kNN par type de compte :

from sklearn.neighbors import NearestNeighbors
X_ref = scaler.transform(behaviour.loc[reference.index])
sample = X_ref[np.random.default_rng(0).choice(len(X_ref), 20_000, replace=False)] # kNN, as in Module 4
dist, _ = NearestNeighbors(n_neighbors=10).fit(sample).kneighbors(scaler.transform(behaviour.loc[evaluation.index]))
knn = dist[:, -1]
table = compare.Table()
table.add(compare.score_payments(evaluation, score, "Isolation Forest", "behaviour features, 50 a day"))
table.add(compare.score_payments(evaluation, knn, "kNN distance", "behaviour features, 50 a day"))
table.show()
knn_alert = compare.daily_alerts(evaluation, knn, 50).set_index("payment_id").reviewed.reindex(evaluation.payment_id).to_numpy()
false_alerts_by(evaluation.account_type, knn_alert)

La sortie :

detector setting alerts per day precision at budget recall cost per week ($) explain one alert (min)
Isolation Forest behaviour features, 50 a day 50.0 0.500 0.808 3218 None
kNN distance behaviour features, 50 a day 50.0 0.505 0.816 2739 None
false_alerts honest_payments per 10,000
group
business 1056 37337 282.8
personal 1196 129649 92.2

La distance kNN a presque la même précision (0,505 contre 0,500). Elle coûte aussi 479 dollars de moins par semaine (2 739 contre 3 218). Ses fausses alertes touchent moins les entreprises : 282,8 par 10 000 paiements honnêtes, contre 444,1 pour Isolation Forest. Elles touchent davantage les particuliers : 92,2 contre 47,5. Ainsi, kNN répartit ses fausses alertes plus également. Le taux des entreprises est 3,1 fois celui des particuliers, plutôt que 9,3 fois.

Les trois phrases de Priya pour Sofia :

Nous recommandons la distance kNN à 50 alertes par jour : 50,5 % de ses alertes sont des fraudes insérées. Elle coûte 2 739 dollars par semaine, contre 3 218 pour Isolation Forest (fraudes manquées plus 3 dollars par fausse alerte, selon nos hypothèses). Les entreprises reçoivent encore 282,8 fausses alertes par 10 000 paiements honnêtes, trois fois le taux des particuliers. Chaque alerte d’entreprise commence donc par un appel, pas par un blocage. La précision provient de fraudes insérées. Durant le premier mois, nous révisons un échantillon aléatoire de 200 alertes pour la vérifier sur des paiements réels.

Écrivez les mêmes trois phrases pour un responsable de la fraude qui s’intéresse surtout aux clients qui voyagent. Dans le carnet, répartissez les fausses alertes de kNN selon les paiements faits à l’étranger. Utilisez np.where(evaluation.country == "CA", "in Canada", "abroad"), avec knn_alert comme indicateurs, et ajoutez l’intervalle à 95 % comme dans la section 4. Dites si la tranche est assez grande pour être fiable et ce que Larkfield devrait faire pour un paiement à l’étranger. Il n’y a pas de réponse unique : une bonne réponse utilise les nombres que vous avez calculés, avec leurs dénombrements.

Défendez le choix d’un détecteur auprès d’un responsable de la fraude, comme dans l’exercice du module. Votre réponse doit inclure le détecteur, son budget et sa précision au budget. Elle doit inclure son coût par semaine, avec les coûts que vous avez supposés. Elle doit aussi inclure le résultat d’une tranche avec ses dénombrements, et ce que vous ferez à ce sujet. Dites quel nombre provient de cas insérés et comment vous le vérifierez sur des paiements réels.

Vérifiez votre compréhension

Isolation Forest envoie 136,2 fausses alertes par 10 000 paiements honnêtes. Les entreprises en reçoivent 444,1 et les particuliers, 47,5. Expliquez comment la moyenne peut être faible alors qu'un groupe en reçoit autant. Pourquoi la tranche compte-t-elle plus que la moyenne pour une entreprise cliente?

Afficher la réponse

La moyenne pondère chaque groupe selon son nombre de paiements. Les particuliers ont effectué 129 649 des 166 986 paiements honnêtes. Leur faible taux fait donc baisser la moyenne. Le taux élevé des entreprises ne compte que pour 37 337 paiements. Pour une entreprise cliente, la moyenne ne représente pas son expérience. Une entreprise sur cinq a reçu une fausse alerte en 13 semaines. Parmi les entreprises, 245 en ont reçu trois ou plus, et une en a reçu 19. Chaque fausse alerte peut retenir une vraie commande. Les mêmes clients subissent donc les conséquences à répétition.

Vérifiez votre compréhension

Les paiements à l'étranger reçoivent 661,8 fausses alertes par 10 000 paiements honnêtes. Ce taux vient de 18 fausses alertes parmi 272 paiements honnêtes. Comment devriez-vous présenter ce nombre, et que vous apprend-il?

Afficher la réponse

Présentez-le avec ses dénombrements et son intervalle à 95 % : 18 sur 272, soit environ 366 à 957 par 10 000. La tranche est petite, donc le taux exact est incertain. Mais même la limite inférieure de l’intervalle dépasse largement le taux de 135,3 du Canada. La différence est donc réelle. Le détecteur bloque beaucoup plus souvent les clients honnêtes qui paient à l’étranger. Un nouveau pays est un signe fort de carte volée. Le détecteur traite donc les voyageurs comme des suspects.

Vérifiez votre compréhension

Tomás s'attendait à ce que les nouveaux clients (30 premiers jours) et la nouvelle région east reçoivent le plus de fausses alertes. Les tranches montrent des taux de 108,4 et de 104,7 par 10 000, sous la moyenne de 136,2. Qu'apprenez-vous de ce résultat?

Afficher la réponse

Une tranche sans problème fournit quand même une preuve : elle remplace une supposition par une mesure. Ici, la supposition était fausse. Les groupes à risque étaient autres : entreprises, clients qui paient à l’étranger, paiements de nuit. Mesurez donc chaque groupe pour lequel l’entreprise peut agir. Ne décidez pas à l’avance lesquels sont à risque. Analysez de nouveau les tranches après chaque changement du détecteur. Une nouvelle variable peut déplacer les fausses alertes vers un autre groupe.

Récapitulatif

  • Une moyenne de fausses alertes peut cacher un groupe qui en reçoit beaucoup plus. Comptez les fausses alertes par 10 000 paiements honnêtes, tranche par tranche : les entreprises en reçoivent 444,1, les particuliers, 47,5.
  • Comptez aussi les clients : 245 des 2 105 entreprises clientes ont reçu trois fausses alertes ou plus en 13 semaines. Une en a reçu 19.
  • Présentez chaque tranche avec ses dénombrements et un intervalle à 95 % lorsqu’elle est petite. Pour les paiements à l’étranger : 18 sur 272, soit 366 à 957 par 10 000.
  • Certaines tranches prévues ne posent pas de problème : nouveaux clients (108,4) et nouvelle région (104,7) sont sous la moyenne. Mesurez, ne supposez pas.
  • Une fausse alerte peut bloquer un client honnête. Comptez cette conséquence séparément de l’argent et changez l’action pour la tranche : un appel avant tout blocage. L’équité de ces décisions est le sujet du cours Sécurité de l’IA, vie privée et conception responsable.

Dans ce module, vous avez mesuré un détecteur par sa précision au budget, son coût par semaine et ses tranches. Vous l’avez fait avec et sans corrigé complet. Mais chaque révision de l’équipe de Sofia produit une étiquette, et le détecteur les ignore toutes. Ensuite, vous utilisez les étiquettes des réviseurs pour reclasser les alertes.

Leçon suivante : Du non supervisé au semi-supervisé