Le paiement qui ne cadrait pas
- Leçon 1
- 25 min
- Module 1 : Ce que « inhabituel » veut dire
Où nous en sommes
Dans le cours d'apprentissage automatique, nous avons entraîné un modèle avec de nombreux exemples étiquetés et choisi un seuil pour l'équipe. Certains problèmes offrent très peu d'étiquettes : une carte volée est rare, et personne ne la signale à l'avance. Dans cette leçon, nous examinons un paiement qui ne cadre pas, puis le coût d'une fraude manquée et d'une fausse alerte.
Leçon 1 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelLe paiement qui ne cadrait pas
1. Ce que « inhabituel » veut dire
2. Des références de base simples et difficiles à battre
3. Maîtrise statistique des procédés et dérive de distribution
- Cartes de contrôle : cette variation est-elle normale?
- Règles pour les motifs, et le prix de chaque règle
- Cartes pour les taux et les dénombrements
- Petits décalages durables : CUSUM et EWMA
- La distribution a-t-elle changé?
- Dérive dans de nombreuses variables, et quoi faire
- Loi de Benford et autres vérifications d'affaires
4. Distance, densité et isolement
5. Les anomalies dans le temps
6. Méthodes profondes et plongements
7. Évaluer avec peu d'étiquettes
8. Apprendre des réviseurs
9. Exploiter un détecteur en production
Ce que vous saurez faire
Voyez pourquoi un programme doit définir ce qui est « normal » avant de trouver ce qui est inhabituel. Transformez ensuite un souhait vague, « trouver la fraude », en problème avec une unité, un moment, un coût et un budget quotidien.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Ce qu’est un tableau de données : des lignes et des colonnes. Pour un rappel, lisez Décrire un jeu de données dans Mathématiques et statistiques essentielles pour l’IA.
- Connaître la précision et le rappel est utile, mais pas obligatoire. Ces notions viennent de Les métriques de classification dans Apprentissage automatique : du problème à un modèle fiable. Cette leçon explique la seule idée dont elle a besoin.
Ce qu’il vous faut sur votre ordinateur
Rien. Cette leçon ne contient pas de code. Vous ouvrirez les données du cours dans un carnet (notebook) Jupyter dans Découvrir les données de Larkfield, la dernière leçon de ce module.
La propriétaire du café qui connaît sa clientèle
Section intitulée « La propriétaire du café qui connaît sa clientèle »Imaginez un petit café. Chaque samedi matin à 9 h, la même femme entre. Elle achète un café et une pâtisserie, paie environ 15 dollars avec son téléphone, puis repart. La propriétaire ne note rien. Après quelques mois, elle connaît bien les habitudes de cette cliente.
Imaginez maintenant que le terminal de paiement du café affiche huit paiements sur la carte de cette même femme. Ils arrivent à 2 h du matin, d’un autre pays, sur un téléphone que le café n’a jamais vu. Le tout se produit en quelques minutes. La propriétaire n’a pas besoin d’un manuel de règles. Elle sait immédiatement que cela ne cadre pas. La carte a peut-être été volée.
Remarquez ce que la propriétaire a fait. Elle n’a pas demandé « ce paiement est-il élevé? » Elle a comparé les nouveaux paiements aux habitudes de cette cliente : le jour, l’heure, le lieu, le téléphone et la rapidité. Chaque question de ce cours commence de la même façon : inhabituel par rapport à quoi?
Le paiement qui ne cadrait pas, chez Larkfield
Section intitulée « Le paiement qui ne cadrait pas, chez Larkfield »Larkfield est la boutique en ligne de produits pour la maison et le jardin que vous connaissez peut-être d’autres cours. Dans ce cours, Larkfield veut trouver les événements inhabituels avant qu’ils coûtent de l’argent. Par exemple : des cartes volées, des remboursements inhabituels, un service défaillant et un flux de données interrompu. Toutes ses données sont inventées pour le cours. Chaque problème qu’elles contiennent est une anomalie que nous avons insérée volontairement. Nous conservons une liste des anomalies insérées, appelée le corrigé, pour vérifier chaque détecteur.
Larkfield a une cliente qui ressemble à l’habituée du café : la cliente C-01234. De juin à septembre 2025, elle a payé Larkfield 17 fois. Chaque paiement a eu lieu un samedi, entre 9 h et 10 h, au Canada, depuis le même téléphone (appareil D-6674e29). Les montants étaient petits : de 11,15 à 17,98 dollars, pour des produits de cuisine et de maison.
Puis, le vendredi 3 octobre 2025, ces huit paiements sont arrivés :
| Heure | Montant (dollars) | Pays | Devise | Appareil | Catégorie |
|---|---|---|---|---|---|
| 02:14:07 | 24,27 | PT | EUR | D-9f3e1a2 | home |
| 02:15:05 | 19,26 | PT | EUR | D-9f3e1a2 | gift_cards |
| 02:16:16 | 20,66 | PT | EUR | D-9f3e1a2 | electronics |
| 02:17:17 | 18,88 | PT | EUR | D-9f3e1a2 | electronics |
| 02:18:18 | 24,39 | PT | EUR | D-9f3e1a2 | home |
| 02:19:13 | 19,16 | PT | EUR | D-9f3e1a2 | electronics |
| 02:20:23 | 24,36 | PT | EUR | D-9f3e1a2 | home |
| 02:21:31 | 19,25 | PT | EUR | D-9f3e1a2 | home |
PT désigne le Portugal. La colonne currency (devise) indique des euros, mais la colonne amount (montant) est toujours en dollars canadiens. Vous pouvez donc comparer les montants directement. Les huit paiements ont pris 7,4 minutes et totalisent 170,23 dollars. Cet épisode figure dans le corrigé : une carte volée.
Ce qui a changé, et ce qui n’a pas changé
Section intitulée « Ce qui a changé, et ce qui n’a pas changé »Comparez les habitudes de la cliente à cette nuit-là, une caractéristique à la fois :
| Caractéristique | Les 17 paiements habituels | Les 8 paiements du 3 octobre |
|---|---|---|
| Jour et heure | Samedi, de 9 h à 10 h | Vendredi, de 2 h 14 à 2 h 21 du matin |
| Pays | Canada | Portugal |
| Appareil | D-6674e29, toujours | D-9f3e1a2, jamais vu pour elle |
| Temps entre les paiements | une semaine | environ une minute |
| Montant | de 11,15 à 17,98 dollars | de 18,88 à 24,39 dollars |
Quatre caractéristiques ont beaucoup changé. Une seule a peu changé : le montant. Le graphique montre les 25 paiements en ordre chronologique :
- Paiements habituels du samedi au Canada
- 3 octobre, Portugal (insérés)
Description textuelle du graphique
Le graphique compte 25 points, un par paiement, en ordre chronologique de gauche à droite. L’axe vertical représente le montant, de 0 à 30 dollars. Les 17 premiers points sont les paiements habituels du samedi au Canada, entre 11,15 et 17,98 dollars. Les points 18 à 25 sont les huit paiements insérés du Portugal, entre 18,88 et 24,39 dollars. Ils se trouvent juste au-dessus des paiements habituels. Rien ne ressort dans le graphique.
Ce graphique résume la première leçon du cours. Le voleur a choisi de petits montants. Un détecteur qui regarde seulement le montant ne voit donc rien de particulier. La fraude devient visible seulement quand vous comparez le paiement au passé de la cliente. Regardez son jour, son heure, son pays, son appareil et son rythme.
Pourquoi un programme ne peut pas simplement regarder
Section intitulée « Pourquoi un programme ne peut pas simplement regarder »La propriétaire du café vérifie quelques paiements par jour. Larkfield reçoit environ 1 875 paiements par carte par jour. Le 3 octobre 2025, elle en a reçu 1 780. Si une personne consacrait 4 minutes à chacun, cette seule journée demanderait 118,7 heures de travail. Sur les six mois de données, Larkfield compte 343 074 paiements provenant de 24 038 clients. Personne ne peut tous les examiner.
Un programme doit donc faire ce que la propriétaire du café fait dans sa tête. Priya, la scientifique des données de Larkfield, construit ces programmes dans ce cours et les compare tous de la même façon. C’est le rôle de la détection d’anomalies : trouver les lignes de données qui ne suivent pas le comportement normal parmi toutes celles qui le suivent. Une anomalie est une valeur ou un événement inhabituel par rapport à une définition claire de ce qui est normal. En mots courants, c’est « ce qui ne cadre pas ».
Pour imiter la propriétaire du café, un programme a besoin de trois réponses qu’elle n’a jamais dû formuler :
- Normal pour qui? Pour toute la clientèle, ou pour cette cliente? Le montant habituel des paiements de Larkfield dépasse largement 15 dollars. Les huit paiements semblent donc normaux par rapport à l’ensemble de la clientèle. Par rapport à cette cliente, ils ne le sont pas.
- Normal selon quelles caractéristiques? Ici, le pays, l’appareil, l’heure et le temps entre les paiements portent le signal. Le montant n’en porte presque aucun.
- À quel point un écart devient-il « trop grand »? Chaque client change parfois ses habitudes. Une cliente qui voyage au Portugal pour ses vacances paie aussi depuis le Portugal. Les données de Larkfield contiennent 703 paiements de ce type, faits en voyage, et ils sont honnêtes.
Le point 3 est très important. Inhabituel ne veut pas dire incorrect. Une cliente en vacances, une entreprise qui commande 50 chaises de jardin et le Vendredi fou sont tous inhabituels et honnêtes. Un bon détecteur trouve ce qui est à la fois inhabituel et coûteux, et laisse le reste tranquille.
Deux erreurs, et le coût de chacune
Section intitulée « Deux erreurs, et le coût de chacune »Un détecteur peut se tromper de deux façons. Il peut rester silencieux devant une vraie fraude : une fraude manquée. Ou il peut envoyer une alerte pour un paiement honnête : une fausse alerte. Omar, le gestionnaire de produit de Larkfield, pose la question utile : « Combien nous coûte chaque erreur? »
Description textuelle du diagramme
Le diagramme est une grille de deux colonnes et deux lignes. Les colonnes indiquent si le paiement est réellement frauduleux ou honnête. Les lignes indiquent si le détecteur envoie une alerte ou reste silencieux. En haut à gauche, une alerte pour une fraude : la fraude est détectée, et l’équipe de Sofia bloque la carte. Cela coûte une révision de 4 minutes, soit environ 3 dollars. En haut à droite, une alerte pour un paiement honnête : une fausse alerte. Elle coûte une révision. Si le paiement est bloqué, elle coûte aussi un achat perdu et une perte de confiance. En bas à gauche, aucune alerte pour une fraude : une fraude manquée. Elle coûte le montant plus 15 dollars de frais de rétrofacturation pour chaque paiement. Pour les huit paiements au Portugal, cela donne 170,23 + 8 × 15 = 290,23 dollars. En bas à droite, aucune alerte pour un paiement honnête : rien ne se passe. Les deux erreurs, la fausse alerte et la fraude manquée, ont une bordure épaisse.
Le cours utilise les mêmes coûts dans chaque leçon. Ce sont des hypothèses, choisies pour être réalistes. Vous pouvez les modifier pour votre propre travail :
- Une fraude manquée coûte le montant volé plus 15 dollars de frais de rétrofacturation pour chaque paiement. Lors d’une rétrofacturation, la banque du titulaire de la carte reprend l’argent à la boutique. La banque facture aussi des frais à la boutique.
- Une fausse alerte coûte environ 3 dollars : 4 minutes du temps d’un réviseur.
- Un paiement honnête bloqué coûte un achat perdu et une partie de la confiance du client. Le cours compte ces conséquences séparément et ne leur attribue aucune valeur monétaire. Un chiffre inventé masquerait une vraie question.
Un petit calcul
Section intitulée « Un petit calcul »Si Larkfield manque les huit paiements au Portugal, elle perd 170,23 + 8 × 15 = 290,23 dollars. Une fausse alerte coûte 3 dollars. Donc, 290,23 ÷ 3 ≈ 97 : manquer un épisode comme celui-ci coûte à peu près autant que 97 fausses alertes.
Cela veut-il dire « envoyer beaucoup d’alertes »? Non, pour deux raisons. Premièrement, chaque fausse alerte prend le temps d’une vraie personne. Deuxièmement, Larkfield peut bloquer des paiements honnêtes plutôt que seulement les examiner. Des clients comme la personne en vacances au Portugal ne peuvent alors plus payer. Certains cessent d’acheter chez Larkfield. Omar se soucie des deux côtés, et le détecteur doit en faire autant.
Cinquante places par jour
Section intitulée « Cinquante places par jour »Sofia est l’analyste des risques liés aux paiements de Larkfield. Son équipe examine les alertes chaque jour : elle regarde le paiement, appelle le client au besoin et bloque la carte si elle est volée. Elle a le temps de traiter 50 alertes par jour. Ce nombre est le budget d’alertes, et c’est aussi une hypothèse du cours.
Imaginez le budget comme 50 places vides à remplir chaque matin. Chaque place correspond à une alerte, et chaque alerte prend 4 minutes. Le rôle du détecteur n’est pas de « trouver toutes les fraudes ». Son rôle est de choisir les 50 paiements qui occuperont ces places.
Description textuelle du diagramme
En haut, l’image indique : 3 octobre 2025, 1 780 paiements, dont 25 fraudes insérées. L’équipe de Sofia peut en examiner 50, et une place correspond à une alerte de 4 minutes. En dessous se trouvent deux grilles de 50 carrés, répartis en cinq lignes de dix. Un carré rempli représente une fraude insérée; un carré vide représente un paiement honnête. Dans la première grille, un seul carré est rempli : 50 paiements choisis au hasard contenaient 1 fraude insérée. Dans la deuxième grille, 25 carrés sont remplis. Un détecteur qui connaissait les réponses placerait les 25 paiements insérés de la journée dans les places. Les 25 autres places contiendraient encore des paiements honnêtes, car il n’y avait plus de fraude à trouver.
L’image montre l’ampleur du problème. Ce jour-là, 50 places couvrent 2,8 % des paiements. Un choix au hasard a trouvé 1 fraude sur 50. La deuxième grille révèle une surprise. Même un détecteur parfait ne peut remplir toutes les places avec des fraudes un jour qui en compte moins de 50. Le cours évalue les détecteurs sur trois mois d’évaluation. Sur cette période, Larkfield compte environ 31 paiements insérés par jour, et 78 des 91 jours en comptent moins de 50.
Le cours juge donc un détecteur selon un nombre principal : la part de vraies anomalies parmi les 50 alertes examinées chaque jour par l’équipe de Sofia. C’est la précision au budget. Si 20 des 50 alertes sont des fraudes insérées, la précision au budget est de 20 ÷ 50 = 0,40. Le cours d’apprentissage automatique appelait cette même idée la précision. Ici, nous la mesurons seulement sur les alertes que les personnes peuvent réellement examiner.
De « trouver la fraude » à un problème de détection
Section intitulée « De « trouver la fraude » à un problème de détection »« Trouver la fraude » est un souhait, pas un problème qu’un programme peut résoudre. Un programme a besoin de quatre éléments :
| Élément | La question à laquelle il répond | Pour les paiements de Sofia |
|---|---|---|
| Unité | À quoi correspond un score? | Un paiement par carte |
| Moment | Quand le score doit-il être prêt? | Chaque jour, pour les paiements de cette journée |
| Coût | Combien coûte chaque erreur? | Une fraude manquée : le montant + 15 dollars. Une fausse alerte : 3 dollars |
| Budget | Combien d’alertes les personnes peuvent-elles examiner? | 50 par jour |
Avec ces quatre éléments, « trouver la fraude » devient : « Chaque jour, donnez un score à chaque paiement par carte. Présentez les 50 paiements aux scores les plus élevés à l’équipe de Sofia. Choisissez les scores pour minimiser le coût des fraudes manquées et des fausses alertes. » Nous pouvons maintenant mesurer n’importe quel détecteur et en comparer deux équitablement.
L’unité n’est pas toujours un paiement. Grace, la responsable du soutien de Larkfield, regarde les remboursements par agent par jour. Amira développe le service ticket-api du centre de soutien. Elle regarde sa latence par minute. Changer d’unité change tout le problème, comme le montre la prochaine leçon.
Quand la détection d’anomalies n’est pas la solution
Section intitulée « Quand la détection d’anomalies n’est pas la solution »La détection d’anomalies est le bon outil quand vous ne savez pas à l’avance à quoi ressemble chaque problème. Deux cas demandent autre chose :
- Vous connaissez le comportement exact. Si la politique de la boutique dit « ne jamais accepter plus de 5 paiements en 10 minutes sur une carte », écrivez cette règle. Elle est rapide, facile à expliquer et ne demande aucune donnée.
- Vous avez beaucoup d’exemples avec la bonne réponse. Supposez que vous avez des milliers de fraudes passées, toutes signalées par la banque. Les nouvelles fraudes ressemblent aux anciennes. Un classificateur qui apprend à partir de ces exemples fonctionne alors généralement mieux. Le cours d’apprentissage automatique enseigne cette méthode. Les étiquettes sont rares, et cela change tout explique comment choisir.
Erreur courante
Signaler les paiements les plus élevés
Symptôme : Tomás, l’ingénieur en IA de Larkfield, a une idée rapide : « La fraude, c’est de gros montants. Chaque jour, envoyons à Sofia les 50 paiements les plus élevés. » Cela semble raisonnable, et le programme s’exécute sans erreur.
Cause : durant les mois d’évaluation du cours, ce détecteur ne trouve presque rien. Seulement 0,3 % de ses alertes sont des fraudes insérées (précision au budget de 0,003). Il coûte 10 264 dollars par semaine. Ne rien examiner coûte 10 367 dollars par semaine, presque autant (les deux utilisent les coûts du cours). Toutes ses alertes examinées concernaient des paiements d’entreprises clientes, car les entreprises achètent pour des montants plus élevés. Les voleurs gardent leurs montants petits, comme l’ont montré les huit paiements au Portugal.
Solution : comparez chaque paiement aux habitudes normales du client, pas à tous les paiements. Le module 2 passe à un score par client. Vous évaluerez vous-même ce détecteur des « montants les plus élevés » dans Découvrir les données de Larkfield.
Conséquence pour le travail en IA : un détecteur basé sur une supposition concernant la fraude peut être pire qu’inutile. Il remplit les places de révision avec des clients honnêtes, et l’équipe apprend à ignorer les alertes.
Les études de cas à la fin du cours
Section intitulée « Les études de cas à la fin du cours »Larkfield conserve le même ensemble de problèmes pendant que vous apprenez chaque méthode. Le travail réel présente d’autres données et d’autres pièges. Le cours se termine donc par quatre études de cas sur des données réelles et publiques. Chacune part du fichier brut d’un jeu de données pour arriver à une recommandation.
Études de cas de ce cours
À la fin du cours, vous appliquez ce que vous avez appris à un projet réaliste, des données jusqu’à la recommandation. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.
- Fraude par carte avec un budget de révisionDes transactions par carte anonymisées : comparer une règle, Isolation Forest, un autoencodeur et un modèle supervisé sur les quelques étiquettes, et choisir par la précision à un budget de révision quotidien.
- Pannes dans les métriques de machines ou de serveursDes séries chronologiques étiquetées de systèmes réels : comparer les références saisonnières, les résidus STL, les points de rupture et un détecteur multivarié, notés par le délai de détection et les alertes par jour.
- Mesures inhabituelles dans des données ouvertes publiquesUne série de données ouvertes publiques sans étiquettes : insérer des anomalies, séparer les vrais événements des défauts de données, et écrire la politique d'alerte.
- Cartes de contrôle sur une vraie ligne de productionDes mesures de capteurs et des résultats réussi/échoué d'un procédé de fabrication : cartes de contrôle et vérifications de dérive sur les signaux clés, comparées avec Isolation Forest.
Lisez la liste comme une carte du parcours du cours. Les études de cas utilisent tout le cours. La plupart des apprenants les commencent donc après le module 9.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Expliquez pourquoi « trouver la fraude » n'est pas encore un problème de détection. Reformulez cet objectif pour les paiements par carte de Larkfield avec une unité, un moment, un coût et un budget.
Afficher la réponse
« Trouver la fraude » ne précise pas à quoi correspond un score ni quand il faut le produire. Cet objectif ne précise pas non plus le coût d’une erreur ni combien d’alertes les gens peuvent examiner. On ne peut donc pas mesurer les résultats d’un détecteur par rapport à cet objectif, ni comparer deux détecteurs. Voici une reformulation : « Chaque jour (moment), attribuez un score à chaque paiement par carte (unité). Envoyez les 50 paiements aux scores les plus élevés (budget) à l’équipe de Sofia. Une fraude manquée coûte son montant plus des frais de rétrofacturation de 15 $. Une fausse alerte coûte environ 3 $ en temps de révision (coût). » On compte séparément les paiements honnêtes bloqués.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : les huit paiements insérés de la cliente C-01234 étaient tous compris entre 18,88 $ et 24,39 $. Un détecteur qui signale les 50 paiements les plus élevés chaque jour les trouverait-il? Pourquoi?
Afficher la réponse
Non. Ses paiements habituels allaient de 11,15 $ à 17,98 $; les paiements insérés sont donc seulement un peu plus élevés. Leurs montants sont faibles comparativement à ceux de nombreux paiements honnêtes. Les 50 paiements les plus élevés de la journée viennent d’entreprises clientes et sont presque tous honnêtes. D’autres caractéristiques révèlent la fraude. Les paiements provenaient d’un nouveau pays (le Portugal) et d’un nouvel appareil. Ils arrivaient à 2 h du matin plutôt que le samedi matin, et chaque minute plutôt que chaque semaine. Un bon détecteur compare chaque paiement à l’historique de la cliente.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Omar dit : « Une fraude manquée coûte environ 97 fois plus qu'une fausse alerte. Bloquons donc chaque paiement qui semble un peu inhabituel. » Quel est le problème avec ce plan?
Afficher la réponse
Le calcul (290,23 ÷ 3 ≈ 97) compare une fraude manquée à une fausse alerte examinée, qui coûte 4 minutes. Bloquer un paiement est une autre action. Un paiement honnête bloqué coûte un achat perdu et une certaine perte de confiance. De nombreux paiements inhabituels sont honnêtes : voyages, commandes en gros, Vendredi fou. De plus, l’équipe de Sofia ne peut examiner que 50 alertes par jour. Plus d’alertes ne signifie donc pas plus de révisions. Le détecteur doit choisir les 50 meilleures alertes. Il faut compter séparément les clients honnêtes dont les paiements sont bloqués.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une anomalie ne correspond pas à une idée claire de ce qui est normal. La cliente C-01234 a effectué 17 paiements le samedi matin au Canada. Puis, 8 paiements sont venus du Portugal à 2 h du matin, sur un nouvel appareil, en 7,4 minutes.
- Les montants cachaient la fraude : de 18,88 $ à 24,39 $, contre 11,15 $ à 17,98 $. Le pays, l’appareil, l’heure et le rythme la révélaient. « Inhabituel par rapport à quoi? » est toujours la première question.
- Une fraude manquée coûte son montant plus des frais de rétrofacturation de 15 $ par paiement (290,23 $ ici). Une fausse alerte coûte environ 3 $. On compte séparément les paiements honnêtes bloqués. Ce sont les hypothèses du cours.
- L’équipe de Sofia a un budget d’alertes de 50 par jour. On juge un détecteur selon la précision au budget : la proportion d’alertes réelles parmi les 50 alertes examinées.
- Un problème de détection exige une unité, un moment, un coût et un budget.
Vous pouvez maintenant dire ce qu’un détecteur doit faire et ce que coûtent ses erreurs. Mais la fraude de cette cliente n’était qu’un type de situation inhabituelle. Certaines anomalies sont une seule valeur étrange; d’autres semblent normales quand on les examine une à une. Ensuite, vous nommerez les types d’anomalies, avec un exemple de Larkfield pour chacun.
Leçon suivante : Types d'anomalies