Les variables comptent plus que l'algorithme
- Leçon 19
- 40 min
- Module 4 : Distance, densité et isolement
Où nous en sommes
Nous avons comparé quatre détecteurs avec deux ensembles de caractéristiques. Avec les colonnes brutes des paiements, aucun n'était très bon. Ces colonnes ne montrent pas ce qui rend la fraude étrange : un nouveau pays ou plusieurs paiements en une heure. Dans cette leçon, nous construisons les caractéristiques comportementales que nous avions utilisées telles quelles. Puis nous relançons chaque détecteur pour voir ce qui aide le plus.
Leçon 19 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelLes variables comptent plus que l'algorithme
1. Ce que « inhabituel » veut dire
2. Des références de base simples et difficiles à battre
3. Maîtrise statistique des procédés et dérive de distribution
- Cartes de contrôle : cette variation est-elle normale?
- Règles pour les motifs, et le prix de chaque règle
- Cartes pour les taux et les dénombrements
- Petits décalages durables : CUSUM et EWMA
- La distribution a-t-elle changé?
- Dérive dans de nombreuses variables, et quoi faire
- Loi de Benford et autres vérifications d'affaires
4. Distance, densité et isolement
5. Les anomalies dans le temps
6. Méthodes profondes et plongements
7. Évaluer avec peu d'étiquettes
8. Apprendre des réviseurs
9. Exploiter un détecteur en production
Ce que vous saurez faire
Construisez les caractéristiques qui rendent la fraude visible. Puis mesurez ce qui a vraiment changé le tableau comparatif de ce module : le choix de l’algorithme ou les caractéristiques. C’est l’habitude la plus utile de tout le cours.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon, avec les consignes. Ses cellules de préparation installent pandas, NumPy, SciPy, scikit-learn, matplotlib et PyOD, puis téléchargent les paiements (environ 7 Mo). Le carnet complet s’exécute en environ deux minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les quatre détecteurs de ce module et leurs lignes dans le tableau comparatif, de Loin des voisins : la distance kNN à SVM à une classe et boîte à outils PyOD.
- La cliente C-01234 et ses huit paiements au Portugal, dans Le paiement qui ne cadrait pas.
- La médiane, dans Médiane, MAD et IQR.
Ce qu’il vous faut sur votre ordinateur
Un navigateur et un compte Google gratuit (Colab) ou un compte Kaggle. Rien à installer.
Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1, scikit-learn 1.9.1 et PyOD 3.6.7. Colab, Kaggle et Windows n’ont pas été testés.
La commis qui connaît ses clients
Section intitulée « La commis qui connaît ses clients »Imaginez une commis dans une petite banque. Depuis vingt ans, elle sert les mêmes clients. Un homme âgé retire toujours 50 dollars le vendredi matin. Un jour, il demande 50 dollars un mardi soir, avec un inconnu à ses côtés. Un montant de 50 dollars est normal. Le mardi est un jour normal. Mais pour lui, c’est étrange, et elle le remarque tout de suite.
Une nouvelle commis, qui voit seulement le montant, le jour et l’heure, ne remarque rien. Les deux commis sont aussi compétentes. La première en sait simplement plus : elle compare chaque visite avec le passé du client lui-même.
Le problème : les colonnes brutes cachent la fraude
Section intitulée « Le problème : les colonnes brutes cachent la fraude »Jusqu’ici dans ce module, chaque détecteur a été exécuté deux fois : avec les colonnes brutes d’un paiement, puis avec huit caractéristiques comportementales utilisées telles quelles. Les colonnes brutes sont le montant, l’heure et le type de compte. Regardez encore le premier paiement de C-01234 au Portugal, avec ces seules colonnes : 24,27 dollars, à 2 h, sur un compte personnel. Un petit montant, une heure calme, le type de compte le plus courant. Rien dans ces trois valeurs ne dit « carte volée ».
La mesure le confirme. Avec les caractéristiques brutes, la distance aux k plus proches voisins classe ce paiement 136e parmi les 1 780 paiements du jour. L’équipe de Sofia révise les 50 premiers, donc elle ne voit jamais ce paiement. Avec les caractéristiques comportementales, le même détecteur le classe 2e.
Le tableau comparatif montre la même chose pour chaque détecteur. Avec les caractéristiques brutes, les quatre atteignent seulement environ 0,2 :
| Détecteur | Caractéristiques brutes |
|---|---|
| Distance aux k plus proches voisins (kNN) | 0,219 |
| LOF | 0,168 |
| Isolation Forest (forêt d’isolement) | 0,208 |
| SVM à une classe (One-Class SVM) | 0,195 |
Tomás propose un meilleur algorithme : « Essayons un modèle plus profond. » Priya propose une meilleure question : que regarderait la commis expérimentée?
L’idée : comparer chaque paiement au passé du client
Section intitulée « L’idée : comparer chaque paiement au passé du client »Une caractéristique est une colonne que vous donnez à un détecteur. L’ingénierie des caractéristiques consiste à construire de nouvelles colonnes à partir des données brutes pour rendre visible le motif recherché. Ici, le motif est « ce client ne fait pas cela habituellement ». Chaque nouvelle caractéristique compare donc le paiement aux paiements du même client effectués avant celui-ci :
Description textuelle du diagramme
Le diagramme présente un flux de gauche à droite. À gauche, il y a deux entrées : un paiement, avec son montant, son pays, son appareil et son heure; et le passé du client, soit les paiements précédents. Elles alimentent quatre groupes de caractéristiques. Le premier est log_amount_vs_usual, le montant divisé par la médiane des 10 derniers paiements. Le deuxième est new_country et new_device : est-ce la première fois aujourd’hui? Le troisième est log_minutes_since_last, payments_last_hour et device_payments_last_hour. Le quatrième est night et is_business, à partir de l’heure et du type de compte. Les quatre groupes alimentent n’importe quel détecteur : kNN, LOF, Isolation Forest ou le SVM à une classe.
Chaque caractéristique répond à une question que la commis poserait :
log_amount_vs_usual: le montant est-il loin du montant habituel de ce client? Le montant habituel est la médiane des 10 derniers paiements du client avant celui-ci. La caractéristique est le logarithme du rapport. Ainsi, le double et la moitié du montant habituel sont à la même distance de 0.new_country: est-ce le premier jour où le client paie depuis ce pays? (On ne compte pas le tout premier jour du client : tout est nouveau à ce moment-là.)new_device: la même question pour l’appareil.log_minutes_since_last: combien de temps s’est écoulé depuis le dernier paiement du client? (Sous forme de logarithme, car les délais vont de quelques secondes à plusieurs mois.)payments_last_hour: combien de paiements ce client a-t-il faits dans la dernière heure, celui-ci compris?device_payments_last_hour: combien de paiements cet appareil a-t-il faits dans la dernière heure, avec la carte de n’importe quel client? Une personne qui teste des cartes utilise un même appareil pour plusieurs cartes.night: l’heure est-elle entre 0 h et 5 h?is_business: est-ce un compte d’entreprise?
Une règle compte plus que toute caractéristique : chaque caractéristique utilise seulement les paiements effectués avant le paiement, ou au même moment. Un détecteur en direct ne peut pas voir l’avenir, donc ses caractéristiques ne doivent pas le voir non plus.
Un petit exemple : une cliente, à la main
Section intitulée « Un petit exemple : une cliente, à la main »Prenez la cliente C-01234 et calculez les caractéristiques de trois paiements, avec toutes les valeurs visibles.
Le montant habituel. Avant le premier paiement au Portugal, voici les 10 derniers paiements de la cliente : 14,28, 12,64, 17,49, 16,08, 13,91, 11,19, 16,02, 16,75, 17,77 et 15,16 dollars. Une fois les montants triés, les deux valeurs du milieu sont 15,16 et 16,02. La médiane est donc (15,16 + 16,02) ÷ 2 = 15,59 dollars. Le paiement est de 24,27 dollars :
24,27 ÷ 15,59 = 1,557, et le logarithme de 1,557 est 0,443.
Les autres caractéristiques viennent de simples comptages. Le tableau montre le dernier panier ordinaire, puis le premier et le huitième paiement au Portugal :
| Paiement | Montant | log_amount_vs_usual |
new_country |
new_device |
Minutes depuis le dernier paiement | payments_last_hour |
night |
|---|---|---|---|---|---|---|---|
| 27 sept., 9 h 17, Canada | 15,16 | −0,057 | 0 | 0 | 10 095 (7 jours) | 1 | 0 |
| 3 oct., 2 h 14, Portugal (1er) | 24,27 | 0,443 | 1 | 1 | 8 216 (5,7 jours) | 1 | 1 |
| 3 oct., 2 h 21, Portugal (8e) | 19,25 | 0,002 | 1 | 1 | 1,1 | 8 | 1 |
Maintenant, la fraude est visible dans les colonnes elles-mêmes. Il y a un nouveau pays, un nouvel appareil et la nuit. Puis viennent huit paiements en une heure, environ un par minute. Les montants ne sont pas le signal : le huitième paiement est presque exactement égal au montant habituel (0,002). Un détecteur qui regarde seulement le montant, comme la MAD par client, ne repère pas cette carte.
Larkfield : relancer chaque détecteur
Section intitulée « Larkfield : relancer chaque détecteur »Le fichier du cours features.py construit les huit caractéristiques pour les 343 074 paiements en environ 10 secondes (mesuré). Priya relance les quatre détecteurs avec exactement les mêmes paramètres, échantillons et mises à l’échelle qu’avant. Seules les caractéristiques changent.
- Ouvrez le carnet à partir de l’encadré en haut de cette page. Exécutez les trois cellules de préparation.
- Exécutez la section 1. Elle construit les caractéristiques de C-01234 à la main. Vérifiez la dernière ligne :
payments_last_hourvaut 8. - Exécutez la cellule suivante. Elle compare vos caractéristiques avec
features.behaviour(). Vérifiez qu’elle afficheTrue True True(vrai, vrai, vrai). - Avant d’exécuter la section 2, notez votre prédiction : qu’est-ce qui donnera le plus grand gain, le détecteur ou les caractéristiques?
- Exécutez la section 2. Cela prend environ 40 secondes. Elle ajoute huit lignes au tableau comparatif.
La sortie :
raw behaviour gainkNN distance 0.219 0.505 0.286LOF 0.168 0.082 -0.086Isolation Forest 0.208 0.500 0.292One-Class SVM 0.195 0.480 0.285Chaque ligne du graphique représente un détecteur. L’extrémité gauche montre sa précision avec les caractéristiques brutes, et l’extrémité droite, avec les caractéristiques comportementales. La ligne pointillée en haut est le plafond. Un détecteur qui connaît toutes les réponses atteint 0,542 à 50 alertes par jour. En effet, plusieurs jours comptent moins de 50 paiements insérés.
- Distance aux k plus proches voisins
- Isolation Forest
- SVM à une classe
- LOF
Description textuelle du graphique
Un graphique de pentes avec quatre lignes continues et une ligne pointillée. Chaque ligne va des caractéristiques brutes à gauche aux caractéristiques comportementales à droite. La distance aux k plus proches voisins monte de 0,219 à 0,505. Isolation Forest monte de 0,208 à 0,500. Le SVM à une classe monte de 0,195 à 0,480. LOF descend de 0,168 à 0,082. Le plafond pointillé reste à 0,542.
Comparer les deux gains
Section intitulée « Comparer les deux gains »Répondez maintenant à la question de ce module avec le tableau.
- Le gain de l’algorithme. Avec les caractéristiques brutes, l’écart entre le meilleur et le pire détecteur est de 0,051 (0,219 contre 0,168). Avec les caractéristiques comportementales, l’écart entre les trois bons détecteurs est de 0,025 (0,505 contre 0,480).
- Le gain des caractéristiques. Chaque bon détecteur gagne environ 0,29 : distance aux k plus proches voisins +0,286, Isolation Forest +0,292, SVM à une classe +0,285.
Les caractéristiques ont donné plus de dix fois le gain du choix parmi les bons détecteurs. Avec les caractéristiques comportementales, les bons détecteurs atteignent de 0,48 à 0,505, près du plafond de 0,542. Il reste peu à gagner pour un algorithme dans ce tableau.
Le rappel par type montre d’où vient le gain. Isolation Forest a trouvé 19,7 % des paiements par carte volée avec les caractéristiques brutes, et 90,5 % avec les caractéristiques comportementales (mesuré). Une carte volée correspond exactement au motif « ce client ne fait pas cela habituellement » que décrivent les nouvelles caractéristiques.
LOF est l’exception. Il devient moins bon avec de meilleures caractéristiques, passant de 0,168 à 0,082. La raison est celle de la leçon sur LOF. Avec des caractéristiques qui décrivent bien la fraude, les anciens tests de cartes forment un groupe serré. Un nouveau test de cartes semble alors normal dans ce groupe. De meilleures caractéristiques ne sauvent pas une méthode dont la question ne convient pas aux données.
Quelles caractéristiques comptent le plus?
Section intitulée « Quelles caractéristiques comptent le plus? »Priya pose une question plus précise : lesquelles des huit caractéristiques font le travail? Elle essaie deux approches avec Isolation Forest (mesuré).
Ajouter une caractéristique aux caractéristiques brutes. Partez des caractéristiques brutes (0,208) et ajoutez une caractéristique comportementale à la fois :
Description textuelle du graphique
Un graphique avec cinq colonnes. Caractéristiques brutes seulement : 0,208. Brutes plus new_country : 0,437. Brutes plus new_device : 0,406. Les huit caractéristiques comportementales : 0,500. Le plafond : 0,542.
| Caractéristique ajoutée aux caractéristiques brutes | Précision | Caractéristique retirée des huit | Précision |
|---|---|---|---|
| aucune (brutes seulement) | 0,208 | aucune (les huit) | 0,500 |
new_country |
0,437 | new_country |
0,462 |
new_device |
0,406 | new_device |
0,469 |
device_payments_last_hour |
0,404 | log_amount_vs_usual |
0,488 |
payments_last_hour |
0,308 | night |
0,485 |
log_minutes_since_last |
0,281 | log_minutes_since_last |
0,500 |
log_amount_vs_usual |
0,256 | device_payments_last_hour |
0,506 |
night |
0,199 | payments_last_hour |
0,511 |
Lisez les deux moitiés ensemble :
- Une bonne caractéristique surpasse tout changement d’algorithme. Ajouter seulement
new_countryfait passer Isolation Forest de 0,208 à 0,437 : plus que tout changement de détecteur dans ce module. - Les caractéristiques se recoupent. Retirer
payments_last_houroudevice_payments_last_hourne nuit pas : les autres caractéristiques portent déjà la plupart de leurs informations. Retirer l’une d’elles aide même un peu (0,511). Ce gain reste dans le bruit d’une seule forêt aléatoire. nightseule nuit (0,199) : beaucoup de paiements honnêtes ont lieu la nuit, donc l’heure brute en disait déjà autant.
Le travail réel se fait ainsi : ajoutez une caractéristique, mesurez-la dans le même tableau, gardez-la ou retirez-la, puis notez le résultat.
Quand les caractéristiques comportementales aident, et ce qu’elles coûtent
Section intitulée « Quand les caractéristiques comportementales aident, et ce qu’elles coûtent »Elles aident dès que « inhabituel » signifie « inhabituel pour celui-ci » : un client, un appareil, un agent, une machine. La même idée fonctionne pour les remboursements d’un agent comparés à son passé, ou la latence d’un serveur comparée à sa propre semaine.
Elles ont un coût :
- Historique. Une caractéristique qui a besoin du passé ne fonctionne pas quand il n’y a pas de passé. Le tout premier paiement d’un client n’a pas de montant habituel. Alors
features.pyutilise le paiement lui-même (le rapport vaut 1, le logarithme 0). Il ne marque jamais non plus un nouveau pays le premier jour. Un voleur qui ouvre un nouveau compte est invisible pour ces caractéristiques. Gardez une vérification distincte pour les nouveaux clients. - Calcul et stockage. Les caractéristiques ont besoin des paiements récents de chaque client au moment du calcul du score. Ici, il faut 10 secondes pour les 343 074 paiements. Dans un système en direct, vous conservez un petit état par client.
- Changements de comportement normal. Larkfield lance son application le 15 octobre 2025. Puis 60 % des clients commencent à payer avec un appareil que la boutique n’avait jamais vu pour eux (inséré).
new_devicese déclenche alors pour des clients honnêtes. Une caractéristique qui décrit bien « nouveau » réagit aussi fortement quand tout devient nouveau. Plus loin dans le cours, la tâche de détection le remarque et demande un réentraînement. - Explication. De bonnes caractéristiques sont aussi la meilleure explication pour un réviseur. « Nouveau pays, nouvel appareil, 8 paiements en une heure » en dit plus à Sofia que n’importe quel score.
Erreur courante
Les caractéristiques qui regardent dans l'avenir
Symptôme : une nouvelle caractéristique rend l’évaluation excellente. En production, le détecteur trouve beaucoup moins de fraudes que lors de l’évaluation.
Cause : la caractéristique utilise des informations qui n’existaient pas au moment du paiement. Un exemple courant : le montant habituel du client est la médiane de tous ses paiements, y compris les suivants. Autre exemple : le « nombre de paiements aujourd’hui » compte les paiements effectués plus tard dans la journée. Lors de l’évaluation, le détecteur voit un peu de l’avenir; en production, il ne peut pas.
Diagnostic : pour chaque caractéristique, demandez-vous : la boutique pouvait-elle connaître cette valeur à la seconde du paiement? Puis testez-la. Calculez les caractéristiques avec les données jusqu’à un jour donné, puis recommencez avec davantage de données. Les caractéristiques de ce jour ne doivent pas changer.
Correction : calculez chaque caractéristique seulement à partir des paiements précédents, ou effectués au même moment que le paiement. features.py le fait avec shift() et des fenêtres glissantes qui regardent en arrière. Plus loin dans le cours, la tâche de détection fait exactement cette vérification.
Conséquence pour le travail en IA : utiliser des informations futures explique souvent pourquoi un modèle excellent dans un carnet échoue en production. Ce problème se cache bien, car le code s’exécute et les résultats semblent meilleurs.
À vous de jouer
Section intitulée « À vous de jouer »Dans le carnet (notebook) Jupyter, la section 3 propose trois tâches :
- Calculez le gain d’Isolation Forest (forêt d’isolement) entre les caractéristiques brutes et comportementales. Nommez-le
gain_forest. - Ajoutez chaque caractéristique comportementale (sauf
is_business) aux caractéristiques brutes, une à la fois, et exécutez Isolation Forest. Placez les résultats dansplus_oneet la meilleure caractéristique dansmost_useful. Cela prend environ 30 secondes. - Écrivez deux phrases pour Sofia : sur les paiements de Larkfield, les meilleures caractéristiques ou le meilleur algorithme ont-ils apporté le plus grand gain? Utilisez deux nombres du tableau.
Afficher les résultats attendus
gain_forest = 0.292(de 0,208 à 0,500).most_useful = "new_country": 0,437, puisnew_deviceà 0,406 etdevice_payments_last_hourà 0,404.- Par exemple : « Les meilleures caractéristiques ont apporté le plus grand gain : chaque bon détecteur a gagné environ 0,29 (Isolation Forest, de 0,208 à 0,500). Choisir parmi les bons détecteurs n’a changé le résultat que de 0,025 (de 0,480 à 0,505). Tous sont proches du plafond de 0,542. »
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Qu'est-ce qu'une caractéristique comportementale? Donnez deux exemples de cette leçon et expliquez pourquoi chacun rend visible une carte volée.
Afficher la réponse
Une caractéristique comportementale compare un paiement au passé du client (ou de l’appareil), en utilisant seulement ce qui précède le paiement. Voici deux exemples. new_country (le premier jour où le client paie depuis ce pays) rend visible une carte utilisée à l’étranger par un voleur. payments_last_hour (les paiements du client dans la dernière heure) rend visible une rafale de paiements rapprochés. Autres exemples : new_device, le montant comparé au montant habituel, device_payments_last_hour.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : vous calculez le montant habituel du client comme la médiane de tous ses paiements sur six mois, y compris les paiements ultérieurs. Que se passe-t-il lors de l'évaluation et en production?
Afficher la réponse
La caractéristique utilise des informations du futur. Lors de l’évaluation, elle peut utiliser des paiements qui surviennent après celui qu’elle évalue. Le détecteur peut donc sembler meilleur qu’il ne l’est vraiment. En production, les paiements ultérieurs n’existent pas encore. La caractéristique a donc des valeurs différentes, et le détecteur trouve moins de fraudes. Chaque caractéristique doit utiliser uniquement les paiements antérieurs au paiement évalué, ou ceux qui surviennent au même moment.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Utilisez le tableau comparatif pour répondre à la question de ce module : les meilleures caractéristiques ou le meilleur algorithme ont-ils apporté le plus grand gain? Donnez au moins deux nombres.
Afficher la réponse
Les meilleures caractéristiques. Chaque bon détecteur a gagné environ 0,29 en passant des caractéristiques brutes aux caractéristiques comportementales. La distance aux k plus proches voisins (kNN) est passée de 0,219 à 0,505. Isolation Forest est passé de 0,208 à 0,500, et le SVM à une classe (One-Class SVM), de 0,195 à 0,480. Avec les caractéristiques comportementales, choisir parmi les bons détecteurs n’a changé le résultat que de 0,025 (de 0,480 à 0,505). Avec les caractéristiques brutes, ce changement était de 0,051. Avec les caractéristiques comportementales, les bons détecteurs sont proches du plafond de 0,542. Le LOF (facteur local d’aberrance) fait exception : il est passé de 0,168 à 0,082.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Les caractéristiques comportementales comparent un paiement au passé du client. Exemples : le montant habituel, un nouveau pays ou appareil, et les paiements dans la dernière heure.
- Chaque caractéristique utilise uniquement le passé. Une caractéristique qui voit le futur fausse l’évaluation.
- Avec les caractéristiques brutes, chaque détecteur est près de 0,2. Avec les caractéristiques comportementales, trois détecteurs atteignent 0,480 à 0,505. Le plafond est de 0,542.
- Les caractéristiques ont compté plus que l’algorithme : +0,29 pour chaque bon détecteur, contre 0,025 entre les bons détecteurs. Le LOF est descendu à 0,082.
- À elle seule, la caractéristique
new_countrya fait passer Isolation Forest de 0,208 à 0,437.
Vous pouvez maintenant construire des caractéristiques qui décrivent ce qui est « inhabituel pour ce client ». Vous avez aussi un ensemble complet de détecteurs pour les paiements individuels. Mais tous traitent chaque paiement de la même façon, peu importe le jour ou l’heure. Les commandes quotidiennes et les billets de soutien augmentent et diminuent selon la semaine et la saison. Vous verrez ensuite pourquoi un seul seuil ne suffit pas pour une série temporelle. Vous construirez des références de base qui suivent l’heure et la saison.
Leçon suivante : Le normal change avec l'heure et la saison