Aller au contenu
English

Les variables comptent plus que l'algorithme

  • Leçon 19
  • 40 min
  • Module 4 : Distance, densité et isolement

Où nous en sommes

Nous avons comparé quatre détecteurs avec deux ensembles de caractéristiques. Avec les colonnes brutes des paiements, aucun n'était très bon. Ces colonnes ne montrent pas ce qui rend la fraude étrange : un nouveau pays ou plusieurs paiements en une heure. Dans cette leçon, nous construisons les caractéristiques comportementales que nous avions utilisées telles quelles. Puis nous relançons chaque détecteur pour voir ce qui aide le plus.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 19 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelLes variables comptent plus que l'algorithme
Aperçu du cours

Ce que vous saurez faire

Construisez les caractéristiques qui rendent la fraude visible. Puis mesurez ce qui a vraiment changé le tableau comparatif de ce module : le choix de l’algorithme ou les caractéristiques. C’est l’habitude la plus utile de tout le cours.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon, avec les consignes. Ses cellules de préparation installent pandas, NumPy, SciPy, scikit-learn, matplotlib et PyOD, puis téléchargent les paiements (environ 7 Mo). Le carnet complet s’exécute en environ deux minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Un navigateur et un compte Google gratuit (Colab) ou un compte Kaggle. Rien à installer.

Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1, scikit-learn 1.9.1 et PyOD 3.6.7. Colab, Kaggle et Windows n’ont pas été testés.

Imaginez une commis dans une petite banque. Depuis vingt ans, elle sert les mêmes clients. Un homme âgé retire toujours 50 dollars le vendredi matin. Un jour, il demande 50 dollars un mardi soir, avec un inconnu à ses côtés. Un montant de 50 dollars est normal. Le mardi est un jour normal. Mais pour lui, c’est étrange, et elle le remarque tout de suite.

Une nouvelle commis, qui voit seulement le montant, le jour et l’heure, ne remarque rien. Les deux commis sont aussi compétentes. La première en sait simplement plus : elle compare chaque visite avec le passé du client lui-même.

Jusqu’ici dans ce module, chaque détecteur a été exécuté deux fois : avec les colonnes brutes d’un paiement, puis avec huit caractéristiques comportementales utilisées telles quelles. Les colonnes brutes sont le montant, l’heure et le type de compte. Regardez encore le premier paiement de C-01234 au Portugal, avec ces seules colonnes : 24,27 dollars, à 2 h, sur un compte personnel. Un petit montant, une heure calme, le type de compte le plus courant. Rien dans ces trois valeurs ne dit « carte volée ».

La mesure le confirme. Avec les caractéristiques brutes, la distance aux k plus proches voisins classe ce paiement 136e parmi les 1 780 paiements du jour. L’équipe de Sofia révise les 50 premiers, donc elle ne voit jamais ce paiement. Avec les caractéristiques comportementales, le même détecteur le classe 2e.

Le tableau comparatif montre la même chose pour chaque détecteur. Avec les caractéristiques brutes, les quatre atteignent seulement environ 0,2 :

Détecteur Caractéristiques brutes
Distance aux k plus proches voisins (kNN) 0,219
LOF 0,168
Isolation Forest (forêt d’isolement) 0,208
SVM à une classe (One-Class SVM) 0,195

Tomás propose un meilleur algorithme : « Essayons un modèle plus profond. » Priya propose une meilleure question : que regarderait la commis expérimentée?

L’idée : comparer chaque paiement au passé du client

Section intitulée « L’idée : comparer chaque paiement au passé du client »

Une caractéristique est une colonne que vous donnez à un détecteur. L’ingénierie des caractéristiques consiste à construire de nouvelles colonnes à partir des données brutes pour rendre visible le motif recherché. Ici, le motif est « ce client ne fait pas cela habituellement ». Chaque nouvelle caractéristique compare donc le paiement aux paiements du même client effectués avant celui-ci :

Un flux de gauche à droite. Deux entrées : un paiement (montant, pays, appareil, heure) et le passé du client (les paiements précédents). Elles alimentent quatre groupes de caractéristiques : log_amount_vs_usual (le montant divisé par la médiane des 10 derniers paiements); new_country et new_device (première fois aujourd'hui?); log_minutes_since_last, payments_last_hour et device_payments_last_hour; night et is_business (l'heure et le type de compte). Les quatre groupes alimentent n'importe quel détecteur : kNN, LOF, Isolation Forest, SVM à une classe.
Les huit caractéristiques comportementales. Six ont besoin du passé du client; deux (nuit, compte d'entreprise) viennent du paiement seul. N'importe quel détecteur peut les utiliser.
Description textuelle du diagramme

Le diagramme présente un flux de gauche à droite. À gauche, il y a deux entrées : un paiement, avec son montant, son pays, son appareil et son heure; et le passé du client, soit les paiements précédents. Elles alimentent quatre groupes de caractéristiques. Le premier est log_amount_vs_usual, le montant divisé par la médiane des 10 derniers paiements. Le deuxième est new_country et new_device : est-ce la première fois aujourd’hui? Le troisième est log_minutes_since_last, payments_last_hour et device_payments_last_hour. Le quatrième est night et is_business, à partir de l’heure et du type de compte. Les quatre groupes alimentent n’importe quel détecteur : kNN, LOF, Isolation Forest ou le SVM à une classe.

Chaque caractéristique répond à une question que la commis poserait :

  1. log_amount_vs_usual : le montant est-il loin du montant habituel de ce client? Le montant habituel est la médiane des 10 derniers paiements du client avant celui-ci. La caractéristique est le logarithme du rapport. Ainsi, le double et la moitié du montant habituel sont à la même distance de 0.
  2. new_country : est-ce le premier jour où le client paie depuis ce pays? (On ne compte pas le tout premier jour du client : tout est nouveau à ce moment-là.)
  3. new_device : la même question pour l’appareil.
  4. log_minutes_since_last : combien de temps s’est écoulé depuis le dernier paiement du client? (Sous forme de logarithme, car les délais vont de quelques secondes à plusieurs mois.)
  5. payments_last_hour : combien de paiements ce client a-t-il faits dans la dernière heure, celui-ci compris?
  6. device_payments_last_hour : combien de paiements cet appareil a-t-il faits dans la dernière heure, avec la carte de n’importe quel client? Une personne qui teste des cartes utilise un même appareil pour plusieurs cartes.
  7. night : l’heure est-elle entre 0 h et 5 h?
  8. is_business : est-ce un compte d’entreprise?

Une règle compte plus que toute caractéristique : chaque caractéristique utilise seulement les paiements effectués avant le paiement, ou au même moment. Un détecteur en direct ne peut pas voir l’avenir, donc ses caractéristiques ne doivent pas le voir non plus.

Prenez la cliente C-01234 et calculez les caractéristiques de trois paiements, avec toutes les valeurs visibles.

Le montant habituel. Avant le premier paiement au Portugal, voici les 10 derniers paiements de la cliente : 14,28, 12,64, 17,49, 16,08, 13,91, 11,19, 16,02, 16,75, 17,77 et 15,16 dollars. Une fois les montants triés, les deux valeurs du milieu sont 15,16 et 16,02. La médiane est donc (15,16 + 16,02) ÷ 2 = 15,59 dollars. Le paiement est de 24,27 dollars :

24,27 ÷ 15,59 = 1,557, et le logarithme de 1,557 est 0,443.

Les autres caractéristiques viennent de simples comptages. Le tableau montre le dernier panier ordinaire, puis le premier et le huitième paiement au Portugal :

Paiement Montant log_amount_vs_usual new_country new_device Minutes depuis le dernier paiement payments_last_hour night
27 sept., 9 h 17, Canada 15,16 −0,057 0 0 10 095 (7 jours) 1 0
3 oct., 2 h 14, Portugal (1er) 24,27 0,443 1 1 8 216 (5,7 jours) 1 1
3 oct., 2 h 21, Portugal (8e) 19,25 0,002 1 1 1,1 8 1

Maintenant, la fraude est visible dans les colonnes elles-mêmes. Il y a un nouveau pays, un nouvel appareil et la nuit. Puis viennent huit paiements en une heure, environ un par minute. Les montants ne sont pas le signal : le huitième paiement est presque exactement égal au montant habituel (0,002). Un détecteur qui regarde seulement le montant, comme la MAD par client, ne repère pas cette carte.

Le fichier du cours features.py construit les huit caractéristiques pour les 343 074 paiements en environ 10 secondes (mesuré). Priya relance les quatre détecteurs avec exactement les mêmes paramètres, échantillons et mises à l’échelle qu’avant. Seules les caractéristiques changent.

  1. Ouvrez le carnet à partir de l’encadré en haut de cette page. Exécutez les trois cellules de préparation.
  2. Exécutez la section 1. Elle construit les caractéristiques de C-01234 à la main. Vérifiez la dernière ligne : payments_last_hour vaut 8.
  3. Exécutez la cellule suivante. Elle compare vos caractéristiques avec features.behaviour(). Vérifiez qu’elle affiche True True True (vrai, vrai, vrai).
  4. Avant d’exécuter la section 2, notez votre prédiction : qu’est-ce qui donnera le plus grand gain, le détecteur ou les caractéristiques?
  5. Exécutez la section 2. Cela prend environ 40 secondes. Elle ajoute huit lignes au tableau comparatif.

La sortie :

raw behaviour gain
kNN distance 0.219 0.505 0.286
LOF 0.168 0.082 -0.086
Isolation Forest 0.208 0.500 0.292
One-Class SVM 0.195 0.480 0.285

Chaque ligne du graphique représente un détecteur. L’extrémité gauche montre sa précision avec les caractéristiques brutes, et l’extrémité droite, avec les caractéristiques comportementales. La ligne pointillée en haut est le plafond. Un détecteur qui connaît toutes les réponses atteint 0,542 à 50 alertes par jour. En effet, plusieurs jours comptent moins de 50 paiements insérés.

  • Distance aux k plus proches voisins
  • Isolation Forest
  • SVM à une classe
  • LOF
Précision au budget (50 alertes par jour) des quatre détecteurs avec les caractéristiques brutes et comportementales (mesurée, mois d'évaluation). La ligne pointillée est le plafond d'un détecteur qui connaît les réponses (0,542). Trois détecteurs gagnent environ 0,29; LOF perd 0,086.
Description textuelle du graphique

Un graphique de pentes avec quatre lignes continues et une ligne pointillée. Chaque ligne va des caractéristiques brutes à gauche aux caractéristiques comportementales à droite. La distance aux k plus proches voisins monte de 0,219 à 0,505. Isolation Forest monte de 0,208 à 0,500. Le SVM à une classe monte de 0,195 à 0,480. LOF descend de 0,168 à 0,082. Le plafond pointillé reste à 0,542.

Répondez maintenant à la question de ce module avec le tableau.

  • Le gain de l’algorithme. Avec les caractéristiques brutes, l’écart entre le meilleur et le pire détecteur est de 0,051 (0,219 contre 0,168). Avec les caractéristiques comportementales, l’écart entre les trois bons détecteurs est de 0,025 (0,505 contre 0,480).
  • Le gain des caractéristiques. Chaque bon détecteur gagne environ 0,29 : distance aux k plus proches voisins +0,286, Isolation Forest +0,292, SVM à une classe +0,285.

Les caractéristiques ont donné plus de dix fois le gain du choix parmi les bons détecteurs. Avec les caractéristiques comportementales, les bons détecteurs atteignent de 0,48 à 0,505, près du plafond de 0,542. Il reste peu à gagner pour un algorithme dans ce tableau.

Le rappel par type montre d’où vient le gain. Isolation Forest a trouvé 19,7 % des paiements par carte volée avec les caractéristiques brutes, et 90,5 % avec les caractéristiques comportementales (mesuré). Une carte volée correspond exactement au motif « ce client ne fait pas cela habituellement » que décrivent les nouvelles caractéristiques.

LOF est l’exception. Il devient moins bon avec de meilleures caractéristiques, passant de 0,168 à 0,082. La raison est celle de la leçon sur LOF. Avec des caractéristiques qui décrivent bien la fraude, les anciens tests de cartes forment un groupe serré. Un nouveau test de cartes semble alors normal dans ce groupe. De meilleures caractéristiques ne sauvent pas une méthode dont la question ne convient pas aux données.

Priya pose une question plus précise : lesquelles des huit caractéristiques font le travail? Elle essaie deux approches avec Isolation Forest (mesuré).

Ajouter une caractéristique aux caractéristiques brutes. Partez des caractéristiques brutes (0,208) et ajoutez une caractéristique comportementale à la fois :

Isolation Forest avec les caractéristiques brutes, avec les caractéristiques brutes plus une caractéristique comportementale, puis avec les huit caractéristiques comportementales (mesuré). Une seule caractéristique, new_country, le fait déjà passer de 0,208 à 0,437.
Description textuelle du graphique

Un graphique avec cinq colonnes. Caractéristiques brutes seulement : 0,208. Brutes plus new_country : 0,437. Brutes plus new_device : 0,406. Les huit caractéristiques comportementales : 0,500. Le plafond : 0,542.

Caractéristique ajoutée aux caractéristiques brutes Précision Caractéristique retirée des huit Précision
aucune (brutes seulement) 0,208 aucune (les huit) 0,500
new_country 0,437 new_country 0,462
new_device 0,406 new_device 0,469
device_payments_last_hour 0,404 log_amount_vs_usual 0,488
payments_last_hour 0,308 night 0,485
log_minutes_since_last 0,281 log_minutes_since_last 0,500
log_amount_vs_usual 0,256 device_payments_last_hour 0,506
night 0,199 payments_last_hour 0,511

Lisez les deux moitiés ensemble :

  • Une bonne caractéristique surpasse tout changement d’algorithme. Ajouter seulement new_country fait passer Isolation Forest de 0,208 à 0,437 : plus que tout changement de détecteur dans ce module.
  • Les caractéristiques se recoupent. Retirer payments_last_hour ou device_payments_last_hour ne nuit pas : les autres caractéristiques portent déjà la plupart de leurs informations. Retirer l’une d’elles aide même un peu (0,511). Ce gain reste dans le bruit d’une seule forêt aléatoire.
  • night seule nuit (0,199) : beaucoup de paiements honnêtes ont lieu la nuit, donc l’heure brute en disait déjà autant.

Le travail réel se fait ainsi : ajoutez une caractéristique, mesurez-la dans le même tableau, gardez-la ou retirez-la, puis notez le résultat.

Quand les caractéristiques comportementales aident, et ce qu’elles coûtent

Section intitulée « Quand les caractéristiques comportementales aident, et ce qu’elles coûtent »

Elles aident dès que « inhabituel » signifie « inhabituel pour celui-ci » : un client, un appareil, un agent, une machine. La même idée fonctionne pour les remboursements d’un agent comparés à son passé, ou la latence d’un serveur comparée à sa propre semaine.

Elles ont un coût :

  • Historique. Une caractéristique qui a besoin du passé ne fonctionne pas quand il n’y a pas de passé. Le tout premier paiement d’un client n’a pas de montant habituel. Alors features.py utilise le paiement lui-même (le rapport vaut 1, le logarithme 0). Il ne marque jamais non plus un nouveau pays le premier jour. Un voleur qui ouvre un nouveau compte est invisible pour ces caractéristiques. Gardez une vérification distincte pour les nouveaux clients.
  • Calcul et stockage. Les caractéristiques ont besoin des paiements récents de chaque client au moment du calcul du score. Ici, il faut 10 secondes pour les 343 074 paiements. Dans un système en direct, vous conservez un petit état par client.
  • Changements de comportement normal. Larkfield lance son application le 15 octobre 2025. Puis 60 % des clients commencent à payer avec un appareil que la boutique n’avait jamais vu pour eux (inséré). new_device se déclenche alors pour des clients honnêtes. Une caractéristique qui décrit bien « nouveau » réagit aussi fortement quand tout devient nouveau. Plus loin dans le cours, la tâche de détection le remarque et demande un réentraînement.
  • Explication. De bonnes caractéristiques sont aussi la meilleure explication pour un réviseur. « Nouveau pays, nouvel appareil, 8 paiements en une heure » en dit plus à Sofia que n’importe quel score.

Erreur courante

Les caractéristiques qui regardent dans l'avenir

Symptôme : une nouvelle caractéristique rend l’évaluation excellente. En production, le détecteur trouve beaucoup moins de fraudes que lors de l’évaluation.

Cause : la caractéristique utilise des informations qui n’existaient pas au moment du paiement. Un exemple courant : le montant habituel du client est la médiane de tous ses paiements, y compris les suivants. Autre exemple : le « nombre de paiements aujourd’hui » compte les paiements effectués plus tard dans la journée. Lors de l’évaluation, le détecteur voit un peu de l’avenir; en production, il ne peut pas.

Diagnostic : pour chaque caractéristique, demandez-vous : la boutique pouvait-elle connaître cette valeur à la seconde du paiement? Puis testez-la. Calculez les caractéristiques avec les données jusqu’à un jour donné, puis recommencez avec davantage de données. Les caractéristiques de ce jour ne doivent pas changer.

Correction : calculez chaque caractéristique seulement à partir des paiements précédents, ou effectués au même moment que le paiement. features.py le fait avec shift() et des fenêtres glissantes qui regardent en arrière. Plus loin dans le cours, la tâche de détection fait exactement cette vérification.

Conséquence pour le travail en IA : utiliser des informations futures explique souvent pourquoi un modèle excellent dans un carnet échoue en production. Ce problème se cache bien, car le code s’exécute et les résultats semblent meilleurs.

Dans le carnet (notebook) Jupyter, la section 3 propose trois tâches :

  1. Calculez le gain d’Isolation Forest (forêt d’isolement) entre les caractéristiques brutes et comportementales. Nommez-le gain_forest.
  2. Ajoutez chaque caractéristique comportementale (sauf is_business) aux caractéristiques brutes, une à la fois, et exécutez Isolation Forest. Placez les résultats dans plus_one et la meilleure caractéristique dans most_useful. Cela prend environ 30 secondes.
  3. Écrivez deux phrases pour Sofia : sur les paiements de Larkfield, les meilleures caractéristiques ou le meilleur algorithme ont-ils apporté le plus grand gain? Utilisez deux nombres du tableau.
Afficher les résultats attendus
  1. gain_forest = 0.292 (de 0,208 à 0,500).
  2. most_useful = "new_country" : 0,437, puis new_device à 0,406 et device_payments_last_hour à 0,404.
  3. Par exemple : « Les meilleures caractéristiques ont apporté le plus grand gain : chaque bon détecteur a gagné environ 0,29 (Isolation Forest, de 0,208 à 0,500). Choisir parmi les bons détecteurs n’a changé le résultat que de 0,025 (de 0,480 à 0,505). Tous sont proches du plafond de 0,542. »

Vérifiez votre compréhension

Qu'est-ce qu'une caractéristique comportementale? Donnez deux exemples de cette leçon et expliquez pourquoi chacun rend visible une carte volée.

Afficher la réponse

Une caractéristique comportementale compare un paiement au passé du client (ou de l’appareil), en utilisant seulement ce qui précède le paiement. Voici deux exemples. new_country (le premier jour où le client paie depuis ce pays) rend visible une carte utilisée à l’étranger par un voleur. payments_last_hour (les paiements du client dans la dernière heure) rend visible une rafale de paiements rapprochés. Autres exemples : new_device, le montant comparé au montant habituel, device_payments_last_hour.

Vérifiez votre compréhension

Prédisez : vous calculez le montant habituel du client comme la médiane de tous ses paiements sur six mois, y compris les paiements ultérieurs. Que se passe-t-il lors de l'évaluation et en production?

Afficher la réponse

La caractéristique utilise des informations du futur. Lors de l’évaluation, elle peut utiliser des paiements qui surviennent après celui qu’elle évalue. Le détecteur peut donc sembler meilleur qu’il ne l’est vraiment. En production, les paiements ultérieurs n’existent pas encore. La caractéristique a donc des valeurs différentes, et le détecteur trouve moins de fraudes. Chaque caractéristique doit utiliser uniquement les paiements antérieurs au paiement évalué, ou ceux qui surviennent au même moment.

Vérifiez votre compréhension

Utilisez le tableau comparatif pour répondre à la question de ce module : les meilleures caractéristiques ou le meilleur algorithme ont-ils apporté le plus grand gain? Donnez au moins deux nombres.

Afficher la réponse

Les meilleures caractéristiques. Chaque bon détecteur a gagné environ 0,29 en passant des caractéristiques brutes aux caractéristiques comportementales. La distance aux k plus proches voisins (kNN) est passée de 0,219 à 0,505. Isolation Forest est passé de 0,208 à 0,500, et le SVM à une classe (One-Class SVM), de 0,195 à 0,480. Avec les caractéristiques comportementales, choisir parmi les bons détecteurs n’a changé le résultat que de 0,025 (de 0,480 à 0,505). Avec les caractéristiques brutes, ce changement était de 0,051. Avec les caractéristiques comportementales, les bons détecteurs sont proches du plafond de 0,542. Le LOF (facteur local d’aberrance) fait exception : il est passé de 0,168 à 0,082.

Récapitulatif

  • Les caractéristiques comportementales comparent un paiement au passé du client. Exemples : le montant habituel, un nouveau pays ou appareil, et les paiements dans la dernière heure.
  • Chaque caractéristique utilise uniquement le passé. Une caractéristique qui voit le futur fausse l’évaluation.
  • Avec les caractéristiques brutes, chaque détecteur est près de 0,2. Avec les caractéristiques comportementales, trois détecteurs atteignent 0,480 à 0,505. Le plafond est de 0,542.
  • Les caractéristiques ont compté plus que l’algorithme : +0,29 pour chaque bon détecteur, contre 0,025 entre les bons détecteurs. Le LOF est descendu à 0,082.
  • À elle seule, la caractéristique new_country a fait passer Isolation Forest de 0,208 à 0,437.

Vous pouvez maintenant construire des caractéristiques qui décrivent ce qui est « inhabituel pour ce client ». Vous avez aussi un ensemble complet de détecteurs pour les paiements individuels. Mais tous traitent chaque paiement de la même façon, peu importe le jour ou l’heure. Les commandes quotidiennes et les billets de soutien augmentent et diminuent selon la semaine et la saison. Vous verrez ensuite pourquoi un seul seuil ne suffit pas pour une série temporelle. Vous construirez des références de base qui suivent l’heure et la saison.

Leçon suivante : Le normal change avec l'heure et la saison