Isolation Forest
- Leçon 17
- 35 min
- Module 4 : Distance, densité et isolement
Où nous en sommes
Nos méthodes de distance et de densité comparent chaque paiement à ses voisins. Cela prend du temps sur de nombreuses lignes. Dans cette leçon, nous inversons la question : quelques coupures aléatoires suffisent à séparer un point inhabituel. Nous dessinons un arbre à la main, puis appliquons Isolation Forest à tous les paiements.
Leçon 17 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelIsolation Forest
1. Ce que « inhabituel » veut dire
2. Des références de base simples et difficiles à battre
3. Maîtrise statistique des procédés et dérive de distribution
- Cartes de contrôle : cette variation est-elle normale?
- Règles pour les motifs, et le prix de chaque règle
- Cartes pour les taux et les dénombrements
- Petits décalages durables : CUSUM et EWMA
- La distribution a-t-elle changé?
- Dérive dans de nombreuses variables, et quoi faire
- Loi de Benford et autres vérifications d'affaires
4. Distance, densité et isolement
5. Les anomalies dans le temps
6. Méthodes profondes et plongements
7. Évaluer avec peu d'étiquettes
8. Apprendre des réviseurs
9. Exploiter un détecteur en production
Ce que vous saurez faire
Trouvez les paiements inhabituels en coupant les données au hasard et en comptant les coupures nécessaires pour isoler chaque paiement. Cette méthode est assez rapide pour apprendre de chaque paiement. Vous verrez aussi pourquoi son seuil intégré ne doit pas décider du nombre d’alertes que reçoit l’équipe de Sofia.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon, avec les consignes. Ses cellules de préparation installent pandas, NumPy, SciPy, scikit-learn et matplotlib, puis téléchargent les paiements (environ 7 Mo). Le carnet complet s’exécute en environ une minute.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- L’exemple à sept points, la distance aux k plus proches voisins (kNN) et la mise à l’échelle, dans Loin des voisins : la distance kNN.
- Le budget d’alertes de 50 par jour et la précision au budget, dans Le paiement qui ne cadrait pas.
- Savoir ce qu’est un arbre de décision aide, mais cette leçon explique la partie nécessaire. Apprentissage automatique : du problème à un modèle fiable enseigne les arbres de décision.
Ce qu’il vous faut sur votre ordinateur
Un navigateur et un compte Google gratuit (Colab) ou un compte Kaggle. Rien à installer.
Testé avec Python 3.12.13 dans Jupyter sur macOS, avec scikit-learn 1.9.1 et pandas 3.1.1. Colab, Kaggle et Windows n’ont pas été testés.
Un jeu de devinettes
Section intitulée « Un jeu de devinettes »Vous connaissez peut-être le jeu « Qui est-ce? ». Chaque joueur a une carte avec un visage. Vous posez des questions oui/non pour trouver le visage de l’autre joueur : « Votre personnage porte-t-il des lunettes? » « A-t-il les cheveux roux? »
Une seule question suffit pour trouver certains visages. Si un seul visage a un chapeau rouge, « Le chapeau est-il rouge? » le trouve immédiatement. D’autres visages ressemblent à beaucoup d’autres : cheveux bruns, sans lunettes, sans chapeau. Pour trouver l’un d’eux, il faut beaucoup de questions.
Le nombre de questions indique donc à quel point un visage est inhabituel. Peu de questions : il diffère des autres. Beaucoup de questions : il se fond dans la foule.
Le problème : comparer à chaque voisin prend du temps
Section intitulée « Le problème : comparer à chaque voisin prend du temps »La distance kNN et le LOF (facteur local d’aberrance) comparent chaque nouveau paiement aux paiements stockés. Pour trouver les plus proches voisins, ils parcourent tous les points stockés. C’est pourquoi le cours n’a stocké que 20 000 des 173 271 paiements de référence. Avec tous ces paiements, ou des millions de paiements par jour, la recherche serait trop lente et utiliserait trop de mémoire.
Nous voulons un détecteur qui apprend de chaque paiement et attribue quand même rapidement un score à un nouveau paiement. Il devrait aussi se passer entièrement de la distance entre les points. Ainsi, l’échelle de chaque variable aurait moins d’importance.
L’idée : compter les coupures aléatoires
Section intitulée « L’idée : compter les coupures aléatoires »Isolation Forest (forêt d’isolement) joue à « Qui est-ce? » avec des questions aléatoires. Une question est une coupure :
- Choisissez une colonne au hasard, par exemple le montant.
- Choisissez une valeur aléatoire entre le plus petit et le plus grand montant des points restants.
- Séparez les points en deux : ceux sous cette valeur et ceux à cette valeur ou au-dessus.
- Gardez le côté qui contient le point à isoler, puis répétez jusqu’à ce que ce point soit seul.
Le nombre de coupures est le score : peu de coupures signifie inhabituel. Une séquence de coupures s’appelle un arbre d’isolement, car les coupures forment un arbre de questions oui/non. Les coupures aléatoires dépendent du hasard. La méthode construit donc plusieurs arbres et calcule la moyenne des coupures : une forêt. Le nom dit tout : une forêt d’arbres qui isolent les points.
Un petit exemple : un arbre coupé à la main
Section intitulée « Un petit exemple : un arbre coupé à la main »Reprenons les sept points de la leçon sur la distance kNN : A à F proches les uns des autres, et G éloigné. Voici un arbre aléatoire :
Description textuelle du diagramme
L’image comporte trois panneaux. Le premier, intitulé « Coupure 1 : G est seul », montre les sept points et une ligne bleue horizontale à y = 1,39. G est seul au-dessus de la ligne. A à F sont en dessous. Le deuxième panneau, intitulé « Coupures 2 à 6 : A est seul », agrandit A à F. Cinq autres lignes bleues sont numérotées de 2 à 6. y = 0,82 sépare E. x = 1,14 sépare B. x = 1,08 sépare D. y = 1,22 sépare F. y = 1,05 sépare C. A reste seul dans une petite boîte. Le troisième panneau présente le même arbre sous forme d’une colonne de questions. Il commence avec les 7 points. y supérieur ou égal à 1,39 donne G seul, et y inférieur à 1,39 laisse 6 points. Chaque coupure écarte ensuite un point, jusqu’à ce que y inférieur à 1,05 laisse seulement A. En dessous, le texte indique que, sur 1 000 arbres aléatoires, G est seul après 1,21 coupure en moyenne. A est seul après 4,56 coupures.
Suivez les coupures avec les nombres :
- Coupure 1 : la colonne y, la valeur 1,39 (aléatoire, entre le plus petit y, 0,8, et le plus grand, 3,0). G (y = 3,0) est au-dessus; les six autres sont en dessous. G est seul après 1 coupure.
- Pour isoler A, continuez à couper le côté qui contient A. Coupure 2 : y à 0,82 retire E (y = 0,8). Coupure 3 : x à 1,14 retire B (x = 1,2). Coupure 4 : x à 1,08 retire D (x = 1,1). Coupure 5 : y à 1,22 retire F (y = 1,3). Coupure 6 : y à 1,05 retire C (y = 1,1). A est seul après 6 coupures.
Pourquoi est-il si facile d’isoler G? Une coupure aléatoire peut tomber n’importe où entre la plus petite et la plus grande valeur. G est seul dans un grand intervalle vide, de 1,3 à 3,0 sur y. La plupart des valeurs aléatoires tombent dans cet intervalle, et chacune sépare G. Dans 81,3 % des 1 000 arbres, G était seul dès la première coupure.
Sur 1 000 arbres, les moyennes sont : G, 1,21 coupure, et 3,02 à 4,56 coupures pour A à F. La forêt transforme cela en un score entre 0 et 1. Environ 0,5 correspond à un point moyen. Près de 1 signifie « isolé après très peu de coupures ».
Larkfield : chaque paiement, en quelques secondes
Section intitulée « Larkfield : chaque paiement, en quelques secondes »Priya applique IsolationForest de scikit-learn aux variables comportementales. Comme il ne cherche pas de voisins, il apprend de tous les 173 271 paiements de référence. Chacun de ses 200 arbres utilise un échantillon aléatoire de 256 paiements. Un arbre doit seulement trouver les quelques points faciles à isoler.
- Ouvrez le carnet à partir de l’encadré en haut de cette page. Exécutez les trois cellules de préparation.
- Exécutez la section 1, le petit exemple. Vérifiez que la graine 0 donne G = 1 et A = 6, et que la moyenne de G est 1,21.
- Exécutez la cellule qui charge les paiements. Elle affiche
(173271, 8) (169803, 8): les lignes de référence et d’évaluation, avec 8 variables comportementales. - Exécutez la cellule qui entraîne la forêt. Vérifiez que la précision au budget est
0.500.
Le code tient en trois lignes :
forest = IsolationForest(n_estimators=200, random_state=0, n_jobs=-1).fit(X_ref) # all 173,271 reference paymentsscores = -forest.score_samples(X_ev) # about 0.5 = average; close to 1 = isolated in very few cutstable.add(compare.score_payments(evaluation, scores, "Isolation Forest", "behaviour features, 200 trees", explain_minutes=3))n_estimators est le nombre d’arbres. random_state=0 fixe les coupures aléatoires pour obtenir le même résultat chaque fois. n_jobs=-1 utilise tous les cœurs du processeur. score_samples renvoie l’opposé du score, donc le code inverse son signe.
La sortie :
detector setting alerts per day precision at budget recall cost per week ($) explain one alert (min)Isolation Forest behaviour features, 200 trees 50.0 0.5 0.808 3218 3median score, honest: 0.378 | planted: 0.742Une précision au budget de 0,500 : la moitié des 50 alertes quotidiennes sont des fraudes insérées. C’est presque la même chose que la distance kNN (0,505). C’est aussi près du plafond de 0,542 qu’atteint même un détecteur parfait. Le premier paiement de C-01234 au Portugal obtient un score de 0,724. Le panier ordinaire du samedi de la même cliente obtient 0,343.
Le graphique montre comment les scores des deux groupes diffèrent :
- Honnêtes
- Insérés
Description textuelle du graphique
Un graphique avec deux courbes. L’axe horizontal représente le score, de 0,30 à 0,85. L’axe vertical représente la part des paiements de chaque groupe dans chaque classe de 0,05. La courbe des paiements honnêtes culmine à environ 38 % dans la classe de 0,35 à 0,40. Elle tombe presque à zéro au-dessus de 0,70. La courbe des paiements insérés est près de zéro sous 0,55. Elle culmine à environ 40 % dans les classes de 0,70 à 0,75 et de 0,75 à 0,80. Les deux bosses sont éloignées. Une mince queue de paiements honnêtes dépasse 0,65.
Le paiement honnête médian obtient un score de 0,378, et le paiement inséré médian, de 0,742. Les deux bosses sont éloignées. Mais les paiements honnêtes sont nombreux, donc même leur mince queue est importante. Sur les 91 jours d’évaluation, 2 660 paiements honnêtes dépassent 0,65, presque autant que les 2 624 paiements insérés. Ce sont des paiements honnêtes qui semblent inhabituels pour leur client. Ils rivalisent avec les fraudes pour les 50 places quotidiennes. C’est pourquoi la précision reste près de 0,5.
Avec les variables brutes, la même forêt atteint seulement 0,208. Gardez cet écart en tête : c’est le sujet de la dernière leçon de ce module.
Le paramètre de contamination : une supposition, pas un fait
Section intitulée « Le paramètre de contamination : une supposition, pas un fait »Le tableau comparatif classe les paiements par score et transmet les 50 premiers de chaque jour. Mais IsolationForest peut aussi répondre « anomalie » ou « normal » par lui-même, avec predict. Pour cela, il lui faut un seuil. Il le détermine à partir d’un paramètre appelé contamination : la proportion d’anomalies attendue dans les données.
La valeur par défaut est contamination="auto". Elle utilise un seuil fixe tiré de l’article original sur Isolation Forest. Elle ne tient compte ni de vos données ni de votre équipe. Priya mesure son effet sur les mois d’évaluation, où environ 31 paiements par jour sont insérés :
Description textuelle du graphique
Un graphique avec six colonnes. La contamination « auto » signale 386,3 paiements par jour. La valeur 0,05 en signale 111,9. Le budget est de 50. Les paiements insérés sont au nombre de 31,0 par jour. La valeur 0,01 en signale 25,7. La valeur 0,001 en signale 2,1.
| Contamination | Part signalée | Signalés par jour | Précision |
|---|---|---|---|
"auto" |
20,7 % | 386,3 | 0,079 |
| 0,05 | 6,0 % | 111,9 | 0,267 |
| 0,01 | 1,4 % | 25,7 | 0,927 |
| 0,001 | 0,1 % | 2,1 | 1,000 |
La proportion réelle de paiements insérés est de 1,66 %. "auto" signale 20,7 % : 386 paiements par jour, presque huit fois la capacité de révision de l’équipe de Sofia. Seulement 8 % d’entre eux sont insérés. Une valeur de 0,01 semble excellente. Mais vous le savez seulement parce que vous avez le corrigé. Une vraie équipe ne connaît pas la proportion de fraudes dans ses données. C’est justement ce qu’elle cherche à découvrir.
Le cours n’utilise donc jamais predict ou contamination pour fixer le seuil. Il classe les paiements par score et transmet les 50 premiers par jour : le nombre que l’équipe peut réellement réviser. Le module 7 développe cette idée : choisir le seuil selon le budget, pas selon une supposition.
Combien d’arbres?
Section intitulée « Combien d’arbres? »Chaque arbre est aléatoire, donc une forêt de quelques arbres donne un score bruité. Priya mesure des forêts de 1 à 500 arbres, chacune avec 5 graines aléatoires différentes :
- Meilleure des 5 graines
- Pire des 5 graines
Description textuelle du graphique
Un graphique avec deux courbes, sur une échelle logarithmique du nombre d’arbres. Avec 1 arbre, les graines donnent de 0,210 à 0,442. Avec 10 arbres, de 0,475 à 0,493. Avec 50 arbres, de 0,491 à 0,504. Avec 100 arbres, de 0,488 à 0,503. Avec 200 arbres, de 0,494 à 0,500. Avec 500 arbres, de 0,498 à 0,501.
Avec un seul arbre, le hasard domine : de 0,210 à 0,442, selon la graine. Avec 10 arbres, le résultat atteint déjà de 0,475 à 0,493. À partir de 50 arbres, la graine importe peu. Plus d’arbres demandent plus de temps : en moyenne 0,8 seconde pour entraîner et attribuer les scores avec 200 arbres. Avec 500 arbres, il faut 1,9 seconde (mesuré). La valeur par défaut de 100 arbres est un point de départ raisonnable; le cours en utilise 200.
La rapidité sur de nombreuses lignes
Section intitulée « La rapidité sur de nombreuses lignes »La rapidité justifie le choix d’Isolation Forest sur de grandes quantités de données. Chaque arbre examine seulement 256 paiements. Attribuer un score à un paiement consiste à suivre un court chemin dans chaque arbre. Mesures sur un Apple M4 à 10 cœurs, avec 200 arbres :
- Tous les 343 074 paiements, entraînement et attribution des scores : 1,4 seconde.
- 1 000 000 de lignes, entraînement et attribution des scores : 4,0 secondes.
L’ordinateur effectuait d’autres travaux pendant cette mesure, donc ces durées sont des limites supérieures. Votre durée sera différente. Comparez cela à la distance kNN : il lui fallait 4,1 secondes pour attribuer les scores des mois d’évaluation. Elle utilisait seulement 20 000 paiements stockés.
Quand utiliser Isolation Forest, et à quel coût
Section intitulée « Quand utiliser Isolation Forest, et à quel coût »Utilisez-le comme premier détecteur solide sur des tableaux avec de nombreuses lignes et quelques variables numériques. Il est rapide, apprend de toutes vos données et demande peu de réglages. Il est aussi moins sensible à l’échelle de chaque variable que les méthodes de distance.
Faites attention dans ces cas :
- Le seuil. Ne faites jamais confiance à
contaminationpour fixer le nombre d’alertes. Classez les paiements et retenez le nombre prévu au budget. - L’explication d’une alerte. « Isolé en quelques coupures aléatoires » est difficile à expliquer à un réviseur. Montrez plutôt les variables éloignées des valeurs habituelles du client. Le module 8 le fait.
- Les anomalies qui ne sont extrêmes dans aucune colonne. Une coupure sépare toujours les valeurs extrêmes d’une colonne. Un point inhabituel seulement par une combinaison, au milieu de chaque intervalle, demande plus de coupures. De bonnes variables aident ici.
- Les attaques répétées. Mille tests de cartes identiques dans les données d’entraînement deviennent une foule qui n’est plus facile à isoler.
Erreur courante
386 alertes par jour avec le paramètre par défaut
Symptôme : Tomás déploie Isolation Forest avec predict et laisse contamination="auto". Le premier jour, l’équipe de Sofia reçoit 386 alertes. Elle peut en réviser 50. Après une semaine, elle cesse de lire les alertes.
Cause : "auto" utilise un seuil fixe tiré de l’article original. Il ne connaît ni les données de Larkfield ni l’équipe de Sofia. Sur les mois d’évaluation, il signale 20,7 % de tous les paiements, alors que 1,66 % sont insérés. Seulement 7,9 % de ses alertes sont des fraudes insérées.
Solution : utilisez le score, pas predict. Classez les paiements de chaque jour par score et transmettez les 50 premiers : le nombre que l’équipe peut réviser. La même forêt a alors une précision de 0,500.
Conséquence pour le travail en IA : un paramètre de bibliothèque qui fixe un seuil décide silencieusement de la charge de travail des gens. Choisissez chaque seuil selon la capacité des personnes qui agissent sur ces résultats, et notez ce nombre.
À vous de jouer
Section intitulée « À vous de jouer »Dans le carnet, la section 5 comporte trois tâches :
- Écrivez le nombre moyen de coupures pour G sur les 1 000 arbres dans
g_average. - Écrivez le nombre de paiements signalés par jour par
contamination="auto"dansauto_per_day. Comparez-le au budget. - Entraînez une forêt de seulement 10 arbres (
random_state=0) et placez sa précision au budget dansprecision_10. Faites d’abord une prédiction : à quel point sera-t-elle moins bonne qu’avec 200 arbres?
Afficher les résultats attendus
g_average = 1.21.auto_per_day = 386.3: presque huit fois le budget de 50.precision_10 = 0.49: seulement un peu sous 0,500 avec 200 arbres. Avec cette graine, 10 arbres suffisent presque; d’autres graines donnent de 0,475 à 0,493.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Expliquez en mots simples pourquoi un point inhabituel nécessite moins de coupures aléatoires pour être isolé qu'un point normal.
Afficher la réponse
Une coupure aléatoire se situe n’importe où entre la plus petite et la plus grande valeur d’une colonne. Un point inhabituel se trouve seul dans une grande plage vide d’au moins une colonne. La plupart des coupures aléatoires dans cette plage le séparent donc des autres. Un point normal se trouve parmi beaucoup d’autres points. Chaque coupure retire seulement quelques voisins, alors il faut beaucoup de coupures. Dans le petit exemple, G nécessite 1,21 coupure en moyenne, et les points A à F, de 3,02 à 4,56.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : vous laissez contamination à "auto" et utilisez predict. Combien d'alertes par jour l'équipe de Sofia reçoit-elle environ? Que devriez-vous faire plutôt?
Afficher la réponse
Environ 386 par jour (20,7 % des paiements), contre un budget de 50 et environ 31 paiements insérés par jour. Seulement 7,9 % des paiements signalés sont insérés. Classez plutôt les paiements de chaque journée selon leur score et envoyez les 50 premiers. C’est le nombre que l’équipe peut réviser. Le seuil vient du budget, et non d’une estimation de la proportion d’anomalies.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi Isolation Forest peut-il apprendre à partir des 173 271 paiements de référence, alors que la distance kNN et LOF utilisaient un échantillon de 20 000?
Afficher la réponse
La distance aux k plus proches voisins (kNN) et LOF stockent les points de référence. Pour chaque nouveau paiement, ils cherchent les points les plus proches. C’est lent, et la mémoire utilisée augmente avec la taille des données stockées. Isolation Forest (forêt d’isolement) ne mesure jamais la distance entre les points. Chaque arbre est construit à partir d’un petit échantillon aléatoire (256 paiements). Pour calculer le score d’un paiement, il suffit de suivre un court chemin dans chaque arbre. Le calcul reste donc rapide pour tous les paiements. Il a fallu 1,4 seconde pour les 343 074 paiements et 4,0 secondes pour 1 000 000 de lignes. Ces durées ont été mesurées sur un ordinateur occupé.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Isolation Forest coupe les données au hasard. Un point inhabituel se retrouve seul après peu de coupures. Le score est le nombre moyen de coupures sur plusieurs arbres.
- Dans le petit exemple, G se retrouve seul après 1,21 coupure en moyenne; les points A à F nécessitent de 3,02 à 4,56 coupures.
- Pour les paiements, il apprend à partir de toutes les lignes de référence. Il atteint 0,500 avec les variables comportementales (0,208 avec les variables brutes).
contamination="auto"signale 20,7 % des paiements (386 par jour), contre une proportion réelle de 1,66 %. Choisissez le seuil selon le budget : les 50 premiers par jour.- À partir d’environ 50 arbres, le résultat dépend à peine de la graine aléatoire. Le calcul est rapide : tous les paiements en 1,4 seconde.
Vous avez maintenant trois détecteurs avec trois interfaces différentes et trois idées différentes. Mais une équipe qui veut essayer plusieurs détecteurs et les combiner doit pouvoir tous les exécuter de la même façon. Ensuite, vous tracerez une frontière autour des données normales avec un SVM à une classe (One-Class SVM). Vous exécuterez aussi quatre détecteurs avec une seule interface dans PyOD.
Leçon suivante : SVM à une classe et boîte à outils PyOD