Aller au contenu
English

Densité locale : LOF

  • Leçon 16
  • 30 min
  • Module 4 : Distance, densité et isolement

Où nous en sommes

La distance aux voisins fonctionne quand toutes les données normales ont la même densité. Les comptes d'entreprise dépensent plus et leurs paiements sont plus dispersés que ceux des comptes personnels. Une seule distance ne convient donc pas aux deux. Dans cette leçon, nous utilisons le facteur local d'aberrance, qui compare un point à la densité de sa propre zone.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 16 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelDensité locale : LOF
Aperçu du cours

Ce que vous saurez faire

Attribuez un score à un point selon la densité de sa propre zone. Ainsi, « loin » signifie « loin pour ce type de client ». Apprenez aussi à vérifier, avec des chiffres, si une méthode ingénieuse convient vraiment à vos données. Pour les paiements de Larkfield, ce n’est pas le cas.

Carnet JupyterFaites cette leçon dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon, avec les consignes. Ses cellules de préparation installent pandas, NumPy, SciPy, scikit-learn et matplotlib, puis téléchargent les paiements (environ 7 Mo). Le carnet complet s’exécute en environ une minute.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Un navigateur et un compte Google gratuit (Colab) ou un compte Kaggle. Rien à installer.

Testé avec Python 3.12.13 dans Jupyter sur macOS, avec scikit-learn 1.9.1 et pandas 3.1.1. Colab, Kaggle et Windows n’ont pas été testés.

Au centre-ville, les maisons sont espacées d’environ 10 mètres. À la campagne, les fermes sont espacées d’environ 500 mètres. Imaginez maintenant deux bâtiments :

  • Une maison à 200 mètres de la maison la plus proche en ville. C’est inhabituel : un grand espace vide dans une rue très bâtie.
  • Une ferme à 200 mètres de la ferme la plus proche. C’est normal, et même un peu rapproché.

Les deux bâtiments ont la même distance à leur plus proche voisin : 200 mètres. L’un est inhabituel et l’autre est normal. La différence vient de la zone : l’espacement normal à cet endroit.

Le problème : une seule distance pour deux types de zones

Section intitulée « Le problème : une seule distance pour deux types de zones »

La distance kNN de la dernière leçon utilise la même règle de mesure pour tout le monde. Cela fonctionne quand les données normales sont aussi rapprochées partout. Ce n’est pas le cas des paiements de Larkfield.

Les comptes personnels font de petits achats. Les comptes d’entreprise achètent pour un magasin ou un bureau. Voici les mois de référence, de juin à août 2025 :

Compte Paiements Montant médian 90 % sont inférieurs à 99 % sont inférieurs à 400 dollars ou plus
Personnel 131 016 34,32 $ 81,56 $ 165,90 $ 0,01 %
Entreprise 42 255 257,50 $ 727,60 $ 1 693,58 $ 29,17 %

Un paiement de 400 dollars est presque inexistant sur un compte personnel : environ 1 sur 10 000. Sur un compte d’entreprise, presque 1 paiement sur 3 atteint ce montant. Un paiement de 400 dollars est donc inhabituel pour un compte personnel et normal pour un compte d’entreprise.

Les paiements d’entreprise sont aussi plus dispersés. Leurs voisins normaux sont éloignés les uns des autres, comme les fermes. Une simple distance indique alors que beaucoup de paiements d’entreprise honnêtes sont « loin ». Elle manque aussi un paiement inhabituel situé dans un espace vide parmi les paiements personnels rapprochés.

La solution est une question relative. Ce point est-il plus loin de ses voisins que ses voisins le sont de leurs voisins?

  • Si un point est aussi entouré que ses voisins, la réponse est d’environ 1 : normal pour cette zone.
  • Si le point est beaucoup plus loin de ses voisins qu’ils le sont des leurs, la réponse dépasse largement 1. Le point est inhabituel pour cette zone.

C’est le facteur local d’aberrance, ou LOF. « Local », parce qu’il compare un point seulement à sa propre zone. « Facteur », parce que le score est un rapport : combien de fois le point est plus isolé que ses voisins. Le mot densité décrit la concentration d’une zone : beaucoup de points rapprochés donnent une densité élevée.

Un petit exemple : un groupe dense et un groupe dispersé

Section intitulée « Un petit exemple : un groupe dense et un groupe dispersé »

Prenez deux groupes de neuf points. Le groupe dense, de d1 à d9, contient des points espacés de 0,2 : pensez aux comptes personnels. Le groupe dispersé, de s1 à s9, contient des points espacés de 1,5 : pensez aux comptes d’entreprise. Ajoutez ensuite deux points de test :

  • P se trouve à 0,8 du bord du groupe dense.
  • Q se trouve à 1,5 du bord du groupe dispersé : le même espacement que dans son groupe.

Nous attribuons un score à chaque point avec k = 3, d’abord avec la distance kNN, puis avec LOF.

Un plan avec deux groupes de neuf points. En bas à gauche, un groupe dense de points espacés de 0,2, étiqueté comptes personnels. À droite, un groupe dispersé de points espacés de 1,5, étiqueté comptes d'entreprise. Un point bleu P se trouve à 0,8 à droite du groupe dense : kNN 0,82, LOF 3,46. Un point foncé Q se trouve à 1,5 à droite du groupe dispersé : kNN 2,12, LOF 1,08. Le coin s1 du groupe dispersé a kNN 2,12, LOF 0,97. Le coin d1 du groupe dense a kNN 0,28, LOF 0,97. Le texte indique : la distance kNN donne son score maximal, 2,12, aux 4 coins du groupe dispersé et à Q. LOF donne son score maximal, 3,46, à P; tous les autres ont entre 0,78 et 1,17.
Les mêmes 20 points évalués de deux façons, avec k = 3 (exemple construit). La distance kNN signale les coins du groupe dispersé. LOF signale P, le point éloigné par rapport à sa propre zone.
Description textuelle du diagramme

L’image montre un plan avec deux groupes de neuf points. En bas à gauche, un groupe dense de points espacés de 0,2, étiqueté comptes personnels. À droite, un groupe dispersé de points espacés de 1,5, étiqueté comptes d’entreprise. Un point bleu, P, se trouve à 0,8 à droite du groupe dense. Sa distance kNN est de 0,82 et son LOF de 3,46. Un point foncé, Q, se trouve à 1,5 à droite du groupe dispersé. Sa distance kNN est de 2,12 et son LOF de 1,08. Un coin du groupe dispersé, s1, a une distance kNN de 2,12 et un LOF de 0,97. Un coin du groupe dense, d1, a 0,28 et 0,97. En dessous, le texte indique que la distance kNN donne son score maximal, 2,12, aux quatre coins du groupe dispersé et à Q. LOF donne son score maximal, 3,46, à P, et de 0,78 à 1,17 à tous les autres points.

Regardez les deux scores de P :

  • La distance kNN donne 0,82 à P. Mais elle donne 2,12 aux coins du groupe dispersé. P ne figure donc même pas parmi les cinq premiers scores kNN. Les « fermes » honnêtes remplissent les alertes.
  • LOF donne 3,46 à P : P est environ trois fois et demie plus isolé que ses voisins. Tous les autres points, y compris Q, obtiennent de 0,78 à 1,17.

Voici l’idée en chiffres, sous une forme simple. Les 3 plus proches voisins de P sont d7, d8 et d9, à une distance moyenne de 0,82. Leurs propres 3 plus proches voisins sont à une distance moyenne de 0,22. P est donc environ 0,82 ÷ 0,22 ≈ 3,7 fois plus isolé que sa zone. Les 3 plus proches voisins de Q sont à une distance moyenne de 1,91, et les leurs à 1,64 : 1,91 ÷ 1,64 ≈ 1,2. La formule exacte de scikit-learn lisse un peu les distances. Elle les appelle distances d’accessibilité. Elle donne donc 3,46 et 1,08. L’idée reste la même.

Priya applique LOF aux paiements exactement comme elle a appliqué la distance kNN. La même mise à l’échelle. Le même échantillon de 20 000 paiements de référence. 35 voisins, un réglage courant pour LOF. Elle ajoute ensuite les lignes au tableau comparatif.

  1. Ouvrez le carnet depuis l’encadré en haut de cette page. Exécutez les trois cellules de préparation.
  2. Exécutez la section 1, le petit exemple. Vérifiez que P a un LOF de 3,46.
  3. Exécutez la section 2. Vérifiez les médianes : 34,32 dollars pour les comptes personnels, 257,50 pour les comptes d’entreprise.
  4. Avant d’exécuter la section 3, faites une prédiction : LOF battra-t-il la distance kNN (0,219 avec les variables brutes, 0,505 avec les variables comportementales)?
  5. Exécutez la section 3. Cela prend environ 15 secondes. Vérifiez les deux nouvelles lignes.

La fonction de calcul du score est presque identique à celle de kNN :

def lof_scores(X, k=35):
"""LOF of each evaluation payment against a sample of 20,000 reference payments. Higher = more unusual."""
ref, ev = scaled(X)
model = LocalOutlierFactor(n_neighbors=k, novelty=True).fit(ref) # novelty=True: score new points
return -model.score_samples(ev)

novelty=True (nouveauté activée) indique à scikit-learn que vous évaluerez de nouveaux points, pas ceux utilisés pour l’entraînement. Sans ce réglage, LocalOutlierFactor peut seulement attribuer des scores à ses propres données d’entraînement. score_samples (attribuer un score aux échantillons) renvoie le LOF avec un signe moins. Le code inverse donc le signe : un score plus élevé signifie plus inhabituel.

La sortie :

detector setting alerts per day precision at budget recall cost per week ($) explain one alert (min)
LOF raw features, 35 neighbours 50.0 0.168 0.271 7857 3
LOF behaviour features, 35 neighbours 50.0 0.082 0.132 9248 3
Distance kNN (k = 10) et LOF (35 voisins) sur les mêmes variables mises à l'échelle et les mêmes 20 000 paiements de référence, mesurés sur les mois d'évaluation. comp. = les variables comportementales.
Description textuelle du graphique

Un diagramme à quatre colonnes. Distance kNN sur les variables brutes : 0,219. LOF sur les variables brutes : 0,168. Distance kNN sur les variables comportementales : 0,505. LOF sur les variables comportementales : 0,082. LOF est inférieur dans les deux cas, et beaucoup plus faible avec les variables comportementales.

LOF est moins bon que la distance kNN avec les deux ensembles de variables. Avec les variables comportementales, il est six fois moins bon : 0,082 contre 0,505. Cela donne 4 paiements insérés parmi 50 alertes, contre 25. L’idée fonctionnait parfaitement dans le petit exemple. Sur les vraies données, elle échoue. Pourquoi?

Priya ne s’arrête pas au chiffre. Elle examine le rappel de chaque type de fraude, avec les variables comportementales (résultats mesurés) :

Type de fraude Distance kNN LOF
Carte volée 0,896 0,142
Test de cartes 0,720 0,060
Prise de contrôle de compte 0,603 0,361

Les tests de cartes sont presque invisibles pour LOF : il trouve 6 % des paiements de test de cartes. Elle examine ensuite les voisins. Pour chaque paiement d’évaluation, elle trouve ses 35 plus proches voisins dans l’échantillon de référence. Elle compte ensuite combien sont des paiements insérés :

Pour chaque paiement d'évaluation, la part de paiements insérés parmi ses 35 plus proches voisins de référence, par type (mesurée, variables comportementales). Les voisins d'un test de cartes sont presque tous d'anciennes fraudes.
Description textuelle du graphique

Un diagramme à quatre colonnes. Pour un paiement de test de cartes, 94,7 % de ses 35 plus proches voisins sont des paiements insérés. Pour un paiement avec carte volée, 73,3 %. Pour une prise de contrôle de compte, 13,6 %. Pour un paiement honnête, 0,2 %.

L’échec est maintenant clair. Les mois de référence contiennent aussi d’anciens tests de cartes : 123 dans l’échantillon de 20 000. Un test de cartes ressemble beaucoup aux autres tests de cartes : petits montants, appareil utilisant plusieurs cartes en une heure, souvent la nuit. Les anciens tests de cartes forment donc un groupe à part, loin des paiements honnêtes. Un nouveau test de cartes arrive dans ce groupe. Il est aussi loin de ses voisins qu’ils le sont de leurs propres voisins, donc son LOF est d’environ 1. Le LOF médian des paiements de test de cartes est de 1,01, comme celui des paiements honnêtes.

LOF a répondu correctement à sa propre question : « ce test de cartes est normal pour sa zone ». Mais sa zone est un groupe de fraudes. La question nécessaire était celle de kNN : est-il loin de ses voisins, en distance simple? Le 10e plus proche voisin d’un test de cartes est à une distance médiane de 3,46. Pour un paiement honnête, c’est 0,05. Les anciennes fraudes semblent proches seulement quand on les compare entre elles.

Un k plus grand regarde au-delà d’un petit groupe. Priya mesure trois tailles, avec les variables comportementales :

Voisins 10 35 100
Précision au budget 0,077 0,082 0,154

Avec 100 voisins, le résultat double presque, car le voisinage dépasse maintenant la taille de nombreux groupes d’anciennes fraudes. Il reste bien inférieur à la distance kNN (0,505), et il est plus lent. La méthode ne convient pas à ces données.

Utilisez-le quand les données normales ont des zones de densités très différentes. Les anomalies doivent être des points isolés dans les espaces vides. Exemples : mesures de capteurs sur des machines fonctionnant à différentes vitesses, ou clients de tailles très différentes. Chaque anomalie est alors un événement isolé.

Évitez-le, ou vérifiez-le soigneusement, quand les anomalies forment des groupes qui se ressemblent. Exemples : tests de cartes, inscriptions de robots ou série d’erreurs après une mise en production. Un tel groupe forme sa propre zone, et LOF le considère comme normal. C’est une propriété de la méthode, pas un bogue.

Son coût : comme kNN, LOF conserve les points de référence et cherche les voisins de chaque nouveau point. L’évaluation des mois d’évaluation avec les variables comportementales a pris 5,3 secondes face aux 20 000 paiements stockés (mesuré). C’est un peu plus lent que kNN (4,1 secondes). Il exige aussi une mise à l’échelle, pour les mêmes raisons que kNN.

La meilleure leçon ici ne porte pas sur LOF. C’est une habitude. Quand une méthode semble ingénieuse, mesurez-la dans le même tableau que les méthodes simples. Quand elle échoue, examinez le rappel par type et quelques voisins avant de régler quoi que ce soit. Un tableau et un graphique ont appris à Priya plus qu’un après-midi de réglages.

Erreur courante

Une méthode locale qui considère un réseau de fraude comme normal

Symptôme : Tomás applique LOF avec les variables comportementales. L’équipe de Sofia reçoit 50 alertes par jour, mais seulement environ 4 correspondent à de vraies fraudes. Les tests de cartes provenant d’un même appareil passent sans alerte, jour après jour.

Cause : les anciens tests de cartes dans les données de référence forment leur propre groupe. Un nouveau test de cartes arrive dans ce groupe, donc son LOF est d’environ 1. LOF compare chaque point à sa propre zone, et ici, la zone est faite de fraudes.

Diagnostic : calculez le rappel par type (compare.recall_by_kind) : les tests de cartes obtiennent 0,060. Comptez ensuite les paiements insérés parmi les voisins des fraudes manquées : 94,7 %.

Solution : utilisez une méthode qui mesure la distance simple ou l’isolement : distance kNN (0,505) ou Isolation Forest (forêt d’isolement, prochaine leçon). Si vous gardez LOF, utilisez un voisinage beaucoup plus grand, puis mesurez de nouveau.

Conséquence pour le travail en IA : une méthode « locale » ou « contextuelle » peut apprendre qu’une attaque répétée est normale. Les attaques qui se répètent sont précisément celles qui comptent le plus.

Dans le carnet, la section 5 contient trois tâches :

  1. Dans le petit exemple, écrivez le LOF de P dans lof_p.
  2. Trouvez le type de fraude insérée ayant le rappel le plus faible pour LOF avec les variables comportementales. Écrivez son nom dans worst_kind.
  3. Évaluez les variables comportementales avec 100 voisins. Placez la précision au budget dans lof_100. Faites d’abord une prédiction : mieux ou moins bien qu’avec 35 voisins?
Afficher les résultats attendus
  1. lof_p = 3.46.
  2. worst_kind = "card_testing" (rappel de 0,060).
  3. lof_100 = 0.154 : mieux que 0,082 avec 35 voisins, car un voisinage plus grand dépasse les petits groupes d’anciennes fraudes. Le résultat reste bien inférieur à la distance kNN (0,505).

Vérifiez votre compréhension

Expliquez le facteur local d'aberrance (LOF) en mots simples. Que signifie un LOF d'environ 1? Et un LOF de 3,5?

Afficher la réponse

Le LOF compare la distance d’un point à ses voisins avec la distance de ces voisins à leurs propres voisins. Environ 1 signifie que la densité autour du point ressemble à celle de son voisinage : il est normal à cet endroit. Un LOF de 3,5 signifie que la densité autour du point est environ trois fois et demie plus faible. Il est inhabituel dans son voisinage, même si sa distance simple est petite.

Vérifiez votre compréhension

Prédisez : un paiement de 400 $ sur un compte personnel et un paiement de 400 $ sur un compte d'entreprise. Lequel une méthode fondée sur la densité devrait-elle signaler? Pourquoi une distance globale unique fonctionne-t-elle mal ici?

Afficher la réponse

Celui du compte personnel. Pendant les mois de référence, environ 0,01 % des paiements personnels sont de 400 $ ou plus, contre 29,17 % des paiements d’entreprise. Les paiements d’entreprise sont très dispersés. Une distance globale juge donc beaucoup de paiements d’entreprise honnêtes « éloignés », et ils occupent toutes les alertes. La densité locale compare chaque paiement à son propre voisinage. Le paiement personnel de 400 $ se démarque donc, mais pas celui du compte d’entreprise.

Vérifiez votre compréhension

Le LOF trouve 6 % des paiements de test de cartes avec les variables comportementales, contre 72 % pour la distance kNN. Expliquez pourquoi, à partir des observations sur les voisins.

Afficher la réponse

Parmi les 35 plus proches voisins de référence d’un test de cartes, 94,7 % sont des paiements insérés. Ce sont surtout d’anciens tests de cartes. Ils forment leur propre groupe, loin des paiements honnêtes. Un nouveau test de cartes est aussi éloigné de ses voisins que ceux-ci le sont des leurs. Son LOF est donc d’environ 1. La médiane est de 1,01, comme pour les paiements honnêtes. La distance kNN mesure la distance simple entre le point et son k-ième voisin. Ici, ce voisin reste éloigné : la médiane est de 3,46, contre 0,05 pour les paiements honnêtes. La distance kNN signale donc le test de cartes.

Récapitulatif

  • LOF compare la distance d’un point à ses voisins avec les distances de ces voisins à leurs propres voisins. Environ 1 : normal dans ce voisinage. Beaucoup plus que 1 : inhabituel dans ce voisinage.
  • Il fait mieux qu’une distance simple quand les voisinages ont des densités différentes. Dans le petit exemple, il signale P (3,46), mais pas le groupe dispersé.
  • Sur les paiements de Larkfield, il échoue : 0,168 avec les variables brutes et 0,082 avec les variables comportementales. La distance kNN obtient 0,219 et 0,505.
  • La raison : les fraudes qui se répètent forment leur propre groupe, et le LOF les juge normales. Rappel des tests de cartes : 0,060.
  • L’habitude à prendre : mesurez chaque méthode dans le même tableau. Examinez le rappel par type et les voisins avant d’ajuster les paramètres.

Vous pouvez maintenant juger une méthode fondée sur la densité à partir d’observations concrètes. Mais kNN et LOF stockent tous deux des milliers de points et recherchent leurs voisins pour chaque nouveau paiement. C’est lent quand les lignes sont nombreuses. Ensuite, vous aborderez la question autrement : découpez les données au hasard et comptez à quelle vitesse un point se retrouve seul. C’est le principe d’Isolation Forest.

Leçon suivante : Isolation Forest