Quand ne pas utiliser l'apprentissage automatique
- Leçon 28
- 25 min
- Module 6 : Méthodes profondes et plongements
Où nous en sommes
Nous avons essayé des règles, des statistiques, des modèles classiques, un réseau de neurones, des plongements et un LLM sur les mêmes données. Dans cette leçon, nous lisons le tableau comparatif pour repérer où une règle ou un score MAD gagne. Nous comparons le coût, la vitesse et l'explication. Nous dressons aussi la liste des signes qu'un modèle profond ne vaut pas son coût.
Leçon 28 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelQuand ne pas utiliser l'apprentissage automatique
1. Ce que « inhabituel » veut dire
2. Des références de base simples et difficiles à battre
3. Maîtrise statistique des procédés et dérive de distribution
- Cartes de contrôle : cette variation est-elle normale?
- Règles pour les motifs, et le prix de chaque règle
- Cartes pour les taux et les dénombrements
- Petits décalages durables : CUSUM et EWMA
- La distribution a-t-elle changé?
- Dérive dans de nombreuses variables, et quoi faire
- Loi de Benford et autres vérifications d'affaires
4. Distance, densité et isolement
5. Les anomalies dans le temps
6. Méthodes profondes et plongements
7. Évaluer avec peu d'étiquettes
8. Apprendre des réviseurs
9. Exploiter un détecteur en production
Ce que vous saurez faire
Choisissez la méthode la plus simple qui fait le travail, avec des preuves à l’appui. Lisez le tableau comparatif pour repérer les cas où une règle ou une statistique simple gagne. Apprenez ensuite à reconnaître les signes qu’un modèle profond ne vaut pas son coût.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le tableau comparatif et ses colonnes, dans Découvrir les données de Larkfield.
- Les règles et le score MAD du module 2, dans Les règles, et quand une règle est la bonne réponse et Médiane, MAD et IQR.
- L’autoencodeur, les gabarits de journaux et les résumés du LLM, dans les trois premières leçons de ce module. Commencez par Autoencodeurs et erreur de reconstruction.
Ce qu’il vous faut sur votre ordinateur
Rien. Cette leçon ne contient aucun code. Elle examine les résultats mesurés dans les leçons précédentes et leurs carnets (notebooks) Jupyter.
Un clou, un marteau et une perceuse à colonne
Section intitulée « Un clou, un marteau et une perceuse à colonne »Vous voulez accrocher un tableau. Vous pouvez prendre un marteau et un clou, ou acheter une perceuse à colonne. La perceuse à colonne est une meilleure machine à presque tous les égards. Elle coûte aussi cher, prend un après-midi à installer et exige une formation pour l’utiliser sans danger. Pour un seul tableau, le marteau gagne.
Personne ne pense que le marteau est « meilleur » en général. Il est meilleur pour ce travail, à cette échelle, avec ce budget. Un menuisier qui utilise la perceuse à colonne pour chaque clou n’est pas plus avancé. Il est plus lent, et ses erreurs sont plus grandes.
C’est pareil pour les détecteurs. La question n’est jamais « quelle méthode est la plus avancée? ». C’est « quelle est la méthode la plus simple qui fait assez bien ce travail, et comment le savoir? ».
Le plan de Tomás
Section intitulée « Le plan de Tomás »Tomás a une idée pour l’année prochaine : « Passons tous les détecteurs de Larkfield à l’apprentissage profond. Les paiements, les remboursements, les mesures du service, les journaux. Une seule pile technologique moderne. » Ça semble bien organisé.
Le tableau comparatif raconte autre chose. Regardez trois lignes de résultats mesurés sur les paiements :
| Détecteur | Précision au budget fixé | Coût par semaine (dollars) |
|---|---|---|
| Autoencodeur sur les colonnes brutes | 0,074 | 8 278 |
| Deux règles, classées (vélocité et appareil) | 0,427 | 6 954 |
| Autoencodeur sur les variables de comportement (le carnet) | 0,434 | 3 958 |
Le réseau de neurones sur les colonnes brutes faisait bien pire que deux lignes de règles. Avec de bonnes variables, sa précision les dépassait de seulement 0,007. Il coûtait moins cher par semaine, car il manquait moins de paiements insérés. Mais expliquer les règles prend une demi-minute, contre cinq pour le réseau (les hypothèses du cours).
La réponse honnête à Tomás n’est donc pas « non ». C’est : mesurez d’abord la méthode simple, avec la même partition des données et le même budget. Ajoutez de la complexité seulement si elle gagne. La méthode simple que vous mesurez d’abord est la référence de base.
Le coût par semaine de chaque choix
Section intitulée « Le coût par semaine de chaque choix »Le graphique place neuf lignes du tableau des paiements sur une même échelle. Le coût par semaine compte les paiements insérés manqués (le montant plus des frais de 15 $). Il ajoute 3 $ pour chaque fausse alerte. Ces coûts sont les hypothèses du cours.
- Règle, statistique ou référence
- Réseau de neurones
- Apprentissage automatique classique
Description textuelle du graphique
Neuf lignes, un point chacune, sur un axe en dollars par semaine allant de 0 à 11 000. Aucune révision : 10 367. LOF (facteur local d’aberrance) sur les variables de comportement : 9 248. MAD (écart absolu médian) par client : 8 280. L’autoencodeur sur les colonnes brutes : 8 278. Deux règles, classées : 6 954. L’autoencodeur sur les variables de comportement, l’exécution du carnet : 3 958. Isolation Forest (forêt d’isolement) sur les variables de comportement : 3 218. Distance aux k plus proches voisins (kNN) sur les variables de comportement : 2 739. Un détecteur parfait qui connaît les réponses : 953.
Lisez le graphique à partir du haut. Ne rien faire coûte 10 367 $ par semaine. Les deux règles réduisent ce coût d’environ un tiers. La grande baisse vient des variables de comportement : le passé du client lui-même. Avec elles, la distance kNN et Isolation Forest sont les détecteurs les moins chers du cours. L’autoencodeur sur les mêmes variables coûte plus cher que les deux. L’apprentissage automatique gagne donc pour les paiements. Mais c’est l’apprentissage automatique classique sur de bonnes variables, pas le modèle le plus profond.
Cinq cas où une méthode sans apprentissage automatique gagne
Section intitulée « Cinq cas où une méthode sans apprentissage automatique gagne »Les paiements étaient le problème le plus difficile du cours, et l’apprentissage automatique y a aidé. Pour les autres problèmes de Larkfield, une règle, un compte ou une statistique suffisait. Les leçons précédentes ont mesuré tous ces résultats.
1. Tests de cartes : une règle sur l’appareil
Section intitulée « 1. Tests de cartes : une règle sur l’appareil »Dans les tests de cartes, un appareil essaie les cartes de nombreux clients avec de petits paiements. La règle « un appareil avec plus de 3 paiements en 1 heure » trouve 52,2 % des paiements de test de cartes. Un réviseur comprend chaque alerte en une demi-minute. Par exemple : « ce téléphone a payé avec 9 cartes différentes en une heure ». La règle n’a besoin ni d’entraînement ni de données. Isolation Forest sur les variables de comportement trouve plus de paiements de test de cartes, soit 0,718 (Autoencodeurs et erreur de reconstruction). Mais expliquer chacune de ses alertes prend 3 minutes, pas une demi-minute (les hypothèses du cours). La règle gagne sur le coût et la vitesse, pas sur le rappel.
La règle ne trouve pas tout. Elle ne trouve aucune prise de contrôle de compte (rappel de 0,0). Une prise de contrôle produit seulement quelques paiements (406 pour 209 prises de contrôle). Son appareil ne dépasse donc jamais 3 paiements en une heure. C’est pourquoi le tableau comparatif contient d’autres lignes.
2. Prise de contrôle de compte : un score robuste par client
Section intitulée « 2. Prise de contrôle de compte : un score robuste par client »Une prise de contrôle de compte produit quelques paiements coûteux depuis le compte du client lui-même. Le score MAD par client pose une question : « à quelle distance ce montant est-il du montant habituel de ce client, en unités robustes? ». Il trouve 53,4 % des prises de contrôle de compte. C’est une médiane et une MAD par client : une statistique, pas un modèle.
3. Remboursements : cartes de contrôle et compte
Section intitulée « 3. Remboursements : cartes de contrôle et compte »Les remboursements de Grace forment un taux par jour. Une carte de contrôle est le bon outil pour suivre un nombre dans le temps. Pour le décalage inséré de 0,3 point, l’EWMA (moyenne mobile à pondération exponentielle) a déclenché une alarme après 35 jours. Le CUSUM (somme cumulée) l’a fait après 43 jours, sans fausse alarme pendant les 96 jours stables. Par agent, une carte p et le CUSUM ont trouvé les remboursements supplémentaires de l’agent A-17 en 6 jours.
Les remboursements de l’agent A-29 se concentrent juste sous la limite d’approbation de 100 $. Aucun modèle n’a trouvé cela. Un compte l’a trouvé : 16,1 % des remboursements d’A-29 se situaient entre 90 et 99,99 $, contre 3,5 % pour tous les agents. Une vérification d’affaires écrite en une ligne de code.
4. Le service : une référence de base saisonnière
Section intitulée « 4. Le service : une référence de base saisonnière »Pour la latence de ticket-api, la référence de base saisonnière compare chaque minute à la même minute une et deux semaines avant. Elle a trouvé le changement de configuration 3 minutes après son début. Isolation Forest sur trois mesures a trouvé le même changement après 1 126 minutes. Un simple seuil de latence de 350 ms a envoyé seulement 0,28 événement par jour. Chacun correspondait à un problème inséré.
5. Journaux et commandes quotidiennes : gabarits et calendrier
Section intitulée « 5. Journaux et commandes quotidiennes : gabarits et calendrier »Les quatre motifs de recherche et remplacement de Texte et journaux inhabituels avec les plongements ont trouvé les trois nouveaux messages de journaux en 0,24 seconde. Les plongements (embeddings) ont classé l’indicateur de fonctionnalité sans danger comme le plus inhabituel. Pour les commandes quotidiennes, une prévision avec un intervalle de 99 % a déclenché des alarmes sur 16 jours. Parmi eux, 15 étaient un jour férié ou un jour adjacent. Une simple liste de jours fériés a réduit les alarmes à 1.
| Problème de Larkfield | Ce qui a gagné | Preuves mesurées | L’autre option en apprentissage automatique |
|---|---|---|---|
| Tests de cartes | Règle sur l’appareil | rappel de 0,522, 0,5 minute pour expliquer | Isolation Forest 0,718, 3 minutes pour expliquer |
| Prise de contrôle de compte | MAD par client | rappel de 0,534 | autoencodeur 0,575, 5 minutes pour expliquer |
| Décalage du taux de remboursement | EWMA, CUSUM | 35 et 43 jours, 0 fausse alarme en 96 jours | — |
| Un agent sous la limite | Un compte des montants de 90 à 99,99 $ | 16,1 % contre 3,5 % | — |
| Service après un changement | Référence de base saisonnière | 3 minutes avant la détection | Isolation Forest : 1 126 minutes |
| Nouveaux messages de journaux | Gabarits | 3 sur 3, en 0,24 s | les plongements ont classé le message sans danger en premier |
| Paiements, tous types | Isolation Forest, kNN sur les variables de comportement | 0,500, 0,505; 3 218 et 2 739 $/semaine | autoencodeur 0,434 (0,468), règles 0,427 |
La dernière ligne est celle où l’apprentissage automatique gagne. Remarquez ce qui l’a fait gagner : les variables de comportement. Ce sont elles-mêmes de simples comptes et comparaisons avec le passé du client. Remarquez aussi la deuxième ligne : l’autoencodeur trouve plus de prises de contrôle de compte (0,575) que le score MAD (0,534). Un modèle plus complexe peut gagner sur un type. La question devient alors : ce gain couvre-t-il son coût?
Comment choisir
Section intitulée « Comment choisir »Le diagramme transforme ces résultats en quelques questions :
Description textuelle du diagramme
Le diagramme est une chaîne de questions. Première question : une personne peut-elle décrire le motif exactement? Si oui, utilisez une règle : une limite, un compte ou une liste d’autorisation. Sinon, deuxième question : est-ce un nombre comparé à son propre passé? Si oui, utilisez une statistique robuste : la MAD, une carte de contrôle ou une référence de base saisonnière. Sinon, troisième question : est-ce du texte, comme des lignes de journaux? Si oui, utilisez d’abord des gabarits, et des plongements seulement pour classer les quelques nouvelles lignes. Sinon, utilisez l’apprentissage automatique classique sur les variables de comportement, comme Isolation Forest ou kNN. Puis une dernière question : un modèle profond l’a-t-il battu avec la même partition des données et le même budget? Si non, gardez le modèle plus simple. Si oui, utilisez le modèle profond, et payez pour l’exécuter et l’expliquer.
Le diagramme est un point de départ, pas une loi. Beaucoup de problèmes réels utilisent plusieurs cases à la fois. Les paiements de Larkfield utilisent des règles pour les tests de cartes, une statistique pour les prises de contrôle de compte, et Isolation Forest pour le reste.
Signes qu’un modèle profond ne vaut pas son coût
Section intitulée « Signes qu’un modèle profond ne vaut pas son coût »Tomás demande : « Alors, quand l’apprentissage profond en vaut-il la peine? ». Cherchez d’abord ces signes. Chacun dit « pas ici, pas encore » :
- Les données forment un tableau de variables conçues à la main. Les huit variables de comportement de Larkfield ont été créées à la main. Les forêts et les recherches de voisins utilisent bien ces tableaux. Les réseaux de neurones excellent sur les signaux bruts contenant beaucoup de valeurs liées : images, sons, formes d’onde de capteurs, longues séquences.
- La ligne simple est proche. Un modèle profond n’a pas gagné si son avance est inférieure à l’écart entre deux de ses propres exécutions. L’autoencodeur est passé de 0,434 à 0,468 avec un autre point de départ. Cette variation dépasse son écart avec les règles.
- Le réviseur a besoin d’une raison. L’équipe de Sofia reçoit 50 alertes par jour. « Cet appareil a payé avec 9 cartes en une heure » prend une demi-minute. Un score issu de 395 poids prend plus de temps à expliquer. Le cours suppose 0,5, 3 et 5 minutes.
- Il y a peu d’étiquettes pour le vérifier. Un modèle complexe peut apprendre des raccourcis étranges. Sans étiquettes, vous pourriez ne jamais les voir.
- L’équipe ne peut pas l’exécuter. Un modèle profond exige un cadriciel (PyTorch fait environ 200 Mo) et plusieurs exécutions. Quelqu’un doit le réentraîner et le déboguer.
- Le volume est faible. Certains problèmes ont un nombre par jour, comme un taux de remboursement. Une carte de contrôle comporte moins de choix et un taux de fausses alarmes connu.
Ce que coûte le temps d’explication
Section intitulée « Ce que coûte le temps d’explication »Les minutes pour expliquer une alerte semblent peu nombreuses. Multipliez-les. À 50 alertes par jour, l’équipe de Sofia révise 350 alertes par semaine. Selon les hypothèses du cours, expliquer les alertes des règles prend 175 minutes par semaine (0,5 minute chacune). Les alertes d’Isolation Forest prennent 1 050 minutes (3 chacune), et celles de l’autoencodeur, 1 750 minutes (5 chacune). Les minutes sont des hypothèses, et le calcul est construit. Mais l’ordre des trois est l’idée importante : plus le modèle est complexe, plus chaque alerte prend du temps à l’équipe.
Erreur courante
Faire la moyenne de tous les détecteurs, par prudence
Symptôme : Tomás n’arrive pas à choisir. Il fait donc la moyenne de quatre détecteurs sur les variables de comportement : kNN, LOF, Isolation Forest et SVM à une classe (One-Class SVM). « Un ensemble est toujours plus sûr », dit-il. Sa précision au budget fixé est de 0,211 (mesurée). Son meilleur membre, kNN, atteint 0,505.
Cause : un membre était mauvais. LOF sur les variables de comportement obtient 0,082. La moyenne des rangs donne à LOF un quart de chaque décision, et il fait baisser les autres. Sans LOF, la moyenne des trois atteint 0,504, mais ne fait toujours pas mieux que kNN seul.
Correction : évaluez d’abord chaque membre seul, dans le tableau comparatif. Retirez les membres qui perdent. Vérifiez ensuite si la combinaison bat le meilleur membre seul. Ici, ce n’est pas le cas, alors gardez kNN ou Isolation Forest.
Conséquence pour le travail en IA : plus de modèles ne veut pas dire plus de sécurité. La complexité ajoute de nouvelles façons d’échouer, et une moyenne peut cacher l’échec. Chaque ajout doit justifier sa place par une mesure.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Expliquez pourquoi le résultat de l'autoencodeur sur les variables de comportement (0,434) ne justifie pas de remplacer les deux règles classées (0,427). Qu'est-ce qui le justifie?
Afficher la réponse
L’écart de précision, 0,007, est inférieur à l’écart entre deux exécutions de l’autoencodeur (0,434 et 0,468). Expliquer une alerte prend une demi-minute avec les règles, contre cinq minutes avec l’autoencodeur (selon les hypothèses du cours). Les règles ne nécessitent aucun entraînement. Ce qui justifie un changement, c’est le coût par semaine. Isolation Forest et kNN sur les variables de comportement coûtent 3 218 et 2 739 dollars par semaine, contre 6 954 pour les règles. C’est un gain important et mesuré, qui vient des variables.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : Larkfield ajoute une nouvelle règle de sa banque : « pas plus de 5 remboursements par jour à la même carte ». Quelle méthode du diagramme devrait la vérifier, et pourquoi?
Afficher la réponse
Une règle. Une personne peut décrire le comportement exactement. Il suffit donc de compter les remboursements par carte et par jour. C’est rapide, sans données d’entraînement, et chaque alerte s’explique d’elle-même : « la carte X a reçu 7 remboursements aujourd’hui ». Un modèle ne pourrait apprendre qu’une copie approximative de ce comportement, et ses alertes seraient plus difficiles à expliquer.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification du module. Recommandez une méthode pour chacun de ces trois problèmes de Larkfield : (a) les remboursements d'un agent regroupés juste sous la limite d'approbation de 100 dollars, (b) de nouveaux types de messages dans les journaux de ticket-api, (c) les cartes volées et les prises de contrôle de comptes dans les paiements par carte. Appuyez vos choix sur le tableau comparatif ou les leçons précédentes. Au moins une réponse doit exclure l'apprentissage automatique.
Afficher la réponse
(a) Sans apprentissage automatique : une vérification d’affaires qui calcule la part des remboursements de chaque agent entre 90 et 99,99 dollars. A-29 avait 16,1 %, contre 3,5 % pour l’ensemble des agents. C’était le seul agent retenu après une correction de Bonferroni. (b) Sans apprentissage automatique : des gabarits de journaux, avec une liste des gabarits observés pendant les semaines normales. Ils ont trouvé les trois nouveaux messages en 0,24 seconde. Les plongements (embeddings) peuvent classer les nouveaux messages, mais ils ont placé l’indicateur sans danger en premier. (c) Apprentissage automatique : Isolation Forest (forêt d’isolement) ou distance aux k plus proches voisins (kNN) sur les variables de comportement, à 50 alertes par jour. Ils atteignent une précision de 0,500 et 0,505, à 3 218 et 2 739 dollars par semaine. Les deux règles atteignent 0,427, à 6 954 dollars par semaine. L’autoencodeur a obtenu 0,434 (0,468 avec une autre initialisation) et coûte plus cher en explications.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Ne demandez pas « quelle méthode est la plus avancée? » Demandez « quelle est la méthode la plus simple qui accomplit cette tâche? » Évaluez-la avec la même répartition des données et le même budget. La méthode simple que vous évaluez d’abord est la référence de base.
- Les méthodes sans apprentissage automatique ont gagné pour les tests de cartes (une règle par appareil) et les remboursements (cartes de contrôle et comptage). Elles ont aussi gagné pour le service après un changement (une référence de base saisonnière), les journaux (gabarits) et les commandes quotidiennes (une liste de jours fériés).
- Pour les paiements, les modèles classiques utilisant les variables de comportement ont gagné. Isolation Forest a atteint 0,500 et kNN, 0,505, à 3 218 et 2 739 dollars par semaine. L’autoencodeur ne les a pas battus.
- Signes qu’un modèle profond ne vaut pas la peine : un tableau de variables conçues à la main, un faible écart et un réviseur qui veut une raison. Aussi : peu d’étiquettes, une équipe qui ne peut pas l’exploiter et un faible volume.
- Plus de modèles ne signifie pas plus de sécurité : la moyenne de quatre détecteurs a obtenu 0,211, car l’un d’eux était mauvais.
Vous pouvez maintenant choisir une méthode en vous appuyant sur des preuves. Mais toutes ces preuves utilisaient le corrigé : la précision et le rappel exigent de savoir quels paiements ont été insérés. En pratique, on dispose rarement d’un corrigé complet, et certains chiffres apparemment bons peuvent être trompeurs. Vous verrez ensuite pourquoi l’exactitude est trompeuse ici, et à quelles mesures vous fier.
Leçon suivante : Pourquoi l'exactitude est trompeuse ici