Aller au contenu
English

Détection d'anomalies : trouver ce qui est inhabituel

Trouvez les quelques événements qui comptent parmi des millions qui ne comptent pas. Comparez des règles, des statistiques robustes, des cartes de contrôle, des méthodes d'isolement, de séries chronologiques et profondes sur les mêmes données, choisissez selon le coût d'un cas manqué, et exploitez le détecteur comme une tâche quotidienne à laquelle les gens font confiance.

Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.

Ce cours est-il le bon pour vous?Ce que ce cours couvre et ne couvre pas, et 4 autres cours pour d'autres besoins.

Ce cours enseigne à trouver l'inhabituel : cadrer un problème d'anomalies, des références de base robustes et des règles, des cartes de contrôle et des tests de dérive, des méthodes de distance, de densité et d'isolement, des détecteurs pour les séries chronologiques et les points de rupture, les autoencodeurs et les plongements, l'évaluation avec peu d'étiquettes sous un budget d'alertes, l'apprentissage à partir des réviseurs, et une tâche de détection en production. Il n'enseigne pas les modèles supervisés en général, la prévision en profondeur, ni l'exploitation d'un service.

Suivez un autre cours si vous voulez :

Ce que vous apprendrez

À la fin de ce cours, vous pourrez :

  • Cadrer un problème d'anomalies : ce que « inhabituel » veut dire pour la décision, le type d'anomalie (ponctuelle, contextuelle, collective, changement), l'unité et le moment d'une vérification, et le coût d'un cas manqué et d'une fausse alerte.
  • Construire des références de base simples et explicables (cote z, médiane et MAD, écart interquartile, références saisonnières, règles) et dire quand elles suffisent.
  • Surveiller des processus d'affaires avec la maîtrise statistique des procédés (cartes I-MR, p et u, CUSUM, EWMA, règles de séquence), et tester la dérive de distribution (KS, khi-deux, PSI, Wasserstein) avec un taux de fausses alarmes fixé et une taille de changement qui compte.
  • Appliquer et comparer des méthodes classiques et profondes (distance kNN, LOF, Isolation Forest, SVM à une classe, autoencodeurs, distance entre plongements) sur les mêmes données, et expliquer pourquoi chacune gagne ou perd.
  • Détecter des anomalies dans les séries chronologiques et des points de rupture (résidus STL, références robustes glissantes, détection de points de rupture) sans confondre un jour férié avec un incident.
  • Évaluer avec peu d'étiquettes comme le fait l'entreprise : précision à k, rappel des cas connus, alertes par jour, budget d'alertes et coût par semaine, avec des limites honnêtes.
  • Exploiter un détecteur en production : des scores aux alertes, des seuils qui suivent un budget d'alertes, une boucle de rétroaction des étiquettes des réviseurs, le réentraînement, et la dérive de ce que « normal » veut dire.

À propos de ce cours

Larkfield, une boutique en ligne de produits pour la maison et le jardin, veut trouver les événements inhabituels avant qu’ils coûtent de l’argent. Une cliente qui achète un petit panier chaque semaine fait soudain huit paiements dans une ville étrangère en dix minutes. Le taux de remboursement d’un agent du soutien monte un peu et reste haut. L’API des billets ralentit un peu plus chaque jour. Un flux de données envoie des zéros pendant une journée entière.

Dans ce cours, vous suivez Priya, une scientifique des données, pendant qu’elle construit et compare des détecteurs pour ces problèmes. L’équipe de Sofia révise les alertes de paiement et peut en vérifier 50 par jour. Grace lit les cartes de contrôle des remboursements. Amira est responsable de l’API des billets, et Mei des flux de données.

Chaque méthode s’exécute sur les mêmes données de Larkfield et entre dans un seul tableau de comparaison : les alertes par jour, les anomalies insérées trouvées dans le budget quotidien, le coût par semaine et le temps pour expliquer une alerte. Vous voyez une règle de trois lignes battre un réseau de neurones sur un problème et perdre sur un autre, et vous apprenez pourquoi.

Toutes les données sont synthétiques et ne contiennent aucune personne réelle. Chaque anomalie d’exercice a été insérée exprès, et le cours le dit chaque fois. Tout s’exécute dans des carnets sur le processeur d’un ordinateur portable ou dans Colab gratuit, sans aucun service payant.

Avant de commencer

Vous avez terminé le cours Apprentissage automatique : du problème à un modèle fiable, ou vous avez les mêmes compétences (variables, découpage des données, pipelines scikit-learn, précision et rappel, seuils). Vous savez lire et modifier du code Python et pandas dans un carnet. Les cours de mathématiques, de prévision et de MLOps aident mais ne sont pas obligatoires; les leçons qui utilisent leurs idées les expliquent brièvement et y renvoient. Il vous faut un compte Google ou Kaggle gratuit pour les carnets, ou Python 3.12 sur votre ordinateur. Vous n'avez besoin d'aucun service payant.

Cours à suivre avant : Apprentissage automatique : du problème à un modèle fiable.

À qui s'adresse ce cours

Les scientifiques des données, les ingénieurs en apprentissage automatique, les analystes et les ingénieurs du serveur ou de l'exploitation qui doivent trouver des événements rares et inhabituels (fraude, pannes, mauvaises données, changements soudains) et en faire des alertes sur lesquelles les gens agissent.

Comment nous avons créé ce cours

Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours

Dans ce cours

Module 2Des références de base simples et difficiles à battre

3 leçons

Des références de base simples et difficiles à battre. Vous calculez des cotes z, vous voyez comment une valeur extrême trompe la moyenne, vous utilisez la médiane, la MAD et l'écart interquartile par client, et vous écrivez les règles qu'une équipe de lutte contre la fraude utilise déjà.

  1. Les cotes z, et pourquoi la moyenne se fait tromper30 min
  2. Médiane, MAD et IQR35 min
  3. Les règles, et quand une règle est la bonne réponse35 min

Module 3Maîtrise statistique des procédés et dérive de distribution

7 leçons

Maîtrise statistique des procédés et dérive de distribution. Vous surveillez le taux de remboursement avec des cartes I-MR, p, CUSUM et EWMA, vous mesurez le prix de chaque règle de séquence, vous testez des distributions avec KS, PSI et Wasserstein, et vous utilisez la loi de Benford et d'autres vérifications d'affaires.

  1. Cartes de contrôle : cette variation est-elle normale?40 min
  2. Règles pour les motifs, et le prix de chaque règle35 min
  3. Cartes pour les taux et les dénombrements35 min
  4. Petits décalages durables : CUSUM et EWMA40 min
  5. La distribution a-t-elle changé?40 min
  6. Dérive dans de nombreuses variables, et quoi faire35 min
  7. Loi de Benford et autres vérifications d'affaires35 min

Module 4Distance, densité et isolement

5 leçons

Distance, densité et isolement. Vous attribuez un score aux paiements avec la distance kNN, LOF, Isolation Forest et un SVM à une classe, vous utilisez PyOD pour exécuter de nombreux détecteurs avec une seule interface, et vous voyez que de meilleures variables battent un meilleur algorithme.

  1. Loin des voisins : la distance kNN35 min
  2. Densité locale : LOF30 min
  3. Isolation Forest35 min
  4. SVM à une classe et boîte à outils PyOD35 min
  5. Les variables comptent plus que l'algorithme40 min

Module 5Les anomalies dans le temps

5 leçons

Les anomalies dans le temps. Vous construisez des références de base saisonnières, vous détectez sur les résidus STL, vous prévoyez et comparez avec un intervalle de prédiction, vous trouvez des points de rupture, et vous regroupez les alertes de nombreuses métriques pour qu'un incident donne une seule alerte.

  1. Le normal change avec l'heure et la saison35 min
  2. Résidus STL35 min
  3. Prévoir et comparer35 min
  4. Points de rupture35 min
  5. Plusieurs métriques à la fois35 min

Module 6Méthodes profondes et plongements

4 leçons

Méthodes profondes et plongements. Vous entraînez un tout petit autoencodeur et le comparez honnêtement, vous trouvez de nouveaux messages de journaux avec des gabarits et des plongements, vous utilisez un LLM seulement pour résumer une alerte, et vous savez quand ne pas utiliser l'apprentissage automatique.

  1. Autoencodeurs et erreur de reconstruction40 min
  2. Texte et journaux inhabituels avec les plongements40 min
  3. Où un LLM aide, et où il n'aide pas30 min
  4. Quand ne pas utiliser l'apprentissage automatique25 min

Dernier module · choisissez-en au moins uneÉtudes de cas

4 études de cas

Quatre études de cas complètes sur de vraies données ouvertes. La fraude par carte avec un budget de révision, les pannes dans les métriques de machines ou de serveurs, des mesures inhabituelles dans des données ouvertes publiques, et les cartes de contrôle sur une vraie ligne de production. Terminez-en au moins une pour obtenir le certificat; chacune est une pièce de portfolio.

Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune

  1. Fraude par carte avec un budget de révision150 min
  2. Pannes dans les métriques de machines ou de serveurs120 min
  3. Mesures inhabituelles dans des données ouvertes publiques150 min
  4. Cartes de contrôle sur une vraie ligne de production120 min

Après les études de casTravail final

Utilisez tous les modules dans un projet pratique. Vous recueillez des preuves, puis vous les comparez aux objectifs du cours.

  1. Travail final180 min

Études de cas

Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.

  1. Fraude par carte avec un budget de révision2 h 30 min

    Des transactions par carte anonymisées : comparer une règle, Isolation Forest, un autoencodeur et un modèle supervisé sur les quelques étiquettes, et choisir par la précision à un budget de révision quotidien.

  2. Pannes dans les métriques de machines ou de serveurs2 h

    Des séries chronologiques étiquetées de systèmes réels : comparer les références saisonnières, les résidus STL, les points de rupture et un détecteur multivarié, notés par le délai de détection et les alertes par jour.

  3. Mesures inhabituelles dans des données ouvertes publiques2 h 30 min

    Une série de données ouvertes publiques sans étiquettes : insérer des anomalies, séparer les vrais événements des défauts de données, et écrire la politique d'alerte.

  4. Cartes de contrôle sur une vraie ligne de production2 h

    Des mesures de capteurs et des résultats réussi/échoué d'un procédé de fabrication : cartes de contrôle et vérifications de dérive sur les signaux clés, comparées avec Isolation Forest.

Avis

Chargement des avis…

    Vous avez suivi ce cours? Connectez-vous pour donner votre avis. Vous pouvez donner un avis après avoir terminé 25 % des leçons.

    Partager ce cours