Détection d'anomalies : trouver ce qui est inhabituel
Trouvez les quelques événements qui comptent parmi des millions qui ne comptent pas. Comparez des règles, des statistiques robustes, des cartes de contrôle, des méthodes d'isolement, de séries chronologiques et profondes sur les mêmes données, choisissez selon le coût d'un cas manqué, et exploitez le détecteur comme une tâche quotidienne à laquelle les gens font confiance.
Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.
Inscrivez-vous pour enregistrer les leçons que vous terminez. C'est gratuit.
Vous êtes inscrit. Dès maintenant, les leçons que vous terminez sont enregistrées.
Pour obtenir votre certificat, marquez chaque vérification des connaissances comme concordante. Ces leçons ont des vérifications à terminer :
Ce cours est-il le bon pour vous?Ce que ce cours couvre et ne couvre pas, et 4 autres cours pour d'autres besoins.
Ce cours enseigne à trouver l'inhabituel : cadrer un problème d'anomalies, des références de base robustes et des règles, des cartes de contrôle et des tests de dérive, des méthodes de distance, de densité et d'isolement, des détecteurs pour les séries chronologiques et les points de rupture, les autoencodeurs et les plongements, l'évaluation avec peu d'étiquettes sous un budget d'alertes, l'apprentissage à partir des réviseurs, et une tâche de détection en production. Il n'enseigne pas les modèles supervisés en général, la prévision en profondeur, ni l'exploitation d'un service.
Cadrer un problème d'anomalies : ce que « inhabituel » veut dire pour la décision, le type d'anomalie (ponctuelle, contextuelle, collective, changement), l'unité et le moment d'une vérification, et le coût d'un cas manqué et d'une fausse alerte.
Construire des références de base simples et explicables (cote z, médiane et MAD, écart interquartile, références saisonnières, règles) et dire quand elles suffisent.
Surveiller des processus d'affaires avec la maîtrise statistique des procédés (cartes I-MR, p et u, CUSUM, EWMA, règles de séquence), et tester la dérive de distribution (KS, khi-deux, PSI, Wasserstein) avec un taux de fausses alarmes fixé et une taille de changement qui compte.
Appliquer et comparer des méthodes classiques et profondes (distance kNN, LOF, Isolation Forest, SVM à une classe, autoencodeurs, distance entre plongements) sur les mêmes données, et expliquer pourquoi chacune gagne ou perd.
Détecter des anomalies dans les séries chronologiques et des points de rupture (résidus STL, références robustes glissantes, détection de points de rupture) sans confondre un jour férié avec un incident.
Évaluer avec peu d'étiquettes comme le fait l'entreprise : précision à k, rappel des cas connus, alertes par jour, budget d'alertes et coût par semaine, avec des limites honnêtes.
Exploiter un détecteur en production : des scores aux alertes, des seuils qui suivent un budget d'alertes, une boucle de rétroaction des étiquettes des réviseurs, le réentraînement, et la dérive de ce que « normal » veut dire.
À propos de ce cours
Larkfield, une boutique en ligne de produits pour la maison et le jardin, veut trouver les événements inhabituels avant qu’ils coûtent de l’argent. Une cliente qui achète un petit panier chaque semaine fait soudain huit paiements dans une ville étrangère en dix minutes. Le taux de remboursement d’un agent du soutien monte un peu et reste haut. L’API des billets ralentit un peu plus chaque jour. Un flux de données envoie des zéros pendant une journée entière.
Dans ce cours, vous suivez Priya, une scientifique des données, pendant qu’elle construit et compare des détecteurs pour ces problèmes. L’équipe de Sofia révise les alertes de paiement et peut en vérifier 50 par jour. Grace lit les cartes de contrôle des remboursements. Amira est responsable de l’API des billets, et Mei des flux de données.
Chaque méthode s’exécute sur les mêmes données de Larkfield et entre dans un seul tableau de comparaison : les alertes par jour, les anomalies insérées trouvées dans le budget quotidien, le coût par semaine et le temps pour expliquer une alerte. Vous voyez une règle de trois lignes battre un réseau de neurones sur un problème et perdre sur un autre, et vous apprenez pourquoi.
Toutes les données sont synthétiques et ne contiennent aucune personne réelle. Chaque anomalie d’exercice a été insérée exprès, et le cours le dit chaque fois. Tout s’exécute dans des carnets sur le processeur d’un ordinateur portable ou dans Colab gratuit, sans aucun service payant.
Avant de commencer
Vous avez terminé le cours Apprentissage automatique : du problème à un modèle fiable, ou vous avez les mêmes compétences (variables, découpage des données, pipelines scikit-learn, précision et rappel, seuils). Vous savez lire et modifier du code Python et pandas dans un carnet. Les cours de mathématiques, de prévision et de MLOps aident mais ne sont pas obligatoires; les leçons qui utilisent leurs idées les expliquent brièvement et y renvoient. Il vous faut un compte Google ou Kaggle gratuit pour les carnets, ou Python 3.12 sur votre ordinateur. Vous n'avez besoin d'aucun service payant.
Les scientifiques des données, les ingénieurs en apprentissage automatique, les analystes et les ingénieurs du serveur ou de l'exploitation qui doivent trouver des événements rares et inhabituels (fraude, pannes, mauvaises données, changements soudains) et en faire des alertes sur lesquelles les gens agissent.
Comment nous avons créé ce cours
Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours
Dans ce cours
Module 1Ce que « inhabituel » veut dire
4 leçons
Ce que « inhabituel » veut dire. Vous découvrez le paiement qui ne cadrait pas, vous nommez les quatre types d'anomalies, vous voyez pourquoi les étiquettes sont rares, et vous chargez les données de Larkfield et le tableau de comparaison que chaque module remplit.
Module 2Des références de base simples et difficiles à battre
3 leçons
Des références de base simples et difficiles à battre. Vous calculez des cotes z, vous voyez comment une valeur extrême trompe la moyenne, vous utilisez la médiane, la MAD et l'écart interquartile par client, et vous écrivez les règles qu'une équipe de lutte contre la fraude utilise déjà.
Module 3Maîtrise statistique des procédés et dérive de distribution
7 leçons
Maîtrise statistique des procédés et dérive de distribution. Vous surveillez le taux de remboursement avec des cartes I-MR, p, CUSUM et EWMA, vous mesurez le prix de chaque règle de séquence, vous testez des distributions avec KS, PSI et Wasserstein, et vous utilisez la loi de Benford et d'autres vérifications d'affaires.
Distance, densité et isolement. Vous attribuez un score aux paiements avec la distance kNN, LOF, Isolation Forest et un SVM à une classe, vous utilisez PyOD pour exécuter de nombreux détecteurs avec une seule interface, et vous voyez que de meilleures variables battent un meilleur algorithme.
Les anomalies dans le temps. Vous construisez des références de base saisonnières, vous détectez sur les résidus STL, vous prévoyez et comparez avec un intervalle de prédiction, vous trouvez des points de rupture, et vous regroupez les alertes de nombreuses métriques pour qu'un incident donne une seule alerte.
Méthodes profondes et plongements. Vous entraînez un tout petit autoencodeur et le comparez honnêtement, vous trouvez de nouveaux messages de journaux avec des gabarits et des plongements, vous utilisez un LLM seulement pour résumer une alerte, et vous savez quand ne pas utiliser l'apprentissage automatique.
Évaluer avec peu d'étiquettes. Vous voyez pourquoi l'exactitude ment, vous choisissez le seuil à partir d'un budget d'alertes quotidien, vous calculez le coût par semaine, vous évaluez sans corrigé complet, et vous vérifiez les alertes par tranche.
Apprendre des réviseurs. Vous reclassez les alertes avec les étiquettes des réviseurs, vous évitez le piège du biais de sélection avec un échantillon aléatoire, et vous expliquez chaque alerte pour qu'un réviseur puisse décider en une minute.
Exploiter un détecteur en production. Vous construisez une tâche de détection planifiée qui suit le budget et n'envoie jamais une alerte deux fois, vous gérez un lancement de produit qui déplace le normal, et vous gardez des alertes que les gens lisent encore.
Dernier module · choisissez-en au moins uneÉtudes de cas
4 études de cas
Quatre études de cas complètes sur de vraies données ouvertes. La fraude par carte avec un budget de révision, les pannes dans les métriques de machines ou de serveurs, des mesures inhabituelles dans des données ouvertes publiques, et les cartes de contrôle sur une vraie ligne de production. Terminez-en au moins une pour obtenir le certificat; chacune est une pièce de portfolio.
Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune
Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.
Des transactions par carte anonymisées : comparer une règle, Isolation Forest, un autoencodeur et un modèle supervisé sur les quelques étiquettes, et choisir par la précision à un budget de révision quotidien.
Des séries chronologiques étiquetées de systèmes réels : comparer les références saisonnières, les résidus STL, les points de rupture et un détecteur multivarié, notés par le délai de détection et les alertes par jour.
Une série de données ouvertes publiques sans étiquettes : insérer des anomalies, séparer les vrais événements des défauts de données, et écrire la politique d'alerte.
Des mesures de capteurs et des résultats réussi/échoué d'un procédé de fabrication : cartes de contrôle et vérifications de dérive sur les signaux clés, comparées avec Isolation Forest.
Avis
Chargement des avis…
Vous avez suivi ce cours? Connectez-vous pour donner votre avis. Vous pouvez donner un avis après avoir terminé 25 % des leçons.