Prévoir et comparer
- Leçon 22
- 35 min
- Module 5 : Les anomalies dans le temps
Où nous en sommes
STL examine toute la série, y compris les jours après celui qu'on vérifie. Une alerte en direct doit se baser uniquement sur le passé. Dans cette leçon, nous prévoyons chaque jour à partir des jours précédents. Nous alertons quand la valeur réelle sort de l'intervalle de prédiction, puis nous comparons avec STL.
Leçon 22 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelPrévoir et comparer
1. Ce que « inhabituel » veut dire
2. Des références de base simples et difficiles à battre
3. Maîtrise statistique des procédés et dérive de distribution
- Cartes de contrôle : cette variation est-elle normale?
- Règles pour les motifs, et le prix de chaque règle
- Cartes pour les taux et les dénombrements
- Petits décalages durables : CUSUM et EWMA
- La distribution a-t-elle changé?
- Dérive dans de nombreuses variables, et quoi faire
- Loi de Benford et autres vérifications d'affaires
4. Distance, densité et isolement
5. Les anomalies dans le temps
6. Méthodes profondes et plongements
7. Évaluer avec peu d'étiquettes
8. Apprendre des réviseurs
9. Exploiter un détecteur en production
Ce que vous saurez faire
Déclenchez une alerte quand la valeur réelle d’un jour sort de ce que le passé prévoit pour ce jour. Une prévision utilise seulement les jours précédents. Elle peut donc s’exécuter chaque matin, et son intervalle indique son degré de certitude.
Carnet JupyterFaites cette leçon dans un carnet
Le carnet (notebook) Jupyter contient toutes les cellules de code, tâches et vérifications de cette leçon. Ses cellules de configuration installent pandas, NumPy, SciPy, scikit-learn, matplotlib et statsmodels. Elles téléchargent les commandes quotidiennes, les billets de soutien quotidiens et le calendrier (moins de 1 Mo). Environ 25 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les références de base saisonnières, les événements connus et la période initiale de cinq semaines, dans Le normal change avec l’heure et la saison.
- STL et son résidu, dans Résidus STL.
- Une prévision, en une phrase : une estimation d’une valeur future à partir des valeurs passées. Cette leçon utilise un modèle de prévision comme outil. Le cours Prévisions et séries chronologiques : prédire la suite explique le fonctionnement des modèles de prévision. Il montre aussi comment en choisir un et le tester avec des tests rétrospectifs.
Ce qu’il vous faut sur votre ordinateur
Le parcours avec carnet (Colab ou Kaggle) ou le parcours local, comme dans la première leçon de ce module.
Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1 et statsmodels 0.15.0. Les commandes Windows et Colab n’ont pas été testées.
Une prévision météo
Section intitulée « Une prévision météo »La prévision météo annonce : « demain, entre 18 et 24 degrés ». Demain, il fait 35 degrés. Vous n’avez pas besoin de comprendre la prévision pour voir qu’un événement inhabituel s’est produit. La valeur réelle est bien au-delà de la plage prévue.
Cette plage porte un nom : l’intervalle de prédiction. La valeur réelle devrait s’y trouver la plupart du temps. Un intervalle à 99 % est assez large pour contenir la valeur réelle 99 jours sur 100. Cela tient si les erreurs de prévision se comportent comme dans le passé.
Une prévision fournit donc aussi un détecteur : prévoyez chaque jour et alertez quand la valeur réelle sort de l’intervalle.
Le problème : STL regarde demain
Section intitulée « Le problème : STL regarde demain »Dans la dernière leçon, STL calculait la tendance de chaque jour à partir des jours avant et après. Le matin du 6 juillet 2025, Grace veut savoir si hier (5 juillet) était inhabituel. STL ne peut pas encore lui répondre : les jours après le 5 juillet n’existent pas. Quand ils arrivent, STL modifie sa décomposition du 5 juillet.
Une alerte en direct exige une méthode qui utilise seulement le passé. Une prévision fait exactement cela.
L’idée, à la main
Section intitulée « L’idée, à la main »Cinq samedis comptaient 800, 820, 790, 810 et 830 commandes. Le sixième samedi en compte 1 150. Est-ce inhabituel?
- Prévoyez le sixième samedi à partir des cinq précédents. La prévision la plus simple est leur moyenne : 810.
- Mesurez l’écart entre les samedis passés et la prévision. Leur écart-type est de 15,8 commandes.
- Construisez un intervalle à 99 % : la prévision ± 2,58 × 15,8. Le nombre 2,58 donne 99 % pour des erreurs suivant une distribution normale (en cloche). L’intervalle va de 769 à 851.
- Comparez la valeur réelle à l’intervalle. 1 150 est à l’extérieur : une alerte.
Le carnet affiche la même chose :
forecast 810, spread 15.8, 99% interval 769 to 851the real value 1150 is outsideLa largeur de l’intervalle vient des erreurs passées. Si les samedis passés étaient très différents, l’intervalle est large. Seule une grande surprise se trouve à l’extérieur. S’ils étaient proches, l’intervalle est étroit. La prévision connaît son degré de certitude.
Un modèle de prévision pour les commandes de Larkfield
Section intitulée « Un modèle de prévision pour les commandes de Larkfield »La moyenne de cinq samedis est trop simple pour deux ans de commandes : elle ne suit pas le cycle annuel. Nous utilisons un modèle courant, SARIMA (modèle autorégressif intégré à moyenne mobile saisonnier). En mots simples, il prévoit chaque jour à partir de trois éléments :
- le niveau des derniers jours (les commandes d’hier en disent beaucoup sur celles d’aujourd’hui);
- le même jour de la semaine précédente (la saisonnalité hebdomadaire);
- ses propres erreurs récentes (s’il a prévu trop bas pendant trois jours, il se corrige).
Le modèle a quelques nombres (paramètres) qui déterminent le poids de chaque élément. Nous les apprenons sur la première année seulement (du 1er avril 2024 au 31 mars 2025). Ensuite, le modèle parcourt les deux années, un jour à la fois. Chaque prévision utilise seulement les jours précédents. Le modèle travaille sur le logarithme des commandes. Ainsi, une erreur de 10 % a la même taille pour une journée calme ou chargée.
Le cours sur les prévisions explique SARIMA, ses réglages et le choix entre modèles avec un test rétrospectif. Ici, ce n’est qu’un outil : tout modèle avec un intervalle de prédiction fidèle fonctionne de la même façon.
Description textuelle du diagramme
À gauche, une boîte : les jours avant aujourd’hui, seulement le passé. Une flèche mène au modèle de prévision, entraîné sur la première année. Le modèle donne une prévision et un intervalle à 99 %. Pour le 5 juillet 2025, la prévision est de 971 commandes, et l’intervalle va de 694 à 1 359. Une question suit : la valeur réelle d’aujourd’hui est-elle dans l’intervalle? Si oui, la journée est normale, sans alerte. Sinon, une deuxième question : est-ce un événement connu? Sinon, une alerte : 1 372 dépasse 1 359. Depuis les deux fins, une flèche indique « demain : aujourd’hui rejoint le passé ». Une flèche en pointillés retourne à la première boîte.
Les jours hors de l’intervalle
Section intitulée « Les jours hors de l’intervalle »Le carnet compte les jours avec alarme après la période initiale et affiche deux jours :
alarm days: 16 | on or next to a holiday: 15 orders forecast low high2025-07-05 1372.0 971.2 694.2 1358.82025-11-28 1224.0 526.7 376.5 736.9Au Vendredi fou 2025, la prévision était de 526,7 commandes. La valeur réelle (1 224) dépasse largement l’intervalle. Le 5 juillet 2025, sommet de la vague de chaleur insérée, la prévision était déjà plus élevée (971,2). Les jours précédents étaient chargés. La valeur réelle (1 372) dépasse tout juste l’intervalle (1 358,8).
- Commandes réelles
- Prévision
- Intervalle à 99 %
- Hors de l'intervalle
Description textuelle du graphique
Commandes quotidiennes du 2 juin au 3 août 2025, avec la courbe de prévision et deux lignes pointillées pour l’intervalle à 99 %. L’intervalle est large : la ligne supérieure dépasse la prévision d’environ 40 %, et la ligne inférieure est environ 30 % plus basse. Pendant la semaine de chaleur (du 30 juin au 6 juillet), les commandes réelles passent de 828 à 1 372. La prévision et l’intervalle augmentent aussi, un jour plus tard. Seul le 5 juillet est à l’extérieur : 1 372 commandes, juste au-dessus de la limite supérieure de 1 358,8. Après la vague de chaleur, l’intervalle reste élevé quelques jours, puis redescend.
- Commandes réelles
- Prévision
- Intervalle à 99 %
- Hors de l'intervalle
Description textuelle du graphique
Commandes quotidiennes du 3 novembre 2025 au 11 janvier 2026, avec la prévision et son intervalle à 99 %. La plupart des jours sont à l’intérieur. Sept points indiquent les jours à l’extérieur. Trois dépassent l’intervalle : le Vendredi fou (1 224 commandes, intervalle jusqu’à 736,9), le Cyberlundi (1 136, jusqu’à 1 117,4) et le lendemain de Noël (496, jusqu’à 440,9). Quatre sont en dessous : le lendemain du Cyberlundi (586, à partir de 629,6), la veille de Noël (337, à partir de 452,2), Noël (157, à partir de 351,9) et le jour de l’An 2026 (299, à partir de 353,2).
Le deuxième graphique montre un comportement utile à connaître. Après le Cyberlundi, la prévision du lendemain est élevée (880,9). Les commandes réelles (586) reviennent à la normale, ce qui est en dessous de l’intervalle. Le modèle s’attendait à ce que les jours chargés continuent. Un événement perturbe aussi la prévision pendant un jour ou deux après sa fin. Voilà pourquoi nous marquons la veille et le lendemain de chaque jour férié comme événements connus.
L’intervalle est large. Sur les deux années, sa largeur médiane représente 68,4 % de la prévision. Les erreurs du modèle sur la première année étaient grandes, donc il reste prudent. Cela ménage le temps de Grace, mais signifie que la prévision manque les problèmes plus petits.
Cinq détecteurs sur les mêmes jours
Section intitulée « Cinq détecteurs sur les mêmes jours »Nous pouvons maintenant comparer tous les détecteurs de ce module sur les mêmes deux années. Ils utilisent la même période initiale et les mêmes événements connus. Le carnet construit les cinq :
alarm days on or next to a holiday reported after marking holidaysglobal threshold 9 4 5rolling median, 28 days 19 9 10seasonal baseline, same weekday 43 11 32STL remainder 91 16 75forecast, 99% interval 16 15 1Description textuelle du graphique
Cinq colonnes : seuil global 5 jours, médiane glissante 10, référence de base saisonnière 32, résidu STL 75, prévision avec intervalle à 99 % 1. La colonne de la prévision a une autre couleur.
La prévision signale le moins de jours. Parmi ses 16 jours avec alarme, 15 sont des jours fériés ou des jours voisins. L’autre est le sommet de la vague de chaleur. Le seuil global signale aussi peu de jours, mais pour une mauvaise raison. Ses limites sont si larges qu’il ne voit pas un mardi dont les commandes diminuent de moitié. STL en signale le plus, car sa limite sur un résidu nettoyé est étroite.
Lequel a « raison »? Les données n’ont pas de liste d’incidents réels pour les commandes quotidiennes, seulement les situations insérées dans la série commune. Le bon choix dépend donc de ce que l’équipe de Grace veut voir :
- La prévision quand l’équipe veut peu d’alertes, seulement les grandes surprises, chaque matin.
- La référence de base saisonnière quand le profil hebdomadaire est stable. L’équipe obtient une raison vérifiable à la main : « 40 % moins de commandes que les quatre derniers jeudis ». Aucun modèle n’est nécessaire.
- STL pour étudier l’année dernière, pas pour une alerte matinale.
Les billets pendant la vague de chaleur
Section intitulée « Les billets pendant la vague de chaleur »Les billets racontent une autre histoire. Pendant la vague de chaleur, le service de soutien recevait 537,4 billets par jour, contre 349,8 durant les 4 semaines précédentes. Sur les billets quotidiens (tous canaux réunis), les cinq détecteurs déclenchent des alarmes pour ces jours de la semaine de chaleur :
| Détecteur | Jours de chaleur avec alarme (sur 7) |
|---|---|
| Seuil global | 3 |
| Médiane glissante, 28 jours | 2 |
| Référence de base saisonnière, même jour de la semaine | 5 |
| Résidu STL | 4 |
| Prévision, intervalle à 99 % | 3 |
La référence de base saisonnière voit le plus de jours. Elle compare avec quatre semaines normales et ne s’adapte pas pendant la semaine. La prévision déclenche des alarmes les 1er, 2 et 4 juillet. Ensuite, les jours chargés font partie de son passé, et elle suit le nouveau niveau.
Quand une prévision est préférable, et ce qu’elle coûte
Section intitulée « Quand une prévision est préférable, et ce qu’elle coûte »Utilisez une prévision pour une alerte en direct sur une série avec une tendance et une saisonnalité : commandes, billets, requêtes quotidiennes. Elle utilise seulement le passé. Son intervalle vient de ses propres erreurs, donc vous ne fixez pas la dispersion à la main.
Une référence de base saisonnière suffit quand le profil est stable et l’historique court. Elle tient en quelques lignes de pandas, et chacun peut vérifier sa raison.
Ce qu’une prévision coûte :
- Un modèle à choisir et à entraîner. Ici, cela prend une fraction de seconde. Mais choisir un modèle est une compétence à part entière, enseignée dans le cours sur les prévisions.
- Une première année d’historique pour l’entraînement.
- Elle suit un événement long : après quelques jours chargés, le prochain jour chargé n’est plus une surprise. Pour la vague de chaleur des commandes, elle n’a déclenché une alarme qu’au sommet.
- Un événement perturbe aussi la prévision du lendemain. Marquez les jours autour des événements connus.
Erreur courante
Un intervalle à 95 % parce que cela semble strict
Symptôme : vous choisissez un intervalle à 95 % plutôt qu’à 99 %, car 95 % semble plus prudent. L’équipe de Grace reçoit plus d’alertes les jours ordinaires.
Diagnostic : par définition, un intervalle à 95 % exclut 1 jour normal sur 20. Le carnet compte son effet sur les commandes :
95% interval: alarm days 24 | reported after marking holidays 7L’intervalle à 99 % signalait 1 jour; celui à 95 % en signale 7. Cela reste moins de 1 jour sur 20. Une raison probable : le modèle a appris la taille de ses erreurs sur une première année contenant des jours fériés. Son intervalle est donc large les jours normaux.
Correction : choisissez le niveau de l’intervalle comme vous choisissez un seuil. Partez du nombre d’alertes que l’équipe peut lire par semaine et du coût d’un jour manqué. Notez le choix et sa raison.
À vous de jouer
Section intitulée « À vous de jouer »La section 4 du carnet contient deux tâches.
- Listez les jours que la prévision signale après la période initiale, une fois les jours fériés et les jours voisins marqués.
- Écrivez-les comme chaînes
"YYYY-MM-DD"dans la listeforecast_other_days, puis exécutez sa cellule de vérification. - Construisez la même prévision sur les billets quotidiens. Utilisez le même modèle, entraîné sur la première année.
- Listez les jours de chaleur (du 30 juin au 6 juillet 2025) hors de son intervalle à 99 %, comme chaînes, dans
ticket_heat_wave_alarms. - Exécutez sa cellule de vérification.
Vérifiez votre compréhension
Le lendemain du Cyberlundi 2025, les commandes réelles (586) étaient sous l'intervalle de prévision (à partir de 629,6). Tout allait bien. Pourquoi la prévision a-t-elle déclenché une alarme, et quelle est la correction?
Afficher la réponse
La prévision utilise les jours précédents, et le Cyberlundi était très chargé (1 136 commandes). Le modèle s’attendait donc à un lendemain chargé aussi (prévision de 880,9), et la journée normale semblait trop basse. Un événement perturbe la prévision pendant un jour ou deux après sa fin. La correction consiste à marquer aussi les jours autour d’un événement connu comme événements connus. Cela comprend la veille et le lendemain d’un jour férié.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : vous passez d'un intervalle à 99 % à un intervalle à 99,9 %. La prévision signalera-t-elle plus ou moins de jours, et que manquera-t-elle?
Afficher la réponse
Moins de jours, car l’intervalle devient plus large. Elle manquera les surprises plus petites. À 99 %, le sommet de la vague de chaleur était tout juste à l’extérieur (1 372 contre une limite supérieure de 1 358,8). Un intervalle plus large le manquerait probablement. Le niveau de l’intervalle est un compromis entre le temps de l’équipe et le coût d’un jour manqué.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Grace demande quel détecteur utiliser sur le nombre quotidien de billets, pour une alerte matinale au service de soutien. Nommez-en un, avec une raison tirée de cette leçon et un coût.
Afficher la réponse
Une prévision avec un intervalle à 99 % : elle utilise seulement le passé et peut donc s’exécuter chaque matin. Son intervalle vient de ses propres erreurs. Elle a trouvé le début de la vague de chaleur dans les billets. Son coût : un modèle entraîné sur une année d’historique. Elle suit aussi un événement long : elle n’a pas déclenché d’alarme les deux derniers jours de la vague de chaleur. Une référence de base saisonnière est un bon deuxième choix : plus simple, elle a vu 5 des 7 jours de chaleur.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une prévision avec un intervalle de prédiction demande : aujourd’hui est-il loin de ce que le passé prévoit pour aujourd’hui? Elle utilise seulement le passé et peut donc s’exécuter en direct.
- La largeur de l’intervalle vient des erreurs passées du modèle. Son niveau (95 %, 99 %) est un choix, comme un seuil.
- Une prévision suit les événements longs, et un gros événement la perturbe encore le lendemain : marquez les jours autour des événements connus.
- Sur deux ans de commandes, après avoir marqué les jours fériés : prévision 1 jour, seuil global 5, médiane glissante 10, référence de base saisonnière 32, STL 75.
- Une référence de base saisonnière suffit quand le profil est stable; STL sert à étudier l’historique.
Vous pouvez maintenant alerter sur un jour isolé qui sort de sa prévision. Mais certains changements persistent : une fuite de mémoire qui augmente pendant des jours, ou un lancement d’application qui change durablement la normale. Ensuite, vous trouverez ces points de rupture. Vous verrez pourquoi un point de rupture est une nouvelle normale, pas une alerte.
Leçon suivante : Points de rupture