Résidus STL
- Leçon 21
- 35 min
- Module 5 : Les anomalies dans le temps
Où nous en sommes
Les références de base saisonnières retirent le profil hebdomadaire, mais réagissent encore à la tendance et à la saisonnalité annuelle. Dans cette leçon, nous décomposons les commandes quotidiennes en tendance, saisonnalité et résidu avec STL. Nous détectons les anomalies uniquement dans le résidu. Nous marquons les événements connus pour ne pas signaler les jours fériés.
Leçon 21 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelRésidus STL
1. Ce que « inhabituel » veut dire
2. Des références de base simples et difficiles à battre
3. Maîtrise statistique des procédés et dérive de distribution
- Cartes de contrôle : cette variation est-elle normale?
- Règles pour les motifs, et le prix de chaque règle
- Cartes pour les taux et les dénombrements
- Petits décalages durables : CUSUM et EWMA
- La distribution a-t-elle changé?
- Dérive dans de nombreuses variables, et quoi faire
- Loi de Benford et autres vérifications d'affaires
4. Distance, densité et isolement
5. Les anomalies dans le temps
6. Méthodes profondes et plongements
7. Évaluer avec peu d'étiquettes
8. Apprendre des réviseurs
9. Exploiter un détecteur en production
Ce que vous saurez faire
Retirez la tendance et la saisonnalité d’une série, puis cherchez les anomalies dans ce qui reste. Le seuil n’a alors pas besoin de tenir compte de l’année, de la semaine ou de la croissance lente.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient chaque cellule de code, tâche et vérification de cette leçon. Ses cellules de configuration installent pandas, NumPy, SciPy, scikit-learn, matplotlib et statsmodels. Elles téléchargent les commandes quotidiennes, le calendrier et les métriques de l’API de billets de soutien (moins de 1 Mo), avec compare.py. Environ 25 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les références de base saisonnières et les événements connus, dans Le normal change avec l’heure et la saison.
- La cote z (z-score) robuste (médiane et MAD), dans Médiane, MAD et IQR.
Ce qu’il vous faut sur votre ordinateur
L’option carnet Jupyter (Colab ou Kaggle) ou l’option locale, comme dans la leçon précédente.
Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1 et statsmodels 0.15.0. Les commandes Windows et Colab n’ont pas été testées.
Votre facture d’électricité
Section intitulée « Votre facture d’électricité »Votre facture d’électricité change chaque mois. Trois choses la font varier :
- Les prix augmentent lentement au fil des années. C’est la tendance.
- Chaque hiver, la facture est plus élevée, parce que vous chauffez la maison. Cela se répète chaque année. C’est la saisonnalité.
- Un mois est étrange : le système de chauffage était défectueux et fonctionnait toute la journée. C’est ce qui reste quand vous retirez la tendance et la saisonnalité. C’est le résidu.
Pour repérer le chauffage défectueux, vous ne comparez pas janvier à juillet. Vous demandez : après la hausse habituelle et l’hiver habituel, combien reste-t-il? Un grand résidu est l’anomalie.
Le problème : les références de base voient encore la tendance
Section intitulée « Le problème : les références de base voient encore la tendance »Dans la leçon précédente, la référence de base saisonnière comparait chaque jour au même jour des 4 semaines précédentes. Elle signalait encore 32 jours après le marquage des jours fériés. Une partie vient du bruit lié à l’utilisation de seulement quatre valeurs. Une autre vient du cycle annuel : au printemps, les commandes augmentent chaque semaine. Chaque jour dépasse donc les quatre jours correspondants précédents. Un détecteur qui ne connaît pas la tendance signale une croissance normale comme « inhabituelle ».
Nous voulons donc retirer d’abord la tendance et la saisonnalité, puis examiner ce qui reste.
L’idée : tendance + saisonnalité + résidu
Section intitulée « L’idée : tendance + saisonnalité + résidu »Nous écrivons chaque valeur comme une somme de trois parties :
commandes = tendance + saisonnalité + résidu
Voici un petit exemple. Trois semaines inventées ont un niveau qui augmente lentement, un profil hebdomadaire et un jeudi faible (500 commandes) en semaine 3. Nous les décomposons à la main :
- Tendance : la moyenne des 7 jours autour de chaque jour (une moyenne mobile).
- Saisonnalité : pour chaque jour de la semaine, la moyenne de ce qui reste après le retrait de la tendance. Tous les jeudis partagent une valeur.
- Résidu : commandes − tendance − saisonnalité.
| Semaine | Jour | Commandes | Tendance | Saisonnalité | Résidu |
|---|---|---|---|---|---|
| 1 | Jeu. | 600 | 652,9 | −92,9 | 40,0 |
| 1 | Sam. | 800 | 658,6 | 144,3 | −2,9 |
| 2 | Jeu. | 620 | 672,9 | −92,9 | 40,0 |
| 2 | Sam. | 820 | 678,6 | 144,3 | −2,9 |
| 3 | Mer. | 630 | 670,0 | −48,3 | 8,3 |
| 3 | Jeu. | 500 | 672,9 | −92,9 | −80,0 |
| 3 | Ven. | 680 | 678,3 | −9,9 | 11,6 |
Par rapport à la moyenne des 21 jours, le jeudi faible a une cote z de seulement −1,76. Les fins de semaine chargées rendent la dispersion élevée. Dans le résidu, il se démarque : −80,0, alors que chaque autre jour se situe entre −23,9 et 40,0.
Regardez les deux autres jeudis. Leur résidu est de +40,0, pas de 0. Le jeudi faible a fait baisser l’« effet du jeudi » à −92,9. Les jeudis normaux semblent donc maintenant un peu élevés. Un jour inhabituel a faussé la saisonnalité de tous les jours semblables. Une bonne méthode ne doit pas se laisser influencer par les jours inhabituels.
STL : la même décomposition, bien faite
Section intitulée « STL : la même décomposition, bien faite »STL signifie Seasonal and Trend decomposition using Loess, soit la décomposition de la saisonnalité et de la tendance avec Loess. Loess est une méthode pour tracer une ligne lisse à travers des points bruités. Pour chaque point, elle ajuste une courte ligne parmi ses voisins et donne plus de poids aux voisins proches. STL utilise loess deux fois, une fois pour la tendance et une fois pour la saisonnalité. Il répète l’opération jusqu’à ce que les deux soient stables.
STL a trois avantages par rapport à notre décomposition manuelle :
- La tendance peut se courber : elle suit une hausse printanière et une baisse hivernale.
- La saisonnalité peut changer lentement au fil des années.
- Avec
robust=True, STL donne moins de poids aux jours inhabituels. Un seul Vendredi fou ne fausse donc pas tous les vendredis.
Vous choisissez un nombre : la période, la durée d’un cycle. Pour des commandes quotidiennes avec un profil hebdomadaire, la période est de 7. Pour des données horaires avec un profil quotidien, elle est de 24. Le cours de prévision, Prévisions et séries chronologiques : prédire la suite, explique la décomposition en profondeur, avec plusieurs saisonnalités.
Description textuelle du diagramme
À gauche, les commandes quotidiennes : 1 224 au Vendredi fou 2025. Trois flèches mènent à trois cases. La tendance, le niveau lentement variable, est de 533,8. La saisonnalité, l’effet habituel du vendredi, est de moins 34,6. Le résidu, ce qui reste, est de 724,8. La somme des trois parties donne 1 224. Une flèche part du résidu vers une question : sa cote z robuste dépasse-t-elle 3,5? Si oui, une deuxième question : est-ce un événement connu, comme un jour férié ou une campagne? Si oui, le jour est marqué et n’est pas signalé. Si non, le jour est signalé.
STL sur les commandes quotidiennes de Larkfield
Section intitulée « STL sur les commandes quotidiennes de Larkfield »Le carnet comble le jour manquant (19 octobre 2025) à partir de ses voisins. STL a besoin d’une valeur pour chaque jour. Ensuite, il exécute STL(filled, period=7, robust=True).
La tendance
Section intitulée « La tendance »- Commandes par jour
- Tendance STL
Description textuelle du graphique
Une ligne bruitée des commandes quotidiennes d’avril 2024 à mars 2026, et une ligne lisse qui la traverse : la tendance STL. La tendance est d’environ 730 en septembre 2024 et descend à environ 500 en janvier et février 2025. Elle augmente au printemps 2025 jusqu’à environ 915 à la mi-mai et baisse en juin. Elle présente une bosse prononcée pendant la semaine de la vague de chaleur, où elle atteint 953 le 5 juillet. Elle se situe entre environ 600 et 670 pendant le deuxième hiver. Le Vendredi fou et Noël se démarquent dans la ligne bruitée, mais la tendance ne les suit pas.
Voici une semaine ordinaire, telle que STL la décompose :
| Jour | Commandes | Tendance | Saisonnalité | Résidu |
|---|---|---|---|---|
| Lun. 9 sept. 2024 | 743 | 733,6 | −6,9 | 16,3 |
| Mar. 10 sept. 2024 | 675 | 732,5 | −51,1 | −6,4 |
| Mer. 11 sept. 2024 | 734 | 731,2 | −19,2 | 22,0 |
| Jeu. 12 sept. 2024 | 698 | 729,4 | −21,4 | −10,0 |
| Ven. 13 sept. 2024 | 697 | 728,0 | −17,9 | −13,1 |
| Sam. 14 sept. 2024 | 772 | 727,4 | 55,6 | −11,0 |
| Dim. 15 sept. 2024 | 792 | 727,9 | 41,4 | 22,7 |
La somme de chaque ligne correspond au total : 727,4 + 55,6 − 11,0 = 772 le samedi. Tous les résidus de cette semaine sont petits, entre −13,1 et 22,7.
La saisonnalité
Section intitulée « La saisonnalité »Description textuelle du graphique
Vingt-huit points reliés par une ligne, sur quatre semaines à partir du lundi 2 septembre 2024. La même forme se répète chaque semaine. Elle est basse le mardi (moins 31 à moins 54) et autour de moins 10 à moins 30 du mercredi au vendredi. Elle est élevée le samedi (plus 40 à plus 59) et le dimanche (plus 20 à plus 59). L’amplitude change un peu d’une semaine à l’autre. Le profil hebdomadaire est petit par rapport à la tendance annuelle.
Le résidu et sa limite
Section intitulée « Le résidu et sa limite »Nous détectons maintenant les anomalies dans le résidu, avec la cote z robuste du module 2. Le résidu a une médiane de 0,4 et une MAD (écart absolu médian) de 14,6. Une cote z robuste supérieure à 3,5 signifie un résidu à plus de 3,5 × 1,4826 × 14,6 = 75,6 commandes de la médiane.
Le Vendredi fou 2025 montre la décomposition en action :
- commandes 1 224 = tendance 533,8 + saisonnalité −34,6 + résidu 724,8
La tendance n’a pas suivi le Vendredi fou : un jour est trop court pour une tendance. Presque tout se retrouve donc dans le résidu, bien au-dessus de la limite.
Le carnet compte les alarmes après la période de démarrage de la leçon précédente :
limit: remainder beyond 75.6 orders from 0.4alarm days: 91 | on or next to a holiday: 16Ensuite, il marque les jours fériés et les jours voisins comme des événements connus :
reported after marking holidays: 75the first ten: ['2024-05-06', '2024-05-21', '2024-05-23', '2024-06-08', '2024-06-12', '2024-06-23', '2024-07-01', '2024-07-04', '2024-07-10', '2024-07-18']- Résidu STL
- Limites (−75,2 et 76,0)
- Jour signalé (75)
Description textuelle du graphique
La ligne du résidu reste surtout entre moins 50 et plus 50 commandes, autour de zéro. Deux lignes pointillées marquent les limites à moins 75,2 et plus 76,0. Soixante-quinze points marquent les jours signalés : ils sont répartis sur les deux années, certains au-dessus et d’autres au-dessous des limites. Le Vendredi fou 2025 a le plus grand résidu, 724,8, indiqué par une étiquette. C’est un jour férié, donc il n’est pas signalé. Le sommet de la vague de chaleur, le 5 juillet 2025, a un résidu de 348,0 et est signalé.
STL signale plus de jours, pas moins
Section intitulée « STL signale plus de jours, pas moins »STL signale 75 jours, plus que la référence de base saisonnière (32). Pourquoi?
Les jours normaux, le résidu de STL est petit, donc sa limite est étroite : 75,6 commandes. Tout jour que la tendance et la saisonnalité hebdomadaire n’expliquent pas la dépasse. Cela inclut les situations insérées dans la série commune, comme la vague de chaleur. Cela inclut aussi beaucoup de jours ordinaires, chargés ou tranquilles. Une limite étroite sur un résidu sans bruit est sensible. C’est bon pour trouver des anomalies, mais mauvais pour le temps de Grace.
Regardez aussi la vague de chaleur. Le 5 juillet 2025, la tendance est montée à 953,0, donc le résidu n’est que de 348,0. Une semaine de commandes élevées est assez longue pour que la tendance la suive. STL signale alors le jour du sommet, mais traite une partie de la vague de chaleur comme « le nouveau niveau ».
Et il y a une deuxième limite. STL calcule la tendance de chaque jour à partir des jours autour, avant et après. Le matin du 6 juillet, vous ne connaissez pas encore le 7 juillet. STL est donc un outil pour étudier le passé, pas pour lancer des alertes en temps réel. La prochaine leçon prévoit chaque jour uniquement à partir du passé.
STL sur l’API de billets
Section intitulée « STL sur l’API de billets »L’API de billets d’Amira comporte deux incidents insérés aux formes très différentes :
- une fuite de mémoire lente, du 22 septembre 2025 à 3 h jusqu’au redémarrage le 27 septembre à 4 h 30 : la latence augmente lentement pendant cinq jours;
- un pic d’erreurs après une mise en production, le 8 octobre 2025, de 14 h 05 à 14 h 45 : des erreurs et des requêtes plus lentes pendant 40 minutes.
Le carnet prend la moyenne horaire de la latence p95 (95 % des requêtes étaient plus rapides que cette valeur). Il exécute STL avec une saisonnalité quotidienne : period=24. Il déclenche une alarme quand la cote z robuste du résidu dépasse 4.
- Latence p95, moyenne horaire
- Tendance STL
Description textuelle du graphique
La latence horaire monte et descend chaque jour entre environ 180 et 220 millisecondes. À partir du 22 septembre, elle augmente régulièrement pendant cinq jours, jusqu’à plus de 350 millisecondes. Puis elle redescend au redémarrage le 27 septembre. La ligne lisse de tendance augmente avec elle, de 201,7 à 255,2 millisecondes, et baisse avec elle. À partir du 20 octobre, après le changement de configuration, la latence et la tendance restent plus élevées.
- Cote z robuste du résidu
- Limites ±4
- Fuite insérée (début et redémarrage)
Description textuelle du graphique
Une ligne de cotes z robustes, surtout entre moins 4 et plus 4, avec des limites pointillées à plus et moins 4. Les matins et les soirs de fin de semaine, elle descend souvent sous moins 4. Deux lignes verticales pointillées marquent le début de la fuite insérée (22 septembre, 3 h) et le redémarrage (27 septembre, 4 h 30). Entre elles, la ligne reste dans la bande pendant la majeure partie de quatre jours. Puis elle dépasse 4 à partir du 26 septembre à 7 h, jusqu’à environ 34. Après le redémarrage, elle descend à moins 31,23. Le 8 octobre à 14 h, un pic prononcé atteint 14,54 : le pic de mise en production. À partir du 20 octobre à 10 h, la ligne dépasse brusquement 4 pendant quelques heures : le changement de configuration.
La ligne du tableau comparatif du carnet confirme ce résultat :
{'alert events': 57, 'false alert events': 54, 'minutes to detection': {'memory_leak': 6000, 'config_change': 0}}| Détecteur | Événements d’alerte par jour | Fuite de mémoire trouvée après | Changement de configuration trouvé après |
|---|---|---|---|
| Résidu STL, latence horaire | 0,95 | 6 000 minutes | 0 minutes |
| Référence de base saisonnière, latence | 1,53 | 506 minutes | 3 minutes |
La plupart des faux événements surviennent les fins de semaine
Section intitulée « La plupart des faux événements surviennent les fins de semaine »STL produit 54 faux événements d’alerte. D’où viennent-ils? En dehors des incidents insérés, le détecteur déclenche des alarmes pendant 163 heures. Parmi elles, 121 surviennent les samedis et dimanches. Dans ces 121 heures, la latence est plus basse que prévu. Une période de 24 heures apprend à STL une journée, la même pour les sept jours. Les fins de semaine ont environ la moitié des requêtes. Leurs heures chargées sont donc plus calmes et plus rapides que celles d’un jour de semaine. STL avec une seule période ne peut pas voir deux cycles. statsmodels propose MSTL pour plusieurs saisonnalités (un jour et une semaine); nous ne l’avons pas exécuté ici.
Pourquoi STL trouve la fuite tard
Section intitulée « Pourquoi STL trouve la fuite tard »La tendance absorbe la fuite. Une hausse lente est exactement ce qu’une tendance représente. STL déplace donc la fuite dans la tendance, et le résidu reste normal. Le premier jour de la fuite, la plus grande valeur de |z| est de 0,96. La première alarme arrive le 26 septembre à 7 h, 6 000 minutes (100 heures) après le début. Une référence de base saisonnière de la latence compare avec la même minute une et deux semaines auparavant. Elle voit la hausse après 506 minutes. Plusieurs métriques à la fois la construit.
Le pic de mise en production est l’inverse. Une seule heure soudaine est trop courte pour une tendance. Elle va donc directement dans le résidu : cote z de 14,54 à 14 h. Le changement de configuration du 20 octobre est un saut soudain. STL le voit donc aussi immédiatement.
Et regardez le redémarrage. Amira a redémarré le service, et la latence a baissé immédiatement. Le résidu est descendu à une cote z de −31,23. Une correction peut aussi ressembler à une anomalie. Comptez le redémarrage comme un événement connu, comme vous le faites pour un jour férié.
Quand utiliser STL et ce qu’il coûte
Section intitulée « Quand utiliser STL et ce qu’il coûte »Utilisez-le pour étudier une période passée complète : « Quels jours de l’année dernière étaient inhabituels, une fois la saisonnalité retirée? ». Il est rapide et facile à expliquer : « Les commandes dépassaient de 724,8 la tendance et le niveau habituel du vendredi ».
Ne l’utilisez pas pour une alerte en temps réel, car il utilise les jours qui suivent chaque jour. Ne l’utilisez pas seul pour les changements lents non plus : la tendance les absorbe.
Ce qu’il coûte : un réglage (la période) et le soin de combler d’abord les valeurs manquantes. Une limite étroite sur un résidu sans bruit signale beaucoup de jours : marquez les événements connus.
Erreur courante
STL avec un jour manquant : aucune erreur et des jours silencieux
Symptôme : vous appliquez STL aux commandes sans combler le jour manquant (19 octobre 2025). Rien n’échoue. Mais moins de jours déclenchent une alarme que prévu.
Diagnostic : le carnet (notebook) Jupyter applique STL à la série en laissant la valeur manquante comme NaN. Il compte les jours sans résidu :
broken = STL(orders, period=7, robust=True).fit() # the missing day left as NaN, not filledprint("days with no remainder:", int(broken.resid.isna().sum()), "of", len(orders))days with no remainder: 386 of 728Une seule valeur manquante se propage dans les ajustements loess. Une cote z (z-score) robuste de NaN ne dépasse jamais 3,5. Ainsi, 386 jours ne peuvent jamais déclencher d’alarme.
Correction : comblez une valeur manquante avant STL (ici, à partir des valeurs voisines avec interpolate). Vérifiez séparément le nombre de lignes de chaque jour. Ainsi, Mei reçoit toujours le signalement de la valeur manquante comme problème de données.
À vous de jouer
Section intitulée « À vous de jouer »La section 5 du carnet contient deux tâches.
- Comptez les jours que STL signale pour les commandes quotidiennes après la période d’initialisation. Excluez les jours fériés et les jours voisins.
- Inscrivez ce nombre dans
stl_reported, puis exécutez sa cellule de vérification. - Trouvez la première heure de la fuite de mémoire (du 22 septembre 2025 à 3 h au 27 septembre 2025 à 4 h 30) où le détecteur STL horaire déclenche une alarme.
- Inscrivez-la sous forme de chaîne, comme
"2025-09-22 03:00:00", dansfirst_leak_alarm, puis exécutez sa cellule de vérification.
Vérifiez votre compréhension
STL appliqué à la latence horaire trouve immédiatement le pic de mise en production, mais la fuite de mémoire seulement après 6 000 minutes. Expliquez la différence en une ou deux phrases.
Afficher la réponse
STL place les changements lents dans la tendance et les changements soudains dans le résidu. La fuite augmente lentement sur cinq jours. La tendance la suit donc, et le résidu reste faible. Le pic de mise en production dure moins d’une heure, ce qui est trop court pour la tendance. Il va donc directement dans le résidu (cote z de 14,54).
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : Grace veut chaque matin une liste des nombres inhabituels de commandes de la veille. STL appliqué aux commandes quotidiennes convient-il? Qu'utiliseriez-vous à sa place?
Afficher la réponse
Pas seul. STL calcule la tendance de chaque jour à partir des jours qui le précèdent et le suivent. La veille n’a pas encore de jours suivants. Sa décomposition change donc à mesure que de nouveaux jours arrivent. STL sert à étudier le passé. Pour une alerte quotidienne, utilisez une méthode qui ne dépend que du passé. Choisissez une référence de base saisonnière ou une prévision avec un intervalle de prédiction (la prochaine leçon).
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Au Vendredi fou 2025, le résidu est de 724,8 commandes. Au sommet de la vague de chaleur (5 juillet 2025), il n'est que de 348,0. Pourtant, ce jour comptait plus de commandes (1 372 contre 1 224). Pourquoi?
Afficher la réponse
La tendance. Le Vendredi fou dure une journée, trop peu pour que la tendance le suive. Presque toute sa hausse se trouve donc dans le résidu. La vague de chaleur a duré une semaine. La tendance a donc augmenté avec elle, jusqu’à 953,0 le 5 juillet. Plus un événement dure, plus STL le traite comme faisant partie du niveau, et moins il reste dans le résidu.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- STL décompose une série en tendance, saisonnalité et résidu. Vous choisissez la période : 7 pour des données quotidiennes avec un cycle hebdomadaire, 24 pour des données horaires avec un cycle quotidien.
- Détectez les anomalies dans le résidu avec une cote z robuste et marquez les événements connus (jours fériés, campagnes, redémarrages).
- Une limite étroite sur un résidu sans bruit est sensible : pour les commandes, STL signale 75 jours après le marquage des jours fériés.
- Les changements lents vont dans la tendance : STL a trouvé la fuite de mémoire après 6 000 minutes. Les pics soudains ressortent immédiatement.
- STL utilise les jours qui suivent chaque jour : utilisez-le pour le passé, pas pour les alertes en temps réel. Comblez d’abord les valeurs manquantes.
Vous pouvez maintenant retirer la tendance et la saisonnalité, puis voir ce qui reste. Mais STL regarde vers l’avenir, ce qu’une alerte en temps réel ne peut pas faire. Ensuite, vous prévoyez chaque jour à partir des jours précédents. Vous déclenchez une alerte quand la valeur réelle sort de l’intervalle de prédiction. Puis, vous comparez cinq détecteurs sur les mêmes jours.
Leçon suivante : Prévoir et comparer