Aller au contenu
English

Résidus STL

  • Leçon 21
  • 35 min
  • Module 5 : Les anomalies dans le temps

Où nous en sommes

Les références de base saisonnières retirent le profil hebdomadaire, mais réagissent encore à la tendance et à la saisonnalité annuelle. Dans cette leçon, nous décomposons les commandes quotidiennes en tendance, saisonnalité et résidu avec STL. Nous détectons les anomalies uniquement dans le résidu. Nous marquons les événements connus pour ne pas signaler les jours fériés.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 21 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelRésidus STL
Aperçu du cours

Ce que vous saurez faire

Retirez la tendance et la saisonnalité d’une série, puis cherchez les anomalies dans ce qui reste. Le seuil n’a alors pas besoin de tenir compte de l’année, de la semaine ou de la croissance lente.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient chaque cellule de code, tâche et vérification de cette leçon. Ses cellules de configuration installent pandas, NumPy, SciPy, scikit-learn, matplotlib et statsmodels. Elles téléchargent les commandes quotidiennes, le calendrier et les métriques de l’API de billets de soutien (moins de 1 Mo), avec compare.py. Environ 25 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

L’option carnet Jupyter (Colab ou Kaggle) ou l’option locale, comme dans la leçon précédente.

Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1 et statsmodels 0.15.0. Les commandes Windows et Colab n’ont pas été testées.

Votre facture d’électricité change chaque mois. Trois choses la font varier :

  1. Les prix augmentent lentement au fil des années. C’est la tendance.
  2. Chaque hiver, la facture est plus élevée, parce que vous chauffez la maison. Cela se répète chaque année. C’est la saisonnalité.
  3. Un mois est étrange : le système de chauffage était défectueux et fonctionnait toute la journée. C’est ce qui reste quand vous retirez la tendance et la saisonnalité. C’est le résidu.

Pour repérer le chauffage défectueux, vous ne comparez pas janvier à juillet. Vous demandez : après la hausse habituelle et l’hiver habituel, combien reste-t-il? Un grand résidu est l’anomalie.

Le problème : les références de base voient encore la tendance

Section intitulée « Le problème : les références de base voient encore la tendance »

Dans la leçon précédente, la référence de base saisonnière comparait chaque jour au même jour des 4 semaines précédentes. Elle signalait encore 32 jours après le marquage des jours fériés. Une partie vient du bruit lié à l’utilisation de seulement quatre valeurs. Une autre vient du cycle annuel : au printemps, les commandes augmentent chaque semaine. Chaque jour dépasse donc les quatre jours correspondants précédents. Un détecteur qui ne connaît pas la tendance signale une croissance normale comme « inhabituelle ».

Nous voulons donc retirer d’abord la tendance et la saisonnalité, puis examiner ce qui reste.

Nous écrivons chaque valeur comme une somme de trois parties :

commandes = tendance + saisonnalité + résidu

Voici un petit exemple. Trois semaines inventées ont un niveau qui augmente lentement, un profil hebdomadaire et un jeudi faible (500 commandes) en semaine 3. Nous les décomposons à la main :

  1. Tendance : la moyenne des 7 jours autour de chaque jour (une moyenne mobile).
  2. Saisonnalité : pour chaque jour de la semaine, la moyenne de ce qui reste après le retrait de la tendance. Tous les jeudis partagent une valeur.
  3. Résidu : commandes − tendance − saisonnalité.
Semaine Jour Commandes Tendance Saisonnalité Résidu
1 Jeu. 600 652,9 −92,9 40,0
1 Sam. 800 658,6 144,3 −2,9
2 Jeu. 620 672,9 −92,9 40,0
2 Sam. 820 678,6 144,3 −2,9
3 Mer. 630 670,0 −48,3 8,3
3 Jeu. 500 672,9 −92,9 −80,0
3 Ven. 680 678,3 −9,9 11,6

Par rapport à la moyenne des 21 jours, le jeudi faible a une cote z de seulement −1,76. Les fins de semaine chargées rendent la dispersion élevée. Dans le résidu, il se démarque : −80,0, alors que chaque autre jour se situe entre −23,9 et 40,0.

Regardez les deux autres jeudis. Leur résidu est de +40,0, pas de 0. Le jeudi faible a fait baisser l’« effet du jeudi » à −92,9. Les jeudis normaux semblent donc maintenant un peu élevés. Un jour inhabituel a faussé la saisonnalité de tous les jours semblables. Une bonne méthode ne doit pas se laisser influencer par les jours inhabituels.

STL signifie Seasonal and Trend decomposition using Loess, soit la décomposition de la saisonnalité et de la tendance avec Loess. Loess est une méthode pour tracer une ligne lisse à travers des points bruités. Pour chaque point, elle ajuste une courte ligne parmi ses voisins et donne plus de poids aux voisins proches. STL utilise loess deux fois, une fois pour la tendance et une fois pour la saisonnalité. Il répète l’opération jusqu’à ce que les deux soient stables.

STL a trois avantages par rapport à notre décomposition manuelle :

  • La tendance peut se courber : elle suit une hausse printanière et une baisse hivernale.
  • La saisonnalité peut changer lentement au fil des années.
  • Avec robust=True, STL donne moins de poids aux jours inhabituels. Un seul Vendredi fou ne fausse donc pas tous les vendredis.

Vous choisissez un nombre : la période, la durée d’un cycle. Pour des commandes quotidiennes avec un profil hebdomadaire, la période est de 7. Pour des données horaires avec un profil quotidien, elle est de 24. Le cours de prévision, Prévisions et séries chronologiques : prédire la suite, explique la décomposition en profondeur, avec plusieurs saisonnalités.

Commandes quotidiennes, 1 224 au Vendredi fou 2025, réparties dans trois cases : tendance 533,8 (le niveau lentement variable), saisonnalité moins 34,6 (l'effet habituel du vendredi) et résidu 724,8 (ce qui reste). Une flèche part du résidu vers une question : sa cote z robuste dépasse-t-elle 3,5? Si oui, une deuxième question : est-ce un événement connu, un jour férié ou une campagne? Si oui, marquez-le sans le signaler. Si non, signalez le jour.
STL décompose chaque jour en trois parties. Nous détectons les anomalies uniquement dans le résidu et ne signalons pas les événements connus.
Description textuelle du diagramme

À gauche, les commandes quotidiennes : 1 224 au Vendredi fou 2025. Trois flèches mènent à trois cases. La tendance, le niveau lentement variable, est de 533,8. La saisonnalité, l’effet habituel du vendredi, est de moins 34,6. Le résidu, ce qui reste, est de 724,8. La somme des trois parties donne 1 224. Une flèche part du résidu vers une question : sa cote z robuste dépasse-t-elle 3,5? Si oui, une deuxième question : est-ce un événement connu, comme un jour férié ou une campagne? Si oui, le jour est marqué et n’est pas signalé. Si non, le jour est signalé.

Le carnet comble le jour manquant (19 octobre 2025) à partir de ses voisins. STL a besoin d’une valeur pour chaque jour. Ensuite, il exécute STL(filled, period=7, robust=True).

  • Commandes par jour
  • Tendance STL
Les commandes quotidiennes de Larkfield et la tendance STL. La tendance suit la saison de jardinage : élevée au printemps et au début de l'été, faible en hiver. Elle augmente aussi pendant la semaine de la vague de chaleur, jusqu'à 953 commandes le 5 juillet 2025.
Description textuelle du graphique

Une ligne bruitée des commandes quotidiennes d’avril 2024 à mars 2026, et une ligne lisse qui la traverse : la tendance STL. La tendance est d’environ 730 en septembre 2024 et descend à environ 500 en janvier et février 2025. Elle augmente au printemps 2025 jusqu’à environ 915 à la mi-mai et baisse en juin. Elle présente une bosse prononcée pendant la semaine de la vague de chaleur, où elle atteint 953 le 5 juillet. Elle se situe entre environ 600 et 670 pendant le deuxième hiver. Le Vendredi fou et Noël se démarquent dans la ligne bruitée, mais la tendance ne les suit pas.

Voici une semaine ordinaire, telle que STL la décompose :

Jour Commandes Tendance Saisonnalité Résidu
Lun. 9 sept. 2024 743 733,6 −6,9 16,3
Mar. 10 sept. 2024 675 732,5 −51,1 −6,4
Mer. 11 sept. 2024 734 731,2 −19,2 22,0
Jeu. 12 sept. 2024 698 729,4 −21,4 −10,0
Ven. 13 sept. 2024 697 728,0 −17,9 −13,1
Sam. 14 sept. 2024 772 727,4 55,6 −11,0
Dim. 15 sept. 2024 792 727,9 41,4 22,7

La somme de chaque ligne correspond au total : 727,4 + 55,6 − 11,0 = 772 le samedi. Tous les résidus de cette semaine sont petits, entre −13,1 et 22,7.

La saisonnalité hebdomadaire STL pour quatre semaines de septembre 2024. Le samedi dépasse la tendance de 40 à 59 commandes, et le mardi est de 31 à 54 commandes en dessous. La forme se répète, mais son amplitude change d'une semaine à l'autre : STL permet à la saisonnalité de changer.
Description textuelle du graphique

Vingt-huit points reliés par une ligne, sur quatre semaines à partir du lundi 2 septembre 2024. La même forme se répète chaque semaine. Elle est basse le mardi (moins 31 à moins 54) et autour de moins 10 à moins 30 du mercredi au vendredi. Elle est élevée le samedi (plus 40 à plus 59) et le dimanche (plus 20 à plus 59). L’amplitude change un peu d’une semaine à l’autre. Le profil hebdomadaire est petit par rapport à la tendance annuelle.

Nous détectons maintenant les anomalies dans le résidu, avec la cote z robuste du module 2. Le résidu a une médiane de 0,4 et une MAD (écart absolu médian) de 14,6. Une cote z robuste supérieure à 3,5 signifie un résidu à plus de 3,5 × 1,4826 × 14,6 = 75,6 commandes de la médiane.

Le Vendredi fou 2025 montre la décomposition en action :

  • commandes 1 224 = tendance 533,8 + saisonnalité −34,6 + résidu 724,8

La tendance n’a pas suivi le Vendredi fou : un jour est trop court pour une tendance. Presque tout se retrouve donc dans le résidu, bien au-dessus de la limite.

Le carnet compte les alarmes après la période de démarrage de la leçon précédente :

limit: remainder beyond 75.6 orders from 0.4
alarm days: 91 | on or next to a holiday: 16

Ensuite, il marque les jours fériés et les jours voisins comme des événements connus :

reported after marking holidays: 75
the first ten: ['2024-05-06', '2024-05-21', '2024-05-23', '2024-06-08', '2024-06-12', '2024-06-23', '2024-07-01', '2024-07-04', '2024-07-10', '2024-07-18']
  • Résidu STL
  • Limites (−75,2 et 76,0)
  • Jour signalé (75)
Le résidu STL des commandes quotidiennes, avec les limites à 75,6 commandes de la médiane. Les 75 points sont les jours encore signalés après le marquage des jours fériés. Le Vendredi fou a le plus grand résidu, mais c'est un événement connu. Il n'a donc pas de point.
Description textuelle du graphique

La ligne du résidu reste surtout entre moins 50 et plus 50 commandes, autour de zéro. Deux lignes pointillées marquent les limites à moins 75,2 et plus 76,0. Soixante-quinze points marquent les jours signalés : ils sont répartis sur les deux années, certains au-dessus et d’autres au-dessous des limites. Le Vendredi fou 2025 a le plus grand résidu, 724,8, indiqué par une étiquette. C’est un jour férié, donc il n’est pas signalé. Le sommet de la vague de chaleur, le 5 juillet 2025, a un résidu de 348,0 et est signalé.

STL signale 75 jours, plus que la référence de base saisonnière (32). Pourquoi?

Les jours normaux, le résidu de STL est petit, donc sa limite est étroite : 75,6 commandes. Tout jour que la tendance et la saisonnalité hebdomadaire n’expliquent pas la dépasse. Cela inclut les situations insérées dans la série commune, comme la vague de chaleur. Cela inclut aussi beaucoup de jours ordinaires, chargés ou tranquilles. Une limite étroite sur un résidu sans bruit est sensible. C’est bon pour trouver des anomalies, mais mauvais pour le temps de Grace.

Regardez aussi la vague de chaleur. Le 5 juillet 2025, la tendance est montée à 953,0, donc le résidu n’est que de 348,0. Une semaine de commandes élevées est assez longue pour que la tendance la suive. STL signale alors le jour du sommet, mais traite une partie de la vague de chaleur comme « le nouveau niveau ».

Et il y a une deuxième limite. STL calcule la tendance de chaque jour à partir des jours autour, avant et après. Le matin du 6 juillet, vous ne connaissez pas encore le 7 juillet. STL est donc un outil pour étudier le passé, pas pour lancer des alertes en temps réel. La prochaine leçon prévoit chaque jour uniquement à partir du passé.

L’API de billets d’Amira comporte deux incidents insérés aux formes très différentes :

  • une fuite de mémoire lente, du 22 septembre 2025 à 3 h jusqu’au redémarrage le 27 septembre à 4 h 30 : la latence augmente lentement pendant cinq jours;
  • un pic d’erreurs après une mise en production, le 8 octobre 2025, de 14 h 05 à 14 h 45 : des erreurs et des requêtes plus lentes pendant 40 minutes.

Le carnet prend la moyenne horaire de la latence p95 (95 % des requêtes étaient plus rapides que cette valeur). Il exécute STL avec une saisonnalité quotidienne : period=24. Il déclenche une alarme quand la cote z robuste du résidu dépasse 4.

  • Latence p95, moyenne horaire
  • Tendance STL
La latence horaire de l'API de billets et la tendance STL. Pendant la fuite de mémoire, la tendance augmente avec la latence, de 201,7 ms à 255,2 ms, puis baisse au redémarrage. La tendance absorbe la fuite.
Description textuelle du graphique

La latence horaire monte et descend chaque jour entre environ 180 et 220 millisecondes. À partir du 22 septembre, elle augmente régulièrement pendant cinq jours, jusqu’à plus de 350 millisecondes. Puis elle redescend au redémarrage le 27 septembre. La ligne lisse de tendance augmente avec elle, de 201,7 à 255,2 millisecondes, et baisse avec elle. À partir du 20 octobre, après le changement de configuration, la latence et la tendance restent plus élevées.

  • Cote z robuste du résidu
  • Limites ±4
  • Fuite insérée (début et redémarrage)
Le résidu STL de la latence horaire sous forme de cote z robuste, avec les limites ±4. Pendant la fuite, le résidu reste dans la bande pendant quatre jours. La première alarme arrive le 26 septembre à 7 h, 6 000 minutes après le début. Le pic de mise en production dure une seule heure, avec une cote z de 14,54. Le redémarrage donne un grand résidu négatif, avec une cote z de −31,23.
Description textuelle du graphique

Une ligne de cotes z robustes, surtout entre moins 4 et plus 4, avec des limites pointillées à plus et moins 4. Les matins et les soirs de fin de semaine, elle descend souvent sous moins 4. Deux lignes verticales pointillées marquent le début de la fuite insérée (22 septembre, 3 h) et le redémarrage (27 septembre, 4 h 30). Entre elles, la ligne reste dans la bande pendant la majeure partie de quatre jours. Puis elle dépasse 4 à partir du 26 septembre à 7 h, jusqu’à environ 34. Après le redémarrage, elle descend à moins 31,23. Le 8 octobre à 14 h, un pic prononcé atteint 14,54 : le pic de mise en production. À partir du 20 octobre à 10 h, la ligne dépasse brusquement 4 pendant quelques heures : le changement de configuration.

La ligne du tableau comparatif du carnet confirme ce résultat :

{'alert events': 57, 'false alert events': 54, 'minutes to detection': {'memory_leak': 6000, 'config_change': 0}}
Détecteur Événements d’alerte par jour Fuite de mémoire trouvée après Changement de configuration trouvé après
Résidu STL, latence horaire 0,95 6 000 minutes 0 minutes
Référence de base saisonnière, latence 1,53 506 minutes 3 minutes

La plupart des faux événements surviennent les fins de semaine

Section intitulée « La plupart des faux événements surviennent les fins de semaine »

STL produit 54 faux événements d’alerte. D’où viennent-ils? En dehors des incidents insérés, le détecteur déclenche des alarmes pendant 163 heures. Parmi elles, 121 surviennent les samedis et dimanches. Dans ces 121 heures, la latence est plus basse que prévu. Une période de 24 heures apprend à STL une journée, la même pour les sept jours. Les fins de semaine ont environ la moitié des requêtes. Leurs heures chargées sont donc plus calmes et plus rapides que celles d’un jour de semaine. STL avec une seule période ne peut pas voir deux cycles. statsmodels propose MSTL pour plusieurs saisonnalités (un jour et une semaine); nous ne l’avons pas exécuté ici.

La tendance absorbe la fuite. Une hausse lente est exactement ce qu’une tendance représente. STL déplace donc la fuite dans la tendance, et le résidu reste normal. Le premier jour de la fuite, la plus grande valeur de |z| est de 0,96. La première alarme arrive le 26 septembre à 7 h, 6 000 minutes (100 heures) après le début. Une référence de base saisonnière de la latence compare avec la même minute une et deux semaines auparavant. Elle voit la hausse après 506 minutes. Plusieurs métriques à la fois la construit.

Le pic de mise en production est l’inverse. Une seule heure soudaine est trop courte pour une tendance. Elle va donc directement dans le résidu : cote z de 14,54 à 14 h. Le changement de configuration du 20 octobre est un saut soudain. STL le voit donc aussi immédiatement.

Et regardez le redémarrage. Amira a redémarré le service, et la latence a baissé immédiatement. Le résidu est descendu à une cote z de −31,23. Une correction peut aussi ressembler à une anomalie. Comptez le redémarrage comme un événement connu, comme vous le faites pour un jour férié.

Utilisez-le pour étudier une période passée complète : « Quels jours de l’année dernière étaient inhabituels, une fois la saisonnalité retirée? ». Il est rapide et facile à expliquer : « Les commandes dépassaient de 724,8 la tendance et le niveau habituel du vendredi ».

Ne l’utilisez pas pour une alerte en temps réel, car il utilise les jours qui suivent chaque jour. Ne l’utilisez pas seul pour les changements lents non plus : la tendance les absorbe.

Ce qu’il coûte : un réglage (la période) et le soin de combler d’abord les valeurs manquantes. Une limite étroite sur un résidu sans bruit signale beaucoup de jours : marquez les événements connus.

Erreur courante

STL avec un jour manquant : aucune erreur et des jours silencieux

Symptôme : vous appliquez STL aux commandes sans combler le jour manquant (19 octobre 2025). Rien n’échoue. Mais moins de jours déclenchent une alarme que prévu.

Diagnostic : le carnet (notebook) Jupyter applique STL à la série en laissant la valeur manquante comme NaN. Il compte les jours sans résidu :

broken = STL(orders, period=7, robust=True).fit() # the missing day left as NaN, not filled
print("days with no remainder:", int(broken.resid.isna().sum()), "of", len(orders))
days with no remainder: 386 of 728

Une seule valeur manquante se propage dans les ajustements loess. Une cote z (z-score) robuste de NaN ne dépasse jamais 3,5. Ainsi, 386 jours ne peuvent jamais déclencher d’alarme.

Correction : comblez une valeur manquante avant STL (ici, à partir des valeurs voisines avec interpolate). Vérifiez séparément le nombre de lignes de chaque jour. Ainsi, Mei reçoit toujours le signalement de la valeur manquante comme problème de données.

La section 5 du carnet contient deux tâches.

  1. Comptez les jours que STL signale pour les commandes quotidiennes après la période d’initialisation. Excluez les jours fériés et les jours voisins.
  2. Inscrivez ce nombre dans stl_reported, puis exécutez sa cellule de vérification.
  3. Trouvez la première heure de la fuite de mémoire (du 22 septembre 2025 à 3 h au 27 septembre 2025 à 4 h 30) où le détecteur STL horaire déclenche une alarme.
  4. Inscrivez-la sous forme de chaîne, comme "2025-09-22 03:00:00", dans first_leak_alarm, puis exécutez sa cellule de vérification.

Vérifiez votre compréhension

STL appliqué à la latence horaire trouve immédiatement le pic de mise en production, mais la fuite de mémoire seulement après 6 000 minutes. Expliquez la différence en une ou deux phrases.

Afficher la réponse

STL place les changements lents dans la tendance et les changements soudains dans le résidu. La fuite augmente lentement sur cinq jours. La tendance la suit donc, et le résidu reste faible. Le pic de mise en production dure moins d’une heure, ce qui est trop court pour la tendance. Il va donc directement dans le résidu (cote z de 14,54).

Vérifiez votre compréhension

Prédisez : Grace veut chaque matin une liste des nombres inhabituels de commandes de la veille. STL appliqué aux commandes quotidiennes convient-il? Qu'utiliseriez-vous à sa place?

Afficher la réponse

Pas seul. STL calcule la tendance de chaque jour à partir des jours qui le précèdent et le suivent. La veille n’a pas encore de jours suivants. Sa décomposition change donc à mesure que de nouveaux jours arrivent. STL sert à étudier le passé. Pour une alerte quotidienne, utilisez une méthode qui ne dépend que du passé. Choisissez une référence de base saisonnière ou une prévision avec un intervalle de prédiction (la prochaine leçon).

Vérifiez votre compréhension

Au Vendredi fou 2025, le résidu est de 724,8 commandes. Au sommet de la vague de chaleur (5 juillet 2025), il n'est que de 348,0. Pourtant, ce jour comptait plus de commandes (1 372 contre 1 224). Pourquoi?

Afficher la réponse

La tendance. Le Vendredi fou dure une journée, trop peu pour que la tendance le suive. Presque toute sa hausse se trouve donc dans le résidu. La vague de chaleur a duré une semaine. La tendance a donc augmenté avec elle, jusqu’à 953,0 le 5 juillet. Plus un événement dure, plus STL le traite comme faisant partie du niveau, et moins il reste dans le résidu.

Récapitulatif

  • STL décompose une série en tendance, saisonnalité et résidu. Vous choisissez la période : 7 pour des données quotidiennes avec un cycle hebdomadaire, 24 pour des données horaires avec un cycle quotidien.
  • Détectez les anomalies dans le résidu avec une cote z robuste et marquez les événements connus (jours fériés, campagnes, redémarrages).
  • Une limite étroite sur un résidu sans bruit est sensible : pour les commandes, STL signale 75 jours après le marquage des jours fériés.
  • Les changements lents vont dans la tendance : STL a trouvé la fuite de mémoire après 6 000 minutes. Les pics soudains ressortent immédiatement.
  • STL utilise les jours qui suivent chaque jour : utilisez-le pour le passé, pas pour les alertes en temps réel. Comblez d’abord les valeurs manquantes.

Vous pouvez maintenant retirer la tendance et la saisonnalité, puis voir ce qui reste. Mais STL regarde vers l’avenir, ce qu’une alerte en temps réel ne peut pas faire. Ensuite, vous prévoyez chaque jour à partir des jours précédents. Vous déclenchez une alerte quand la valeur réelle sort de l’intervalle de prédiction. Puis, vous comparez cinq détecteurs sur les mêmes jours.

Leçon suivante : Prévoir et comparer