Le normal change avec l'heure et la saison
- Leçon 20
- 35 min
- Module 5 : Les anomalies dans le temps
Où nous en sommes
Jusqu'ici, nos détecteurs traitent tous les paiements de la même façon, peu importe le jour. Les commandes quotidiennes sont différentes : les lundis sont chargés, les dimanches sont calmes et le Vendredi fou est énorme. Dans cette leçon, nous voyons pourquoi un seul seuil échoue sur une série. Nous construisons ensuite des références de base glissantes et saisonnières.
Leçon 20 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelLe normal change avec l'heure et la saison
1. Ce que « inhabituel » veut dire
2. Des références de base simples et difficiles à battre
3. Maîtrise statistique des procédés et dérive de distribution
- Cartes de contrôle : cette variation est-elle normale?
- Règles pour les motifs, et le prix de chaque règle
- Cartes pour les taux et les dénombrements
- Petits décalages durables : CUSUM et EWMA
- La distribution a-t-elle changé?
- Dérive dans de nombreuses variables, et quoi faire
- Loi de Benford et autres vérifications d'affaires
4. Distance, densité et isolement
5. Les anomalies dans le temps
6. Méthodes profondes et plongements
7. Évaluer avec peu d'étiquettes
8. Apprendre des réviseurs
9. Exploiter un détecteur en production
Ce que vous saurez faire
Comparez chaque jour à la bonne « normale ». Un seuil identique pour tous les jours manque un mauvais mardi ou déclenche une alarme chaque Vendredi fou.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Ses cellules de configuration installent pandas, NumPy, SciPy, scikit-learn et matplotlib. Elles téléchargent les commandes quotidiennes, les billets quotidiens et le calendrier (moins de 1 Mo). Environ 25 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La médiane, la MAD et la cote z (z-score) robuste, présentés dans Médiane, MAD et IQR.
- Les quatre types d’anomalies, présentés dans Types d’anomalies. Ce module porte sur l’anomalie contextuelle et le point de rupture.
- Ce que sont une tendance et une saison, en une phrase chacune. Cette leçon explique les deux. Le cours de prévision, Prévisions et séries chronologiques : prédire la suite, les explique en profondeur.
Ce qu’il vous faut sur votre ordinateur
- L’option carnet Jupyter (recommandée) : un navigateur et un compte Google gratuit pour Colab, ou un compte Kaggle gratuit. Rien à installer.
- L’option locale : Python 3.12 et VS Code avec ses extensions Python et Jupyter, configurés comme dans Découvrir les données de Larkfield. Téléchargez le carnet dans l’encadré ci-dessus et choisissez votre noyau
.venv. La première cellule installe le reste.
Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1 et NumPy 2.5.4. Les commandes Windows et Colab n’ont pas été testées.
Un samedi chargé à la boulangerie
Section intitulée « Un samedi chargé à la boulangerie »Une boulangerie vend plus de pain le samedi que le mardi. C’est pareil chaque semaine. La boulangère veut maintenant un avertissement simple : « dites-moi quand une journée est étrange ».
Si elle compare chaque jour à la journée moyenne, tous les samedis semblent étranges. Et un très mauvais mardi semble presque normal, parce qu’il reste proche de la moyenne. La bonne question n’est pas « cette journée est-elle loin de la moyenne? ». C’est « ce samedi est-il inhabituel pour un samedi? ».
C’est une anomalie contextuelle, vue au module 1 : une valeur normale dans un contexte et étrange dans un autre. Dans une série chronologique, le contexte est le temps : l’heure, le jour de la semaine, le mois, le jour férié.
Un seul seuil pour tous les jours échoue
Section intitulée « Un seul seuil pour tous les jours échoue »Regardez ces deux semaines fictives de commandes. Le deuxième jeudi a peu de commandes : 400. Tous les autres jours sont normaux.
| Jour | Commandes | Cote z globale | Variation par rapport au même jour de la semaine précédente |
|---|---|---|---|
| Lun | 610 | −0,33 | +10 |
| Mar | 590 | −0,51 | +10 |
| Mer | 600 | −0,42 | +10 |
| Jeu | 400 | −2,16 | −210 |
| Ven | 660 | 0,11 | +10 |
| Sam | 830 | 1,59 | +10 |
| Dim | 770 | 1,07 | +10 |
La cote z globale compare chaque jour à la moyenne des 14 jours (647,9) et à leur écart-type (114,6). Le jeudi faible a une cote z de −2,16. Mais le samedi a une cote de 1,59 : ce n’est pas très loin. Un seuil qui détecte le jeudi risque aussi de détecter chaque samedi.
La dernière colonne pose une meilleure question. Par rapport au même jour de la semaine précédente, le samedi a changé de 10 commandes, et le jeudi de −210. Seul le jeudi est étrange. Cette comparaison s’appelle une référence de base saisonnière : nous comparons chaque valeur au même moment du cycle. Ce cycle s’appelle la saison. Ici, il dure une semaine, donc « le même moment » correspond au même jour de la semaine.
Les commandes de Larkfield suivent la semaine et l’année
Section intitulée « Les commandes de Larkfield suivent la semaine et l’année »Les commandes quotidiennes de Larkfield sont la série commune du cours de prévision. Elles couvrent deux ans, du 1er avril 2024 au 29 mars 2026, et regroupent tous les canaux de vente. Elles ont une moyenne de 676,0 commandes par jour. Chaque jour de la semaine a son propre niveau :
Description textuelle du graphique
Sept colonnes, une par jour de la semaine, sur un axe allant de 600 à 720 commandes. Lundi 703,3, mardi 657,5, mercredi 637,0, jeudi 650,2, vendredi 665,1, samedi 711,9, dimanche 707,0. Les colonnes de la fin de semaine ont une autre couleur. L’axe ne commence pas à zéro.
Le motif hebdomadaire est faible comparé au motif annuel. Larkfield vend des produits de jardinage. Le printemps et le début de l’été sont donc chargés, et l’hiver est calme. Les jours fériés changent complètement la journée : 109 commandes à Noël 2024, et 1 224 au Vendredi fou 2025.
Le jour qui compte le plus de commandes n’est pas le Vendredi fou. C’est le 5 juillet 2025, avec 1 372 commandes, pendant la vague de chaleur insérée dans la série commune. Elle dure du 30 juin au 6 juillet 2025. Les ventes de parasols ont bondi, et les magasins de la côte ont manqué de parasols. Les 4 semaines précédentes comptaient 762,3 commandes par jour.
La normale change aussi selon l’heure
Section intitulée « La normale change aussi selon l’heure »La même idée fonctionne à toutes les échelles. L’API des billets de soutien, le service du centre d’assistance dont Amira est responsable, compte ses requêtes chaque minute. Regardez la médiane des requêtes par minute pour chaque heure de la journée :
- Du lundi au vendredi
- Samedi et dimanche
Description textuelle du graphique
Deux lignes sur les 24 heures de la journée. La ligne des jours de semaine commence à 23 requêtes par minute à minuit. Elle monte dès 6 h jusqu’à un sommet de 179 à 10 h. Elle descend à 41 à 15 h, puis remonte à 134 et 135 à 19 h et 20 h. La ligne de fin de semaine a la même forme, à environ la moitié de la hauteur : 13 la nuit et 99 à 10 h.
À 10 h en semaine, 50 requêtes par minute seraient un problème : quelque chose bloque les clients. À 3 h un dimanche, 50 seraient beaucoup. Un seuil doit tenir compte de l’heure. Dans le reste de cette leçon, nous utilisons les commandes quotidiennes, parce qu’elles ont le plus long historique.
Trois références de base
Section intitulée « Trois références de base »Une référence de base représente ce que nous appelons « normal » à un moment donné. Chaque détecteur de cette leçon compare aujourd’hui à une référence de base différente.
Description textuelle du diagramme
À gauche, un encadré pour aujourd’hui : jeudi 3 juillet 2025, avec 874 commandes. Trois flèches en partent. La première flèche, « comparer à tous les jours », mène au seuil global : la moyenne de la première année plus ou moins 3 écarts-types. La deuxième flèche, « comparer au dernier mois », mène à la médiane glissante. Elle utilise la médiane des 28 jours précédant aujourd’hui, plus ou moins 3,5 sigma robustes. La troisième flèche, « comparer au même jour de la semaine », mène à la référence de base saisonnière. Elle utilise la médiane des 4 jeudis précédant aujourd’hui, plus ou moins 3,5 sigma robustes.
Le seuil global
Section intitulée « Le seuil global »Le seuil global utilise une moyenne et un écart-type pour tous les jours : ceux de la première année. Cette année va du 1er avril 2024 au 31 mars 2025. Elle a une moyenne de 642,9 et un écart-type de 155,4. Les limites sont donc de 176,7 et 1 109,1 commandes, chaque jour.
- Commandes par jour
- Limites globales (176,7 et 1 109,1)
- Jour avec alarme (9)
Description textuelle du graphique
Une ligne de commandes quotidiennes d’avril 2024 à mars 2026, principalement entre 400 et 900. Elle est plus haute au printemps et en été, et plus basse en hiver. Deux lignes pointillées marquent les limites globales, à 176,7 et 1 109,1 commandes, fixes pendant les deux ans. Neuf points marquent les jours avec alarme. Sous la limite inférieure : Noël 2024 (109) et 2025 (157). Au-dessus de la limite supérieure : le 17 mai 2025 (1 174); les 5, 6, 7 et 9 juillet 2025 (1 372, 1 200, 1 313 et 1 150); le Vendredi fou 2025 (1 224) et le Cyberlundi 2025 (1 136).
Les limites sont si éloignées que seules les journées les plus extrêmes les dépassent. Après une période initiale de 5 semaines, le seuil global déclenche une alarme sur 9 jours. Parmi eux, 4 sont un jour férié ou un jour adjacent. Il semble calme. Mais il est calme parce qu’il est aveugle. Un mardi normal compte environ 650 commandes. Un mardi avec 330 commandes, la moitié de la normale, reste à l’intérieur des limites.
La médiane glissante
Section intitulée « La médiane glissante »La médiane glissante suit le niveau. Pour chaque jour, elle prend les 28 jours qui le précèdent. Leur médiane est la référence de base, et leur MAD mesure la dispersion. Elle déclenche une alarme quand la cote z robuste dépasse 3,5. Comme elle utilise seulement les jours précédents, elle peut fonctionner chaque matin sur les données de la veille.
Elle suit l’année : en mai, elle compare à avril, et en décembre, à novembre. Mais elle mélange tous les jours de la semaine. Un mercredi calme et un samedi chargé partagent donc une référence de base.
La référence de base saisonnière
Section intitulée « La référence de base saisonnière »La référence de base saisonnière compare chaque jour au même jour de la semaine durant les 4 semaines précédentes. Pour un jeudi, elle utilise quatre jeudis. Leur médiane est la référence de base. Quatre valeurs donnent une petite MAD, donc la dispersion a un minimum : au moins 5 % de la référence de base.
- Commandes par jour
- Limites de la référence de base saisonnière
- Jour avec alarme
Description textuelle du graphique
Commandes quotidiennes du 2 juin au 3 août 2025, avec deux lignes pointillées pour les limites supérieure et inférieure de la référence de base saisonnière. Les limites montent et descendent selon les jours de la semaine. Avant la vague de chaleur, les commandes restent entre les limites. Dès le 4 juillet, les commandes dépassent la limite supérieure et atteignent 1 372 le 5 juillet. Des points marquent les jours avec alarme les 4, 5, 6, 7 et 9 juillet. Durant les quatre semaines suivantes, la limite supérieure monte entre 1 100 et 1 872. La limite inférieure descend, une fois sous zéro. La raison : les jours de la vague de chaleur font maintenant partie des quatre mêmes jours de semaine de la référence de base.
Le graphique montre aussi une faiblesse. Une semaine après la vague de chaleur, la référence de base contient les jours de cette vague. Les limites restent donc larges pendant 4 semaines. Toute référence de base qui utilise le passé apprend aussi les anomalies du passé. La médiane robuste protège contre un jour étrange sur quatre, mais pas contre deux.
Compter les alarmes
Section intitulée « Compter les alarmes »Le carnet construit les trois détecteurs. Il compte leurs jours avec alarme après une période initiale de 5 semaines, à partir du 6 mai 2024. À ce moment, chaque référence de base dispose de 4 semaines d’historique :
alarm days on or next to a holidayglobal threshold 9 4rolling median, 28 days 19 9seasonal baseline, same weekday 43 11Quel détecteur a raison? Aucun, pour l’instant. Chacun représente une idée différente de la normale, donc chacun signale des jours différents.
Marquer les événements connus
Section intitulée « Marquer les événements connus »Les jours fériés sont connus à l’avance. L’équipe de Grace sait que le Vendredi fou est chargé. Un détecteur qui signale le Vendredi fou chaque année apprend à l’équipe à l’ignorer. Nous les marquons donc comme événements connus : les jours fériés du calendrier, ainsi que la veille et le lendemain de chacun. Un événement connu n’est pas signalé.
Le carnet les marque et compte à nouveau :
{'global threshold': 5, 'rolling median, 28 days': 10, 'seasonal baseline, same weekday': 32}La référence de base saisonnière signale encore 32 jours. Certains correspondent aux situations insérées dans la série commune, comme la vague de chaleur. Beaucoup viennent de son propre bruit : quatre valeurs passées forment une petite référence, et un jour étrange déplace celle-ci. Les deux prochaines leçons utilisent plus d’historique : STL examine toute la série, et une prévision apprend sur une année complète.
Quand utiliser chacune
Section intitulée « Quand utiliser chacune »| Référence de base | Utilisez-la quand | Son coût |
|---|---|---|
| Seuil global | La série n’a ni motif hebdomadaire, ni saison, ni tendance, comme un capteur avec un réglage fixe | Il est aveugle sur une série qui évolue |
| Médiane glissante | Le niveau évolue lentement, sans motif hebdomadaire marqué | Elle mélange les jours de la semaine; elle apprend les anomalies récentes |
| Référence de base saisonnière | Le motif se répète chaque semaine, ou chaque jour pour les heures | Elle exige plusieurs cycles d’historique; quatre valeurs donnent du bruit |
Les trois coûtent peu : quelques lignes de pandas. Et une personne peut expliquer chaque alarme : « ce jeudi compte 40 % moins de commandes que les quatre derniers jeudis ». Commencez par elles avant d’utiliser un modèle.
Erreur courante
Le jour manquant devient zéro
Symptôme : le 19 octobre 2025, le flux de commandes n’a envoyé aucune ligne, comme dans Découvrir les données de Larkfield. Mei, l’ingénieure de données, est responsable du flux. Si vous lisez les commandes uniquement avec groupby, le jour est complètement absent, et aucun détecteur ne peut déclencher d’alarme. Si du code remplit ce vide avec 0, chaque détecteur déclenche une alarme pour un « jour sans commandes ». L’équipe cherche alors un problème de ventes qui n’a jamais eu lieu.
Diagnostic : le carnet interroge chaque détecteur sur ce jour et compte les lignes de ce jour dans le fichier :
alarms on 2025-10-19: {'global threshold': False, 'rolling median, 28 days': False, 'seasonal baseline, same weekday': False}rows of 2025-10-19: 0Rétablissement : lisez la série avec .reindex() sur la liste complète des jours. Ainsi, un vide devient NaN (valeur manquante), et non 0. Vérifiez ensuite les lignes de chaque jour dans une vérification distincte, avant tout détecteur. Un jour manquant est un problème de données pour Mei, pas un problème d’affaires pour Grace.
À vous de jouer
Section intitulée « À vous de jouer »La section 5 du carnet (notebook) Jupyter contient deux tâches. Chacune a une cellule de vérification.
- Lisez le tableau
summary(résumé). Notez les jours d’alarme de la médiane glissante (avant de marquer les jours fériés) dansrolling_alarms. - Exécutez la cellule de vérification en dessous.
- Chargez les billets de soutien quotidiens à partir de
data/tickets_daily.csv. Additionnez tous les canaux. - Construisez la même référence de base saisonnière pour les billets.
- Listez les jours de la semaine de la vague de chaleur (du 30 juin au 6 juillet 2025) qui déclenchent une alarme. Utilisez des chaînes au format
"YYYY-MM-DD"(année-mois-jour). Notez la liste dansheat_wave_alarms. - Exécutez la cellule de vérification. Elle affiche
Check passed(vérification réussie) quand votre liste est correcte.
La vague de chaleur est un événement réel pour le service de soutien : 537,4 billets par jour, contre 349,8 durant les 4 semaines précédentes. L’équipe n’a pas changé. Grace veut être informée d’une telle semaine, même si rien ne fonctionne mal.
Vérifiez votre compréhension
Le seuil global signale seulement 5 jours après le marquage des jours fériés, et la référence de base saisonnière en signale 32. Le seuil global est-il le meilleur détecteur? Expliquez.
Afficher la réponse
Non. Il signale peu de jours parce que ses limites (176,7 et 1 109,1 commandes) sont très larges. Seuls les jours les plus chargés les dépassent. Un mardi avec la moitié des commandes normales reste à l’intérieur. Avoir peu d’alarmes est bon seulement si le détecteur trouve aussi ce qui compte. La référence de base saisonnière pose une question plus précise (« inhabituel pour ce jour de la semaine? »). Son problème est le bruit produit par seulement quatre valeurs passées. Un historique plus long peut le corriger.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : pour les quatre jeudis après la vague de chaleur, les limites de la référence de base saisonnière seront-elles plus larges ou plus étroites qu'avant? Pourquoi?
Afficher la réponse
Plus larges. La référence de base de chaque jour utilise le même jour de la semaine durant les 4 semaines précédentes. Pendant les 4 semaines après la vague de chaleur, un de ces quatre jours appartient à la vague de chaleur, avec beaucoup plus de commandes. La dispersion (MAD, écart absolu médian) augmente, donc les limites s’écartent. Une référence de base qui apprend du passé apprend aussi les anomalies du passé. La médiane protège contre une valeur inhabituelle parmi quatre, mais la dispersion augmente quand même.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
L'API de billets de Larkfield reçoit environ 179 requêtes par minute à 10 h un jour de semaine, et 23 la nuit. Amira veut une alerte quand les requêtes diminuent. Quelle référence de base choisiriez-vous, et pourquoi pas le seuil global?
Afficher la réponse
Une référence de base saisonnière : comparez chaque minute à la même minute de la semaine durant les semaines précédentes. Un seuil global assez bas pour éviter une alarme chaque nuit (sous 23) ne détecte pas une baisse de 179 à 50 à 10 h. Le contexte (heure et jour de la semaine) détermine ce qui est normal. La référence de base doit donc l’utiliser.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Dans une série temporelle, ce qui est « normal » dépend de l’heure, du jour de la semaine, de la saison et des jours fériés. Une valeur étrange est souvent une anomalie contextuelle.
- Un seuil global est large et ignore le contexte. Une médiane glissante suit le niveau. Une référence de base saisonnière compare avec le même moment du cycle.
- Marquez les événements connus (jours fériés et jours voisins), sinon ils remplissent le rapport.
- Toute référence de base fondée sur le passé apprend aussi les anomalies du passé.
- Un jour manquant est invisible pour tout détecteur de valeurs. Comptez les lignes.
Vous pouvez maintenant comparer chaque jour à une référence de base qui tient compte de la semaine. Mais la référence de base saisonnière signale encore 32 jours, dont beaucoup sont du bruit. Elle réagit aussi tard à une tendance lente. Ensuite, vous décomposerez la série en tendance, saisonnalité et reste avec STL, puis détecterez les anomalies uniquement dans le reste.
Leçon suivante : Résidus STL