Aller au contenu
English

Le normal change avec l'heure et la saison

  • Leçon 20
  • 35 min
  • Module 5 : Les anomalies dans le temps

Où nous en sommes

Jusqu'ici, nos détecteurs traitent tous les paiements de la même façon, peu importe le jour. Les commandes quotidiennes sont différentes : les lundis sont chargés, les dimanches sont calmes et le Vendredi fou est énorme. Dans cette leçon, nous voyons pourquoi un seul seuil échoue sur une série. Nous construisons ensuite des références de base glissantes et saisonnières.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 20 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelLe normal change avec l'heure et la saison
Aperçu du cours

Ce que vous saurez faire

Comparez chaque jour à la bonne « normale ». Un seuil identique pour tous les jours manque un mauvais mardi ou déclenche une alarme chaque Vendredi fou.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Ses cellules de configuration installent pandas, NumPy, SciPy, scikit-learn et matplotlib. Elles téléchargent les commandes quotidiennes, les billets quotidiens et le calendrier (moins de 1 Mo). Environ 25 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • L’option carnet Jupyter (recommandée) : un navigateur et un compte Google gratuit pour Colab, ou un compte Kaggle gratuit. Rien à installer.
  • L’option locale : Python 3.12 et VS Code avec ses extensions Python et Jupyter, configurés comme dans Découvrir les données de Larkfield. Téléchargez le carnet dans l’encadré ci-dessus et choisissez votre noyau .venv. La première cellule installe le reste.

Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1 et NumPy 2.5.4. Les commandes Windows et Colab n’ont pas été testées.

Une boulangerie vend plus de pain le samedi que le mardi. C’est pareil chaque semaine. La boulangère veut maintenant un avertissement simple : « dites-moi quand une journée est étrange ».

Si elle compare chaque jour à la journée moyenne, tous les samedis semblent étranges. Et un très mauvais mardi semble presque normal, parce qu’il reste proche de la moyenne. La bonne question n’est pas « cette journée est-elle loin de la moyenne? ». C’est « ce samedi est-il inhabituel pour un samedi? ».

C’est une anomalie contextuelle, vue au module 1 : une valeur normale dans un contexte et étrange dans un autre. Dans une série chronologique, le contexte est le temps : l’heure, le jour de la semaine, le mois, le jour férié.

Regardez ces deux semaines fictives de commandes. Le deuxième jeudi a peu de commandes : 400. Tous les autres jours sont normaux.

Jour Commandes Cote z globale Variation par rapport au même jour de la semaine précédente
Lun 610 −0,33 +10
Mar 590 −0,51 +10
Mer 600 −0,42 +10
Jeu 400 −2,16 −210
Ven 660 0,11 +10
Sam 830 1,59 +10
Dim 770 1,07 +10

La cote z globale compare chaque jour à la moyenne des 14 jours (647,9) et à leur écart-type (114,6). Le jeudi faible a une cote z de −2,16. Mais le samedi a une cote de 1,59 : ce n’est pas très loin. Un seuil qui détecte le jeudi risque aussi de détecter chaque samedi.

La dernière colonne pose une meilleure question. Par rapport au même jour de la semaine précédente, le samedi a changé de 10 commandes, et le jeudi de −210. Seul le jeudi est étrange. Cette comparaison s’appelle une référence de base saisonnière : nous comparons chaque valeur au même moment du cycle. Ce cycle s’appelle la saison. Ici, il dure une semaine, donc « le même moment » correspond au même jour de la semaine.

Les commandes de Larkfield suivent la semaine et l’année

Section intitulée « Les commandes de Larkfield suivent la semaine et l’année »

Les commandes quotidiennes de Larkfield sont la série commune du cours de prévision. Elles couvrent deux ans, du 1er avril 2024 au 29 mars 2026, et regroupent tous les canaux de vente. Elles ont une moyenne de 676,0 commandes par jour. Chaque jour de la semaine a son propre niveau :

Commandes moyennes de Larkfield pour chaque jour de la semaine sur deux ans. Le samedi (711,9), le dimanche (707,0) et le lundi (703,3) sont chargés. Le mercredi (637,0) est le jour le plus calme. L'axe commence à 600 pour montrer les différences.
Description textuelle du graphique

Sept colonnes, une par jour de la semaine, sur un axe allant de 600 à 720 commandes. Lundi 703,3, mardi 657,5, mercredi 637,0, jeudi 650,2, vendredi 665,1, samedi 711,9, dimanche 707,0. Les colonnes de la fin de semaine ont une autre couleur. L’axe ne commence pas à zéro.

Le motif hebdomadaire est faible comparé au motif annuel. Larkfield vend des produits de jardinage. Le printemps et le début de l’été sont donc chargés, et l’hiver est calme. Les jours fériés changent complètement la journée : 109 commandes à Noël 2024, et 1 224 au Vendredi fou 2025.

Le jour qui compte le plus de commandes n’est pas le Vendredi fou. C’est le 5 juillet 2025, avec 1 372 commandes, pendant la vague de chaleur insérée dans la série commune. Elle dure du 30 juin au 6 juillet 2025. Les ventes de parasols ont bondi, et les magasins de la côte ont manqué de parasols. Les 4 semaines précédentes comptaient 762,3 commandes par jour.

La même idée fonctionne à toutes les échelles. L’API des billets de soutien, le service du centre d’assistance dont Amira est responsable, compte ses requêtes chaque minute. Regardez la médiane des requêtes par minute pour chaque heure de la journée :

  • Du lundi au vendredi
  • Samedi et dimanche
Médiane des requêtes par minute de l'API des billets pour chaque heure, sur 60 jours. En semaine, 23 par minute la nuit, 179 à 10 h et 135 en soirée. La fin de semaine en compte environ la moitié.
Description textuelle du graphique

Deux lignes sur les 24 heures de la journée. La ligne des jours de semaine commence à 23 requêtes par minute à minuit. Elle monte dès 6 h jusqu’à un sommet de 179 à 10 h. Elle descend à 41 à 15 h, puis remonte à 134 et 135 à 19 h et 20 h. La ligne de fin de semaine a la même forme, à environ la moitié de la hauteur : 13 la nuit et 99 à 10 h.

À 10 h en semaine, 50 requêtes par minute seraient un problème : quelque chose bloque les clients. À 3 h un dimanche, 50 seraient beaucoup. Un seuil doit tenir compte de l’heure. Dans le reste de cette leçon, nous utilisons les commandes quotidiennes, parce qu’elles ont le plus long historique.

Une référence de base représente ce que nous appelons « normal » à un moment donné. Chaque détecteur de cette leçon compare aujourd’hui à une référence de base différente.

Un encadré pour aujourd'hui, jeudi 3 juillet 2025 avec 874 commandes, accompagné de trois flèches. La première mène au seuil global : comparer à tous les jours, la moyenne de la première année plus ou moins 3 écarts-types. La deuxième mène à la médiane glissante : comparer au dernier mois, la médiane des 28 jours précédant aujourd'hui plus ou moins 3,5 sigma robustes. La troisième mène à la référence de base saisonnière : comparer au même jour de la semaine, la médiane des 4 jeudis précédant aujourd'hui plus ou moins 3,5 sigma robustes.
Trois références de base pour le même jour. Chacune répond à une question différente : loin de tous les jours, du dernier mois ou du même jour de la semaine.
Description textuelle du diagramme

À gauche, un encadré pour aujourd’hui : jeudi 3 juillet 2025, avec 874 commandes. Trois flèches en partent. La première flèche, « comparer à tous les jours », mène au seuil global : la moyenne de la première année plus ou moins 3 écarts-types. La deuxième flèche, « comparer au dernier mois », mène à la médiane glissante. Elle utilise la médiane des 28 jours précédant aujourd’hui, plus ou moins 3,5 sigma robustes. La troisième flèche, « comparer au même jour de la semaine », mène à la référence de base saisonnière. Elle utilise la médiane des 4 jeudis précédant aujourd’hui, plus ou moins 3,5 sigma robustes.

Le seuil global utilise une moyenne et un écart-type pour tous les jours : ceux de la première année. Cette année va du 1er avril 2024 au 31 mars 2025. Elle a une moyenne de 642,9 et un écart-type de 155,4. Les limites sont donc de 176,7 et 1 109,1 commandes, chaque jour.

  • Commandes par jour
  • Limites globales (176,7 et 1 109,1)
  • Jour avec alarme (9)
Deux ans de commandes quotidiennes de Larkfield et les limites globales. Le seuil global déclenche une alarme sur seulement 9 jours : les deux jours de Noël, le Vendredi fou et le Cyberlundi 2025, deux jours de la vague de chaleur, deux jours juste après et le 17 mai 2025. Un mardi avec moitié moins de commandes resterait à l'intérieur des limites.
Description textuelle du graphique

Une ligne de commandes quotidiennes d’avril 2024 à mars 2026, principalement entre 400 et 900. Elle est plus haute au printemps et en été, et plus basse en hiver. Deux lignes pointillées marquent les limites globales, à 176,7 et 1 109,1 commandes, fixes pendant les deux ans. Neuf points marquent les jours avec alarme. Sous la limite inférieure : Noël 2024 (109) et 2025 (157). Au-dessus de la limite supérieure : le 17 mai 2025 (1 174); les 5, 6, 7 et 9 juillet 2025 (1 372, 1 200, 1 313 et 1 150); le Vendredi fou 2025 (1 224) et le Cyberlundi 2025 (1 136).

Les limites sont si éloignées que seules les journées les plus extrêmes les dépassent. Après une période initiale de 5 semaines, le seuil global déclenche une alarme sur 9 jours. Parmi eux, 4 sont un jour férié ou un jour adjacent. Il semble calme. Mais il est calme parce qu’il est aveugle. Un mardi normal compte environ 650 commandes. Un mardi avec 330 commandes, la moitié de la normale, reste à l’intérieur des limites.

La médiane glissante suit le niveau. Pour chaque jour, elle prend les 28 jours qui le précèdent. Leur médiane est la référence de base, et leur MAD mesure la dispersion. Elle déclenche une alarme quand la cote z robuste dépasse 3,5. Comme elle utilise seulement les jours précédents, elle peut fonctionner chaque matin sur les données de la veille.

Elle suit l’année : en mai, elle compare à avril, et en décembre, à novembre. Mais elle mélange tous les jours de la semaine. Un mercredi calme et un samedi chargé partagent donc une référence de base.

La référence de base saisonnière compare chaque jour au même jour de la semaine durant les 4 semaines précédentes. Pour un jeudi, elle utilise quatre jeudis. Leur médiane est la référence de base. Quatre valeurs donnent une petite MAD, donc la dispersion a un minimum : au moins 5 % de la référence de base.

  • Commandes par jour
  • Limites de la référence de base saisonnière
  • Jour avec alarme
Juin et juillet 2025 avec les limites de la référence de base saisonnière. Les limites suivent le motif hebdomadaire, car chaque jour est comparé au même jour de la semaine. La vague de chaleur, du 30 juin au 6 juillet, les dépasse. Une semaine plus tard, les jours de la vague de chaleur entrent dans la référence de base. Pendant quatre semaines, les limites sont beaucoup plus larges : jusqu'à 1 872 commandes.
Description textuelle du graphique

Commandes quotidiennes du 2 juin au 3 août 2025, avec deux lignes pointillées pour les limites supérieure et inférieure de la référence de base saisonnière. Les limites montent et descendent selon les jours de la semaine. Avant la vague de chaleur, les commandes restent entre les limites. Dès le 4 juillet, les commandes dépassent la limite supérieure et atteignent 1 372 le 5 juillet. Des points marquent les jours avec alarme les 4, 5, 6, 7 et 9 juillet. Durant les quatre semaines suivantes, la limite supérieure monte entre 1 100 et 1 872. La limite inférieure descend, une fois sous zéro. La raison : les jours de la vague de chaleur font maintenant partie des quatre mêmes jours de semaine de la référence de base.

Le graphique montre aussi une faiblesse. Une semaine après la vague de chaleur, la référence de base contient les jours de cette vague. Les limites restent donc larges pendant 4 semaines. Toute référence de base qui utilise le passé apprend aussi les anomalies du passé. La médiane robuste protège contre un jour étrange sur quatre, mais pas contre deux.

Le carnet construit les trois détecteurs. Il compte leurs jours avec alarme après une période initiale de 5 semaines, à partir du 6 mai 2024. À ce moment, chaque référence de base dispose de 4 semaines d’historique :

alarm days on or next to a holiday
global threshold 9 4
rolling median, 28 days 19 9
seasonal baseline, same weekday 43 11

Quel détecteur a raison? Aucun, pour l’instant. Chacun représente une idée différente de la normale, donc chacun signale des jours différents.

Les jours fériés sont connus à l’avance. L’équipe de Grace sait que le Vendredi fou est chargé. Un détecteur qui signale le Vendredi fou chaque année apprend à l’équipe à l’ignorer. Nous les marquons donc comme événements connus : les jours fériés du calendrier, ainsi que la veille et le lendemain de chacun. Un événement connu n’est pas signalé.

Le carnet les marque et compte à nouveau :

{'global threshold': 5, 'rolling median, 28 days': 10, 'seasonal baseline, same weekday': 32}

La référence de base saisonnière signale encore 32 jours. Certains correspondent aux situations insérées dans la série commune, comme la vague de chaleur. Beaucoup viennent de son propre bruit : quatre valeurs passées forment une petite référence, et un jour étrange déplace celle-ci. Les deux prochaines leçons utilisent plus d’historique : STL examine toute la série, et une prévision apprend sur une année complète.

Référence de base Utilisez-la quand Son coût
Seuil global La série n’a ni motif hebdomadaire, ni saison, ni tendance, comme un capteur avec un réglage fixe Il est aveugle sur une série qui évolue
Médiane glissante Le niveau évolue lentement, sans motif hebdomadaire marqué Elle mélange les jours de la semaine; elle apprend les anomalies récentes
Référence de base saisonnière Le motif se répète chaque semaine, ou chaque jour pour les heures Elle exige plusieurs cycles d’historique; quatre valeurs donnent du bruit

Les trois coûtent peu : quelques lignes de pandas. Et une personne peut expliquer chaque alarme : « ce jeudi compte 40 % moins de commandes que les quatre derniers jeudis ». Commencez par elles avant d’utiliser un modèle.

Erreur courante

Le jour manquant devient zéro

Symptôme : le 19 octobre 2025, le flux de commandes n’a envoyé aucune ligne, comme dans Découvrir les données de Larkfield. Mei, l’ingénieure de données, est responsable du flux. Si vous lisez les commandes uniquement avec groupby, le jour est complètement absent, et aucun détecteur ne peut déclencher d’alarme. Si du code remplit ce vide avec 0, chaque détecteur déclenche une alarme pour un « jour sans commandes ». L’équipe cherche alors un problème de ventes qui n’a jamais eu lieu.

Diagnostic : le carnet interroge chaque détecteur sur ce jour et compte les lignes de ce jour dans le fichier :

alarms on 2025-10-19: {'global threshold': False, 'rolling median, 28 days': False, 'seasonal baseline, same weekday': False}
rows of 2025-10-19: 0

Rétablissement : lisez la série avec .reindex() sur la liste complète des jours. Ainsi, un vide devient NaN (valeur manquante), et non 0. Vérifiez ensuite les lignes de chaque jour dans une vérification distincte, avant tout détecteur. Un jour manquant est un problème de données pour Mei, pas un problème d’affaires pour Grace.

La section 5 du carnet (notebook) Jupyter contient deux tâches. Chacune a une cellule de vérification.

  1. Lisez le tableau summary (résumé). Notez les jours d’alarme de la médiane glissante (avant de marquer les jours fériés) dans rolling_alarms.
  2. Exécutez la cellule de vérification en dessous.
  3. Chargez les billets de soutien quotidiens à partir de data/tickets_daily.csv. Additionnez tous les canaux.
  4. Construisez la même référence de base saisonnière pour les billets.
  5. Listez les jours de la semaine de la vague de chaleur (du 30 juin au 6 juillet 2025) qui déclenchent une alarme. Utilisez des chaînes au format "YYYY-MM-DD" (année-mois-jour). Notez la liste dans heat_wave_alarms.
  6. Exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie) quand votre liste est correcte.

La vague de chaleur est un événement réel pour le service de soutien : 537,4 billets par jour, contre 349,8 durant les 4 semaines précédentes. L’équipe n’a pas changé. Grace veut être informée d’une telle semaine, même si rien ne fonctionne mal.

Vérifiez votre compréhension

Le seuil global signale seulement 5 jours après le marquage des jours fériés, et la référence de base saisonnière en signale 32. Le seuil global est-il le meilleur détecteur? Expliquez.

Afficher la réponse

Non. Il signale peu de jours parce que ses limites (176,7 et 1 109,1 commandes) sont très larges. Seuls les jours les plus chargés les dépassent. Un mardi avec la moitié des commandes normales reste à l’intérieur. Avoir peu d’alarmes est bon seulement si le détecteur trouve aussi ce qui compte. La référence de base saisonnière pose une question plus précise (« inhabituel pour ce jour de la semaine? »). Son problème est le bruit produit par seulement quatre valeurs passées. Un historique plus long peut le corriger.

Vérifiez votre compréhension

Prédisez : pour les quatre jeudis après la vague de chaleur, les limites de la référence de base saisonnière seront-elles plus larges ou plus étroites qu'avant? Pourquoi?

Afficher la réponse

Plus larges. La référence de base de chaque jour utilise le même jour de la semaine durant les 4 semaines précédentes. Pendant les 4 semaines après la vague de chaleur, un de ces quatre jours appartient à la vague de chaleur, avec beaucoup plus de commandes. La dispersion (MAD, écart absolu médian) augmente, donc les limites s’écartent. Une référence de base qui apprend du passé apprend aussi les anomalies du passé. La médiane protège contre une valeur inhabituelle parmi quatre, mais la dispersion augmente quand même.

Vérifiez votre compréhension

L'API de billets de Larkfield reçoit environ 179 requêtes par minute à 10 h un jour de semaine, et 23 la nuit. Amira veut une alerte quand les requêtes diminuent. Quelle référence de base choisiriez-vous, et pourquoi pas le seuil global?

Afficher la réponse

Une référence de base saisonnière : comparez chaque minute à la même minute de la semaine durant les semaines précédentes. Un seuil global assez bas pour éviter une alarme chaque nuit (sous 23) ne détecte pas une baisse de 179 à 50 à 10 h. Le contexte (heure et jour de la semaine) détermine ce qui est normal. La référence de base doit donc l’utiliser.

Récapitulatif

  • Dans une série temporelle, ce qui est « normal » dépend de l’heure, du jour de la semaine, de la saison et des jours fériés. Une valeur étrange est souvent une anomalie contextuelle.
  • Un seuil global est large et ignore le contexte. Une médiane glissante suit le niveau. Une référence de base saisonnière compare avec le même moment du cycle.
  • Marquez les événements connus (jours fériés et jours voisins), sinon ils remplissent le rapport.
  • Toute référence de base fondée sur le passé apprend aussi les anomalies du passé.
  • Un jour manquant est invisible pour tout détecteur de valeurs. Comptez les lignes.

Vous pouvez maintenant comparer chaque jour à une référence de base qui tient compte de la semaine. Mais la référence de base saisonnière signale encore 32 jours, dont beaucoup sont du bruit. Elle réagit aussi tard à une tendance lente. Ensuite, vous décomposerez la série en tendance, saisonnalité et reste avec STL, puis détecterez les anomalies uniquement dans le reste.

Leçon suivante : Résidus STL