Nettoyer sans masquer la demande
- Leçon 7
- 35 min
- Module 2 : Lire une série chronologique
Où nous en sommes
Nous connaissons les événements qui font varier la demande. Les données ont encore des trous : un jour manquant, une rupture de stock qui ressemble à une absence de demande, un pic ponctuel. Dans cette leçon, nous décidons quoi combler, marquer ou modéliser, sans masquer la demande réelle.
Leçon 7 sur 27 · Prévision et séries chronologiques : prévoir la suiteNettoyer sans masquer la demande
1. Les prévisions servent des décisions
2. Lire une série chronologique
3. Références de base et tests honnêtes
4. Méthodes statistiques
5. Méthodes par apprentissage automatique
6. Séries difficiles et séries nombreuses
7. L'incertitude et la décision
8. Exploiter une prévision en production
Ce que vous saurez faire
Nettoyez les trous et les valeurs inhabituelles d’une série pour que la méthode de prévision apprenne la demande réelle. Une rupture de stock enregistrée comme des ventes nulles lui apprend que les clients ont cessé d’acheter. La commande suivante est alors beaucoup trop petite.
Carnet JupyterFaites cette leçon dans un carnet
Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il repère les ruptures de stock et entraîne une méthode de prévision de deux façons sur une rupture de stock. Ensuite, il comble le jour manquant, examine le pic de la canicule et compare trois produits. Ses cellules de préparation installent pandas et statsforecast et téléchargent les données d’exercice. Aucune préparation locale n’est donc nécessaire. Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La décomposition avec MSTL, présentée dans Tendance, saison et bruit.
- La saison hebdomadaire dans l’ACF, présentée dans Hier prédit aujourd’hui : le même jour de la semaine est le meilleur repère dans le passé.
- Les promotions comme entrées futures connues, présentées dans Calendriers, jours fériés et événements.
- Biais : le total prévu moins le total réel, exprimé en proportion du total réel. Un biais négatif signifie que la prévision est trop basse. Mesurer l’erreur qui compte l’utilise dans chaque module.
Ce qu’il vous faut sur votre ordinateur
Rien si vous utilisez le carnet en ligne : il s’exécute dans Colab ou Kaggle. Pour travailler localement, enregistrez le carnet dans le dossier larkfield créé dans Découvrir les données de Larkfield. Choisissez le noyau .venv. Le carnet réutilise les données dans larkfield-forecasting.
Testé avec Python 3.12, pandas 2.3.3 et statsforecast 2.1.1 sur macOS. Windows et Colab n’ont pas été testés.
L’étagère vide à la boulangerie
Section intitulée « L’étagère vide à la boulangerie »Une boulangerie prépare 30 pains par jour. Un samedi achalandé, il ne reste plus de pain à 11 h. Des clients arrivent tout l’après-midi, voient l’étagère vide et repartent. La caisse enregistre 30 pains vendus.
La semaine suivante, la boulangère planifie sa production à partir des données de la caisse. Le samedi indique 30 pains. Elle en prépare donc encore 30, et l’étagère se vide encore. La caisse ne montre jamais les clients qui sont repartis. Son plan répète son erreur, semaine après semaine.
La caisse enregistre les ventes : ce que les clients ont acheté. La boulangère a besoin de connaître la demande : ce que les clients voulaient. La plupart des jours, les deux sont identiques. Quand l’étagère est vide, les ventes sont inférieures à la demande, et la différence est invisible.
Le problème : des trous qui ressemblent à des données
Section intitulée « Le problème : des trous qui ressemblent à des données »Les données de Larkfield contiennent trois types de valeurs inhabituelles. Chacun se présente différemment dans le fichier.
- Un jour manquant. Le 19 octobre 2025, le flux de données des ventes et des commandes a perdu une journée. Aucune ligne ne correspond à ce jour. Nous avons créé cette situation. Les fichiers de billets de soutien sont complets.
- Des ruptures de stock. Certains jours, l’étagère d’un produit dans une région était vide. La colonne
stock_outvaut 1 ces jours-là. Il y a 2 473 lignes de ce type, soit 0,6 % des données, dans 289 des 600 séries produit-région. - Des pics. Certains jours dépassent largement la normale : le Vendredi fou, une semaine de promotion, la canicule de juillet 2025.
Aucun de ces cas ne déclenche d’erreur. Une méthode de prévision qui lit le fichier tel quel apprend à partir des trois. Voici le pire cas.
Un petit exemple : ce que la caisse cache
Section intitulée « Un petit exemple : ce que la caisse cache »La boulangerie a 30 pains par jour. Pendant cinq jours, elle a aussi compté les clients repartis sans pain. Nous connaissons donc la demande :
| Jour | 1 | 2 | 3 | 4 | 5 | Moyenne |
|---|---|---|---|---|---|---|
| Demande | 24 | 27 | 41 | 38 | 25 | 31,0 |
| Ventes (au plus 30) | 24 | 27 | 30 | 30 | 25 | 27,2 |
stock_out |
0 | 0 | 1 | 1 | 0 |
Les jours 3 et 4, l’étagère était vide. Les ventes masquent une demande de 11 + 8 = 19 pains. La moyenne des ventes est de 27,2, mais les clients voulaient 31,0 pains par jour. Une méthode entraînée sur les ventes en prévoit 27, et l’étagère se vide plus souvent. Le biais est intégré : les ventes peuvent seulement être inférieures à la demande, jamais supérieures.
La rupture de stock de Larkfield : P002 dans le nord
Section intitulée « La rupture de stock de Larkfield : P002 dans le nord »P002 est une chaise pliante noire. Dans la région nord, son étagère est restée vide pendant neuf jours, du 12 au 20 mai 2025. C’était au début de la saison du jardinage. Vous avez découvert cette rupture de stock dans Définir le cadre de prévision; nous l’examinons ici de près. Nous avons créé cette situation. Les ventes étaient de 0 pendant les neuf jours. La vérité cachée, que le cours garde à part et que vous ne voyez jamais dans les données, indique la demande réelle. Les clients voulaient 48 chaises pendant ces jours.
Le 20 mai, Kenji commande des chaises pour les 14 prochains jours. Priya entraîne la même méthode de prévision de deux façons sur l’historique jusqu’à cette date. Elle utilise AutoETS de statsforecast, une méthode de Lissage exponentiel. Ici, comprenez-la comme « une méthode de prévision qui apprend le niveau récent ».
- Zéros : les ventes telles quelles, avec les neuf jours de rupture de stock à 0.
- Jours marqués : les jours de rupture de stock marqués comme manquants. Ils sont ensuite comblés avec la moyenne du même jour de la semaine une et deux semaines avant.
- Unités vendues par jour
- Jours de rupture de stock
- Prévision entraînée sur les zéros
- Prévision avec les jours marqués et comblés
Description textuelle du graphique
Ventes quotidiennes de P002 dans le nord du 14 avril au 3 juin 2025, généralement entre 0 et 5 chaises par jour. Du 12 au 20 mai, neuf jours sont marqués comme jours de rupture de stock, tous avec des ventes à 0. À partir du 21 mai, deux lignes de prévision horizontales commencent. La prévision entraînée sur les zéros est de 0,53 chaise par jour (7 en 14 jours). La prévision avec les jours marqués et comblés est de 2,0 par jour (28 en 14 jours). Les ventes réelles pendant ces 14 jours vont de 0 à 7 par jour, pour un total de 52. Sept de ces jours forment une semaine de promotion, du 26 mai au 1er juin.
Description textuelle du graphique
Trois colonnes pour les 14 jours du 21 mai au 3 juin 2025. La prévision entraînée sur les zéros est de 7 chaises. La prévision avec les jours de rupture de stock marqués et comblés est de 28. Les ventes réelles sont de 52.
Entraînée sur les zéros, la méthode apprend que la chaise ne se vend plus. Son niveau récent est proche de 0. Elle prévoit donc 0,53 chaise par jour, soit 7 en 14 jours. Cela donne un biais de −85,6 %. Kenji commanderait 7 chaises, et l’étagère se viderait encore, comme à la boulangerie.
Avec les jours marqués, la prévision est de 28 chaises, soit un biais de −46,3 %. Elle est quatre fois plus proche, mais reste trop basse. Deux raisons sont visibles dans les données. Les valeurs de remplacement viennent des deux semaines avant la rupture de stock, alors que la saison n’avait pas encore commencé. Leur moyenne est de 1,8 chaise par jour. Mais la demande cachée pendant la rupture était de 48 chaises en neuf jours, soit 5,3 par jour. De plus, une semaine de promotion, du 26 mai au 1er juin, tombe dans les 14 jours. Cette méthode de prévision ne la connaît pas. Calendriers, jours fériés et événements a montré comment corriger cette partie.
Marquer les jours n’invente pas la demande manquante. Cela empêche la méthode d’apprendre un fait faux : « personne ne veut cette chaise ».
L’idée : combler, marquer ou modéliser
Section intitulée « L’idée : combler, marquer ou modéliser »Chaque type de valeur inhabituelle demande son propre traitement. La question est toujours la même : était-ce une demande réelle?
Description textuelle du diagramme
Le diagramme part d’une case, « une valeur inhabituelle dans l’historique », et se divise en quatre cas. Un jour manquant, sans aucune valeur, est comblé avec la moyenne du même jour de la semaine une semaine avant et après. Les ventes inférieures à la demande, lors d’une rupture de stock, sont marquées puis comblées. Ces jours sont traités comme manquants, jamais comme une demande nulle. Une demande réelle qui revient, comme une promotion ou un jour férié, est modélisée avec une variable du calendrier ou du plan de promotion. Une demande réelle ponctuelle, comme la canicule, est marquée et conservée. Son poids dans la prochaine prévision est vérifié.
Combler : le jour manquant
Section intitulée « Combler : le jour manquant »Un jour manquant est un trou dans les données, pas un fait sur les clients. Comblez-le pour que la série ait une valeur chaque jour. Ce cours utilise la moyenne du même jour de la semaine une semaine avant et une semaine après. L’ACF a montré que le même jour de la semaine est le meilleur repère dans le passé.
| Dim. 12 oct. | Dim. 19 oct. | Dim. 26 oct. | |
|---|---|---|---|
| Commandes | 695 | manquant | 592 |
| Valeur de remplacement | (695 + 592) ÷ 2 = 643,5, arrondi à 644 |
Description textuelle du graphique
Commandes quotidiennes du 5 octobre au 1er novembre 2025, entre 518 et 710. Le dimanche 19 octobre n’a aucune donnée et reçoit la valeur 643,5. C’est la moyenne du dimanche 12 octobre (695) et du dimanche 26 octobre (592). Le point de remplacement se situe parmi les autres jours de la série.
Repérez d’abord le trou. Dans pandas, asfreq("D") donne à la série une ligne par jour. Le jour manquant devient donc une valeur vide (NaN). Sans cette étape, la série passe du 18 au 20 octobre. Ensuite, chaque « 7 jours avant » après le trou pointe vers le mauvais jour de la semaine. L’erreur reste silencieuse.
Marquer : les ruptures de stock
Section intitulée « Marquer : les ruptures de stock »Une rupture de stock n’est pas un trou : les ventes étaient vraiment de 0. Mais 0 n’est pas la demande. Marquez les jours avec l’indicateur. Traitez ensuite leurs ventes comme manquantes et comblez-les comme ci-dessus, à partir du même jour de la semaine. Certaines méthodes peuvent aussi les exclure. Ne les laissez jamais compter comme une demande nulle.
Modéliser : les événements qui reviennent
Section intitulée « Modéliser : les événements qui reviennent »Une semaine de promotion ou le Vendredi fou représente une demande réelle. Ne la supprimez pas et ne l’effacez pas par lissage. Elle reviendra, à une date connue. Donnez à la méthode de prévision une colonne pour cet événement, comme dans la dernière leçon. Elle pourra apprendre son effet séparément du niveau normal.
Conserver : un pic réel qui ne reviendra pas
Section intitulée « Conserver : un pic réel qui ne reviendra pas »La semaine de canicule du 30 juin au 6 juillet 2025 était réelle. Le parasol s’est vendu à 147 exemplaires cette semaine-là, contre 50 la semaine précédente. Elle ne reviendra pas à une date connue. Conservez-la, car les clients ont vraiment acheté ces parasols. Mais marquez-la, et vérifiez à quel point la prochaine prévision la suit. Une méthode qui copie la semaine précédente commanderait 147 parasols pour une semaine ordinaire.
Repérer des valeurs inhabituelles comme celle-ci dans des centaines de séries est le sujet du cours sur la détection d’anomalies. Ce cours repère les points; le présent cours décide ce qu’une méthode de prévision doit en apprendre.
Quand nettoyer, et à quel coût
Section intitulée « Quand nettoyer, et à quel coût »Nettoyez chaque série avant l’entraînement et avant le calcul des scores. Calculez aussi les scores sur les jours nettoyés. Une prévision ne devrait pas être pénalisée pour une rupture de stock où les clients ne pouvaient pas acheter.
Le nettoyage a des coûts et des limites :
- Les valeurs de remplacement sont des estimations. Celle de P002 était trop basse, car la saison commençait. Conservez l’indicateur pour qu’une méthode ultérieure puisse traiter les jours autrement.
- Un indicateur dépend du flux de données. Mei doit s’assurer que
stock_outest enregistré. Une rupture de stock sans indicateur ressemble exactement à une faible demande. - Ne nettoyez pas la demande réelle. Supprimer chaque pic rend la prévision trop lisse, et le magasin manque de stock chaque Vendredi fou.
- Documentez le tout. Consignez chaque règle (quels jours, quel remplacement). La tâche de prévision planifiée du module 8 pourra ainsi appliquer le même nettoyage chaque semaine.
Erreur courante
Une rupture de stock apprise comme une demande nulle
Symptôme : la prévision d’un produit tombe presque à zéro juste après une période de ventes nulles, sans autre changement. Pour P002 dans le nord, la prévision sur 14 jours après les neuf jours de rupture de stock est de 7 chaises. Le produit s’est réellement vendu à 52 exemplaires :
zeros 14-day forecast 7.5, real sales 52, bias -85.6%marked 14-day forecast 27.9, real sales 52, bias -46.3%Cause : la méthode de prévision a appris les ventes, pas la demande. Pendant les neuf jours de rupture de stock, les ventes étaient de 0 parce que l’étagère était vide. La méthode ne peut pas le savoir. Elle a donc appris un nouveau niveau bas.
Diagnostic : cherchez des suites de zéros dans une série qui présente normalement des ventes. Vérifiez la colonne stock_out pour ces jours. Tracez la série avec les jours de rupture de stock marqués, comme dans le graphique ci-dessus.
Correction : marquez les jours de rupture de stock comme manquants. Comblez-les à partir du même jour de la semaine une et deux semaines avant. Puis entraînez de nouveau la méthode. La prévision passe de 7 à 28 chaises, quatre fois plus proche des 52 ventes réelles.
Conséquence pour la prévision : l’erreur s’alimente elle-même. Une prévision basse entraîne une petite commande. L’étagère se vide donc encore, les ventes sont encore de 0, et la prochaine prévision baisse davantage. Les données « prouvent » alors que personne ne veut le produit. Kenji perd des ventes, et la chaise pourrait même être retirée de la gamme.
Exercice guidé : nettoyer une série dans le carnet
Section intitulée « Exercice guidé : nettoyer une série dans le carnet »- Ouvrez le carnet à partir de l’encadré Faites cette leçon dans un carnet en haut de cette page.
- Exécutez les cellules de préparation et la cellule de fonctions utilitaires. La cellule de données se termine par
Ready: 403758 rows of daily sales(prêt : 403 758 lignes de ventes quotidiennes). - Dans la section 1, prédisez la différence entre les deux moyennes. Puis exécutez la cellule. Vous voyez
mean demand 31.0 | mean sales 27.2(demande moyenne de 31,0 et ventes moyennes de 27,2). - Dans la section 2, exécutez la cellule. Vous voyez
2473 stock-out rows(2 473 lignes de rupture de stock) et neuf jours avecstock_outà 1 pour P002. - Dans la section 3, prédisez quelle prévision sera la plus proche. Puis exécutez la cellule. Vous voyez
7.5et27.9, ainsi quereal sales 52(ventes réelles de 52). - Dans la section 4, exécutez la cellule. Vous voyez
rows on 2025-10-19: 0(0 ligne le 19 octobre 2025) etfilled: 644(valeur de remplacement : 644). - Dans la section 5, exécutez la cellule. Vous voyez
147pour la semaine du 6 juillet.
À vous de jouer : quel produit est le plus difficile?
Section intitulée « À vous de jouer : quel produit est le plus difficile? »Cette tâche utilise tout le module. Prenez trois produits : P025 (parasol), P077 (boyau d’arrosage) et P141 (couette). Construisez un tableau summary avec leurs jours de rupture de stock, leurs jours de promotion et la part de variance du reste de MSTL. Dites ensuite quel produit sera le plus difficile à prévoir, et pourquoi. Avant d’exécuter le code, prédisez quel produit a la plus grande part de reste.
Afficher la réponse
rows = {}for pid in ["P025", "P077", "P141"]: s = load_sales([pid]) sf = StatsForecast(models=[MSTL(season_length=[7, 365])], freq="D") sf.fit(s[["unique_id", "ds", "y"]]) parts = sf.fitted_[0, 0].model_ rows[pid] = {"stock_out_days": int(s["stock_out"].sum()), "promotion_days": int(s["on_promotion"].sum()), "remainder_share": round(float(100 * parts["remainder"].var() / parts["data"].var()), 1)}summary = pd.DataFrame.from_dict(rows, orient="index")print(summary) stock_out_days promotion_days remainder_shareP025 9 14 19.1P077 0 14 27.7P141 13 7 32.7P141 est le plus difficile : le plus grand reste (32,7 %) et le plus de jours de rupture de stock (13). Sa promotion double les ventes, et une saison ne peut pas l’expliquer. Elle se retrouve donc dans le reste; ses ruptures de stock masquent la demande. Une colonne de promotion et des ruptures de stock marquées corrigent une grande partie du problème. P077 n’a aucune rupture de stock, mais sa hausse de prix de juin 2025 change le niveau durablement. Le parasol a la saison la plus forte et une rupture de stock pendant la canicule. Chaque produit est difficile à sa façon, et les composantes vous indiquent pourquoi.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Présentez une rupture de stock de cette leçon. Expliquez pourquoi la traiter comme une demande nulle pendant l'entraînement donne une prévision trop basse.
Afficher la réponse
P002, une chaise pliante, était en rupture de stock dans le nord du 12 au 20 mai 2025. Les ventes étaient de 0 pendant ces neuf jours, mais les clients voulaient 48 chaises (la réalité cachée). Une méthode de prévision entraînée sur les ventes voit neuf jours à 0 et apprend que la chaise ne se vend plus. Sa prévision sur 14 jours est de 7 chaises, alors que les ventes réelles étaient de 52 : un biais de −85,6 %. Les ventes peuvent seulement être inférieures à la demande, jamais supérieures. L’erreur va donc toujours dans le même sens. Si on marque ces jours comme manquants et qu’on les comble, la prévision est de 28.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pour chaque cas, dites si vous le comblez, le marquez, le modélisez ou le gardez, et pourquoi : (a) aucune ligne pour le 19 octobre 2025; (b) le Vendredi fou; (c) la semaine de canicule du parasol; (d) neuf jours sans ventes avec stock_out = 1.
Afficher la réponse
(a) Combler : c’est un trou dans les données, pas un fait sur les clients. Utilisez la moyenne du même jour de la semaine, une semaine avant et après (643,5 commandes). (b) Modéliser : c’est une demande réelle qui revient à une date connue. Ajoutez donc une colonne pour le Vendredi fou à la prévision. (c) Garder et marquer : c’était une demande réelle, mais elle ne reviendra pas à une date connue. Vérifiez à quel point elle influence la prochaine prévision. (d) Marquer, puis combler : les ventes ne représentent pas la demande. Traitez donc ces jours comme manquants, jamais comme des zéros.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : Tomás supprime tous les jours dont la valeur dépasse trois fois la médiane de la série, pour « retirer les valeurs aberrantes ». Qu'arrive-t-il aux prévisions du prochain Vendredi fou et de la prochaine semaine de promotion?
Afficher la réponse
Les deux prévisions sont trop basses. Le Vendredi fou et les semaines de promotion représentent une demande réelle qui revient. Le Vendredi fou compte au moins deux fois plus de commandes qu’un vendredi normal. Le multiplicateur médian d’une promotion est de ×1,87. Les supprimer retire précisément les jours qui permettent à la méthode de prévision d’apprendre ces effets. La prévision devient trop lisse, et le magasin manque de stock les jours les plus achalandés. Gardez la demande réelle. Donnez aux événements leurs propres colonnes. Comblez seulement les jours où les données sont erronées ou les étagères étaient vides.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Les ventes ne sont pas la demande. Un jour de rupture de stock, les ventes sont inférieures à ce que les clients voulaient. Larkfield compte 2 473 lignes de rupture de stock (0,6 %), signalées dans
stock_out. - Traiter les neuf jours de rupture de stock de P002 comme des zéros pendant l’entraînement donne une prévision de 7 chaises sur 14 jours (biais de −85,6 %). Si on marque ces jours et qu’on les comble, elle est de 28 (−46,3 %). Les ventes réelles étaient de 52 chaises.
- Comblez un jour manquant (19 octobre 2025 : 643,5 commandes, à partir du même jour de la semaine avant et après). Marquez une rupture de stock, puis comblez-la. Modélisez les événements qui reviennent. Gardez et marquez un pic réel qui ne se produit qu’une fois.
- Trouvez d’abord les trous :
asfreq("D")rend un jour manquant visible. - Dans ce module, vous avez appris à lire une série : ses parties, sa mémoire, ses événements et ses trous.
Vous pouvez maintenant lire une série et la nettoyer sans cacher la demande. Mais nous n’avons pas encore fait une seule prévision. Ensuite, vous construirez les prévisions les plus simples qui existent et verrez à quel point elles sont difficiles à battre.
Leçon suivante : Prévisions naïves