Des hiérarchies qui doivent s'additionner
- Leçon 18
- 40 min
- Module 6 : Séries difficiles et séries nombreuses
Où nous en sommes
Dans le module 5, nous avons prévu chaque produit avec la régression, LightGBM et un modèle de fondation. Kenji a aussi besoin de prévisions par catégorie et par région, et les nombres doivent s'additionner. Dans cette leçon, nous voyons pourquoi les prévisions séparées ne concordent pas. Nous les rapprochons avec les méthodes ascendante, descendante et MinT.
Leçon 18 sur 27 · Prévision et séries chronologiques : prévoir la suiteDes hiérarchies qui doivent s'additionner
1. Les prévisions servent des décisions
2. Lire une série chronologique
3. Références de base et tests honnêtes
4. Méthodes statistiques
5. Méthodes par apprentissage automatique
6. Séries difficiles et séries nombreuses
7. L'incertitude et la décision
8. Exploiter une prévision en production
Ce que vous saurez faire
Faites concorder les prévisions à plusieurs niveaux. Le total, chaque région, chaque catégorie et chaque produit ont leur propre prévision, mais ces prévisions ne s’additionnent pas. Le rapprochement les modifie pour qu’elles s’additionnent. Vous comparez trois méthodes sur les 634 séries de Larkfield et voyez à quel niveau chacune aide.
Carnet JupyterFaites cette leçon dans un carnet
Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il construit la hiérarchie de Larkfield, prévoit les 634 séries avec ETS et les rapproche de trois façons. Ses cellules de préparation installent les paquets et téléchargent les données de Larkfield. Aucune préparation locale n’est nécessaire. Prévoyez environ 40 minutes, dont environ 1 minute d’attente pour les prévisions.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- ETS, une prévision qui lisse le niveau et répète le motif hebdomadaire, vu dans Lissage exponentiel.
- WAPE : toutes les unités manquées divisées par toutes les unités vendues, vu dans Mesurer l’erreur qui compte.
- Le test rétrospectif (backtest) du cours et ses dates de coupure (origines), vus dans Tester comme dans le futur : le test rétrospectif.
Ce qu’il vous faut sur votre ordinateur
Rien : le carnet s’exécute dans Colab ou Kaggle. Sa première cellule installe aussi hierarchicalforecast 1.5.3.
Testé avec Python 3.12, pandas 2.3.3, statsforecast 2.1.1 et hierarchicalforecast 1.5.3, dans Jupyter sur macOS.
Une liste d’achats pour une fête
Section intitulée « Une liste d’achats pour une fête »Une famille organise une fête. Chaque enfant estime combien de boissons ses amis voudront : 30 et 50. Le parent estime les boissons pour toute la fête : 90. Qui a raison?
Chaque estimation est raisonnable. Chaque personne sait quelque chose. Les enfants connaissent leurs amis. Le parent se souvient de la dernière fête, où tout le monde a bu plus que prévu. Mais la famille n’achète qu’une seule quantité de boissons. Si elle en achète 80, le plan du parent échoue. Si elle en achète 90, les listes des enfants sont incorrectes.
La famille a besoin de nombres qui s’additionnent : un nombre par enfant et un total égal à leur somme. Larkfield a le même problème, avec 634 nombres plutôt que trois.
Le problème : des prévisions qui ne s’additionnent pas
Section intitulée « Le problème : des prévisions qui ne s’additionnent pas »Larkfield vend 200 produits dans 3 régions. Différentes personnes planifient à différents niveaux :
- Kenji commande du stock par produit et par région : 600 séries.
- Les acheteurs responsables des catégories planifient par catégorie dans chaque région : 30 séries.
- Chaque entrepôt régional planifie son personnel et son espace par région : 3 séries.
- L’équipe des finances planifie avec le total : 1 série.
Cette structure est une hiérarchie : chaque niveau est la somme du niveau inférieur. Priya prévoit chacune des 634 séries avec ETS pour les 14 jours après la dernière coupure, le 15 mars 2026. Elle compare ensuite la prévision propre au total avec la somme des 600 prévisions de produits :
total's own forecast 14346 | sum of the products 14764 | gap -2.8%Deux prévisions honnêtes des mêmes 14 jours diffèrent de 418 unités. Les finances planifient avec 14 346; les commandes de Kenji totalisent 14 764. Personne ne sait à quel nombre se fier.
- Unités vendues, tous les produits
- Prévision propre au total (14 346)
- Somme des 600 prévisions de produits (14 764)
Description textuelle du graphique
Le graphique montre les ventes quotidiennes totales de Larkfield pendant les quatre semaines avant le 15 mars 2026. Elles varient entre environ 900 et 1 100 unités par jour. Pour les 14 jours suivants, il montre les ventes réelles par des points et deux courbes de prévision. La prévision ETS propre au total donne 14 346 unités. La somme des 600 prévisions de produits donne 14 764 unités. Les deux courbes sont proches, mais différentes chaque jour. Les ventes réelles, soit 16 726 unités, dépassent les deux.
Cet écart n’est pas un accident isolé. Le cours l’a mesuré aux quatre dernières dates de coupure :
| Date de coupure | Prévision propre au total | Somme des produits | Écart |
|---|---|---|---|
| 21 décembre 2025 | 14 693 | 16 141 | −9,0 % |
| 18 janvier 2026 | 13 709 | 13 993 | −2,0 % |
| 15 février 2026 | 14 117 | 13 998 | +0,9 % |
| 15 mars 2026 | 14 346 | 14 764 | −2,8 % |
À Noël, l’écart est de 1 448 unités.
Pourquoi les prévisions séparées ne concordent-elles pas? Chaque série a son propre modèle, ajusté sur ses propres données. Le total est lisse : les hausses et les baisses aléatoires des produits individuels s’annulent. Un produit peu vendu est bruité, et ETS peut même prévoir une valeur inférieure à zéro. À la dernière coupure, 282 des 8 400 prévisions par produit et par jour étaient négatives. Rien n’oblige les 634 modèles à concorder.
L’idée : le rapprochement
Section intitulée « L’idée : le rapprochement »Les prévisions qui s’additionnent à chaque niveau sont cohérentes. Le rapprochement prend les prévisions séparées (les prévisions de base) et les modifie jusqu’à ce qu’elles soient cohérentes. Il existe trois méthodes courantes.
- Ascendante : gardez les prévisions des produits et additionnez-les pour chaque niveau supérieur. Le total devient 80 dans l’exemple de la fête.
- Descendante : gardez le total et répartissez-le entre les produits, proportionnellement à leurs propres prévisions. Les enfants obtiennent 90 × 30/80 = 33,75 et 90 × 50/80 = 56,25.
- MinT (trace minimale) : modifiez un peu chaque prévision, à chaque niveau, pour qu’elles s’additionnent. Cette méthode modifie davantage les prévisions qui avaient les plus grandes erreurs dans le passé. La « trace » est la somme des variances des erreurs de toutes les séries. MinT choisit les prévisions cohérentes qui la rendent aussi petite que possible.
Un petit rapprochement
Section intitulée « Un petit rapprochement »La fête, avec toutes les valeurs :
| Méthode | Enfant 1 | Enfant 2 | Total | Ce qui a changé |
|---|---|---|---|---|
| Prévisions de base | 30 | 50 | 90 | rien : 30 + 50 ≠ 90 |
| Ascendante | 30 | 50 | 80 | le total |
| Descendante | 33,75 | 56,25 | 90 | les enfants |
| Compromis, confiance égale | 33,33 | 53,33 | 86,67 | les trois, de 3,33 chacun |
La dernière ligne représente l’idée de MinT quand on accorde la même confiance à chaque prévision. L’écart est de 10. Chacun des trois nombres change de 3,33 : ceux des enfants augmentent, le total diminue. Ensuite, 33,33 + 53,33 = 86,67. MinT fait la même chose, mais avec des poids. Il les apprend à partir des erreurs passées de chaque série. Ainsi, une série bruitée change davantage et une série fiable change moins.
La première cellule du carnet vérifie les deux premières lignes :
bottom-up: products [30.0, 50.0] total 80.0top-down: products [33.75, 56.25] total 90.0La hiérarchie de Larkfield
Section intitulée « La hiérarchie de Larkfield »La série du niveau inférieur représente un produit dans une région, par exemple le boyau d’arrosage dans le nord. La fonction aggregate() de hierarchicalforecast construit chaque niveau à partir de cette série. Elle construit aussi une matrice de sommation S. Ce tableau de 0 et de 1 indique quelles séries inférieures s’additionnent pour former quelles séries supérieures. Un produit lancé plus tard reçoit des ventes nulles avant son lancement, pour que chaque série contienne chaque jour.
spec = [["total"], ["total", "region"], ["total", "region", "category"], ["total", "region", "category", "product"]]Y, S, tags = aggregate(bottom[["total", "region", "category", "product", "ds", "y"]], spec)print({k: len(v) for k, v in tags.items()}, "| rows:", len(Y)){'total': 1, 'total/region': 3, 'total/region/category': 30, 'total/region/category/product': 600} | rows: 461552Cela donne 634 séries × 728 jours. L’arbre ci-dessous montre les niveaux supérieurs avec leurs prévisions à la dernière coupure, avant et après MinT.
Description textuelle du diagramme
Le diagramme est un arbre. Au sommet se trouve le total : 16 726 unités vendues pendant les 14 jours; prévision propre de 14 346. Ses produits totalisent 14 764, soit un écart de −2,8 %; après MinT, 14 689. En dessous se trouvent trois régions. Nord : ventes de 6 684; prévision propre de 5 983; produits de 6 364, écart de −6,0 %; après MinT, 6 265. Sud : ventes de 6 058; prévision propre de 5 097; produits de 5 128, écart de −0,6 %; après MinT, 5 141. Côte : ventes de 3 984; prévision propre de 3 310; produits de 3 271, écart de +1,2 %; après MinT, 3 283. Sous le nord se trouvent ses 10 catégories, comme garden-tools et kitchen. Sous une catégorie se trouvent ses produits, comme le boyau d’arrosage P077. En tout, il y a 634 séries : 1 total, 3 régions, 30 catégories dans une région et 600 produits dans une région.
Rapprocher
Section intitulée « Rapprocher »HierarchicalReconciliation prend les prévisions de base, les valeurs ajustées des jours d’entraînement et la matrice de sommation. MinT utilise les erreurs de ces valeurs pour apprendre ses poids. La fonction renvoie une colonne cohérente par méthode :
hrec = HierarchicalReconciliation(reconcilers=[BottomUp(), TopDown(method="forecast_proportions"), MinTrace(method="mint_shrink", nonnegative=True)])rec = hrec.reconcile(Y_hat_df=base, Y_df=fitted, S_df=S, tags=tags)nonnegative=True maintient chaque prévision de produit à zéro ou au-dessus. Le carnet évalue chaque niveau à la dernière coupure :
WAPE % by level, last cut-off: total region category productbase (not coherent) 14.2 14.0 28.1 62.9bottom-up 12.2 12.6 30.7 62.9top-down 14.2 14.3 28.3 63.3MinT 12.3 12.5 28.2 61.3category (catégorie) signifie une catégorie dans une région. À cette coupure, MinT semble très bon. C’est la seule méthode qui améliore les produits (61,3 % contre 62,9 %). Elle est aussi proche de la meilleure pour le total et les régions. Après MinT, l’écart entre le total et ses produits est de 0,0 %.
Quatre dates de coupure : qui gagne à quel niveau
Section intitulée « Quatre dates de coupure : qui gagne à quel niveau »Une coupure couvre 14 jours. Le cours a fait la même comparaison aux quatre dernières coupures, du 21 décembre 2025 au 15 mars 2026. Les prévisions de base ont pris 224 secondes; le rapprochement en a pris 14.
Description textuelle du diagramme
Le tableau montre la WAPE en pourcentage sur les quatre dernières coupures. Total : base 12,5, ascendante 13,6, descendante 12,5, MinT 13,2; la base et la descendante sont les meilleures. Région : base 13,8, ascendante 14,8, descendante 13,6 (meilleure), MinT 14,3. Catégorie dans une région : base 26,5, ascendante 26,3, descendante 24,8 (meilleure), MinT 25,2. Produit dans une région : base 64,7, ascendante 64,7, descendante 66,6, MinT 63,6 (meilleure). La méthode ascendante garde les prévisions des produits. Sa ligne des produits est donc égale à la ligne de base.
Le résultat honnête :
- MinT est la meilleure seulement au niveau des produits : 63,6 % contre 64,7 %.
- La méthode descendante est la meilleure aux trois niveaux supérieurs. Elle garde la prévision propre au total, qui est la série la plus facile à prévoir. Mais elle est la pire pour les produits (66,6 %).
- La méthode ascendante est la pire pour le total et les régions, parce qu’elle additionne 600 prévisions de produits bruitées.
- Toutes les différences sont petites : au plus environ 2 points à chaque niveau.
Le rapprochement n’a pas rendu les prévisions de Larkfield beaucoup plus exactes. Son principal apport est que tous les niveaux concordent maintenant.
Quelle méthode pour Larkfield?
Section intitulée « Quelle méthode pour Larkfield? »La tâche de prévision planifiée du cours (module 8) utilise la méthode ascendante. Ce n’est pas le choix le plus exact du tableau. Voici les raisons.
- Kenji commande des produits. La méthode ascendante ne change rien au niveau où l’argent est dépensé. MinT y gagnerait 1,1 point.
- Elle est toujours cohérente et jamais négative. La tâche ramène les prévisions négatives des produits à zéro. Une somme de nombres égaux ou supérieurs à zéro n’est jamais négative.
- Elle est simple à expliquer. « La prévision de la région est la somme de ses produits » ne nécessite ni matrice ni poids.
- Elle n’a besoin de rien d’autre. MinT nécessite les valeurs ajustées des 634 séries et un solveur matriciel à chaque exécution.
Si les finances accordaient surtout de l’importance au total, la méthode descendante leur conviendrait mieux. Une équipe peut aussi utiliser deux nombres : la méthode ascendante pour les commandes, et la prévision propre au total comme vérification. Quand ils s’écartent de plus de quelques pour cent, quelqu’un examine la situation.
Quand rapprocher, et à quel coût
Section intitulée « Quand rapprocher, et à quel coût »Rapprochez quand différentes personnes planifient à différents niveaux avec les mêmes nombres. Un désaccord entraîne alors une réunion, et des nombres cohérents y mettent fin.
Vous n’en avez pas besoin quand un seul niveau est utilisé. Par exemple, Grace planifie un seul horaire de centre d’assistance à partir d’une seule série de billets de soutien.
Les coûts :
- Des prévisions à chaque niveau. Produire 634 prévisions de base plutôt que 600 a pris 224 secondes avec ETS. La méthode ascendante n’a besoin que des 600.
- Du temps et de la mémoire pour MinT. Avec des milliers de séries, sa matrice devient grande. Ici, elle a pris 14 secondes.
- Des explications. Une personne qui planifie demande : « Pourquoi mon nombre n’est-il pas celui du modèle? » Avec la méthode descendante et MinT, la réponse fait intervenir les autres séries.
Erreur courante
Choisir à partir d'une seule coupure
Symptôme : Tomás exécute le carnet, voit le tableau de la dernière coupure et écrit : « MinT est la meilleure ou presque à chaque niveau. Utilisons-la partout. » L’équipe des finances reçoit alors une prévision du total moins bonne que celle qu’elle avait.
Cause : une coupure couvre 14 jours. À la dernière coupure, la WAPE du total de MinT était de 12,3 %. Sur quatre coupures, elle était de 13,2 %, moins bonne que celle de la base et de la méthode descendante (12,5 %). Le classement des méthodes change d’une coupure à l’autre.
Correction : faites le rapprochement dans le test rétrospectif complet, évaluez chaque niveau et choisissez pour le niveau où la décision se prend. Pour Kenji, c’est le produit dans une région.
Conséquence pour le travail en IA : une méthode choisie sur une bonne fenêtre donne de moins bons résultats à la saison suivante. L’équipe perd alors confiance dans les prévisions et dans les personnes qui les ont choisies.
Exercice guidé : rapprocher dans le carnet
Section intitulée « Exercice guidé : rapprocher dans le carnet »- Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet en haut de cette page.
- Exécutez les cellules de préparation. La cellule des données se termine par la ligne
Ready:(prêt). - Dans la section 1, prédisez quelle méthode change le total. Exécutez ensuite la cellule. Vous voyez
total 80.0ettotal 90.0. - Dans la section 2, exécutez la cellule. Vous voyez les quatre niveaux et
rows: 461552(nombre de lignes). - Dans la section 3, prédisez si la prévision du total dépasse la somme de ses produits ou lui est inférieure. Exécutez la cellule. Vous voyez
gap -2.8%(écart). - Dans la section 4, exécutez le rapprochement. Vous voyez le tableau des quatre méthodes et des quatre niveaux.
- Dans la section 5, écrivez votre réponse dans la cellule Your turn (à vous), puis exécutez la cellule de vérification.
À vous de jouer : s’additionnent-elles maintenant?
Section intitulée « À vous de jouer : s’additionnent-elles maintenant? »Avant l’exécution, prédisez : après MinT, quel écart sépare la prévision du total et la somme des 600 produits? Dans la section 5 du carnet, calculez l’écart en % pour la colonne MinT, comme dans la section 3. Placez-le dans mint_gap.
Afficher la réponse
col = columns["MinT"]t = rec[rec["unique_id"] == "total"][col].sum()p = rec[rec["unique_id"].isin(tags["total/region/category/product"])][col].sum()mint_gap = round(float(100 * (t - p) / p), 1)print(mint_gap)0.0L’écart est de 0 : après le rapprochement, le total est exactement la somme de ses produits. C’est aussi vrai pour les méthodes ascendante et descendante. Seules les prévisions de base ne concordent pas.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Expliquez, avec les chiffres de Larkfield, le problème des prévisions séparées à chaque niveau et comment le rapprochement le résout.
Afficher la réponse
Chacune des 634 séries a son propre modèle ETS, donc rien ne les oblige à concorder. À la dernière date de coupure, la prévision du total était de 14 346 unités. La somme des 600 prévisions de produits était de 14 764, soit un écart de −2,8 %. À Noël, l’écart était de −9,0 %. Les finances et Kenji utiliseraient des chiffres différents pour planifier. Le rapprochement modifie les prévisions pour que chaque niveau soit la somme du niveau inférieur. La méthode ascendante additionne les produits, la méthode descendante répartit le total, et MinT ajuste légèrement chaque prévision. MinT ajuste davantage les prévisions dont les erreurs passées étaient les plus grandes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Sur quatre dates de coupure, quelle méthode gagne à chaque niveau? Pourquoi la tâche de prévision utilise-t-elle quand même la méthode ascendante?
Afficher la réponse
La méthode descendante gagne pour le total (12,5 %, à égalité avec la référence de base), la région (13,6 %) et la catégorie dans une région (24,8 %). MinT gagne seulement au niveau des produits (63,6 % contre 64,7 %). La méthode ascendante est la moins bonne pour le total et les régions. La tâche utilise la méthode ascendante parce que Kenji commande des produits et que cette méthode conserve les prévisions des produits. Elle est toujours cohérente et jamais négative (la tâche ramène les prévisions négatives des produits à zéro). Elle est facile à expliquer et ne nécessite ni valeurs ajustées ni matrice. MinT apporterait un gain de 1,1 point au niveau des produits.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : Larkfield ouvre une quatrième région avec 40 produits. Les finances veulent le meilleur total, et Kenji veut les meilleures commandes de produits. Quel rapprochement suggéreriez-vous, et que vérifieriez-vous d'abord?
Afficher la réponse
Aucune méthode n’est la meilleure pour les deux. La méthode descendante était la meilleure pour le total. La méthode ascendante conserve les prévisions des produits que Kenji utilise pour commander. Une option : utiliser la méthode ascendante pour les commandes et montrer aux finances la prévision du total à côté. Ajoutez une alarme quand l’écart dépasse quelques pour cent. Avant de décider, faites le test rétrospectif (backtest) complet avec la nouvelle région et évaluez chaque niveau. Une nouvelle région a peu d’historique, alors vérifiez d’abord les prévisions de ses produits. Avec la méthode descendante, sa part proviendrait de prévisions très bruitées.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une hiérarchie est un ensemble de séries où chaque niveau est la somme du niveau inférieur. Larkfield compte 1 total, 3 régions, 30 catégories dans une région et 600 produits dans une région.
- Les prévisions séparées ne sont pas cohérentes : la prévision du total et la somme des produits différaient de −9,0 % à +0,9 %.
- Le rapprochement fait concorder les sommes : la méthode ascendante conserve les produits, la méthode descendante conserve le total. MinT ajuste chaque prévision, surtout là où les erreurs passées étaient les plus grandes.
- Sur quatre dates de coupure, MinT est la meilleure seulement au niveau des produits (63,6 % contre 64,7 %). La méthode descendante est la meilleure aux niveaux supérieurs. Les différences sont faibles.
- La tâche de prévision utilise la méthode ascendante : Kenji commande des produits, et cette méthode est simple, cohérente et jamais négative.
Nos prévisions concordent maintenant. Au bas de la hiérarchie, beaucoup de produits se vendent seulement quelques jours. Ensuite, vous prévoyez les ventes de ces produits peu vendus. Vous découvrez pourquoi les mesures d’erreur habituelles choisissent la mauvaise prévision pour eux.
Leçon suivante : Demande intermittente