Aller au contenu
English

Une prévision est un intervalle

  • Leçon 22
  • 35 min
  • Module 7 : L'incertitude et la décision

Où nous en sommes

Dans le module 6, nous avons prévu des séries difficiles, mais chaque commande reposait encore sur un nombre par jour. Kenji doit savoir jusqu'où la demande pourrait monter. Dans le module 4, nous avons vu qu'ETS et ARIMA donnent aussi un intervalle. Dans cette leçon, nous nommons ses parties, les quantiles, et vérifions que l'intervalle tient sa promesse.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Transformez une prévision en intervalle indiquant jusqu’où la demande pourrait descendre ou monter, puis vérifiez qu’il tient sa promesse. Un nombre par jour ne dit pas à Kenji combien de stock supplémentaire commander par prudence.

Carnet JupyterFaites cette leçon dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon, avec les consignes. Il produit l’intervalle du parasol avant la canicule et trace le graphique en éventail. Puis il mesure la couverture des intervalles d’ETS sur le test rétrospectif (backtest) du cours. Ses cellules de préparation installent les paquets et téléchargent les données de Larkfield. Aucune configuration locale n’est donc nécessaire. Environ 35 minutes, dont environ 1 minute d’attente.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien : le carnet s’exécute dans Colab ou Kaggle. Pour l’exécuter dans VS Code, utilisez le dossier et l’environnement de Découvrir les données de Larkfield.

Testé avec Python 3.12, pandas 2.3.3 et statsforecast 2.1.1 sur macOS. Les données de Larkfield sont synthétiques : nous les avons créées pour ce cours.

Pensez à un trajet en autobus vers le centre-ville. Vous l’avez fait plusieurs fois. Habituellement, il prend environ 30 minutes. Quand tout va bien, il prend 25 minutes. Quand la circulation est dense, il prend 40 minutes.

Vous avez deux trajets à faire cette semaine. Lundi, vous retrouvez un ami pour prendre un café. Vendredi, vous avez une entrevue d’embauche. Pour le café, vous partez 30 minutes avant. Si vous avez 5 minutes de retard, votre ami attend un peu. Pour l’entrevue, vous partez 40 minutes avant, ou même plus. Un retard vous coûte bien plus cher que 10 minutes d’attente dans un café.

La durée habituelle, « environ 30 minutes », reste la même pour les deux trajets. Ce qui change votre plan, c’est la dispersion : 25 minutes quand tout va bien, 40 quand ça va mal. Vous utilisez une partie différente de cette dispersion pour chaque trajet, car le coût d’un retard diffère.

Jusqu’ici, chaque commande du cours reposait sur un nombre par jour : la prévision ponctuelle. Kenji, le responsable de la planification des stocks, commande des parasols chaque semaine. Chaque commande doit couvrir 14 jours : une semaine avant la prochaine commande et une semaine pour la livraison. C’est une hypothèse du cours. Le dimanche 8 juin 2025, la prévision ETS pour les 14 jours suivants totalisait 92,4 parasols. Supposons que Kenji en commande 93 : la prévision, arrondie au nombre entier supérieur.

Pendant les 14 jours suivants, Larkfield a vendu 101 parasols. Il en manquait 8 à Kenji. La prévision était-elle mauvaise? Pas vraiment. Une prévision de 92,4 dit « environ 92, peut-être plus, peut-être moins ». Elle ne peut pas dire combien de plus.

Ce n’est pas de la malchance. Dans le carnet de la leçon, Kenji commande le total prévu pour les 50 produits du test rétrospectif du cours. Il le fait à chacune des 13 dates de coupure : 650 commandes. La moitié, soit 50 %, étaient insuffisantes. La prévision ponctuelle se situe au milieu. Les ventes réelles la dépassent donc environ la moitié du temps, quelle que soit la méthode.

Omar, le gestionnaire de produit, demande : « Donc, on devrait toujours commander plus que la prévision? » Kenji répond : « Oui, mais combien de plus? 5 parasols? 30? Je dois savoir jusqu’où la demande peut monter. »

Un intervalle de prévision donne cette réponse. Au lieu d’un nombre par jour, la méthode de prévision donne une borne inférieure et une borne supérieure. Elle ajoute une promesse : « la valeur réelle se trouve dans cet intervalle 8 jours sur 10 ». C’est un intervalle de prédiction à 80 % : un intervalle (les nombres entre deux bornes) pour une valeur à prédire. Vous l’avez vu sous le nom « intervalle à 80 % » d’AutoARIMA dans ARIMA et SARIMA.

Les deux bornes ont leur propre nom. La borne inférieure d’un intervalle à 80 % est le quantile à 10 %, noté q10. La valeur réelle est inférieure à cette borne 10 % du temps. La borne supérieure est le quantile à 90 %, q90. La valeur réelle est inférieure à cette borne 90 % du temps, et supérieure à celle-ci 10 % du temps. Entre q10 et q90, la probabilité est de 80 %. La médiane, q50, est le milieu : la valeur réelle est inférieure à celle-ci la moitié du temps.

Un quantile est un point de coupure. Vous avez vu les quantiles de données dans Mathématiques et statistiques essentielles pour l’IA. Une prévision par quantile applique la même idée à une valeur qui ne s’est pas encore produite.

Le trajet en autobus a donc lui aussi un intervalle de prévision. « 30 minutes » est la prévision ponctuelle. « 25 à 40 minutes » est un intervalle, et 40 minutes correspond environ au q90 du trajet. Pour l’entrevue d’embauche, vous planifiez avec le q90, ou une valeur supérieure.

Une prévision annonce 20 unités par jour. Son intervalle à 80 % va de 14 à 26. Voici cinq jours réels :

Jour Valeur réelle Entre 14 et 26?
1 18 oui
2 27 non : au-dessus du q90
3 21 oui
4 13 non : en dessous du q10
5 24 oui

Trois des cinq valeurs sont dans l’intervalle : 60 %. L’intervalle est-il trop étroit? Cinq jours sont bien trop peu pour le savoir. Un bon intervalle à 80 % contient souvent 3 ou 5 valeurs sur 5, par hasard.

Sur de nombreux jours, la proportion de valeurs réelles dans l’intervalle est sa couverture. Pour un intervalle à 80 % qui tient sa promesse, elle devrait être proche de 80 %. Une couverture bien inférieure indique un intervalle trop étroit : il promet plus de sécurité qu’il n’en offre. Une couverture bien supérieure indique un intervalle trop large : il nous fait planifier pour des risques qui n’existent pas.

Comment une méthode de prévision produit l’intervalle

Section intitulée « Comment une méthode de prévision produit l’intervalle »

Comme les autres méthodes statistiques du cours, ETS apprend à quelle distance les valeurs réelles se trouvent habituellement des valeurs ajustées. À partir de cette dispersion, statsforecast calcule les bornes de l’intervalle pour chaque jour à venir. Vous demandez les intervalles avec level=[80, 90]. La prévision contient alors des colonnes supplémentaires : AutoETS-lo-80 et AutoETS-hi-80 (le q10 et le q90), et AutoETS-lo-90 et AutoETS-hi-90 (le q5 et le q95).

from statsforecast import StatsForecast
from statsforecast.models import AutoETS
fc = StatsForecast(models=[AutoETS(season_length=7)], freq="D").forecast(df=train, h=14, level=[80, 90])

L’intervalle s’élargit pour les jours plus éloignés, car les erreurs des jours s’accumulent, comme l’a montré ARIMA et SARIMA. Le graphique des intervalles s’ouvre donc comme un éventail : c’est un graphique en éventail. L’intervalle d’ETS s’élargit de la même façon.

L'intervalle à 80 % du parasol depuis la date de coupure du 22 juin 2025 (ETS). Sa largeur est de 10,7 parasols au jour 1 et de 18,7 parasols au jour 14.
Description textuelle du graphique

Le graphique comporte une ligne avec 14 points, un pour chaque jour suivant la date de coupure du 22 juin 2025. L’axe vertical indique la largeur de l’intervalle à 80 % : le q90 moins le q10, en parasols. La ligne monte régulièrement de 10,7 au jour 1 à 18,7 au jour 14. Elle monte un peu moins chaque jour.

Priya, la scientifique des données, produit l’intervalle du parasol (P025) depuis la date de coupure du dimanche 22 juin 2025. ETS voit les ventes jusqu’à ce jour. La canicule commence le lundi 30 juin, dans la deuxième semaine de la prévision. Le graphique montre les quatre dernières semaines d’historique, la prévision, ses deux intervalles et les ventes réelles.

  • historique
  • prévision
  • intervalle à 80 % (plus foncé), intervalle à 90 %
  • réel
Le parasol, sur un horizon de 14 jours depuis la date de coupure du 22 juin 2025 (ETS avec ses intervalles à 80 % et à 90 %). Les ventes réelles sont dans l'intervalle à 90 % pendant 11 jours sur 14. Le dimanche 6 juillet, 48 parasols ont été vendus, bien au-dessus de l'intervalle à 90 %.
Description textuelle du graphique

Le graphique montre les parasols vendus par jour, du 26 mai au 6 juillet 2025. Une ligne grise montre l’historique jusqu’à la date de coupure du 22 juin, entre 3 et 20 par jour. Après la date de coupure, une ligne bleue montre la prévision ETS, entre environ 11 et 16 par jour. Deux bandes l’entourent : l’intervalle à 80 %, plus foncé, et l’intervalle à 90 %, plus pâle. L’intervalle à 90 % s’élargit : environ 5 à 18 le premier jour, puis environ 1 à 24 le dernier. Des points montrent les ventes réelles : entre 4 et 13 dans la première semaine. Après le début de la canicule le 30 juin (une ligne pointillée), elles sont de 13, 11, 18, 16, 17, 24 et 48 le dimanche 6 juillet. Ce dernier point est orange : il dépasse l’intervalle à 90 %, dont la borne supérieure est de 24,5 ce jour-là.

La prévision prolonge le niveau récent avec le profil hebdomadaire et ne sait rien de la canicule. Son intervalle est large, car les ventes de parasols contiennent beaucoup de bruit.

Regardez maintenant les ventes réelles. 9 des 14 valeurs réelles sont dans l’intervalle à 80 %, et 11 sur 14 sont dans l’intervalle à 90 %. Un seul jour dépasse l’intervalle à 90 % : le dimanche 6 juillet, avec 48 parasols vendus. Les deux autres jours hors de l’intervalle à 90 % sont en dessous, dans la première semaine.

Ce graphique nous apprend deux choses. D’abord, l’intervalle a rempli son rôle la plupart des jours, même pendant la semaine de la canicule. Le milieu était trop bas toute la semaine. Mais la borne supérieure était proche des ventes réelles jusqu’au dernier jour. Ensuite, un intervalle à 90 % se trompe environ 1 jour sur 10. Et le jour qu’il manque est souvent celui qui compte le plus. Un intervalle ne prédit pas une canicule. Il indique l’ampleur des surprises habituelles.

Un produit et 14 jours constituent un exemple, pas un test. Dans le carnet, Priya exécute ETS avec des intervalles sur tout le test rétrospectif du cours. Cela représente 50 produits, 13 dates de coupure et un horizon de 14 jours, soit 9 100 jours de prévision. Puis elle compte :

Intervalle Promesse Couverture (ETS, mesurée)
80 % (q10 à q90) 80 % des valeurs réelles à l’intérieur 83,5 %
90 % (q5 à q95) 90 % des valeurs réelles à l’intérieur 90,5 %

ETS tient sa promesse, et même un peu plus. Son intervalle à 80 % est un peu trop large, ce qui privilégie la sécurité. Toutes les méthodes ne font pas aussi bien. Chronos-Bolt avait les meilleures prévisions ponctuelles du cours (Modèles profonds et modèles de fondation). Mais son intervalle à 80 % contient seulement 78,9 % des valeurs réelles. Il prédit seulement les quantiles de 0,1 à 0,9. Il n’a donc aucun véritable intervalle à 90 % : son « intervalle à 90 % » est son intervalle à 80 %. La prochaine leçon compare les intervalles de toutes les méthodes.

Pourquoi l’intervalle à 90 % compte plus que la prévision ponctuelle pour les stocks

Section intitulée « Pourquoi l’intervalle à 90 % compte plus que la prévision ponctuelle pour les stocks »

Revenons à la question de Kenji : combien de plus que la prévision? Un intervalle y répond dans les mots de Kenji : « Si je commande jusqu’au q90, je manque de stock seulement 1 fois sur 10. » La prévision ponctuelle ne donne aucune information sur la dispersion. Deux produits peuvent avoir la même prévision de 92 et des intervalles très différents. L’un va de 85 à 99, l’autre de 60 à 125. Ils nécessitent des commandes très différentes.

Pour les stocks, la borne supérieure compte le plus. Un magasin en rupture de stock perd la vente, et parfois le client. Un magasin qui a quelques articles en trop les vend plus tard, à prix réduit.

Le diagramme montre la suite de ce module. L’intervalle est la nouvelle entrée. Les coûts d’une vente perdue et d’un article invendu déterminent le quantile à commander. De la prévision à la commande et à l’horaire fait ce choix.

Un flux de gauche à droite. L'historique mène à deux cases : Prévision, un nombre par jour (le milieu), et Intervalle, q10 à q90, un quantile pour chaque niveau. Une flèche pointillée part de Prévision vers une case pâle, Commander la prévision, avec la mention : aucun risque, la moitié des commandes sont insuffisantes. Une flèche part d'Intervalle vers Coûts, une vente perdue et un article invendu, puis vers Choisir le quantile, puis vers Commande et horaire.
La prévision ponctuelle seule mène à des commandes insuffisantes la moitié du temps. L'intervalle, avec les coûts, mène au choix d'un quantile pour la commande et l'horaire.
Description textuelle du diagramme

Le diagramme commence par une case nommée Historique : les ventes jusqu’à la date de coupure. Deux flèches en partent. La première mène à Prévision, un nombre par jour, puis à une case pâle au contour pointillé : Commander la prévision. Cette approche ne tient compte d’aucun risque, donc la moitié des commandes sont insuffisantes. La deuxième flèche mène à Intervalle : les quantiles de q10 à q90. Depuis Intervalle, les flèches mènent à Coûts (une vente perdue et un article invendu), à Choisir le quantile, puis à Commande et horaire.

Quand utiliser un intervalle, quand ne pas l’utiliser et à quel coût

Section intitulée « Quand utiliser un intervalle, quand ne pas l’utiliser et à quel coût »

Utilisez un intervalle dès qu’une décision dépend de la prévision : une commande de stock, un horaire, un budget. Pour les méthodes statistiques de ce cours, l’intervalle ne coûte rien de plus. Vous passez level=[80, 90], et le temps d’ajustement ne change pas.

D’autres méthodes demandent plus de travail. Un modèle de régression ou LightGBM donne un nombre. Pour obtenir un intervalle, vous pouvez entraîner des modèles supplémentaires pour les quantiles. Vous pouvez aussi construire l’intervalle à partir des erreurs passées, comme le montre la prochaine leçon. Chronos-Bolt donne directement des quantiles, mais seulement de 0,1 à 0,9.

Un intervalle décrit les surprises habituelles contenues dans l’historique. Il ne peut pas connaître un événement jamais observé, comme une canicule plus forte que toutes les précédentes. Et sa fiabilité dépend de la façon dont le modèle évalue ses propres erreurs. Vérifiez donc sa couverture sur un test rétrospectif avant de lui faire confiance.

Exercice guidé : l’intervalle du parasol dans le carnet

Section intitulée « Exercice guidé : l’intervalle du parasol dans le carnet »
  1. Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet en haut de cette page.
  2. Exécutez les cellules de préparation. La cellule des données se termine par la ligne Ready: (prêt).
  3. Dans la section 1, prédisez combien des cinq valeurs réelles se trouvent entre 14 et 26. Exécutez la cellule. Vous voyez 3 of 5 inside (3 sur 5 à l’intérieur).
  4. Dans la section 2, prédisez si la canicule reste dans l’intervalle à 90 %. Exécutez la cellule. Vous voyez le graphique en éventail et days above the 90% range: ['Sun 06 Jul'] (jours au-dessus de l’intervalle à 90 % : dimanche 6 juillet).
  5. Dans la section 3, exécutez la cellule du test rétrospectif. Elle prend environ une minute. Vous voyez coverage of the 80% range: 0.835 (couverture de l’intervalle à 80 % : 0,835) et une valeur de perte pinball (perte quantile) de 0.11 (la prochaine leçon explique ce score).
  6. Dans la cellule Your turn (à vous de jouer), calculez coverage_90, comme décrit ci-dessous.
  7. Exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie).
  8. Dans la section 4, exécutez la dernière cellule. Vous voyez orders too small: 50% of 650 orders (commandes insuffisantes : 50 % des 650 commandes).

Changez une seule chose : l’intervalle. Dans le carnet, le résultat du test rétrospectif fc_range contient les colonnes q5 et q95, les bornes de l’intervalle à 90 %. Avant l’exécution, prédisez : sa couverture sera-t-elle plus proche de 90 % que celle de l’intervalle à 80 % l’était de 80 %? Calculez la proportion de valeurs réelles dans l’intervalle à 90 % avec bt.coverage, puis placez-la dans coverage_90.

Afficher la réponse
coverage_90 = bt.coverage(fc_range, "q5", "q95")
print(coverage_90)
0.905

L’intervalle à 90 % contient 90,5 % des valeurs réelles : très près de sa promesse. L’intervalle à 80 % en contenait 83,5 %; il était donc un peu plus large que nécessaire. Les intervalles d’ETS tiennent leur promesse aux deux niveaux, avec un peu de prudence à 80 %.

Erreur courante

Additionner les bornes supérieures quotidiennes

Symptôme : Tomás veut une commande prudente de parasols couvrant 14 jours depuis la date de coupure du 8 juin 2025. Il prend le q90 de chacun des 14 jours et les additionne. La somme est de 196,9, donc il commande 197 parasols. Le total prévu est de 92,4. Sa commande « prudente » dépasse donc le double de la prévision. Pendant les 14 jours, Larkfield en a vendu 101. 96 parasols restent invendus. À 25 % du prix pour chaque parasol invendu (l’hypothèse du cours), cela coûte environ 1 920 $ US.

Cause : le q90 de chaque jour représente une journée forte : un jour sur dix est plus élevé. La somme de Tomás suppose que les 14 jours sont tous forts en même temps. Cela n’arrive presque jamais : les jours forts et faibles se compensent en partie dans le total.

Correction : additionnez les prévisions quotidiennes pour obtenir le milieu du total (92,4). Pour la dispersion, additionnez les variances quotidiennes (les écarts-types au carré), puis prenez la racine carrée : 20,4 parasols. Cette approche traite les jours comme indépendants, comme le fait la tâche de prévision planifiée du cours. Sur une courbe normale (en forme de cloche), le q90 se situe à 1,28 écart-type au-dessus du milieu. Le q90 du total sur 14 jours est donc 92,4 + 1,28 × 20,4 = 118,5, et non 196,9. Les quantiles ne s’additionnent pas; les moyennes et les variances, oui.

Conséquence pour le travail en IA : un plan « prudent » construit avec les bornes supérieures de ses parties est beaucoup trop grand. Le stock ou le personnel supplémentaire coûte de l’argent réel. La même erreur apparaît dans les budgets, la capacité infonuagique et les plans de projet. La limite à reconnaître : les jours ne sont pas entièrement indépendants. Une canicule les fait tous monter ensemble. La dispersion réelle du total est donc un peu plus grande que 20,4.

Vérifiez votre compréhension

Dans vos mots : que promet un intervalle de prédiction à 80 % allant de 14 à 26? Comment appelle-t-on 14 et 26?

Afficher la réponse

Il promet que la valeur réelle se situe entre 14 et 26 environ 8 fois sur 10. 14 est le quantile à 10 % (q10) : la valeur réelle est inférieure à ce seuil environ 1 fois sur 10. 26 est le quantile à 90 % (q90) : la valeur réelle dépasse ce seuil environ 1 fois sur 10. La promesse porte sur plusieurs prévisions, pas une seule. Sur de nombreux jours, la proportion de valeurs dans l’intervalle (la couverture) devrait approcher 80 %.

Vérifiez votre compréhension

Prédisez et expliquez : Kenji commande selon la somme des prévisions, pour 650 commandes. Combien sont trop petites, environ? Pourquoi une meilleure méthode de prévision change-t-elle peu cette proportion?

Afficher la réponse

Environ la moitié : dans le carnet (notebook) Jupyter de la leçon, 50 % des 650 commandes ETS étaient trop petites. La prévision ponctuelle représente le milieu de l’intervalle. Les ventes réelles la dépassent donc environ la moitié du temps, quelle que soit la méthode. Une meilleure méthode réduit la largeur de l’intervalle, donc chaque manque est plus petit. Mais seule une commande au-dessus du milieu, à un quantile plus élevé, rend les manques moins fréquents.

Vérifiez votre compréhension

Tomás dit : « Chronos-Bolt donne les meilleures prévisions ponctuelles, donc son intervalle à 90 % doit aussi être le meilleur. » Que vérifiez-vous, et que constatez-vous dans le test rétrospectif de Larkfield?

Afficher la réponse

Vérifiez la couverture de chaque intervalle dans le test rétrospectif (backtest), pas l’erreur de la prévision ponctuelle. L’intervalle à 80 % de Chronos-Bolt contient seulement 78,9 % des valeurs réelles : il est un peu trop étroit. Il prédit seulement les quantiles de 0,1 à 0,9, donc il n’a pas de véritable intervalle à 90 %. Son « intervalle à 90 % » contient lui aussi 78,9 % des valeurs. Les intervalles d’ETS contiennent 83,5 % et 90,5 % des valeurs. Une bonne prévision ponctuelle ne garantit pas un bon intervalle : évaluez les deux.

Récapitulatif

  • Une prévision ponctuelle représente le milieu. Les commandes au milieu sont insuffisantes environ la moitié du temps : 50 % des 650 commandes ETS du test rétrospectif du cours.
  • Un intervalle de prédiction donne une borne inférieure et une borne supérieure, avec une promesse. Les bornes sont des quantiles : q10 et q90 délimitent un intervalle à 80 %.
  • L’intervalle s’élargit pour les jours plus éloignés, comme un éventail. Pour les parasols, sa largeur à 80 % passe de 10,7 parasols au jour 1 à 18,7 au jour 14.
  • La couverture est la proportion de valeurs réelles dans l’intervalle. ETS : 83,5 % pour son intervalle à 80 % et 90,5 % pour son intervalle à 90 %. Chronos-Bolt : 78,9 % pour les deux, car il n’a pas de véritable niveau à 90 %.
  • Les quantiles des jours ne s’additionnent pas. Le q90 du total sur 14 jours est de 118,5 parasols, pas de 196,9 comme la somme des q90 quotidiens.

Vous pouvez maintenant créer un intervalle et mesurer sa couverture. Mais un intervalle peut être trop étroit ou trop large. La couverture seule ne permet pas de dire lequel est meilleur. Ensuite, vous évaluerez les intervalles avec la perte pinball (perte quantile). Vous testerez aussi une correction simple pour un intervalle trop étroit.

Leçon suivante : Noter l'intervalle