Aller au contenu
English

Noter l'intervalle

  • Leçon 23
  • 35 min
  • Module 7 : L'incertitude et la décision

Où nous en sommes

Nous avons maintenant des intervalles de prévision. Un intervalle peut être trop étroit ou trop large, et les deux coûtent de l'argent. Dans cette leçon, nous évaluons un intervalle avec la couverture et la perte pinball. Nous corrigeons aussi un intervalle trop étroit avec des intervalles conformes.

Ce que vous saurez faire

Évaluez un intervalle de prévision pour comparer les intervalles de deux méthodes et choisir lequel utiliser pour une décision. Un intervalle trop étroit promet une sécurité qu’il ne donne pas. Un intervalle trop large fait commander trop de stock à Kenji.

Carnet JupyterFaites cette leçon dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, tâches et vérifications de cette leçon, avec les consignes. Il calcule la perte pinball (perte quantile) d’une journée et compare les intervalles de deux méthodes sur le test rétrospectif (backtest) du cours. Il teste ensuite les intervalles conformes. Ses cellules de préparation installent les paquets et téléchargent les données de Larkfield. Aucune préparation locale n’est donc nécessaire. Environ 35 minutes, dont environ 2 minutes d’attente.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien : le carnet fonctionne dans Colab ou Kaggle. Pour l’exécuter dans VS Code, utilisez plutôt le dossier et l’environnement de Découvrir les données de Larkfield.

Testé avec Python 3.12, pandas 2.3.3 et statsforecast 2.1.1 sur macOS. Les données de Larkfield sont synthétiques : nous les avons créées pour ce cours.

Imaginez deux spécialistes des prévisions météo dans votre ville. La première dit chaque soir : « Demain, la température sera entre −20 et +45 degrés. » Elle ne se trompe jamais. Mais sa prévision est inutile : elle ne vous aide pas à choisir un manteau.

Le deuxième dit chaque soir : « Demain, exactement 21 degrés. » Sa prévision est précise. Mais elle est presque toujours fausse, et il ne vous dit pas de combien elle peut se tromper.

Vous voulez une troisième spécialiste. Elle dit : « Entre 18 et 24 degrés, et j’ai raison environ 8 jours sur 10. » Quand vous vérifiez ses prévisions pendant un an, elle a vraiment raison environ 8 jours sur 10. Son intervalle est honnête et assez étroit pour être utile.

Le problème : la couverture seule est facile à satisfaire

Section intitulée « Le problème : la couverture seule est facile à satisfaire »

Dans la dernière leçon, nous avons vérifié un intervalle avec sa couverture : la part des valeurs réelles qu’il contient. La couverture révèle le problème du deuxième spécialiste. Un intervalle trop étroit contient trop peu de valeurs réelles.

Mais la couverture ne révèle pas le problème de la première spécialiste. Regardez un intervalle de 0 à 1 000 parasols par jour. Il contient toutes les valeurs réelles : sa couverture est de 100 %. Il promettait 80 %, donc il est « trop sûr ». Pourtant, personne ne le jugerait meilleur qu’un intervalle qui contient 83 % des valeurs. La couverture indique seulement si la promesse est tenue. Elle ne récompense pas un intervalle étroit.

Il nous faut donc deux choses. Un intervalle doit être bien étalonné : sa couverture est proche de sa promesse. Il doit aussi être étroit : aussi étroit que possible tout en tenant sa promesse. La perte pinball évalue les deux à la fois.

Voici le problème avec les données de Larkfield. Dans le carnet, Priya compare deux méthodes sur le test rétrospectif du cours : la prévision naïve saisonnière et ETS. Les deux donnent des intervalles à 80 % et à 90 %.

Méthode Couverture de l’intervalle à 80 % Couverture de l’intervalle à 90 % Largeur moyenne de l’intervalle à 80 %
Naïve saisonnière 87,7 % 92,9 % 13,5 unités
ETS 83,5 % 90,5 % 9,6 unités

Si nous regardons seulement la couverture, l’intervalle naïf saisonnier semble « plus sûr » : 87,7 % plutôt que 83,5 %. Mais il est 40 % plus large. Les deux tiennent leur promesse. Lequel convient mieux à Kenji? Le plus étroit, tant qu’il tient sa promesse, car chaque unité de largeur lui fait commander plus de stock.

La perte pinball évalue la prévision d’un quantile à la fois, avec une règle simple. Prenez une prévision q90. Elle dit : « 9 fois sur 10, la valeur réelle sera plus basse que moi. » Elle devrait donc presque toujours être assez élevée.

  • Si la valeur réelle est au-dessus du q90, chaque unité d’écart coûte 0,9.
  • Si la valeur réelle est sous le q90, chaque unité d’écart coûte seulement 0,1.

Écrivez le niveau d’un quantile avec τ, la lettre grecque « tau » : un nombre entre 0 et 1. Un écart au-dessus coûte τ par unité, et un écart en dessous coûte 1 − τ par unité. Le q90 a τ = 0,9. La médiane a τ = 0,5, donc les deux côtés coûtent 0,5. Pour la médiane, la perte pinball vaut la moitié de l’erreur absolue. Le nom vient de la forme de son graphique : un V qui penche d’un côté.

Pourquoi cette règle? Sur de nombreuses journées, le q90 coûte le moins lorsqu’il dépasse la valeur réelle 9 fois sur 10. Placez-le plus haut, et vous payez 0,1 presque chaque jour. Placez-le plus bas, et vous payez 0,9 plus souvent. Seul le q90 honnête équilibre les deux. Une faible perte pinball exige donc que chaque quantile soit bien placé. Un intervalle trop large paie pour sa largeur.

La prévision q90 est de 26 unités. Voici deux journées réelles :

Valeur réelle Écart Côté Coût par unité Perte pinball
20 26 − 20 = 6 sous le q90 0,1 6 × 0,1 = 0,6
30 30 − 26 = 4 au-dessus du q90 0,9 4 × 0,9 = 3,6

La journée à 30 coûte 6 fois plus, malgré un écart plus petit. Le graphique montre la perte de ce q90 et d’une médiane de 26, pour chaque valeur réelle de 10 à 40.

  • prévision q90 de 26
  • prévision médiane (q50) de 26
La perte pinball d'une prévision de 26 unités (exemple construit). Pour le q90 (trait plein), une valeur réelle au-dessus de 26 coûte 0,9 par unité. Une valeur en dessous coûte 0,1 par unité. Pour la médiane (pointillés), les deux côtés coûtent 0,5 par unité.
Description textuelle du graphique

L’axe horizontal représente la valeur réelle, de 10 à 40 unités. L’axe vertical représente la perte pinball. Les deux lignes valent 0 à 26, la prévision. La ligne pleine, pour le q90, monte lentement vers la gauche : à 10, elle vaut seulement 1,6. À droite, elle monte rapidement : à 40, elle vaut 12,6. Deux points sont marqués : 0,6 pour une valeur réelle de 20, et 3,6 à 30. La ligne en pointillés, pour la médiane, forme un V symétrique : 8 à 10 et 7 à 40.

Dans le test rétrospectif, bt.score calcule la perte pinball de chaque colonne de quantile (q5, q10, q50, q90, q95). Il le fait pour chaque journée prévue, puis prend la moyenne. Il divise ensuite cette moyenne par la valeur réelle moyenne. Ainsi, un produit vendu à 100 unités par jour ne compte pas plus qu’un produit vendu à 3 unités. Vous avez vu cette colonne dans le tableau du test rétrospectif du cours, dans Mesurer l’erreur qui compte. Plus la valeur est faible, mieux c’est.

Priya évalue les intervalles de chaque méthode qui en fournit, sur le test rétrospectif du cours (valeurs mesurées, 9 100 jours prévus pour chacune) :

Méthode Couverture à 80 % Couverture à 90 % Perte pinball
Naïve saisonnière 87,7 % 92,9 % 0,133
ETS 83,5 % 90,5 % 0,110
AutoARIMA 83,0 % 90,2 % 0,110
Chronos-Bolt 78,9 % 78,9 % 0,099
ETS avec intervalles conformes 68,9 % 75,6 % 0,116
La couverture de l'intervalle à 90 % de chaque méthode sur le test rétrospectif du cours (valeurs mesurées). La promesse est de 90 %. Bleu : la promesse est tenue. Orange : l'intervalle est trop étroit. Chronos-Bolt n'a pas de véritable niveau à 90 %, et l'intervalle conforme contient seulement 75,6 % des valeurs.
Description textuelle du graphique

Un diagramme à cinq colonnes, sur un axe de 0 à 100 %. Naïve saisonnière (N. saison.), à 92,9 %, ETS, à 90,5 %, et AutoARIMA (ARIMA), à 90,2 %, sont en bleu. Ces méthodes tiennent la promesse de 90 %. Chronos, à 78,9 %, et Conforme, à 75,6 %, sont en orange. Leurs intervalles contiennent bien moins de valeurs réelles que promis.

Ce que ce tableau nous dit, ligne par ligne :

  • Naïve saisonnière tient largement sa promesse, mais sa perte pinball est la pire, à 0,133. Son intervalle est large, et il paie pour cette largeur.
  • ETS et AutoARIMA tiennent les deux promesses de près, avec la même perte pinball de 0,110. L’ajustement d’AutoARIMA a pris environ 21 fois plus de temps, sans donner un meilleur intervalle.
  • Chronos-Bolt a la plus faible perte pinball, à 0,099, car ses quantiles sont resserrés : ils sont proches des valeurs réelles. Mais son intervalle à 80 % contient seulement 78,9 % des valeurs, donc il est un peu trop étroit. De plus, il prédit seulement les quantiles de 0,1 à 0,9. Son « intervalle à 90 % » est donc son intervalle à 80 % : il contient aussi 78,9 % des valeurs. Pour une décision qui exige un q95, Chronos-Bolt ne peut pas en fournir.
  • ETS avec intervalles conformes, une méthode censée corriger les intervalles trop étroits, les a rendus beaucoup plus étroits. Le cas d’échec ci-dessous explique pourquoi.

Tomás lit la colonne de perte pinball et dit : « Chronos gagne encore. » Priya reconnaît que ses quantiles sont les plus resserrés. Puis elle montre la couverture : « Un seul score ne montre pas tout. La perte pinball est une moyenne sur cinq quantiles. Elle récompense les quantiles resserrés, mais elle cache l’absence du q5 et du q95. Regardez la couverture et la perte pinball ensemble. »

Que faire si l’intervalle d’un modèle est trop étroit, ou si le modèle n’en fournit aucun, comme LightGBM? Les intervalles conformes construisent un intervalle à partir des erreurs passées du modèle. Pensez encore à l’autobus. Vous n’avez pas besoin d’une théorie de la circulation. Vous notez le retard de l’autobus lors des 20 derniers trajets. Supposons que son retard était d’au plus 12 minutes pour 18 des 20 trajets. Vous partez alors 12 minutes plus tôt, et vous arrivez à l’heure environ 9 fois sur 10.

statsforecast utilise des fenêtres pour faire cela. Avant la date de coupure, il cache une période de l’historique et la prévoit. Il compare ensuite la prévision aux valeurs réelles. Chaque période est une fenêtre. Avec 4 fenêtres de 14 jours, il obtient 4 erreurs pour le premier jour à venir, 4 pour le deuxième, etc. Pour la nouvelle prévision, il place l’intervalle autour de la prévision ponctuelle selon la taille de ces erreurs.

Un flux de gauche à droite. Une boîte d'historique avant la date de coupure contient quatre fenêtres de 14 jours. Chacune comprend une prévision suivie des valeurs réelles. Une flèche mène aux erreurs : 4 par jour à venir. Puis vient la taille de l'intervalle selon les erreurs : une grande taille pour 90 %. Ensuite vient la nouvelle prévision après la date de coupure, plus ou moins cette taille.
Intervalles conformes : prévoyez quelques fenêtres passées et mesurez les erreurs. Placez le nouvel intervalle autour de la nouvelle prévision selon la taille de ces erreurs.
Description textuelle du diagramme

Le diagramme commence par une boîte appelée Historique avant la date de coupure. Elle contient quatre boîtes alignées : Fenêtre 1, Fenêtre 2, Fenêtre 3 et Fenêtre 4. Chaque fenêtre dure 14 jours : le modèle la prévoit, puis les valeurs réelles sont comparées à la prévision. Une flèche sort de la boîte d’historique vers Erreurs : 4 erreurs pour chaque jour à venir, jour 1, jour 2, etc. La boîte suivante est Taille de l’intervalle, selon les erreurs : une grande erreur pour un intervalle à 90 %. La dernière boîte, au contour épais, est Nouvelle prévision après la date de coupure, plus ou moins cette taille.

La méthode a un point fort. Elle ne suppose aucune forme particulière pour les erreurs : elle les utilise telles quelles. Elle fonctionne autour de toute méthode de prévision ponctuelle, y compris LightGBM ou une prévision d’une autre équipe.

Elle a aussi un coût. Chaque fenêtre exige un ajustement supplémentaire du modèle. Avec 4 fenêtres, ETS est ajusté 5 fois à chaque date de coupure. Dans le test rétrospectif du cours, ETS avec ses propres intervalles a pris environ 46 secondes. Avec des intervalles conformes, il a pris environ 211 secondes.

Exercice guidé : évaluer deux intervalles dans le carnet

Section intitulée « Exercice guidé : évaluer deux intervalles dans le carnet »
  1. Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet en haut de cette page.
  2. Exécutez les cellules de préparation. La cellule de données se termine par la ligne Ready: (prêt).
  3. Dans la section 1, prédisez quelle journée a la plus grande perte. Exécutez la cellule. Vous voyez loss 0.6 (perte de 0,6) et loss 3.6 (perte de 3,6).
  4. Dans la section 2, prédisez quelle méthode a les intervalles les plus larges. Exécutez la cellule du test rétrospectif. Elle prend environ une minute.
  5. Comparez le tableau à celui ci-dessus. Vous voyez une largeur de 13.5 pour l’intervalle naïf saisonnier et de 9.6 pour ETS.
  6. Dans la section 3, calculez above_q90, comme décrit ci-dessous. Exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie).
  7. Dans la section 4, prédisez la couverture de l’intervalle conforme. Exécutez la cellule. Elle prend environ une minute et demie.
  8. Lisez les deux lignes. Elles couvrent seulement les 4 dernières dates de coupure. L’intervalle conforme à 90 % contient 0.75 des valeurs réelles; celui d’ETS en contient 0.909.

À vous de jouer : de quel côté sont les valeurs manquées?

Section intitulée « À vous de jouer : de quel côté sont les valeurs manquées? »

La couverture compte les valeurs dans l’intervalle. Elle ne dit pas de quel côté se trouvent les autres. Pour Kenji, une valeur au-dessus de l’intervalle signifie une rupture de stock, et une valeur en dessous signifie du stock en trop. Avant d’exécuter le code, prédisez : ETS manque-t-il plus souvent les valeurs au-dessus de son q90 ou sous son q10? Dans le carnet, calculez la part des valeurs réelles au-dessus de la colonne q90 de fc_ets. Placez-la dans above_q90, arrondie à 3 décimales.

Afficher la réponse
above_q90 = round(float((fc_ets["y"] > fc_ets["q90"]).mean()), 3)
print("above q90:", above_q90, " below q10:", round(float((fc_ets["y"] < fc_ets["q10"]).mean()), 3))
above q90: 0.088 below q10: 0.077

Chaque côté devrait contenir 10 % des valeurs réelles. ETS en a 8,8 % au-dessus de son q90 et 7,7 % sous son q10. Les deux parts sont un peu sous 10 %, donc l’intervalle est un peu large des deux côtés. Il n’est pas déséquilibré : il ne manque pas beaucoup plus souvent les valeurs du côté des ruptures de stock.

Erreur courante

Intervalles conformes à partir de 4 fenêtres

Symptôme : Priya ajoute des intervalles conformes à ETS, avec 4 fenêtres de 14 jours. Rien n’échoue, et la prévision semble identique. Mais sur le test rétrospectif du cours, le nouvel intervalle à 80 % contient seulement 68,9 % des valeurs réelles. Celui à 90 % en contient seulement 75,6 %. Les propres intervalles d’ETS en contenaient 83,5 % et 90,5 %. Dans le carnet, sur les 4 dernières dates de coupure, les intervalles conformes contiennent 68,4 % et 75,0 % des valeurs. Les propres intervalles d’ETS en contiennent 84,3 % et 90,9 %. La « correction » a rendu l’intervalle beaucoup trop étroit.

Cause : pour chaque jour à venir, la méthode a seulement 4 erreurs passées. Un intervalle construit avec 4 erreurs ne peut pas contenir 90 % des valeurs. Pensez à 5 erreurs de suite : les 4 anciennes et la nouvelle. Si les erreurs sont de même nature, chacune des 5 a la même probabilité d’être la plus grande. La nouvelle erreur dépasse donc les 4 anciennes environ 1 fois sur 5. Un intervalle aussi large que la plus grande erreur passée contient au plus environ 80 % des valeurs. Les 4 fenêtres proviennent aussi des 8 dernières semaines seulement. Une période calme avant la date de coupure donne alors un intervalle étroit pour une période occupée après celle-ci.

Correction : utilisez beaucoup de fenêtres pour construire l’intervalle à partir de nombreuses erreurs. Avec 20 fenêtres, une nouvelle erreur les dépasse toutes seulement environ 1 fois sur 21. Chaque fenêtre exige un ajustement supplémentaire, donc cela prend du temps. Pour un modèle qui fournit déjà un intervalle honnête, comme ETS ici, gardez son propre intervalle. Utilisez des intervalles conformes pour un modèle qui n’en fournit aucun. Vérifiez la couverture sur un test rétrospectif, comme ici.

Conséquence pour le travail en IA : une méthode réputée peut aggraver les choses dans votre contexte, sans produire d’erreur. Seule une mesure le montre. Évaluez chaque intervalle sur un test rétrospectif avant de l’utiliser pour une décision.

Utilisez d’abord la couverture : elle répond à une question simple pour la personne qui planifie (« L’intervalle à 90 % contient-il 90 % des valeurs? »). Vérifiez-la au niveau utilisé par votre décision. Utilisez la perte pinball pour comparer des intervalles qui tiennent tous leur promesse : elle récompense le plus resserré. Présentez les deux, à côté de l’erreur ponctuelle, dans le tableau du test rétrospectif. Les deux coûtent peu : elles utilisent seulement les colonnes de quantiles que le test rétrospectif conserve déjà.

Aucun des deux scores n’est le coût de la décision. Un intervalle peut obtenir un bon score et quand même mener à une mauvaise commande. Cela arrive quand la commande exige un quantile que l’intervalle évalue mal. La prochaine leçon mesure le coût des décisions elles-mêmes.

Vérifiez votre compréhension

Un intervalle de 0 à 1 000 unités contient toutes les valeurs réelles. Pourquoi est-il mauvais? Quel score le montre?

Afficher la réponse

Il tient sa promesse (couverture de 100 % pour une promesse de 80 %). Mais il est beaucoup trop large pour planifier : Kenji commanderait beaucoup trop. La couverture ne peut pas le montrer, car elle compte seulement les valeurs à l’intérieur. La perte pinball (perte quantile) le montre : son q90 de 1 000 se situe bien au-dessus des valeurs réelles. Il paie donc 0,1 par unité d’un très grand écart chaque jour. Son q10 de 0 se situe bien en dessous. Il paie aussi 0,1 par unité de cet écart presque chaque jour. Un bon intervalle est bien étalonné (couverture proche de la promesse) et étroit (aussi étroit que possible).

Vérifiez votre compréhension

Prédisez et expliquez : une prévision q90 vaut 50. La valeur réelle est 40 un jour et 60 un autre jour. Quel jour a la plus grande perte pinball, et combien de fois plus grande?

Afficher la réponse

Le jour où la valeur est 60. Au-dessus du q90, chaque unité coûte 0,9 : 10 × 0,9 = 9. En dessous, chaque unité coûte 0,1 : 10 × 0,1 = 1. Les écarts sont identiques, soit 10 unités, mais le jour au-dessus coûte 9 fois plus. En effet, un q90 ne devrait presque jamais être trop bas.

Vérifiez votre compréhension

Tomás dit : « Chronos-Bolt a la plus faible perte pinball. On utilise donc son intervalle à 90 % pour le stock de sécurité. » Que répondez-vous?

Afficher la réponse

Ses quantiles sont les plus resserrés (perte pinball de 0,099), mais il prédit seulement les quantiles de 0,1 à 0,9. Son « intervalle à 90 % » est son intervalle à 80 %. Il contient seulement 78,9 % des valeurs réelles. Un stock de sécurité basé sur son « q95 » serait insuffisant environ deux fois plus souvent que prévu. Pour une décision au niveau de 90 % ou 95 %, utilisez une méthode dont l’intervalle tient sa promesse à ce niveau. Vérifiez-le sur le test rétrospectif (backtest). ETS le fait (90,5 %).

Récapitulatif

  • Un bon intervalle est bien étalonné (sa couverture est proche de sa promesse) et étroit (aussi étroit que possible). La couverture vérifie le premier critère. Elle ne peut pas repérer un intervalle trop large.
  • La perte pinball évalue chaque quantile. Pour un q90, une valeur réelle au-dessus coûte 0,9 par unité, et une valeur en dessous coûte 0,1. Elle récompense les quantiles bien placés et pénalise un intervalle large pour sa largeur.
  • Sur Larkfield, ETS et AutoARIMA tiennent les deux promesses (83,5 % et 90,5 %; 83,0 % et 90,2 %). Leur perte pinball est de 0,110. La prévision naïve saisonnière est trop large (0,133). Chronos-Bolt est le plus resserré (0,099), mais sa couverture est seulement de 78,9 %. Il n’offre aucun véritable niveau à 90 %.
  • Les intervalles conformes construisent un intervalle à partir des erreurs passées. Avec 4 fenêtres, ils ont dégradé l’intervalle d’ETS : 68,9 % et 75,6 %. Ils ont besoin de nombreuses fenêtres, et chaque fenêtre demande un ajustement supplémentaire.

Vous pouvez maintenant distinguer un bon intervalle d’un mauvais. Mais Kenji a encore besoin d’un seul nombre pour commander, et Grace d’un nombre d’agents par heure. Ensuite, vous choisissez le quantile selon les coûts, puis vous comparez le coût des décisions de chaque méthode.

Leçon suivante : De la prévision à la commande et à l'horaire