Aller au contenu
English

Demande de vélopartage et planification du parc

  • Étude de cas 1
  • 150 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

En huit modules, nous avons prévu les commandes et les billets de Larkfield, puis utilisé ces prévisions pour prendre des décisions. Dans cette étude de cas, nous utilisons de vraies données ouvertes : les locations de vélos avec la météo. Nous comparons quatre familles de méthodes dans un même test rétrospectif et décidons combien de vélos et d'équipes prévoir.

Ce que vous saurez faire

Transformez deux années de locations d’un vrai système de vélopartage en deux plans avec leur coût. Le premier prévoit les vélos en service pour les 14 prochains jours. Le second prévoit les équipes de rééquilibrage pour la prochaine semaine. Vous comparez quatre familles de méthodes dans le test rétrospectif du cours et mesurez la valeur de la météo. Vous planifiez ensuite selon un quantile établi à partir de coûts explicites. Vous testez ce choix une seule fois et indiquez où il a échoué.

Étude de casPièce de portfolio

Licence
CC BY 4.0
Durée
Environ 2 h 30
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Séries quotidiennes et horaires
  • Entrées connues et inconnues
  • Prévision naïve saisonnière, ETS et MSTL
  • LightGBM avec mlforecast
  • Test rétrospectif à origine glissante
  • Couverture d'un intervalle
  • Plans selon un quantile lié aux coûts
  • Un seul test final

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Le carnet (notebook) Jupyter exécute chaque étape de cette page, avec le même code et les mêmes sorties. Il ajoute trois tâches avec des vérifications. Ses cellules de configuration installent les bibliothèques et téléchargent les données (280 Ko) et le fichier backtest.py du cours. Son exécution prend environ une minute après l’installation.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

Ce que vous devez savoir

Cette étude de cas utilise l’ensemble du cours. Ces leçons sont les plus importantes :

Le cours d’apprentissage automatique utilise les mêmes données dans Prévoir la demande de vélopartage, pour le lendemain, par régression. Ici, nous planifions deux semaines à l’avance, un horizon sans prévision météo fiable.

Ce qu’il vous faut sur votre ordinateur

Rien : le carnet fonctionne dans Colab ou Kaggle. Pour l’exécuter localement, utilisez un environnement virtuel avec Python 3.12, pandas 2.3.3, statsforecast 2.1.1, mlforecast 1.1.0, LightGBM 4.7.0 et scikit-learn 1.9.1. La cellule de configuration crée un dossier bike-share-forecasting. Pour recommencer, supprimez ce dossier.

Testé sur macOS avec Python 3.12, dans Jupyter, après un démarrage à neuf. Colab, Kaggle, Windows et Linux n’ont pas été testés.

Un système de vélopartage loue des vélos à des stations réparties dans une ville. Nous utilisons le vrai système de Washington, D.C., en 2011 et 2012.

Amara dirige les opérations et Daniel analyse les données, comme dans l’étude de cas du cours d’apprentissage automatique. Nous avons inventé ces deux personnes; les locations sont réelles. Chaque dimanche soir, Amara prépare deux plans :

  • Le parc, pour les 14 prochains jours. Combien de vélos seront en service chaque jour? L’atelier planifie ses réparations deux semaines à l’avance.
  • Les équipes de rééquilibrage, pour la prochaine semaine. Une équipe comprend une camionnette et un chauffeur. Elle déplace les vélos des stations pleines vers les stations vides. Les équipes reçoivent leurs quarts de travail une semaine à l’avance.

Chaque plan peut échouer de deux façons. Les coûts sont des hypothèses de cette étude de cas, pas les chiffres de l’exploitant :

  • Un vélo manquant pendant une journée : un vélo en service permet au maximum 5 locations par jour. Un vélo manquant fait perdre 5 locations à environ 8 $ US chacune : 40 $ US.
  • Un vélo en service de trop pendant une journée : vérifications, nettoyage et place dans une station : 10 $ US.
  • Une équipe manquante pendant une heure : une équipe peut gérer 100 locations par heure. Sans elle, les stations se vident ou se remplissent, et les usagers renoncent : 135 $ US.
  • Une heure d’équipe de trop : le chauffeur et la camionnette : 45 $ US. Les équipes travaillent de 6 h à 22 h 59.

Amara demande à Daniel : « Combien de vélos et d’équipes dois-je prévoir? Et devrais-je acheter un service de prévisions météo? »

Vous allez construire deux prévisions : les locations par jour pendant 14 jours, et les locations par heure pendant une semaine. Elles serviront à établir un plan du parc et un horaire des équipes, avec leur coût. Vous testerez ce choix une seule fois sur deux semaines jamais vues, puis l’appliquerez à une nouvelle semaine.

Les données proviennent du jeu Bike Sharing du UCI Machine Learning Repository. day.csv contient une ligne par jour, du 1er janvier 2011 au 31 décembre 2012, et hour.csv, une ligne par heure. Les deux comptent les vélos loués dans l’ensemble du système (cnt), avec le calendrier et la météo du jour ou de l’heure.

Voici les colonnes utilisées dans cette étude de cas :

Colonne Signification
dteday La date.
hr L’heure, de 0 à 23 (seulement dans hour.csv).
cnt Le nombre de vélos loués : notre cible.
workingday, holiday 1 pour un jour ouvrable; 1 pour un jour férié.
weathersit Le type de météo : 1 ciel dégagé, 2 brume ou nuages, 3 pluie ou neige légère, 4 forte pluie ou neige.
temp, hum, windspeed Température, humidité et vent, observés et ramenés à une échelle de 0 à 1.

Nous avons aussi examiné deux autres jeux de données. Les données de vélopartage de Séoul couvrent seulement un an, trop peu pour un test rétrospectif sur une année. Les données de Toronto n’incluent pas la météo, et leur licence ne figure pas dans notre liste.

day = pd.read_csv("day.csv", parse_dates=["dteday"])
hour = pd.read_csv("hour.csv", parse_dates=["dteday"])
hour["ds"] = hour["dteday"] + pd.to_timedelta(hour["hr"], unit="h")
every_hour = pd.date_range(hour["ds"].min(), hour["ds"].max(), freq="h")
missing = every_hour.difference(hour["ds"])
same = bool((hour.groupby("dteday")["cnt"].sum().to_numpy() == day["cnt"].to_numpy()).all())
print(day.shape, hour.shape, "| days:", day["dteday"].min().date(), "to", day["dteday"].max().date())
print(f"missing hours: {len(missing)} | the days add up the hours: {same}")
print("days with the most missing hours:", {str(k): v for k, v in pd.Series(missing.date).value_counts().head(3).items()})
print("lowest days:", day.nsmallest(3, "cnt")[["dteday", "cnt"]].to_string(index=False))
(731, 16) (17379, 18) | days: 2011-01-01 to 2012-12-31
missing hours: 165 | the days add up the hours: True
days with the most missing hours: {'2012-10-29': 23, '2011-01-27': 16, '2012-10-30': 13}
lowest days: dteday cnt
2012-10-29 22
2011-01-27 431
2012-12-26 441

Ce que cela nous apprend. Deux années comptent 17 544 heures, mais seulement 17 379 ont une ligne. Parmi les 165 heures manquantes, 110 se situent entre minuit et 5 h 59, quand presque personne ne loue de vélo. Les 29 et 30 octobre 2012, l’ouragan Sandy a fermé le système : le 29 octobre compte seulement 22 locations. Les deux fichiers concordent.

Une heure sans ligne reçoit 0 location et la météo de l’heure précédente. Deux autres colonnes, casual et registered, ont pour somme cnt. Elles créent une fuite de données, et nous ne les utilisons pas.

Définir le cadre de prévision pose quelques questions avant tout modèle. Voici les réponses de Daniel :

  • Quoi : les vélos loués, pour l’ensemble du système. C’est proche de la demande, mais une station vide fait perdre des locations que personne n’enregistre.
  • Unité de temps et horizon : deux prévisions. Par jour, 14 jours à l’avance, pour le parc. Par heure, 168 heures (une semaine) à l’avance, pour les équipes.
  • Quand : le dimanche à 23 h. Amara planifie avec les données disponibles jusqu’à cette heure.
  • Niveau : l’ensemble du système. Les données ne contiennent pas de stations.
Locations par jour. Le niveau est élevé en été et faible en hiver, et 2012 dépasse largement 2011. Le seul point très bas à la fin d'octobre 2012 correspond à l'ouragan Sandy.
Description textuelle du graphique

La courbe montre les locations de chaque jour, de janvier 2011 à décembre 2012. Elles vont de 431 à 1 985 par jour en janvier 2011, atteignent environ 4 600 en juillet 2011, puis de 4 100 à 8 200 à l’été 2012. La journée la plus occupée est le 15 septembre 2012 (8 714). Le 29 octobre 2012, le nombre chute à 22. À la fin de décembre 2012, il se situe entre 400 et 3 100.

Ce que cela nous apprend. La moyenne quotidienne était de 3 406 locations en 2011 et de 5 600 en 2012 : +64,4 % en un an. Donc, « le même jour l’an dernier » donne une valeur beaucoup trop basse. La saison annuelle est aussi difficile à séparer de la croissance. La référence de base hebdomadaire du cours, « le même jour de la semaine précédente », suit mieux le niveau.

  • Jours ouvrables
  • Fins de semaine et jours fériés
Les jours ouvrables ont deux pointes liées aux déplacements domicile-travail, à 8 h et à 17 h. Les fins de semaine et les jours fériés ont une seule pointe large autour de midi.
Description textuelle du graphique

Deux courbes sur les 24 heures d’une journée. Jours ouvrables : environ 100 locations à 6 h, une pointe de 473 à 8 h, environ 200 à midi, une pointe plus élevée de 524 à 17 h, et 138 à 22 h. Fins de semaine et jours fériés : 19 à 6 h, une hausse lente vers une pointe large de 373 à 13 h, puis 324 à 17 h et 116 à 22 h.

Ce que cela nous apprend. La série horaire a une saison quotidienne (24 heures) et une saison hebdomadaire (168 heures). Un samedi a un profil différent d’un mardi. La prévision horaire a donc besoin des deux saisons, comme dans Plusieurs saisons et longues séries.

Les jours de pluie ou de neige ont beaucoup moins de locations. Une partie de l'écart vient de la saison, car la pluie et la neige sont plus fréquentes en hiver. Par rapport à la moyenne de son propre mois, un jour de pluie ou de neige compte 52,5 % moins de locations.
Description textuelle du graphique

Un diagramme avec trois barres verticales. Ciel dégagé (463 jours) : 4 877 locations en moyenne. Brume ou nuages (247 jours) : 4 036. Pluie ou neige légère (21 jours) : 1 803, mis en évidence.

Ce que cela nous apprend. La météo peut faire varier les locations d’une journée de moitié. Mais Amara connaît-elle la météo d’un jour dans deux semaines? Non.

Pensez à un pique-nique prévu un samedi dans deux semaines. Vous connaissez la date et le jour de la semaine. Vous ne savez pas s’il pleuvra.

Calendriers, jours fériés et événements nommait entrée future connue une entrée que l’entreprise possède vraiment le jour de la prévision. Le jour de la semaine, le mois et les jours fériés sont connus. La météo d’un jour futur ne l’est pas. Un service météo prévoit bien quelques jours à l’avance, mais pas deux semaines.

Les données contiennent la météo observée de chaque jour. Un modèle peut l’utiliser comme entrée pour les jours futurs, et le code s’exécute sans erreur. Son test rétrospectif paraît alors meilleur que tout plan réel possible. C’est une fuite du futur, comme dans Amplification de gradient avec LightGBM.

À gauche, le passé : les locations par jour et par heure, la météo passée et le calendrier passé. Une ligne pointillée marque le dimanche à 23 h, quand Amara planifie. À droite, les 14 prochains jours : le jour de la semaine, le mois, les jours fériés et les jours ouvrables sont déjà connus et utilisables. Les locations et la météo sont inconnues et doivent être prévues. Une note précise qu'un modèle utilisant la météo réelle des jours futurs teste seulement la valeur d'une prévision météo parfaite.
Ce qu'Amara sait le dimanche à 23 h. Le calendrier des 14 prochains jours est connu; leur météo ne l'est pas.
Description textuelle du diagramme

Une ligne pointillée au dimanche à 23 h sépare le passé connu des 14 prochains jours. Le passé comprend les locations, la météo et le calendrier jusqu’à maintenant. Une flèche verte mène à ce qui est déjà connu : le jour de la semaine, le mois, les jours fériés et les jours ouvrables. Une flèche orange mène à ce qu’il faut prévoir : les locations et la météo. Une note précise qu’un modèle utilisant la météo future réelle teste seulement la valeur d’une prévision météo parfaite.

Daniel entraîne donc LightGBM deux fois. La version honnête utilise seulement les locations passées et le calendrier. La seconde version reçoit la météo réelle de chaque jour futur. Daniel la désigne comme impossible et ne planifie jamais avec elle. Elle montre la valeur d’une prévision météo parfaite.

Un plan doit aussi choisir le risque à prendre. De la prévision à la commande et à l’horaire a donné la règle. Planifiez selon le quantile au ratio critique : le coût d’une unité manquante, divisé par la somme des deux coûts.

  • Parc : 40 ÷ (40 + 10) = 0,8. Un vélo manquant coûte quatre fois plus qu’un vélo de trop. Amara planifie donc haut : au quantile de 80 %.
  • Équipes : 135 ÷ (135 + 45) = 0,75.
Deux rangées. Le parc : locations par jour pour les 14 prochains jours, puis quantile de 0,8 (40 divisé par 40 plus 10), puis vélos en service par jour, soit le plan divisé par 5. Les équipes : locations par heure pour les 7 prochains jours, puis quantile de 0,75 (135 divisé par 135 plus 45), puis équipes par heure, soit le plan divisé par 100, de 6 h à 22 h 59. Les coûts de chaque erreur figurent à côté de chaque rangée.
Des deux prévisions aux deux plans. Le quantile vient des coûts; le plan vient du quantile.
Description textuelle du diagramme

Deux rangées de trois cases. Le parc : locations par jour pendant 14 jours, quantile de 0,8, puis vélos par jour, soit le plan divisé par 5, arrondi à l’entier supérieur. Les équipes : locations par heure pendant 7 jours, quantile de 0,75, puis équipes par heure, soit le plan divisé par 100, de 6 h à 22 h 59. Chaque rangée montre ses deux coûts. Une note précise que les coûts sont des hypothèses.

Un petit exemple. Daniel prévoit 5 000 locations pour un mardi, avec un intervalle à 80 % allant de 4 000 à 6 000. L’écart-type est d’environ 2 000 ÷ 2,56 = 780 locations. Le quantile de 0,8 vaut environ 5 000 + 0,84 × 780 = 5 657 locations. Il faut donc 5 657 ÷ 5, arrondi à l’entier supérieur : 1 132 vélos, contre 1 000 vélos selon la prévision seule. (L’intervalle à 80 % va du quantile de 10 % à celui de 90 %. Sur une courbe normale, ils se trouvent à 1,28 écart-type du centre; 0,84 écart-type au-dessus correspond au quantile de 80 %.)

Chaque méthode a donc besoin d’un intervalle honnête à 80 %.

Le coût des équipes utilise bt.roster_cost() du cours avec les nombres d’équipes. Le coût du parc suit la même formule, par jour :

def fleet_cost(fc, column="yhat"):
"""The cost of a 14-day fleet plan, per origin: bikes in service each day = plan / 5, rounded up."""
bikes = np.ceil(fc[column].clip(lower=0) / RENTALS_PER_BIKE)
need = np.ceil(fc["y"] / RENTALS_PER_BIKE)
cost = np.maximum(need - bikes, 0) * BIKE_SHORT + np.maximum(bikes - need, 0) * BIKE_EXTRA
return float(cost.sum() / fc["origin"].nunique())
crew_cost = bt.roster_cost(per_agent=RENTALS_PER_CREW, agent_hour=CREW_EXTRA, short_hour=CREW_SHORT,
open_hours=CREW_HOURS)
def at_quantile(fc, q):
"""The plan at the q quantile: the forecast plus z(q) spreads, the spread from the 80% range (normal)."""
sd = (fc["q90"] - fc["q10"]) / (2 * norm.ppf(0.9))
return (fc["yhat"] + norm.ppf(q) * sd).clip(lower=0)

Référence de base et autres méthodes dans un même test rétrospectif

Section intitulée « Référence de base et autres méthodes dans un même test rétrospectif »

Daniel utilise le fichier backtest.py du cours. Il y a 13 dates de coupure (le code les appelle origines), un dimanche sur quatre, du 18 décembre 2011 au 18 novembre 2012. Toutes les saisons de 2012 sont donc couvertes, avec un an d’historique avant chaque date de coupure. Chaque méthode est réajustée à chaque date de coupure. Les 14 jours après le 2 décembre 2012 sont réservés au test final.

Les méthodes, avec leur raison d’être :

  • Prévision naïve saisonnière : le même jour de semaine la semaine passée (par jour), la même heure la semaine passée (par heure). La référence de base du cours.
  • ETS avec une saison hebdomadaire, par jour.
  • MSTL avec une saison quotidienne et une saison hebdomadaire, par heure, ajustée sur les 12 dernières semaines. Voir Plusieurs saisons et longues séries.
  • LightGBM, sans météo : un modèle utilisant les locations passées, le jour de semaine, le mois et les indicateurs de jour férié et de jour ouvrable. Par jour, chaque décalage (lag) remonte à au moins 14 jours. Il est donc connu pour les 14 jours. Son intervalle vient de 4 fenêtres antérieures : un intervalle conforme, comme dans Noter l’intervalle.
  • LightGBM, météo réelle (impossible) : le même modèle, avec la météo observée de chaque jour ou heure à venir en plus.
DAILY = {
"seasonal naive (7 days)": stats(lambda: SeasonalNaive(season_length=7), "D"),
"ETS (weekly season)": stats(lambda: AutoETS(season_length=7), "D"),
"LightGBM, no weather": lightgbm("D", CALENDAR, [14, 21, 28], {14: [RollingMean(7), RollingMean(28)]},
["dayofweek", "month", "dayofyear"], LGB_DAY),
"LightGBM, real weather (impossible)": lightgbm("D", CALENDAR + WEATHER, [14, 21, 28],
{14: [RollingMean(7), RollingMean(28)]},
["dayofweek", "month", "dayofyear"], LGB_DAY),
}
daily_table, daily_fc = run(DAILY, daily, 14, ORIGINS, 7, fleet_cost, FLEET_RATIO)

Le carnet définit les méthodes horaires de la même façon. run() évalue chaque méthode avec bt.score() et bt.coverage(). Il calcule aussi le coût du plan à la prévision et au quantile de coût.

method MASE WAPE % bias % pinball 80% holds cost at forecast cost at quantile
seasonal naive (7 days) 1.216 18.1 1.4 0.050 0.808 66812 56404
ETS (weekly season) 1.198 17.8 3.6 0.051 0.813 60582 52815
LightGBM, no weather 1.205 18.0 -1.4 0.049 0.747 72882 48474
LightGBM, real weather (impossible) 1.025 15.2 -4.1 0.040 0.742 68329 37821

Les coûts sont en dollars par plan du parc de 14 jours.

Ce que cela nous apprend. Les trois méthodes sans fuite de données ont presque la même erreur : WAPE de 17,8 % à 18,1 %. MASE dépasse 1 pour chaque méthode. Prévoir 14 jours à l’avance est plus difficile que prévoir une semaine à l’avance, l’horizon qui sert d’échelle à MASE.

Mais les coûts diffèrent. Au quantile de coût, le plan de LightGBM est le moins cher : 48 474 $ US, contre 56 404 pour le plan naïf saisonnier. Chaque plan coûte beaucoup moins au quantile qu’à la prévision : prévoir plus est rentable.

Avec la météo réelle, WAPE descend à 15,2 %, et le plan à 37 821 $ US. Cet écart représente la valeur d’une prévision météo parfaite.

method MASE WAPE % bias % pinball 80% holds cost at forecast cost at quantile
seasonal naive (168 hours) 1.184 23.8 0.1 0.072 0.839 7705 6781
MSTL (day and week) 1.134 22.7 0.2 0.125 0.992 7287 9768
LightGBM, no weather 1.116 22.3 0.2 0.059 0.700 7321 5853
LightGBM, real weather (impossible) 0.916 18.3 -1.0 0.051 0.684 6068 4915

Les coûts sont en dollars par semaine d’équipes.

Ce que cela nous apprend. LightGBM sans météo a la meilleure erreur (22,3 %) et l’horaire le moins cher au quantile (5 853 $ US par semaine). Le plan de MSTL au quantile est le plus cher : 9 768 $ US. Son intervalle à 80 % contient 0,992 des heures réelles; le cas d’échec ci-dessous explique pourquoi.

L’intervalle de LightGBM est trop étroit : il contient 0,700, et non 0,80. Son plan reste le moins cher, car le quantile de coût le relève de toute façon.

Amara paie les deux plans chaque semaine. La mesure est donc le coût d’une semaine : la moitié d’un plan du parc de 14 jours, plus une semaine d’équipes. Les deux sont au quantile de coût. Le carnet classe chaque paire de méthodes sans fuite de données :

Le coût d'une semaine : la moitié d'un plan du parc plus une semaine d'équipes, aux quantiles de coût, sur 13 dates de coupure. LightGBM pour les deux plans est le choix sans fuite de données le moins cher. *La météo réelle est impossible : elle montre ce que vaudrait une prévision météo parfaite.
Description textuelle du graphique

Un diagramme à quatre colonnes. Le même jour de semaine ou la même heure la semaine passée : 34 983 $ US par semaine. ETS par jour et MSTL par heure : 36 176. LightGBM pour les deux : 30 090, le plus bas sans fuite de données, mis en évidence. LightGBM avec la météo réelle, impossible en pratique : 23 826.

per day per hour fleet crews per week
LightGBM, no weather LightGBM, no weather 24237 5853 30090
LightGBM, no weather seasonal naive (168 hours) 24237 6781 31018
ETS (weekly season) LightGBM, no weather 26408 5853 32260
...
seasonal naive (7 days) seasonal naive (168 hours) 28202 6781 34983
with the real weather (impossible): 23826 dollars a week

Ce que cela nous apprend. Daniel choisit LightGBM sans météo pour les deux plans : 30 090 $ US par semaine, soit 4 893 $ US de moins que la référence de base. De faibles différences d’erreur cachaient de grandes différences de coût.

La question d’Amara sur un service météo a maintenant une réponse chiffrée. Une prévision météo parfaite économiserait 30 090 − 23 826 = environ 6 300 $ US par semaine. Une vraie prévision météo sur 14 jours économiserait moins.

Le carnet fait varier le quantile des deux plans LightGBM de 0,5 à 0,9 :

Le coût du plan du parc LightGBM est le plus bas au ratio critique, 0,8. Le plan à la prévision elle-même (0,5) coûte une fois et demie ce montant.
Description textuelle du graphique

La courbe montre le coût du plan du parc pour sept quantiles : 0,5, 72 882 $ US; 0,6, 60 495; 0,7, 51 881; 0,75, 49 165; 0,8, 48 474, le minimum, indiqué comme ratio critique; 0,85, 49 547; 0,9, 52 755.

quantile fleet per 14 days crews per week
0.50 72882 7321
0.60 60495 6148
0.70 51881 5819
0.75 49165 5853
0.80 48474 5909
0.85 49547 6207
0.90 52755 6767

Ce que cela nous apprend. Pour le parc, le quantile le moins cher est le ratio critique, 0,8. Pour les équipes, 0,7 est le moins cher (5 819), près du ratio critique de 0,75 (5 853). La courbe est plate à cet endroit. Loin du minimum, le coût augmente vite des deux côtés.

Erreur courante

Un intervalle trop large

Symptôme : par heure, MSTL a une meilleure WAPE que la prévision naïve saisonnière (22,7 % contre 23,8 %). Mais son horaire au quantile 0,75 coûte 9 768 $ US par semaine, le montant le plus élevé.

Cause : son intervalle à 80 % est beaucoup trop large : 574,4 locations par heure en moyenne, contre 151,9 pour LightGBM. Il contient 0,992 des heures réelles au lieu de 0,80. Le plan ajoute une partie de cette largeur à chaque heure. Il prévoit donc des équipes dont personne n’a besoin. À la prévision elle-même, l’horaire de MSTL coûte 7 287 $ US.

Correction : évaluez l’intervalle avant de l’utiliser pour planifier, comme dans Noter l’intervalle. Choisissez selon le coût du plan, pas seulement selon l’erreur. L’horaire de traitement des billets de Larkfield montrait la même chose avec Theta, dans De la prévision à la commande et à l’horaire.

Conséquence pour le travail en IA : la qualité d’un plan au quantile dépend de l’intervalle sur lequel il repose. Un intervalle trop large semble prudent et coûte de l’argent chaque heure.

  • Locations réelles par heure
  • MSTL : limite supérieure de son intervalle à 80 %
  • LightGBM : limite supérieure de son intervalle à 80 %
Une semaine du test rétrospectif, à partir de la date de coupure du 3 juin 2012. La limite supérieure de l'intervalle à 80 % de MSTL dépasse largement les locations réelles, même la nuit. L'intervalle s'élargit chaque jour. Celui de LightGBM suit le profil quotidien.
Description textuelle du graphique

Le graphique montre 168 heures, du 4 au 10 juin 2012. Les locations réelles ont deux pointes chaque jour ouvrable, jusqu’à 869 par heure, et une large pointe la fin de semaine. Elles tombent près de zéro chaque nuit. La limite supérieure de l’intervalle à 80 % de LightGBM suit le même profil, un peu au-dessus. À 3 h, elle se situe entre 6 et 83. La limite supérieure de l’intervalle de MSTL atteint 1 236 aux pointes. À 3 h, quand environ 5 vélos sont loués, elle passe de 132 le lundi à 652 le dimanche.

Daniel a choisi LightGBM sans météo pour les deux plans. Il l’exécute maintenant une fois sur les 14 jours après le 2 décembre 2012, qu’aucune étape n’a vus. Il exécute aussi les autres méthodes et ne change rien ensuite.

plan method WAPE % bias % cost at quantile
fleet, 14 days seasonal naive (7 days) 13.2 -4.7 46290
fleet, 14 days ETS (weekly season) 14.1 -6.0 32460
fleet, 14 days LightGBM, no weather 22.8 -21.5 55250
fleet, 14 days LightGBM, real weather (impossible) 20.7 -20.0 48270
crews, 1 week seasonal naive (168 hours) 21.0 -7.0 5715
crews, 1 week MSTL (day and week) 20.2 -7.4 10035
crews, 1 week LightGBM, no weather 23.2 -13.0 5490
crews, 1 week LightGBM, real weather (impossible) 20.8 -18.6 5130

Ce que cela nous apprend. Le résultat est mitigé. Pour les équipes, le choix a tenu : l’horaire de LightGBM était le moins cher sans fuite de données (5 490 $ US). Pour le parc, le choix a perdu : LightGBM était trop bas de 21,5 %. Son plan coûtait 55 250 $ US, contre 32 460 pour ETS.

Pourquoi? LightGBM a appris décembre à partir de décembre 2011. Dans la première moitié de décembre, le système comptait 3 210 locations par jour en 2011 et 5 266 en 2012. Un arbre ne peut pas prévoir au-delà des valeurs qu’il a vues, comme l’indiquait Amplification de gradient avec LightGBM. ETS peut suivre un niveau qui augmente. Aucune date de coupure du test rétrospectif ne couvrait un décembre précédé d’un an de croissance.

Daniel présente le résultat tel quel. S’il passait maintenant à ETS, ces deux semaines deviendraient un deuxième jeu de données de validation. Il ne resterait aucun test.

Le plan pour la semaine de Noël, avec de nouvelles données d’entrée

Section intitulée « Le plan pour la semaine de Noël, avec de nouvelles données d’entrée »

La dernière étape planifie la semaine suivante avec toutes les données jusqu’au dimanche 23 décembre 2012. Puis la semaine réelle arrive :

ds yhat bikes y bikes needed holiday
2012-12-24 3984.0 1055 920.0 184 0.0
2012-12-25 3824.0 1059 1013.0 203 1.0
2012-12-26 3859.0 1065 441.0 89 0.0
2012-12-27 4135.0 1097 2114.0 423 0.0
2012-12-28 4006.0 1059 3095.0 619 0.0
2012-12-29 3343.0 876 1341.0 269 0.0
2012-12-30 2467.0 550 1796.0 360 0.0
rentals: forecast 25617 | real 10720 | fleet cost of the week: 46140

Ce que cela nous apprend. Le plan met environ 1 060 vélos en service la plupart des jours. Environ 200 étaient nécessaires les 24 et 25 décembre. Le modèle prévoyait 25 617 locations, mais il n’y en a eu que 10 720. Le parc coûte 46 140 $ US, presque le double d’une semaine normale. Les équipes étaient prévues pour 388 heures de travail, et 174 étaient nécessaires.

Les données indiquent seulement le 25 décembre comme jour férié. Mais toute la semaine entre Noël et le jour de l’An est calme : beaucoup de gens sont absents, et les bureaux sont fermés. C’est un fait lié au calendrier, comme dans Calendriers, jours fériés et événements. Le modèle n’a aucune donnée d’entrée pour le représenter.

Une personne qui planifie connaît le Noël précédent. La semaine du 24 au 30 décembre 2011 représentait 54,3 % de la semaine moyenne des deux semaines précédentes. La prévision attribuait 81,8 % à la semaine de cette année. Daniel réduit le plan à la proportion de l’an dernier :

last year's share: 0.543 | bikes: 4493 | fleet cost of the week: 23460
  • Locations réelles par jour
  • Prévision LightGBM : 25 617 pour la semaine
  • Avec la proportion de l'an dernier (0,543)
Semaine de Noël 2012. La prévision attendait une semaine d'hiver ordinaire. La proportion de l'an dernier rapproche beaucoup le plan des valeurs réelles et réduit de moitié le coût du parc.
Description textuelle du graphique

Sept jours, du 24 au 30 décembre 2012. Les locations réelles : 920, 1 013, 441 (un jour de pluie), 2 114, 3 095, 1 341 et 1 796. La prévision LightGBM est d’environ 4 000 par jour, et de 2 467 le dimanche. Avec la proportion de l’an dernier, elle est d’environ 2 600 par jour, et de 1 600 le dimanche. Elle dépasse encore la plupart des jours réels.

Ce que cela nous apprend. La règle de calendrier réduit les vélos de 6 761 vélos-jours à 4 493. Elle réduit le coût de moitié, de 46 140 à 23 460 $ US. Le plan reste trop élevé : la semaine réelle ne représentait que 34,2 % des semaines précédentes, et il a plu le 26 décembre. Cette règle vient d’une seule semaine antérieure. Traitez-la donc comme une règle de planification, pas comme une méthode testée.

Daniel écrit à Amara avec les mots qu’elle utilise :

  • Planifiez les deux avec LightGBM sans météo, aux quantiles de coût. Planifiez les vélos au quantile de 80 % de chaque jour, et les équipes au quantile de 75 % de chaque heure. Sur 13 dates de coupure en 2012, cela coûtait 30 090 $ US par semaine. C’est 34 983 pour « le même jour de semaine ou la même heure la semaine passée ».
  • Planifiez haut, volontairement. Le même plan du parc LightGBM à la prévision elle-même coûterait 24 408 $ US de plus par période de 14 jours (72 882 contre 48 474).
  • Comparez le plan du parc à ETS en décembre. Au test final, le plan du parc de LightGBM était trop bas de 21,5 %, et ETS coûtait moins cher.
  • Appliquez la proportion de l’an dernier à la semaine de Noël. Aucun modèle ici ne la connaît. Avec cette proportion, le coût du parc pour la semaine baisse de moitié.
  • Un service météo vaut au plus environ 6 300 $ US par semaine pour ces deux plans : le gain d’une prévision parfaite. Demandez au fournisseur son exactitude à 7 et 14 jours avant de payer.

Et les usages à éviter :

  • Pas pour les stations individuelles. Les données contiennent seulement les totaux du système.
  • Pas pour une autre ville ou une année ultérieure sans nouveau test rétrospectif. Ce système a grandi de 64 % en un an.
  • Pas comme promesse à l’atelier. C’est une prévision avec une erreur connue (WAPE de 18,0 % par jour), pas un contrat.
  • Les coûts sont les nôtres. Les montants de 40 et 10 $ US par vélo-jour, et de 135 et 45 par heure d’équipe, sont des hypothèses. Avec d’autres coûts, le choix peut changer.
  • Cinq locations par vélo est une simplification. Un vrai plan du parc dépend aussi de l’heure de pointe et de l’emplacement des vélos.
  • Un seul décembre, une croissance rapide. Aucune date de coupure n’était en décembre avec un an de croissance derrière elle. Le test final a montré le coût de ce manque.

La leçon Surveiller la prévision du cours montre comment une alarme de biais détecterait un plan du parc trop bas de 21 % deux semaines de suite.

  • Les données regroupent les déplacements des gens. Ne les joignez pas à des données par trajet pour suivre des cyclistes individuels.
  • Citez la source. CC BY 4.0 permet de partager et de modifier les données, avec le texte d’attribution ci-dessus et une note sur vos modifications.
  • Un plan touche les travailleurs. L’horaire des équipes décide des quarts de travail. Un plan trop bas surcharge les chauffeurs. Communiquez l’erreur et le biais aux personnes qui établissent les effectifs à partir du plan.
  • Indiquez les hypothèses et le modèle impossible. Les coûts, les cinq locations par vélo et la règle de Noël sont des choix. Personne ne peut obtenir le résultat de la « météo réelle ». Dites-le partout où vous les présentez.

Cette étude de cas montre à un employeur que vous pouvez tirer deux plans d’une série réelle, avec leurs coûts. Elle montre aussi que vous distinguez une donnée d’entrée sans fuite d’une fuite de données. Vous savez présenter un résultat qui vous donne tort. Personnalisez-la avec un changement : d’autres coûts, une météo bruitée ou un troisième plan. Puis rendez-la publique et facile à lire en cinq minutes.

Quoi mettre dans le dépôt :

  • README.md, la page que les gens lisent en premier (modèle ci-dessous).
  • Le carnet, exécuté du début à la fin, avec ses sorties.
  • backtest_daily.csv et backtest_hourly.csv : chaque méthode avec MASE, WAPE, biais, couverture et les deux coûts; et final_test.csv, gardé à part.
  • assumptions.md : les quatre coûts, cinq locations par vélo, 100 locations par heure d’équipe, les heures d’équipe et la règle de Noël.
  • La source et la licence des données, avec le texte d’attribution ci-dessus. Un lien et la somme de contrôle du fichier zip suffisent.

Un modèle de README :

# Bike-share fleet and crew plans from two forecasts
## Problem
A bike-share system plans its bikes in service 14 days ahead and its rebalancing crews
one week ahead. A short bike-day costs 40 dollars, an extra one 10; a short crew hour
costs 135, an extra one 45 (assumptions). Critical ratios 0.8 and 0.75.
## Data and licence
UCI "Bike Sharing" (Fanaee-T), Capital Bikeshare, Washington DC, 2011-2012, per day
and per hour, CC BY 4.0, https://doi.org/10.24432/C5W894. 165 missing hours set to 0.
## Approach
Backtest: 13 cut-offs Dec 2011 - Nov 2012, 14 days (daily) and 168 hours (hourly).
Seasonal naive, ETS, MSTL, LightGBM without weather; LightGBM with the observed
weather as an impossible upper bound. Plans at the cost quantile from the 80% range.
## Results
LightGBM for both plans: 30,090 dollars a week vs 34,983 for the seasonal naive pair.
A perfect weather forecast would save at most about 6,300 dollars a week. MSTL's range
was too wide (coverage 0.992), so its roster was the most expensive.
Final test (3-16 Dec 2012): crews held; the fleet plan was 21.5% too low. Reported,
not tuned. Christmas week needs a calendar rule.
## Limits
System totals only; rentals not demand; assumed costs; one December in the history.

Comment le décrire en entrevue, en trois phrases : « J’ai planifié le parc et les équipes d’un vrai système de vélopartage à partir de prévisions quotidiennes et horaires, puis choisi LightGBM selon le coût hebdomadaire des deux plans. Une prévision météo parfaite aurait valu au plus environ 6 300 $ US par semaine. Le test final a montré un plan du parc trop bas de 21,5 % en décembre, et j’ai présenté le résultat avec une correction au lieu d’ajuster le modèle au test. »

Allez plus loin :

  • Ajoutez du bruit à la météo observée pour créer une « prévision sur 14 jours ». Voyez combien des 6 300 $ US il reste.
  • Donnez à LightGBM la série divisée par sa moyenne sur 28 jours. Il apprendra ainsi des profils plutôt que des niveaux. Faites un test rétrospectif en décembre.
  • Comparez avec les autres études de cas, Charge électrique de nombreux clients et Ventes au détail avec une hiérarchie. Où la météo compte-t-elle, et où le ratio critique est-il loin de 0,5?

Avant d’exécuter le code, faites une prédiction : un gestionnaire veut les équipes au quantile 0,9 « par prudence ». Une semaine coûtera-t-elle plus ou moins qu’à 0,75 (5 853 $ US)? Dans la section 7 du carnet, calculez le coût des équipes du plan LightGBM au quantile 0,9. Placez-le dans crew_90.

Afficher la réponse
crew_90 = round(crew_cost(lgb_h.assign(p=at_quantile(lgb_h, 0.9)), "p"))
print(crew_90)
6767

Une semaine d’équipes au quantile 0,9 coûte 6 767 $ US : 914 $ US de plus qu’à 0,75. Les équipes supplémentaires évitent quelques heures en sous-effectif. Mais elles coûtent 45 $ US chaque heure où elles ne sont pas nécessaires. La « prudence » a un prix, et le ratio critique indique quand elle cesse d’être rentable.

Vérifiez votre compréhension

Le modèle LightGBM de Daniel utilisant la météo observée obtient la meilleure WAPE et les plans les moins coûteux en test rétrospectif. Pourquoi ne l'utilise-t-il jamais pour planifier, et à quoi sert-il encore?

Afficher la réponse

La météo observée d’un jour futur n’est pas une donnée d’entrée connue. Le dimanche soir, personne ne connaît la météo d’une journée dans deux semaines. Le modèle utilise donc de l’information du futur. Son test rétrospectif paraît meilleur que tout plan réel possible. Il reste utile comme limite supérieure. L’écart avec le modèle sans fuite de données, environ 6 300 $ US par semaine, représente l’économie maximale d’une prévision météo parfaite. Cela répond à la question d’Amara sur un service météo.

Vérifiez votre compréhension

Par heure, MSTL obtient une meilleure WAPE que la prévision naïve saisonnière, mais son horaire au quantile 0,75 coûte le plus cher. Expliquez pourquoi et ce que Daniel devrait vérifier avant de planifier à partir d'un intervalle.

Afficher la réponse

Le plan à un quantile correspond à la prévision plus une partie de la largeur de l’intervalle. L’intervalle à 80 % de MSTL est beaucoup trop large. Il couvre 99,2 % des heures réelles plutôt que 80 %. Sa largeur moyenne est de 574 locations par heure. Son quantile 0,75 dépasse donc largement les locations réelles pour la plupart des heures. L’horaire prévoit ainsi de nombreuses équipes inutiles. Une bonne prévision ponctuelle ne garantit pas un bon intervalle. Daniel devrait vérifier la couverture de l’intervalle dans le test rétrospectif avant de l’utiliser pour planifier. Il devrait aussi comparer les méthodes selon le coût du plan.

Vérifiez votre compréhension

Dans le test final, le plan du parc de LightGBM était trop bas de 21,5 %, et ETS coûtait moins cher. Daniel devrait-il maintenant passer à ETS pour le parc? Que devrait-il faire plutôt?

Afficher la réponse

Non. On utilise le test final une seule fois, pour présenter les résultats du choix retenu. S’il change de méthode à cause de ce résultat, ces deux semaines deviennent de nouvelles données de validation. Il ne reste alors aucun test sans fuite de données. Il devrait présenter le résultat et sa cause. LightGBM a appris décembre à partir d’une année où la demande était beaucoup plus faible. Un arbre ne peut pas prévoir au-delà des valeurs qu’il a vues. Au prochain cycle, Daniel peut comparer le plan du parc avec celui d’ETS en décembre. Il peut tester rétrospectivement une version qui apprend les formes plutôt que les niveaux, et surveiller le biais avec une alarme.

Récapitulatif

  • Vous avez prévu les locations réelles par jour pour 14 jours et par heure pour une semaine. Vous les avez transformées en plan du parc et en horaire des équipes.
  • Les méthodes sans fuite de données avaient presque la même erreur. Le coût hebdomadaire a déterminé le choix de LightGBM pour les deux plans (30 090 $ US par semaine, contre 34 983 pour la référence de base).
  • La météo observée n’est pas une donnée d’entrée connue. Comme limite supérieure « impossible », elle montre qu’une prévision météo parfaite vaut au plus environ 6 300 $ US par semaine.
  • L’intervalle de MSTL était beaucoup trop large (couverture de 0.992), donc son horaire fondé sur un quantile coûtait le plus cher : évaluez l’intervalle avant de l’utiliser pour planifier.
  • Le test final a partiellement contredit le choix : le plan du parc était trop bas de 21,5 % en décembre. La semaine de Noël nécessite une règle de calendrier.

Voici la deuxième étude de cas : la charge électrique horaire de 80 clients, avec des prévisions quantiles et un achat la veille.

Leçon suivante : Charge électrique de nombreux clients