Aller au contenu
English

Quand ne pas construire de modèle

  • Leçon 17
  • 30 min
  • Module 5 : Méthodes par apprentissage automatique

Où nous en sommes

Dans les trois dernières leçons, nous avons ajouté des méthodes d'apprentissage automatique et des modèles de fondation au tableau du test rétrospectif. La méthode la plus exacte n'était pas la moins chère, et la moins chère prenait dix fois plus de temps à ajuster. Dans cette leçon, nous lisons tout le tableau pour évaluer le coût, la rapidité et la confiance. Nous voyons aussi où utiliser un LLM : pour la note de prévision, pas pour les chiffres. Pensez d'abord à la façon dont une famille choisit une voiture.

Ce que vous saurez faire

Choisissez une méthode de prévision en tenant compte de ce que Kenji paie. Examinez le coût de la décision, le travail pour exécuter la méthode et la confiance qu’elle mérite. Parfois, la méthode simple gagne. Un LLM peut écrire la note hebdomadaire sur la prévision, mais il ne doit jamais produire les chiffres.

Carnet JupyterFaites cette leçon dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il trie le tableau du test rétrospectif de trois façons. Il compare ETS, la prévision naïve saisonnière et LightGBM, produit par produit. Ensuite, il vérifie chaque nombre dans dix notes de prévision rédigées par un LLM. Il ne fait aucun appel de modèle : les notes ont été enregistrées une seule fois. Ses cellules de préparation installent les paquets et téléchargent les données. Vous n’avez donc rien à préparer sur votre ordinateur. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien : le carnet fonctionne dans Colab ou Kaggle. Il ne nécessite aucune clé d’API.

Testé dans Jupyter sur macOS, avec Python 3.12, pandas 2.3.3, statsforecast 2.1.1, mlforecast 1.1.0 et LightGBM 4.7.0.

Une famille a besoin d’une voiture pour conduire les enfants à l’école et faire l’épicerie de la semaine. Selon l’essai du magazine, une voiture sport est la plus rapide sur la piste. La famille ne l’achète pas. Elle coûte plus cher à acheter, à assurer et à réparer. Elle n’a pas de place pour l’épicerie. Une petite voiture est plus lente sur la piste, mais convient mieux à leur semaine.

L’essai sur la piste est réel. Il répond à une autre question. Pour bien choisir, il faut lire chaque colonne de l’essai : vitesse, prix, frais d’utilisation et usage prévu.

Le problème : la méthode gagnante change selon la colonne

Section intitulée « Le problème : la méthode gagnante change selon la colonne »

Le tableau du test rétrospectif des commandes compte maintenant 13 lignes. Trois personnes le lisent, et chacune trouve une méthode gagnante différente.

  • Tomás trie selon la WAPE : Chronos-Bolt gagne avec 38,7 %.
  • Priya trie selon le coût : LightGBM direct gagne avec 13 711 dollars par commande.
  • Mei trie selon le temps d’ajustement : la prévision naïve gagne avec 0,02 seconde pour les 13 origines.

Chacun a raison pour sa colonne. Aucun n’a répondu à la question de Kenji : « Quelle méthode devrait s’exécuter chaque lundi? »

Le graphique classe chaque ligne selon le coût pour Kenji, avec la WAPE à côté.

  • Référence de base
  • Méthode statistique
  • Apprentissage automatique
  • Modèle de fondation
Les 13 méthodes du tableau du test rétrospectif du cours, de la commande la moins chère à la plus chère. Gris : références de base; bleu : méthodes statistiques; orange : apprentissage automatique; turquoise : modèle de fondation. Les méthodes simples et complexes se mélangent : la prévision naïve saisonnière coûte moins cher que Theta et la régression linéaire globale. Les coûts reposent sur les hypothèses du cours.
Description textuelle du graphique

Les 13 méthodes, de la commande la moins chère à la plus chère, avec le coût par commande et la WAPE : LightGBM direct 13 711 $ US (40,7 %); LightGBM décalages ≥ 14 14 629 $ US (40,9 %); LightGBM récursif 14 749 $ US (40,7 %); Chronos-Bolt 14 750 $ US (38,7 %); régr. linéaire, par produit 15 137 $ US (41,7 %); AutoARIMA 16 257 $ US (41,4 %); ETS 16 578 $ US (41,3 %); naïve saisonnière 16 739 $ US (51,3 %); Theta 16 812 $ US (41,5 %); régr. linéaire, globale 17 264 $ US (42,6 %); moyenne mobile 28 j 19 444 $ US (43,5 %); naïve 28 261 $ US (53,2 %); dérive 28 570 $ US (53,8 %).

Toutes les valeurs du tableau, dans le même ordre :

Méthode Type MASE WAPE % biais % ajustement en s (13 origines) coût en $ par commande
LightGBM direct apprentissage automatique 0,813 40,7 −0,6 156 13 711
LightGBM décalages ≥ 14 apprentissage automatique 0,828 40,9 −0,7 12 14 629
LightGBM récursif apprentissage automatique 0,816 40,7 +0,7 16 14 749
Chronos-Bolt modèle de fondation 0,784 38,7 −5,6 2 14 750
régr. linéaire, par produit apprentissage automatique 0,835 41,7 −1,4 13 15 137
AutoARIMA méthode statistique 0,834 41,4 +1,4 996 16 257
ETS méthode statistique 0,832 41,3 +0,1 46 16 578
naïve saisonnière référence de base 1,034 51,3 −0,5 0,05 16 739
Theta méthode statistique 0,837 41,5 +0,1 42 16 812
régr. linéaire, globale apprentissage automatique 0,866 42,6 −0,1 0,33 17 264
moyenne mobile 28 j référence de base 0,875 43,5 −0,1 0,11 19 444
naïve référence de base 1,065 53,2 +7,4 0,02 28 261
dérive référence de base 1,075 53,8 +7,8 0,04 28 570

Lisez le milieu du tableau. La prévision naïve saisonnière, « le même jour de la semaine dernière », coûte 16 739 dollars. C’est moins que Theta et la régression linéaire globale, et seulement 161 dollars de plus qu’ETS. AutoARIMA coûte environ autant qu’ETS et a pris environ 1 000 secondes plutôt que 46. La moyenne mobile sur 28 jours a une meilleure WAPE que la prévision naïve saisonnière. Pourtant, elle coûte 2 705 dollars de plus par commande.

L’idée : un modèle complexe doit justifier son coût

Section intitulée « L’idée : un modèle complexe doit justifier son coût »

Un modèle complexe vaut son coût seulement si son gain dépasse tout ce qu’il coûte. Le tableau montre une partie du coût : le temps d’ajustement. Le reste n’y figure pas :

  • L’exécution : une tâche hebdomadaire, ses paquets, sa mémoire et quelqu’un pour la réparer quand elle tombe en panne. Chronos-Bolt a même eu besoin de son propre processus.
  • La confiance : Kenji doit assez bien comprendre une prévision pour la modifier lorsqu’il sait quelque chose que le modèle ignore.
  • Le changement : un ensemble de variables ou un modèle préentraîné peut échouer de plus de façons quand les données changent.

La question n’est donc jamais « quelle méthode est la meilleure? ». C’est « le gain par rapport à la méthode simple vaut-il ce que coûte la méthode complexe ici? »

Exemple détaillé : LightGBM vaut-il son coût pour les commandes de Larkfield?

Section intitulée « Exemple détaillé : LightGBM vaut-il son coût pour les commandes de Larkfield? »

Prenez la méthode simple la moins chère et la méthode complexe la moins chère :

Naïve saisonnière LightGBM, direct
Coût par commande 16 739 dollars 13 711 dollars
Temps d’ajustement, 13 origines 0,05 secondes environ 156 secondes
Code à exécuter une ligne variables, indicateurs de jours fériés, 14 modèles

Le gain est de 3 028 dollars par commande pour les 50 produits. Quelques minutes d’ajustement par semaine coûtent peu. Ici, le modèle complexe vaut la peine d’être construit. Le test rétrospectif le montre en dollars, selon les hypothèses de coût du cours. Faire ce calcul est le but de la leçon. Les prochains cas montrent où le même calcul donne le résultat inverse.

Le tableau additionne les résultats de 50 produits. Le carnet compare la WAPE de chaque produit :

Les 50 produits du test rétrospectif du cours, WAPE sur les 13 origines. En haut : la méthode à la WAPE la plus basse parmi la prévision naïve saisonnière, ETS, AutoARIMA, LightGBM (récursif) et Chronos-Bolt. En bas : combien de fois une méthode simple, comparée seule à LightGBM, le bat.
Description textuelle du graphique

WAPE le plus bas par produit : Chronos-Bolt pour 28 produits, LightGBM (récursif) pour 16, ETS pour 3, AutoARIMA pour 3. ETS bat LightGBM pour 21 des 50 produits; la prévision naïve saisonnière bat LightGBM pour 3.

ETS bat LightGBM pour 21 des 50 produits. La prévision naïve saisonnière le bat pour 3 : P013, P029 et P075. LightGBM gagne au total grâce à de grands gains pour des produits comme le parasol (49,3 % contre 65,1 % pour ETS). Pour les autres produits, son avance est petite ou négative.

Le module 6 prévoit 140 séries produit-région à faibles ventes. Ces produits ne se vendent pas pendant au moins 70 % des jours. Demande intermittente les présente; ici, seul le résultat vous est nécessaire. Dans ce cas, une prévision de toujours 0 a la meilleure MASE de toutes (0,599). Mais elle ne commande rien, donc sa commande coûte 4 371 dollars. La commande la moins chère vient de la simple prévision naïve saisonnière (2 885 dollars). La méthode de Croston, conçue pour les produits à faibles ventes, coûte 3 733.

Pour l’horaire de Grace, Theta a la meilleure WAPE des billets de soutien (27,1 %). De la prévision à la commande et à l’horaire établit l’horaire à partir d’un quantile élevé de la prévision. MSTL donne alors l’horaire le moins cher : 3 718 dollars par semaine, contre 5 845 pour Theta, dont l’intervalle est beaucoup trop large. MSTL est une méthode statistique qui s’ajuste en environ 3 secondes.

  • Son gain par rapport à la prévision naïve saisonnière ou à ETS, dans le coût de la décision, est petit comparé à ses frais d’exécution.
  • Il gagne selon la mesure d’erreur, mais pas selon le coût (Chronos-Bolt ici, ou Theta pour l’horaire).
  • Il gagne au total, mais perd pour beaucoup de produits.
  • Vous avez peu de séries ou un historique court, donc peu de choses à apprendre.
  • Personne dans l’équipe ne peut expliquer sa prévision à la personne qui l’utilise pour agir.
  • Il nécessite son propre processus, un processeur graphique (GPU) ou un gros téléchargement que l’équipe ne peut pas prendre en charge.

Chaque lundi, Omar veut une courte note : ce que le plan commande, les heures d’agents prévues et les points à surveiller. Priya l’écrit à la main. Un grand modèle de langage (LLM) peut la rédiger en quelques secondes.

Tomás va plus loin : « Pourquoi ne pas demander au LLM la prévision elle-même? » Parce qu’il échoue à tous les tests de ce cours. Un LLM écrit du texte probable, pas des nombres ajustés aux 400 000 lignes de Larkfield. Personne ne peut le tester rétrospectivement de la même façon. Il peut répondre différemment à la même question et ne peut pas montrer sa colonne de coût. La tâche de prévision planifiée calcule les chiffres. Le LLM les transforme seulement en phrases.

Quatre boîtes de haut en bas : la tâche de prévision planifiée calcule la commande, l'horaire et les alarmes; les chiffres de la semaine en JSON; le LLM chat-small écrit de 80 à 120 mots et reçoit la consigne d'utiliser seulement ces chiffres; la vérification des nombres, du code sans LLM, exige que chaque nombre de la note figure dans le JSON. En bas, deux résultats : réussite, une personne lit la note, même si les mots peuvent encore être faux; échec, corriger les chiffres avant toute lecture.
Les chiffres viennent de la tâche testée rétrospectivement. Le LLM écrit les phrases. Le code vérifie chaque nombre de la note avant qu'une personne la lise.
Description textuelle du diagramme

Quatre boîtes de haut en bas. La tâche de prévision planifiée calcule la commande, l’horaire et les alarmes, avec des méthodes testées rétrospectivement, sans LLM. Les chiffres de la semaine sortent en JSON. Par exemple : 13 468 unités à commander, 382 heures d’agents et une alarme de −23 % et −56 %. Le LLM, chat-small, écrit de 80 à 120 mots et reçoit la consigne d’utiliser seulement ces chiffres. Une vérification des nombres, écrite en code sans LLM, exige que chaque nombre de la note figure dans le JSON. Il y a ensuite deux résultats. Si la note réussit, une personne la lit, car les mots peuvent encore être faux. Si elle échoue, quelqu’un corrige d’abord les chiffres.

Le cours a enregistré 10 notes une seule fois, avec le déploiement chat-small d’Azure. Elles couvrent 10 semaines de la tâche de prévision planifiée du module 8. Elles ont utilisé 3 831 jetons (tokens) d’entrée et 4 546 jetons de sortie. Le total est d’environ 0,003 $ US selon la grille de prix du cours (les prix changent : consultez la page actuelle). La vérification trouve chaque nombre de la note et le cherche parmi les nombres reçus par le LLM :

NUMBER = re.compile(r"(?<![\w.])[-+]?\d[\d,]*(?:\.\d+)?%?") # 12,839 or -23% or 0.5
def check(note, facts):
"""The numbers in the note that are not in the facts (within 1%). 1, 2, 7 and 14 are always allowed."""
allowed = {value(m) for m in NUMBER.findall(json.dumps(facts))} | {1.0, 2.0, 7.0, 14.0}
return [m for m in NUMBER.findall(note) if not any(abs(value(m) - a) <= 0.01 * max(abs(a), 1) for a in allowed)]

La sortie pour les dix notes :

2025-03-10 passes
2025-03-17 NOT SUPPORTED: ['23%', '56%']
2025-03-24 passes
2025-03-31 passes
2025-04-07 passes
2025-04-14 passes
2025-04-21 passes
2025-04-28 passes
2025-05-05 passes
2025-05-12 passes

Neuf notes réussissent. Celle du 17 mars 2025 échoue. Le carnet affiche les 115 premiers caractères de l’alarme et la phrase de la note contenant les mêmes nombres :

ALARM: BIAS ALARM plants-and-seeds: the forecast was too low 2 weeks in a row (-23% and -56%, weeks of 2025-03-03, 2025-03
NOTE: A bias alarm says the plants-and-seeds forecast was too low for 2 weeks in a row: by 23% and 56% in the weeks of 2025-03-03 and 2025-03-10

Le LLM a supprimé les signes moins. Dans cette phrase, « trop bas de 23 % » garde le même sens. Mais la vérification ne peut pas comprendre le sens. Dans un tableau ou une phrase plus courte, « +23 % » et « −23 % » donnent des conseils opposés : commander plus ou moins.

La vérification a aussi une limite dans l’autre sens. La note du 10 mars réussit. Sa première phrase dit : « Le plan de Larkfield pour la semaine du 10 mars 2025 prévoit de traiter 12 839 commandes ». Le plan dit order_units: 12839 : 12 839 unités à commander, pas des commandes de clients. Le nombre est correct; le mot est faux. Une vérification des nombres ne vérifie pas le sens. Une personne lit donc encore chaque note avant son envoi.

  • L’argent : une fraction de cent par note.
  • La vérification : quelques lignes de code, exécutées pour chaque note.
  • Un lecteur : quelqu’un qui compare la note au plan, car certaines erreurs passent la vérification.
  • De petites surprises : chat-small est un modèle de raisonnement : il suit des étapes cachées avant d’écrire sa réponse. Le premier appel d’enregistrement a échoué avec une erreur, car il n’accepte pas le paramètre habituel max_tokens.

Erreur courante

Un signe moins supprimé

Symptôme : la note du 17 mars dit que la prévision des plantes et des semences était trop basse « de 23 % et 56 % ». L’alarme du plan indique −23 % et −56 %. La vérification des nombres signale la note : NOT SUPPORTED: 23%, 56% (non pris en charge : 23 %, 56 %).

Cause : le LLM a réécrit les nombres dans sa propre phrase et supprimé leurs signes. Il avait reçu la consigne d’utiliser seulement les nombres fournis. Une consigne n’est pas une garantie.

Correction : n’envoyez jamais une note qui échoue à la vérification. Demandez les nombres exactement comme ils figurent dans le plan. Ou laissez la tâche insérer les nombres dans des phrases fixes, et le LLM écrire seulement le reste. Ensuite, une personne lit la note.

Conséquence pour le travail en IA : un lecteur fait confiance à une note bien écrite. Un signe erroné dans un texte fluide inverse le conseil, et personne ne le remarque sans vérification.

Exercice guidé : lire le tableau, vérifier les notes

Section intitulée « Exercice guidé : lire le tableau, vérifier les notes »
  1. Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet en haut de cette page.
  2. Exécutez les cellules de préparation et la cellule utilitaire. La cellule des données se termine par la ligne Ready: (prêt).
  3. Dans la section 1, prédisez si la WAPE la plus basse correspond au coût le plus bas. Puis exécutez la cellule. Vous voyez trois méthodes gagnantes différentes.
  4. Dans la section 2, prédisez pour combien de produits ETS bat LightGBM. Puis exécutez la cellule (environ une minute). Vous voyez 21 sur 50.
  5. Dans la section 3, écrivez votre réponse dans la cellule Your turn (à vous), puis exécutez la cellule de vérification.
  6. Dans la section 4, prédisez si les 10 notes réussissent. Puis exécutez la vérification. Vous voyez une note signalée.
  7. Exécutez les deux cellules suivantes. Comparez l’alarme à la note, puis lisez la note du 10 mars.

Avant d’exécuter quoi que ce soit, prédisez : pour combien des 50 produits, « le même jour de la semaine dernière » bat-il LightGBM? Dans la section 3 du carnet, comptez-les à partir de per_product et placez le nombre dans naive_wins.

Afficher la réponse
naive_wins = int((per_product["seasonal naive"] < per_product["LightGBM"]).sum())
print(naive_wins, per_product.index[per_product["seasonal naive"] < per_product["LightGBM"]].tolist())
3 ['P013', 'P029', 'P075']

Pour 3 produits, une prévision d’une ligne bat un modèle de 400 arbres. P029 est le produit aux ventes les plus faibles des 50, et P075 est le plus vendu. Le volume des ventes d’un produit ne prédit donc pas où la méthode simple gagne. Seul le test rétrospectif vous le dit.

Vérifiez votre compréhension

À partir du tableau du test rétrospectif, expliquez pourquoi Kenji ne devrait pas simplement choisir la méthode à la WAPE la plus faible.

Afficher la réponse

Kenji paie la commande, pas l’erreur quotidienne. Chronos-Bolt a la WAPE la plus faible (38,7 %), mais un biais négatif (−5,6 %). Sa commande coûte 14 750 $ US. LightGBM en prévision directe a une WAPE de 40,7 % et le coût le plus faible, soit 13 711 $ US. La moyenne mobile sur 28 jours a une meilleure WAPE que la prévision naïve saisonnière (43,5 % contre 51,3 %). Mais elle coûte 19 444 $ US contre 16 739. Il faut choisir la méthode selon le coût de la décision, puis le temps d’ajustement, les coûts d’exécution et la confiance.

Vérifiez votre compréhension

Donnez deux cas du cours où une méthode simple bat une méthode complexe, et un cas où la méthode complexe justifie son coût.

Afficher la réponse

La méthode simple gagne : ETS bat LightGBM pour 21 des 50 produits, et la prévision naïve saisonnière le bat pour 3. Pour les produits qui se vendent peu, la prévision naïve saisonnière donne la commande la moins chère (2 885 $ US). Elle coûte moins que celle de la méthode de Croston (3 733). Pour l’horaire à un quantile élevé, MSTL coûte le moins cher (3 718 $ US par semaine), malgré la meilleure WAPE de Theta. La méthode complexe justifie son coût pour les commandes des 50 produits. LightGBM en prévision directe coûte 3 028 $ US de moins par commande que la prévision naïve saisonnière. Son ajustement prend quelques minutes.

Vérifiez votre compréhension

Pourquoi Larkfield utilise-t-elle un LLM pour la note hebdomadaire, mais pas pour la prévision? Que manque la vérification des nombres?

Afficher la réponse

La prévision doit passer un test rétrospectif, être reproductible et être évaluée selon le coût de la décision. Un LLM écrit du texte probable, pas des nombres ajustés aux données. La tâche évaluée par test rétrospectif calcule donc les nombres. Le LLM les transforme seulement en phrases. Le code vérifie que chaque nombre de la note figure dans le plan. Sur 10 notes enregistrées, 9 ont réussi la vérification. La vérification a signalé la note qui avait supprimé les signes moins de −23 % et −56 %. Elle ne peut pas détecter un sens erroné : la note du 10 mars appelle 12 839 unités des « commandes » et réussit. Une personne doit donc encore lire la note.

Récapitulatif

  • Le gagnant change selon la colonne. Chronos-Bolt gagne selon la WAPE (38,7 %). LightGBM en prévision directe gagne selon le coût (13 711 $ US). La prévision naïve gagne selon le temps d’ajustement.
  • Un modèle complexe doit justifier son coût par les dollars économisés sur la décision, en tenant compte des coûts d’exécution et de la confiance. Pour les commandes, LightGBM le fait : 3 028 $ US de moins par commande que la prévision naïve saisonnière.
  • Les méthodes simples gagnent ailleurs : ETS bat LightGBM pour 21 des 50 produits. Pour les produits qui se vendent peu, la prévision naïve saisonnière donne la commande la moins chère. MSTL donne l’horaire le moins cher.
  • Un LLM écrit la note, jamais les nombres. Vérifiez chaque nombre par le code : 9 notes sur 10 ont réussi, et une avait perdu ses signes moins. Faites ensuite lire la note par une personne.

Vous pouvez maintenant choisir une méthode de prévision selon son coût, pas seulement selon son erreur. Mais jusqu’ici, chaque prévision portait sur un seul produit à la fois. Les produits de Larkfield se regroupent en catégories, en régions et en un total, et les prévisions doivent concorder. Ensuite, vous ferez concorder les totaux des prévisions à chaque niveau de la hiérarchie.

Leçon suivante : Des hiérarchies qui doivent s'additionner