Mesurer l'erreur qui compte
- Leçon 10
- 40 min
- Module 3 : Références de base et tests honnêtes
Où nous en sommes
Notre test rétrospectif donne des prévisions et des valeurs réelles à plusieurs dates de coupure. Il nous faut encore un nombre pour déterminer quelle prévision est meilleure. Dans cette leçon, nous comparons MAE, RMSE, MAPE, WAPE, MASE et le biais. Nous voyons leurs limites et commençons le tableau du test rétrospectif. Commençons avec un boulanger qui compte ses erreurs.
Leçon 10 sur 27 · Prévision et séries chronologiques : prévoir la suiteMesurer l'erreur qui compte
1. Les prévisions servent des décisions
2. Lire une série chronologique
3. Références de base et tests honnêtes
4. Méthodes statistiques
5. Méthodes par apprentissage automatique
6. Séries difficiles et séries nombreuses
7. L'incertitude et la décision
8. Exploiter une prévision en production
Ce que vous saurez faire
Choisissez la mesure d’erreur qui correspond à la décision. Chaque mesure répond à une question différente. Certaines échouent sur les données de Larkfield : l’une donne un score infini, une autre peut masquer une prévision toujours trop basse.
Carnet JupyterFaites cette leçon dans un carnet
Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il calcule à la main six mesures pour une semaine, puis MAPE et MAE pour les 50 produits. Il affiche ensuite les premières lignes du tableau du test rétrospectif. Ses cellules de préparation installent les paquets et téléchargent les données de Larkfield. Aucune configuration locale n’est donc nécessaire. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le test rétrospectif à origine glissante du cours (13 origines, 14 jours), présenté dans Tester comme dans le futur : le test rétrospectif.
- Les quatre prévisions naïves, présentées dans Prévisions naïves.
- MAE et RMSE, présentées dans Les métriques de régression du cours d’apprentissage automatique. Cette leçon les reprend brièvement.
Ce qu’il vous faut sur votre ordinateur
Rien : le carnet s’exécute dans Colab ou Kaggle.
Testé avec Python 3.12, pandas 2.3.3 et statsforecast 2.1.1, dans Jupyter sur macOS.
Un boulanger compte ses erreurs
Section intitulée « Un boulanger compte ses erreurs »Un boulanger fait son pain chaque matin à partir de sa prévision. Le soir, il compte l’écart entre les pains préparés et les pains vendus. Sur une semaine, il veut un nombre qui indique la qualité de sa prévision. Quel nombre?
- Il peut prendre l’écart moyen en pains : « Je me suis trompé de 6 pains par jour. »
- Il peut dire que les grands écarts font plus de mal. Dix pains manquants le samedi obligent beaucoup de clients à repartir sans pain. Un pain manquant sur dix jours a peu d’effet.
- Il peut compter l’écart en proportion des ventes de chaque jour. Mais il vend 200 pains blancs et 5 pains de seigle par jour. Cinq pains représentent une petite erreur pour le pain blanc, mais une énorme erreur pour le seigle. Et un jour où personne n’achète de seigle, « l’écart en proportion de zéro » n’a aucun sens.
- Il peut additionner tous les écarts et diviser par tous les pains vendus cette semaine-là.
- Il peut comparer son écart à celui de la règle simple « préparer autant de pains que les ventes du même jour la semaine passée ».
- Il peut vérifier s’il prévoit toujours trop haut ou toujours trop bas. Toujours trop haut signifie du pain rassis chaque soir, même si l’écart moyen semble petit.
Chacune de ces options est une vraie mesure d’erreur, avec un nom. Chacune répond à une question différente. Aucune n’est la « bonne » pour tous les cas.
Le problème : la même prévision, des verdicts différents
Section intitulée « Le problème : la même prévision, des verdicts différents »Chez Larkfield, Tomás évalue la prévision naïve saisonnière des 50 produits avec MAPE, « l’erreur moyenne en pourcentage ». Beaucoup de rapports l’utilisent. Son carnet affiche inf (infini). Priya évalue les mêmes prévisions avec WAPE et obtient 51,3 %. Omar, le gestionnaire de produit, demande : « La prévision est infiniment mauvaise, ou elle se trompe sur la moitié des unités? »
Les deux scores viennent des mêmes prévisions : une mesure a échoué sur les données de Larkfield. Avant de remplir le tableau du test rétrospectif, nous devons connaître le fonctionnement et les limites de chaque mesure.
Six mesures sur une semaine
Section intitulée « Six mesures sur une semaine »Une lampe de jardin s’est vendue à 4, 2, 0, 3, 5, 8, 6 unités une semaine. La semaine suivante, du lundi au dimanche, les ventes étaient de 5, 3, 1, 3, 6, 10, 7. La prévision naïve saisonnière pour la troisième semaine répète la deuxième semaine. Les ventes réelles de la troisième semaine étaient de 6, 2, 0, 4, 5, 12, 9. Nous avons inventé ce petit exemple pour que vous puissiez vérifier chaque nombre.
L’erreur d’un jour est la valeur réelle moins la prévision. Une erreur positive signifie que la prévision était trop basse.
- Ventes
- Prévision (naïve saisonnière)
Description textuelle du graphique
Deux lignes avec des points, du lundi au dimanche. Ventes : 6, 2, 0, 4, 5, 12, 9. Prévision : 5, 3, 1, 3, 6, 10, 7. Les lignes restent à une lampe l’une de l’autre du lundi au vendredi. Le samedi et le dimanche, la prévision est de 2 lampes sous les ventes. Le mercredi, les ventes sont de 0 et la prévision est de 1.
Description textuelle du diagramme
Le diagramme commence par un tableau de la semaine de la lampe. Les ventes réelles totalisent 38 et la prévision, 35. Les erreurs, soit les ventes réelles moins la prévision, sont +1, −1, −1, +1, −1, +2 et +2 (somme +3). Leurs valeurs absolues totalisent 9. En dessous se trouvent quatre cartes. MAE : 9 ÷ 7 = 1,29 lampe par jour. RMSE : √(13 ÷ 7) = 1,36 lampe. WAPE : 9 ÷ 38 = 23,7 %. MASE : 1,29 ÷ 1,00 = 1,29. Un encadré orange en pointillés indique que MAPE échoue : les ventes du mercredi sont de 0, et 1 ÷ 0 n’a aucune valeur.
Le carnet calcule les six mesures avec NumPy :
week1 = np.array([4, 2, 0, 3, 5, 8, 6])week2 = np.array([5, 3, 1, 3, 6, 10, 7])forecast = week2 # seasonal naive: the same weekday last weekreal = np.array([6, 2, 0, 4, 5, 12, 9])error = real - forecastprint("error:", error.tolist())with np.errstate(divide="ignore"): ape = np.abs(error) / real # a share of each day's real salesscale = np.abs(week2 - week1).mean() # the naive miss in the training weeksprint("MAE ", round(np.abs(error).mean(), 2))print("RMSE ", round(np.sqrt((error ** 2).mean()), 2))print("MAPE ", 100 * ape.mean(), "| without Wednesday:", round(100 * ape[real > 0].mean(), 1))print("WAPE ", round(100 * np.abs(error).sum() / real.sum(), 1))print("MASE ", round(np.abs(error).mean() / scale, 2), "| scale:", scale)print("bias ", round(100 * (forecast - real).sum() / real.sum(), 1))La sortie :
error: [1, -1, -1, 1, -1, 2, 2]MAE 1.29RMSE 1.36MAPE inf | without Wednesday: 25.1WAPE 23.7MASE 1.29 | scale: 1.0bias -7.9Prenons maintenant les six mesures une à une.
MAE et RMSE : erreurs en unités
Section intitulée « MAE et RMSE : erreurs en unités »MAE, l’erreur absolue moyenne, est la taille moyenne d’une erreur : 9 ÷ 7 = 1,29 lampe par jour. Elle a la même unité que la série, ce qui la rend facile à expliquer. RMSE, la racine de l’erreur quadratique moyenne, élève d’abord chaque erreur au carré. Les deux erreurs de 2 comptent chacune pour 4. RMSE (1,36) dépasse donc MAE. Utilisez RMSE quand une grande erreur fait plus de mal que plusieurs petites. Les métriques de régression, dans le cours d’apprentissage automatique, explique les deux en détail.
Les deux ont une faiblesse pour Larkfield : leur unité est celle du produit. Vous ne pouvez donc pas les comparer entre produits.
MAPE : échoue un jour sans ventes
Section intitulée « MAPE : échoue un jour sans ventes »MAPE, l’erreur absolue moyenne en pourcentage, divise l’erreur de chaque jour par les ventes de ce jour-là. Le lundi, 1 ÷ 6 = 16,7 %. Le mercredi, aucune lampe ne s’est vendue, donc l’erreur est 1 ÷ 0. Ce calcul n’a aucune valeur, et NumPy donne inf, l’infini. Un seul jour sans ventes rend toute la MAPE infinie.
Si vous excluez le mercredi, MAPE donne 25,1 %. Mais un jour avec 2 ventes (le mardi, erreur de 50 %) compte alors autant qu’un jour avec 12. Le samedi, l’erreur est de 16,7 %. MAPE donne beaucoup d’importance aux jours de faibles ventes.
WAPE : erreurs en proportion des ventes
Section intitulée « WAPE : erreurs en proportion des ventes »WAPE, l’erreur absolue pondérée en pourcentage, additionne d’abord toutes les erreurs absolues, puis divise par toutes les ventes : 9 ÷ 38 = 23,7 %. Un jour sans ventes ajoute son erreur au numérateur et rien au dénominateur. Il ne pose donc aucun problème. Chaque jour compte en proportion de ses ventes. C’est le sens de « pondérée » dans le nom.
WAPE répond à la question de Kenji : « Sur toutes les unités nécessaires, sur quelle proportion la prévision s’est-elle trompée? » Elle fonctionne aussi entre produits : additionnez les erreurs absolues de tous les produits et divisez par toutes leurs ventes.
MASE : comparaison avec une prévision simple
Section intitulée « MASE : comparaison avec une prévision simple »MASE, l’erreur absolue moyenne mise à l’échelle, divise la MAE de la prévision par une échelle. L’échelle est la MAE de la règle naïve saisonnière dans les données d’entraînement. Elle indique l’écart entre chaque jour et le même jour de la semaine précédente. Pour la lampe, la semaine 2 moins la semaine 1 donne 1 lampe chaque jour. L’échelle est donc de 1,0. La MAE de la prévision est de 1,29, donc MASE vaut 1,29 ÷ 1,0 = 1,29.
- Sous 1 : la prévision se trompe moins que « le même jour la semaine passée » le faisait habituellement dans le passé.
- Au-dessus de 1 : elle se trompe davantage.
MASE n’a pas d’unité. Vous pouvez donc calculer sa moyenne entre produits. Elle fonctionne aussi avec les jours sans ventes, sauf si toutes les données d’entraînement sont nulles. La fonction utilitaire du test rétrospectif recalcule l’échelle à chaque origine, uniquement à partir des jours d’entraînement.
Biais : trop haut ou trop bas en moyenne
Section intitulée « Biais : trop haut ou trop bas en moyenne »Le biais additionne les prévisions moins les valeurs réelles, puis divise par les valeurs réelles : (35 − 38) ÷ 38 = −7,9 %. Négatif signifie trop bas, positif signifie trop haut. Un biais proche de zéro ne signifie pas une bonne prévision : de grandes erreurs positives et négatives peuvent s’annuler. Mais un biais loin de zéro est un avertissement, même quand les autres mesures semblent bonnes. Une prévision toujours trop basse de 8 % entraîne des ruptures de stock semaine après semaine.
Larkfield : les mesures sur 50 produits
Section intitulée « Larkfield : les mesures sur 50 produits »MAPE échoue
Section intitulée « MAPE échoue »Priya teste rétrospectivement la prévision naïve saisonnière sur les 50 produits, comme dans la dernière leçon, et compte les jours sans ventes :
sales = load_sales(BACKTEST_PRODUCTS)fc = bt.backtest(sales, bt.seasonal_naive(7), h=14, origins=ORIGINS)err = fc["y"] - fc["yhat"]with np.errstate(divide="ignore", invalid="ignore"): ape = err.abs() / fc["y"]print("forecast days:", len(fc), "| with zero sales:", int((fc["y"] == 0).sum()))print("MAPE %:", 100 * ape.mean(), "| without the zero days:", round(100 * ape[np.isfinite(ape)].mean(), 1))print("WAPE %:", round(100 * err.abs().sum() / fc["y"].sum(), 1))forecast days: 9100 | with zero sales: 824MAPE %: inf | without the zero days: 77.1WAPE %: 51.3Sur les 9 100 jours prévus (50 produits × 13 origines × 14 jours), 824 n’ont aucune vente. MAPE est donc infinie, comme Tomás l’a vu. Larkfield a beaucoup de jours de faibles ventes. Même ces 50 produits, qui se vendent en moyenne à au moins 2 unités par jour, ont un jour sans ventes environ une fois sur onze. Ces jours ne posent aucun problème à WAPE : la prévision s’est trompée sur 51,3 % des unités.
MAE ne permet pas de comparer les produits
Section intitulée « MAE ne permet pas de comparer les produits »Ensuite, Priya calcule la MAE de chaque produit. Elle compare le moins vendu des 50 au plus vendu :
row = []for uid, g in fc.groupby("unique_id"): one = bt.score(g, sales, uid, season=7) row.append({"product": uid, "units a day": round(g["y"].mean(), 1), "MAE": round((g["y"] - g["yhat"]).abs().mean(), 2), "MASE": one["MASE"], "WAPE %": one["WAPE %"]})per = pd.DataFrame(row).sort_values("units a day")print(per.iloc[[0, -1]].to_string(index=False))product units a day MAE MASE WAPE % P029 2.1 1.87 1.090 87.7 P075 37.8 11.85 0.836 31.3Description textuelle du graphique
Deux colonnes. Le produit peu vendu P029 (2,1 unités par jour) a une MAE de 1,87. Le produit le plus vendu P075 (37,8 unités par jour) a une MAE de 11,85. Leur MASE est de 1,090 et 0,836, et leur WAPE de 87,7 % et 31,3 %.
Le produit le plus vendu a la plus grande MAE parce qu’il se vend davantage, pas parce que sa prévision est pire. Sa MASE et sa WAPE sont bien meilleures. Si vous calculiez la MAE moyenne sur 50 produits, les produits les plus vendus détermineraient seuls la moyenne. Le tableau du test rétrospectif utilise donc MASE et WAPE, qui n’ont pas d’unité.
Les premières lignes du tableau du test rétrospectif
Section intitulée « Les premières lignes du tableau du test rétrospectif »Le tableau du test rétrospectif du cours a une ligne par méthode et les colonnes suivantes :
| Colonne | Ce qu’elle indique | Mieux |
|---|---|---|
MASE |
la moyenne de la MAE de chaque produit ÷ son échelle naïve saisonnière | plus bas; sous 1, dépasse l’échelle naïve |
WAPE % |
toutes les erreurs absolues ÷ toutes les ventes, tous produits et origines confondus | plus bas |
bias % |
(toutes les prévisions − toutes les ventes) ÷ toutes les ventes | plus proche de 0 |
pinball |
un score pour les intervalles de prévision, présenté au module 7 | plus bas |
fit s |
les secondes nécessaires à la méthode, toutes origines confondues | plus bas |
cost $ |
le coût de la commande de 14 jours de Kenji, par commande | plus bas |
La colonne coût nécessite les hypothèses de coût du cours. Pour chaque produit et origine, la commande est la somme des prévisions des 14 jours. Une unité manquante fait perdre sa marge : 35 % du prix. Une unité invendue est liquidée en fin de saison, avec une perte de 25 % du prix. Ce sont des hypothèses, pas les comptes de Larkfield. Le module 7 les explique et les utilise pour améliorer la commande.
Vous avez calculé ces quatre lignes avec bt.score() et bt.show() dans Prévisions naïves. La section 4 du carnet exécute à nouveau la même cellule et conserve les prévisions de chaque méthode dans forecasts. bt.show() affiche la table en plaçant la meilleure MASE en premier :
method horizon MASE WAPE % bias % pinball fit s cost $moving average (28 days) 14 0.875 43.5 -0.1 0.03 19444 seasonal naive 14 1.034 51.3 -0.5 0.04 16739 naive 14 1.065 53.2 7.4 0.02 28261 drift 14 1.075 53.8 7.8 0.03 28570Les durées d’ajustement changent un peu d’une exécution à l’autre. Chaque module suivant ajoute ses lignes à cette table.
Description textuelle du graphique
Un graphique à quatre colonnes. WAPE : moyenne mobile de 28 jours 43,5 %, naïve saisonnière 51,3 %, naïve 53,2 %, dérive 53,8 %.
Description textuelle du graphique
Un graphique à quatre colonnes. Coût par commande : moyenne mobile de 28 jours 19 444 $ US, naïve saisonnière 16 739, naïve 28 261, dérive 28 570. La prévision naïve saisonnière a le coût le plus bas, même si sa WAPE dépasse celle de la moyenne mobile.
Lisez la table une colonne à la fois :
- MASE : seule la moyenne mobile est sous 1. Les trois autres se trompent davantage que l’échelle naïve saisonnière. Même la prévision naïve saisonnière dépasse 1 (1,034). Son échelle compare chaque jour au jour situé exactement une semaine avant. Sa prévision pour la deuxième semaine répète un jour vieux de deux semaines, ce qui est plus difficile.
- WAPE : le classement est le même que pour MASE ici. Ce n’est pas toujours le cas : MASE donne le même poids aux produits, tandis que WAPE les pondère par leurs ventes.
- biais : les prévisions naïve et avec dérive sont trop hautes de 7 % à 8 %. Elles répètent le dernier jour de l’historique, un dimanche, où les ventes dépassent celles d’un jour moyen.
- coût : la prévision naïve saisonnière coûte le moins cher, même si elle est deuxième selon WAPE. Ses erreurs quotidiennes sont plus grandes, mais elles s’annulent davantage sur les 14 jours d’une commande.
L’erreur la plus basse ne donne pas toujours le coût le plus bas. Kenji paie la commande, pas les erreurs quotidiennes. Le module 7 en fait la question principale du cours.
Quelle mesure utiliser, et quand
Section intitulée « Quelle mesure utiliser, et quand »| Votre question | Utilisez | N’utilisez pas |
|---|---|---|
| Sur combien d’unités nous trompons-nous, au total, tous produits confondus? | WAPE | MAPE (échoue les jours sans ventes, favorise les jours de faibles ventes) |
| Cette méthode dépasse-t-elle une prévision simple, en moyenne sur les produits? | MASE | MAE (son unité varie selon le produit) |
| Quelle est la taille d’une erreur typique pour un produit, dans son unité? | MAE | WAPE seule (une proportion masque la taille) |
| Les grandes erreurs font-elles beaucoup plus de mal que les petites? | RMSE | MAE |
| La prévision est-elle trop haute ou trop basse? | le biais, toujours à côté de WAPE ou MASE | le biais seul (les erreurs positives et négatives s’annulent) |
| Combien la prévision coûte-t-elle à l’entreprise? | le coût de la décision | une mesure d’erreur seule |
Chaque mesure ne coûte presque rien à calculer. Le vrai coût est de choisir la mauvaise. Une équipe qui rapporte MAPE élimine les jours sans ventes sans le savoir. Une équipe qui rapporte MAE entre produits ne surveille que ses produits les plus vendus. Convenez des mesures avant de comparer les méthodes. Écrivez-les à côté de chaque nombre et gardez les mêmes pendant tout le projet.
Erreur courante
Éliminer les jours sans ventes pour faire fonctionner MAPE
Symptôme : Tomás voit inf et exclut les jours sans ventes. MAPE donne maintenant 77,1 % pour la prévision naïve saisonnière. Il compare les méthodes avec ce nombre.
Cause : le filtre a retiré 824 des 9 100 jours prévus. Une prévision de 3 un jour où les ventes sont de 0 est une vraie erreur. Kenji paie le stock invendu. MAPE donne aussi le même poids à un jour avec 1 vente qu’à un jour avec 100. Une méthode bonne les jours de faibles ventes et mauvaise les jours de fortes ventes semble donc meilleure qu’elle ne l’est. Les méthodes qui prévoient bas obtiennent aussi une meilleure MAPE. Une erreur sur une petite valeur réelle représente en effet un grand pourcentage.
Correction : utilisez WAPE pour « de combien nous sommes-nous trompés » et MASE pour « dépassons-nous la prévision naïve ». Les deux conservent les jours sans ventes. Si un rapport exige un pourcentage, donnez WAPE.
Conséquence dans le travail en IA : MAPE est courante dans les tableaux de bord et les rapports de modèles. Avec des jours sans ventes, elle échoue ou exclut silencieusement les jours les plus difficiles à prévoir. Les produits peu vendus, les nouveaux produits et les heures nocturnes du centre d’assistance ont tous des jours à zéro.
Exercice guidé : six mesures dans le carnet
Section intitulée « Exercice guidé : six mesures dans le carnet »- Ouvrez le carnet à partir de l’encadré Faites cette leçon dans un carnet en haut de cette page.
- Exécutez les cellules de préparation et la cellule utilitaire. La cellule de données se termine par la ligne
Ready:(prêt). - Dans la section 1, prédisez quelle mesure échoue le mercredi. Puis exécutez la cellule. Vous voyez MAPE
infet WAPE23.7. - Dans la section 2, prédisez combien de jours prévus n’ont aucune vente. Puis exécutez la cellule. Vous voyez
824. - Dans la section 3, exécutez la cellule. Vous voyez P029 avec une MAE de
1.87et P075 avec une MAE de11.85. - Dans la section 4, prédisez quelle référence de base a le coût le plus bas. Puis exécutez la cellule. Vous voyez quatre lignes du tableau du test rétrospectif.
- Dans la section 5, calculez le biais de la prévision naïve dans la cellule Your turn (à vous).
- Exécutez la cellule de vérification. Elle affiche
Check passed(vérification réussie).
À vous de jouer : le biais de la prévision naïve
Section intitulée « À vous de jouer : le biais de la prévision naïve »forecasts["naive"] contient toutes les prévisions de la méthode naïve, avec la valeur réelle y et la prévision yhat. Avant tout calcul, faites une prédiction : la prévision naïve est-elle trop élevée ou trop faible en moyenne? Calculez ensuite vous-même son biais en %. Additionnez les prévisions moins les valeurs réelles, divisez par la somme des valeurs réelles, puis multipliez par 100. Arrondissez à une décimale et placez le résultat dans bias_naive.
Afficher la réponse
f = forecasts["naive"]bias_naive = round(float(100 * (f["yhat"] - f["y"]).sum() / f["y"].sum()), 1)print(bias_naive)7.4La prévision naïve est trop élevée de 7,4 %. Sur 13 commandes, elle ferait commander 7,4 % plus d’unités que Larkfield en a vendu. Elle répète pendant 14 jours le dernier jour de l’historique, un dimanche. Cette valeur correspond à la colonne bias % (biais en %) de la table, car bt.score() utilise la même formule.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
La semaine de prévision de la lampe présente les erreurs +1, −1, −1, +1, −1, +2, +2 et les ventes réelles 6, 2, 0, 4, 5, 12, 9. Calculez WAPE et le biais, puis dites pourquoi on ne peut pas calculer MAPE.
Afficher la réponse
- WAPE : la somme des erreurs absolues est de 9 et celle des ventes, de 38. WAPE vaut donc 9 ÷ 38 = 23,7 %.
- Biais : la somme des prévisions est de 35. Le biais vaut donc (35 − 38) ÷ 38 = −7,9 % : la prévision est trop faible.
- MAPE divise l’erreur de chaque jour par les ventes de ce jour. Mercredi, les ventes étaient de 0. Sa contribution est donc 1 ÷ 0, qui n’a pas de valeur. Un seul jour sans ventes rend la MAPE infinie.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Tomás veut classer les 50 produits selon la qualité des prévisions avec MAE. Quel est le problème, et quelle mesure utilisez-vous plutôt?
Afficher la réponse
MAE utilise l’unité de chaque produit. Un produit très vendu a une MAE plus élevée simplement parce qu’il se vend davantage. P075 se vend à 37,8 unités par jour et a une MAE de 11,85. P029 se vend à 2,1 unités par jour et a une MAE de 1,87. Pourtant, la prévision de P075 est bien meilleure. Utilisez MASE, qui divise la MAE de chaque produit par sa propre échelle naïve (P075 : 0,836, P029 : 1,090). Ou utilisez WAPE, qui divise par les ventes du produit (31,3 % contre 87,7 %).
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La prévision naïve saisonnière a un biais de −0,5 %. Omar dit : « Un biais presque nul, donc une prévision presque parfaite. » A-t-il raison?
Afficher la réponse
Non. Le biais additionne les erreurs avec leurs signes, donc les erreurs positives et négatives s’annulent. La prévision naïve saisonnière présente une erreur de 51,3 % des unités (WAPE), et sa MASE est de 1,034. Elle est trop élevée certains jours et trop faible d’autres jours, à peu près dans la même mesure. Un biais proche de zéro indique seulement que la prévision n’est ni trop élevée ni trop faible en moyenne. Lisez toujours le biais avec WAPE ou MASE.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- MAE et RMSE mesurent les erreurs dans l’unité du produit; RMSE donne plus de poids aux grandes erreurs. Elles ne permettent pas de comparer les produits entre eux.
- MAPE divise par les ventes de chaque jour. Chez Larkfield, 824 des 9 100 jours de prévision n’ont eu aucune vente, donc la MAPE est infinie. Retirer ces jours masque des erreurs réelles.
- WAPE additionne toutes les erreurs absolues et divise par toutes les ventes : 51,3 % pour la prévision naïve saisonnière. Elle fonctionne avec les jours sans ventes et permet de comparer les produits.
- MASE compare une prévision à l’échelle naïve saisonnière; une valeur inférieure à 1 indique une meilleure prévision. Le biais indique si elle est trop élevée ou trop faible. Il faut le lire avec WAPE ou MASE.
- Le tableau du test rétrospectif commence par quatre références de base. La moyenne mobile sur 28 jours a les meilleures MASE (0,875) et WAPE (43,5 %). La prévision naïve saisonnière a le coût le plus faible (16 739 $ US).
Vous pouvez maintenant évaluer toute prévision avec les mesures adaptées à la décision, et vous avez les références de base à dépasser. Mais ces références ne font que répéter le passé ou en calculer la moyenne. Même la meilleure présente encore une erreur de 43,5 % des unités. Vous construirez ensuite une prévision qui donne plus de poids aux jours récents et apprend la tendance et la saison.
Leçon suivante : Lissage exponentiel (ETS, Holt-Winters)