Aller au contenu
English

Mesurer l'erreur qui compte

  • Leçon 10
  • 40 min
  • Module 3 : Références de base et tests honnêtes

Où nous en sommes

Notre test rétrospectif donne des prévisions et des valeurs réelles à plusieurs dates de coupure. Il nous faut encore un nombre pour déterminer quelle prévision est meilleure. Dans cette leçon, nous comparons MAE, RMSE, MAPE, WAPE, MASE et le biais. Nous voyons leurs limites et commençons le tableau du test rétrospectif. Commençons avec un boulanger qui compte ses erreurs.

Ce que vous saurez faire

Choisissez la mesure d’erreur qui correspond à la décision. Chaque mesure répond à une question différente. Certaines échouent sur les données de Larkfield : l’une donne un score infini, une autre peut masquer une prévision toujours trop basse.

Carnet JupyterFaites cette leçon dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il calcule à la main six mesures pour une semaine, puis MAPE et MAE pour les 50 produits. Il affiche ensuite les premières lignes du tableau du test rétrospectif. Ses cellules de préparation installent les paquets et téléchargent les données de Larkfield. Aucune configuration locale n’est donc nécessaire. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien : le carnet s’exécute dans Colab ou Kaggle.

Testé avec Python 3.12, pandas 2.3.3 et statsforecast 2.1.1, dans Jupyter sur macOS.

Un boulanger fait son pain chaque matin à partir de sa prévision. Le soir, il compte l’écart entre les pains préparés et les pains vendus. Sur une semaine, il veut un nombre qui indique la qualité de sa prévision. Quel nombre?

  • Il peut prendre l’écart moyen en pains : « Je me suis trompé de 6 pains par jour. »
  • Il peut dire que les grands écarts font plus de mal. Dix pains manquants le samedi obligent beaucoup de clients à repartir sans pain. Un pain manquant sur dix jours a peu d’effet.
  • Il peut compter l’écart en proportion des ventes de chaque jour. Mais il vend 200 pains blancs et 5 pains de seigle par jour. Cinq pains représentent une petite erreur pour le pain blanc, mais une énorme erreur pour le seigle. Et un jour où personne n’achète de seigle, « l’écart en proportion de zéro » n’a aucun sens.
  • Il peut additionner tous les écarts et diviser par tous les pains vendus cette semaine-là.
  • Il peut comparer son écart à celui de la règle simple « préparer autant de pains que les ventes du même jour la semaine passée ».
  • Il peut vérifier s’il prévoit toujours trop haut ou toujours trop bas. Toujours trop haut signifie du pain rassis chaque soir, même si l’écart moyen semble petit.

Chacune de ces options est une vraie mesure d’erreur, avec un nom. Chacune répond à une question différente. Aucune n’est la « bonne » pour tous les cas.

Le problème : la même prévision, des verdicts différents

Section intitulée « Le problème : la même prévision, des verdicts différents »

Chez Larkfield, Tomás évalue la prévision naïve saisonnière des 50 produits avec MAPE, « l’erreur moyenne en pourcentage ». Beaucoup de rapports l’utilisent. Son carnet affiche inf (infini). Priya évalue les mêmes prévisions avec WAPE et obtient 51,3 %. Omar, le gestionnaire de produit, demande : « La prévision est infiniment mauvaise, ou elle se trompe sur la moitié des unités? »

Les deux scores viennent des mêmes prévisions : une mesure a échoué sur les données de Larkfield. Avant de remplir le tableau du test rétrospectif, nous devons connaître le fonctionnement et les limites de chaque mesure.

Une lampe de jardin s’est vendue à 4, 2, 0, 3, 5, 8, 6 unités une semaine. La semaine suivante, du lundi au dimanche, les ventes étaient de 5, 3, 1, 3, 6, 10, 7. La prévision naïve saisonnière pour la troisième semaine répète la deuxième semaine. Les ventes réelles de la troisième semaine étaient de 6, 2, 0, 4, 5, 12, 9. Nous avons inventé ce petit exemple pour que vous puissiez vérifier chaque nombre.

L’erreur d’un jour est la valeur réelle moins la prévision. Une erreur positive signifie que la prévision était trop basse.

  • Ventes
  • Prévision (naïve saisonnière)
Une semaine de prévisions pour une lampe de jardin. La prévision est proche des ventes la plupart des jours. L'écart est de 2 le samedi et le dimanche, et les ventes du mercredi sont nulles.
Description textuelle du graphique

Deux lignes avec des points, du lundi au dimanche. Ventes : 6, 2, 0, 4, 5, 12, 9. Prévision : 5, 3, 1, 3, 6, 10, 7. Les lignes restent à une lampe l’une de l’autre du lundi au vendredi. Le samedi et le dimanche, la prévision est de 2 lampes sous les ventes. Le mercredi, les ventes sont de 0 et la prévision est de 1.

Un tableau de la semaine de la lampe : ventes réelles 6, 2, 0, 4, 5, 12, 9 (somme 38); prévision 5, 3, 1, 3, 6, 10, 7 (somme 35); erreur +1, −1, −1, +1, −1, +2, +2 (somme +3); erreur absolue 1, 1, 1, 1, 1, 2, 2 (somme 9). En dessous, quatre cartes : MAE 9 / 7 = 1,29 lampe par jour; RMSE √(13 / 7) = 1,36 lampe; WAPE 9 / 38 = 23,7 %; MASE 1,29 / 1,00 = 1,29. Un encadré orange en pointillés indique que MAPE échoue parce que les ventes du mercredi sont de 0.
La même prévision évaluée avec quatre mesures. Chaque carte montre son calcul. MAPE ne peut pas évaluer la semaine, car les ventes du mercredi sont nulles.
Description textuelle du diagramme

Le diagramme commence par un tableau de la semaine de la lampe. Les ventes réelles totalisent 38 et la prévision, 35. Les erreurs, soit les ventes réelles moins la prévision, sont +1, −1, −1, +1, −1, +2 et +2 (somme +3). Leurs valeurs absolues totalisent 9. En dessous se trouvent quatre cartes. MAE : 9 ÷ 7 = 1,29 lampe par jour. RMSE : √(13 ÷ 7) = 1,36 lampe. WAPE : 9 ÷ 38 = 23,7 %. MASE : 1,29 ÷ 1,00 = 1,29. Un encadré orange en pointillés indique que MAPE échoue : les ventes du mercredi sont de 0, et 1 ÷ 0 n’a aucune valeur.

Le carnet calcule les six mesures avec NumPy :

week1 = np.array([4, 2, 0, 3, 5, 8, 6])
week2 = np.array([5, 3, 1, 3, 6, 10, 7])
forecast = week2 # seasonal naive: the same weekday last week
real = np.array([6, 2, 0, 4, 5, 12, 9])
error = real - forecast
print("error:", error.tolist())
with np.errstate(divide="ignore"):
ape = np.abs(error) / real # a share of each day's real sales
scale = np.abs(week2 - week1).mean() # the naive miss in the training weeks
print("MAE ", round(np.abs(error).mean(), 2))
print("RMSE ", round(np.sqrt((error ** 2).mean()), 2))
print("MAPE ", 100 * ape.mean(), "| without Wednesday:", round(100 * ape[real > 0].mean(), 1))
print("WAPE ", round(100 * np.abs(error).sum() / real.sum(), 1))
print("MASE ", round(np.abs(error).mean() / scale, 2), "| scale:", scale)
print("bias ", round(100 * (forecast - real).sum() / real.sum(), 1))

La sortie :

error: [1, -1, -1, 1, -1, 2, 2]
MAE 1.29
RMSE 1.36
MAPE inf | without Wednesday: 25.1
WAPE 23.7
MASE 1.29 | scale: 1.0
bias -7.9

Prenons maintenant les six mesures une à une.

MAE, l’erreur absolue moyenne, est la taille moyenne d’une erreur : 9 ÷ 7 = 1,29 lampe par jour. Elle a la même unité que la série, ce qui la rend facile à expliquer. RMSE, la racine de l’erreur quadratique moyenne, élève d’abord chaque erreur au carré. Les deux erreurs de 2 comptent chacune pour 4. RMSE (1,36) dépasse donc MAE. Utilisez RMSE quand une grande erreur fait plus de mal que plusieurs petites. Les métriques de régression, dans le cours d’apprentissage automatique, explique les deux en détail.

Les deux ont une faiblesse pour Larkfield : leur unité est celle du produit. Vous ne pouvez donc pas les comparer entre produits.

MAPE, l’erreur absolue moyenne en pourcentage, divise l’erreur de chaque jour par les ventes de ce jour-là. Le lundi, 1 ÷ 6 = 16,7 %. Le mercredi, aucune lampe ne s’est vendue, donc l’erreur est 1 ÷ 0. Ce calcul n’a aucune valeur, et NumPy donne inf, l’infini. Un seul jour sans ventes rend toute la MAPE infinie.

Si vous excluez le mercredi, MAPE donne 25,1 %. Mais un jour avec 2 ventes (le mardi, erreur de 50 %) compte alors autant qu’un jour avec 12. Le samedi, l’erreur est de 16,7 %. MAPE donne beaucoup d’importance aux jours de faibles ventes.

WAPE, l’erreur absolue pondérée en pourcentage, additionne d’abord toutes les erreurs absolues, puis divise par toutes les ventes : 9 ÷ 38 = 23,7 %. Un jour sans ventes ajoute son erreur au numérateur et rien au dénominateur. Il ne pose donc aucun problème. Chaque jour compte en proportion de ses ventes. C’est le sens de « pondérée » dans le nom.

WAPE répond à la question de Kenji : « Sur toutes les unités nécessaires, sur quelle proportion la prévision s’est-elle trompée? » Elle fonctionne aussi entre produits : additionnez les erreurs absolues de tous les produits et divisez par toutes leurs ventes.

MASE, l’erreur absolue moyenne mise à l’échelle, divise la MAE de la prévision par une échelle. L’échelle est la MAE de la règle naïve saisonnière dans les données d’entraînement. Elle indique l’écart entre chaque jour et le même jour de la semaine précédente. Pour la lampe, la semaine 2 moins la semaine 1 donne 1 lampe chaque jour. L’échelle est donc de 1,0. La MAE de la prévision est de 1,29, donc MASE vaut 1,29 ÷ 1,0 = 1,29.

  • Sous 1 : la prévision se trompe moins que « le même jour la semaine passée » le faisait habituellement dans le passé.
  • Au-dessus de 1 : elle se trompe davantage.

MASE n’a pas d’unité. Vous pouvez donc calculer sa moyenne entre produits. Elle fonctionne aussi avec les jours sans ventes, sauf si toutes les données d’entraînement sont nulles. La fonction utilitaire du test rétrospectif recalcule l’échelle à chaque origine, uniquement à partir des jours d’entraînement.

Le biais additionne les prévisions moins les valeurs réelles, puis divise par les valeurs réelles : (35 − 38) ÷ 38 = −7,9 %. Négatif signifie trop bas, positif signifie trop haut. Un biais proche de zéro ne signifie pas une bonne prévision : de grandes erreurs positives et négatives peuvent s’annuler. Mais un biais loin de zéro est un avertissement, même quand les autres mesures semblent bonnes. Une prévision toujours trop basse de 8 % entraîne des ruptures de stock semaine après semaine.

Priya teste rétrospectivement la prévision naïve saisonnière sur les 50 produits, comme dans la dernière leçon, et compte les jours sans ventes :

sales = load_sales(BACKTEST_PRODUCTS)
fc = bt.backtest(sales, bt.seasonal_naive(7), h=14, origins=ORIGINS)
err = fc["y"] - fc["yhat"]
with np.errstate(divide="ignore", invalid="ignore"):
ape = err.abs() / fc["y"]
print("forecast days:", len(fc), "| with zero sales:", int((fc["y"] == 0).sum()))
print("MAPE %:", 100 * ape.mean(), "| without the zero days:", round(100 * ape[np.isfinite(ape)].mean(), 1))
print("WAPE %:", round(100 * err.abs().sum() / fc["y"].sum(), 1))
forecast days: 9100 | with zero sales: 824
MAPE %: inf | without the zero days: 77.1
WAPE %: 51.3

Sur les 9 100 jours prévus (50 produits × 13 origines × 14 jours), 824 n’ont aucune vente. MAPE est donc infinie, comme Tomás l’a vu. Larkfield a beaucoup de jours de faibles ventes. Même ces 50 produits, qui se vendent en moyenne à au moins 2 unités par jour, ont un jour sans ventes environ une fois sur onze. Ces jours ne posent aucun problème à WAPE : la prévision s’est trompée sur 51,3 % des unités.

Ensuite, Priya calcule la MAE de chaque produit. Elle compare le moins vendu des 50 au plus vendu :

row = []
for uid, g in fc.groupby("unique_id"):
one = bt.score(g, sales, uid, season=7)
row.append({"product": uid, "units a day": round(g["y"].mean(), 1),
"MAE": round((g["y"] - g["yhat"]).abs().mean(), 2), "MASE": one["MASE"], "WAPE %": one["WAPE %"]})
per = pd.DataFrame(row).sort_values("units a day")
print(per.iloc[[0, -1]].to_string(index=False))
product units a day MAE MASE WAPE %
P029 2.1 1.87 1.090 87.7
P075 37.8 11.85 0.836 31.3
Selon MAE, le produit le plus vendu, P075, semble six fois pire que le produit peu vendu, P029. Selon MASE (0,836 contre 1,090) et WAPE (31,3 % contre 87,7 %), sa prévision est bien meilleure.
Description textuelle du graphique

Deux colonnes. Le produit peu vendu P029 (2,1 unités par jour) a une MAE de 1,87. Le produit le plus vendu P075 (37,8 unités par jour) a une MAE de 11,85. Leur MASE est de 1,090 et 0,836, et leur WAPE de 87,7 % et 31,3 %.

Le produit le plus vendu a la plus grande MAE parce qu’il se vend davantage, pas parce que sa prévision est pire. Sa MASE et sa WAPE sont bien meilleures. Si vous calculiez la MAE moyenne sur 50 produits, les produits les plus vendus détermineraient seuls la moyenne. Le tableau du test rétrospectif utilise donc MASE et WAPE, qui n’ont pas d’unité.

Les premières lignes du tableau du test rétrospectif

Section intitulée « Les premières lignes du tableau du test rétrospectif »

Le tableau du test rétrospectif du cours a une ligne par méthode et les colonnes suivantes :

Colonne Ce qu’elle indique Mieux
MASE la moyenne de la MAE de chaque produit ÷ son échelle naïve saisonnière plus bas; sous 1, dépasse l’échelle naïve
WAPE % toutes les erreurs absolues ÷ toutes les ventes, tous produits et origines confondus plus bas
bias % (toutes les prévisions − toutes les ventes) ÷ toutes les ventes plus proche de 0
pinball un score pour les intervalles de prévision, présenté au module 7 plus bas
fit s les secondes nécessaires à la méthode, toutes origines confondues plus bas
cost $ le coût de la commande de 14 jours de Kenji, par commande plus bas

La colonne coût nécessite les hypothèses de coût du cours. Pour chaque produit et origine, la commande est la somme des prévisions des 14 jours. Une unité manquante fait perdre sa marge : 35 % du prix. Une unité invendue est liquidée en fin de saison, avec une perte de 25 % du prix. Ce sont des hypothèses, pas les comptes de Larkfield. Le module 7 les explique et les utilise pour améliorer la commande.

Vous avez calculé ces quatre lignes avec bt.score() et bt.show() dans Prévisions naïves. La section 4 du carnet exécute à nouveau la même cellule et conserve les prévisions de chaque méthode dans forecasts. bt.show() affiche la table en plaçant la meilleure MASE en premier :

method horizon MASE WAPE % bias % pinball fit s cost $
moving average (28 days) 14 0.875 43.5 -0.1 0.03 19444
seasonal naive 14 1.034 51.3 -0.5 0.04 16739
naive 14 1.065 53.2 7.4 0.02 28261
drift 14 1.075 53.8 7.8 0.03 28570

Les durées d’ajustement changent un peu d’une exécution à l’autre. Chaque module suivant ajoute ses lignes à cette table.

Les quatre références de base selon WAPE, sur les 50 produits et 13 origines. La moyenne mobile de 28 jours se trompe sur le moins d'unités.
Description textuelle du graphique

Un graphique à quatre colonnes. WAPE : moyenne mobile de 28 jours 43,5 %, naïve saisonnière 51,3 %, naïve 53,2 %, dérive 53,8 %.

Les mêmes quatre références de base selon le coût de la commande de Kenji. La prévision naïve saisonnière, deuxième selon WAPE, a le coût le plus bas. Les coûts reposent sur les hypothèses du cours.
Description textuelle du graphique

Un graphique à quatre colonnes. Coût par commande : moyenne mobile de 28 jours 19 444 $ US, naïve saisonnière 16 739, naïve 28 261, dérive 28 570. La prévision naïve saisonnière a le coût le plus bas, même si sa WAPE dépasse celle de la moyenne mobile.

Lisez la table une colonne à la fois :

  • MASE : seule la moyenne mobile est sous 1. Les trois autres se trompent davantage que l’échelle naïve saisonnière. Même la prévision naïve saisonnière dépasse 1 (1,034). Son échelle compare chaque jour au jour situé exactement une semaine avant. Sa prévision pour la deuxième semaine répète un jour vieux de deux semaines, ce qui est plus difficile.
  • WAPE : le classement est le même que pour MASE ici. Ce n’est pas toujours le cas : MASE donne le même poids aux produits, tandis que WAPE les pondère par leurs ventes.
  • biais : les prévisions naïve et avec dérive sont trop hautes de 7 % à 8 %. Elles répètent le dernier jour de l’historique, un dimanche, où les ventes dépassent celles d’un jour moyen.
  • coût : la prévision naïve saisonnière coûte le moins cher, même si elle est deuxième selon WAPE. Ses erreurs quotidiennes sont plus grandes, mais elles s’annulent davantage sur les 14 jours d’une commande.

L’erreur la plus basse ne donne pas toujours le coût le plus bas. Kenji paie la commande, pas les erreurs quotidiennes. Le module 7 en fait la question principale du cours.

Votre question Utilisez N’utilisez pas
Sur combien d’unités nous trompons-nous, au total, tous produits confondus? WAPE MAPE (échoue les jours sans ventes, favorise les jours de faibles ventes)
Cette méthode dépasse-t-elle une prévision simple, en moyenne sur les produits? MASE MAE (son unité varie selon le produit)
Quelle est la taille d’une erreur typique pour un produit, dans son unité? MAE WAPE seule (une proportion masque la taille)
Les grandes erreurs font-elles beaucoup plus de mal que les petites? RMSE MAE
La prévision est-elle trop haute ou trop basse? le biais, toujours à côté de WAPE ou MASE le biais seul (les erreurs positives et négatives s’annulent)
Combien la prévision coûte-t-elle à l’entreprise? le coût de la décision une mesure d’erreur seule

Chaque mesure ne coûte presque rien à calculer. Le vrai coût est de choisir la mauvaise. Une équipe qui rapporte MAPE élimine les jours sans ventes sans le savoir. Une équipe qui rapporte MAE entre produits ne surveille que ses produits les plus vendus. Convenez des mesures avant de comparer les méthodes. Écrivez-les à côté de chaque nombre et gardez les mêmes pendant tout le projet.

Erreur courante

Éliminer les jours sans ventes pour faire fonctionner MAPE

Symptôme : Tomás voit inf et exclut les jours sans ventes. MAPE donne maintenant 77,1 % pour la prévision naïve saisonnière. Il compare les méthodes avec ce nombre.

Cause : le filtre a retiré 824 des 9 100 jours prévus. Une prévision de 3 un jour où les ventes sont de 0 est une vraie erreur. Kenji paie le stock invendu. MAPE donne aussi le même poids à un jour avec 1 vente qu’à un jour avec 100. Une méthode bonne les jours de faibles ventes et mauvaise les jours de fortes ventes semble donc meilleure qu’elle ne l’est. Les méthodes qui prévoient bas obtiennent aussi une meilleure MAPE. Une erreur sur une petite valeur réelle représente en effet un grand pourcentage.

Correction : utilisez WAPE pour « de combien nous sommes-nous trompés » et MASE pour « dépassons-nous la prévision naïve ». Les deux conservent les jours sans ventes. Si un rapport exige un pourcentage, donnez WAPE.

Conséquence dans le travail en IA : MAPE est courante dans les tableaux de bord et les rapports de modèles. Avec des jours sans ventes, elle échoue ou exclut silencieusement les jours les plus difficiles à prévoir. Les produits peu vendus, les nouveaux produits et les heures nocturnes du centre d’assistance ont tous des jours à zéro.

  1. Ouvrez le carnet à partir de l’encadré Faites cette leçon dans un carnet en haut de cette page.
  2. Exécutez les cellules de préparation et la cellule utilitaire. La cellule de données se termine par la ligne Ready: (prêt).
  3. Dans la section 1, prédisez quelle mesure échoue le mercredi. Puis exécutez la cellule. Vous voyez MAPE inf et WAPE 23.7.
  4. Dans la section 2, prédisez combien de jours prévus n’ont aucune vente. Puis exécutez la cellule. Vous voyez 824.
  5. Dans la section 3, exécutez la cellule. Vous voyez P029 avec une MAE de 1.87 et P075 avec une MAE de 11.85.
  6. Dans la section 4, prédisez quelle référence de base a le coût le plus bas. Puis exécutez la cellule. Vous voyez quatre lignes du tableau du test rétrospectif.
  7. Dans la section 5, calculez le biais de la prévision naïve dans la cellule Your turn (à vous).
  8. Exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie).

forecasts["naive"] contient toutes les prévisions de la méthode naïve, avec la valeur réelle y et la prévision yhat. Avant tout calcul, faites une prédiction : la prévision naïve est-elle trop élevée ou trop faible en moyenne? Calculez ensuite vous-même son biais en %. Additionnez les prévisions moins les valeurs réelles, divisez par la somme des valeurs réelles, puis multipliez par 100. Arrondissez à une décimale et placez le résultat dans bias_naive.

Afficher la réponse
f = forecasts["naive"]
bias_naive = round(float(100 * (f["yhat"] - f["y"]).sum() / f["y"].sum()), 1)
print(bias_naive)
7.4

La prévision naïve est trop élevée de 7,4 %. Sur 13 commandes, elle ferait commander 7,4 % plus d’unités que Larkfield en a vendu. Elle répète pendant 14 jours le dernier jour de l’historique, un dimanche. Cette valeur correspond à la colonne bias % (biais en %) de la table, car bt.score() utilise la même formule.

Vérifiez votre compréhension

La semaine de prévision de la lampe présente les erreurs +1, −1, −1, +1, −1, +2, +2 et les ventes réelles 6, 2, 0, 4, 5, 12, 9. Calculez WAPE et le biais, puis dites pourquoi on ne peut pas calculer MAPE.

Afficher la réponse
  • WAPE : la somme des erreurs absolues est de 9 et celle des ventes, de 38. WAPE vaut donc 9 ÷ 38 = 23,7 %.
  • Biais : la somme des prévisions est de 35. Le biais vaut donc (35 − 38) ÷ 38 = −7,9 % : la prévision est trop faible.
  • MAPE divise l’erreur de chaque jour par les ventes de ce jour. Mercredi, les ventes étaient de 0. Sa contribution est donc 1 ÷ 0, qui n’a pas de valeur. Un seul jour sans ventes rend la MAPE infinie.

Vérifiez votre compréhension

Tomás veut classer les 50 produits selon la qualité des prévisions avec MAE. Quel est le problème, et quelle mesure utilisez-vous plutôt?

Afficher la réponse

MAE utilise l’unité de chaque produit. Un produit très vendu a une MAE plus élevée simplement parce qu’il se vend davantage. P075 se vend à 37,8 unités par jour et a une MAE de 11,85. P029 se vend à 2,1 unités par jour et a une MAE de 1,87. Pourtant, la prévision de P075 est bien meilleure. Utilisez MASE, qui divise la MAE de chaque produit par sa propre échelle naïve (P075 : 0,836, P029 : 1,090). Ou utilisez WAPE, qui divise par les ventes du produit (31,3 % contre 87,7 %).

Vérifiez votre compréhension

La prévision naïve saisonnière a un biais de −0,5 %. Omar dit : « Un biais presque nul, donc une prévision presque parfaite. » A-t-il raison?

Afficher la réponse

Non. Le biais additionne les erreurs avec leurs signes, donc les erreurs positives et négatives s’annulent. La prévision naïve saisonnière présente une erreur de 51,3 % des unités (WAPE), et sa MASE est de 1,034. Elle est trop élevée certains jours et trop faible d’autres jours, à peu près dans la même mesure. Un biais proche de zéro indique seulement que la prévision n’est ni trop élevée ni trop faible en moyenne. Lisez toujours le biais avec WAPE ou MASE.

Récapitulatif

  • MAE et RMSE mesurent les erreurs dans l’unité du produit; RMSE donne plus de poids aux grandes erreurs. Elles ne permettent pas de comparer les produits entre eux.
  • MAPE divise par les ventes de chaque jour. Chez Larkfield, 824 des 9 100 jours de prévision n’ont eu aucune vente, donc la MAPE est infinie. Retirer ces jours masque des erreurs réelles.
  • WAPE additionne toutes les erreurs absolues et divise par toutes les ventes : 51,3 % pour la prévision naïve saisonnière. Elle fonctionne avec les jours sans ventes et permet de comparer les produits.
  • MASE compare une prévision à l’échelle naïve saisonnière; une valeur inférieure à 1 indique une meilleure prévision. Le biais indique si elle est trop élevée ou trop faible. Il faut le lire avec WAPE ou MASE.
  • Le tableau du test rétrospectif commence par quatre références de base. La moyenne mobile sur 28 jours a les meilleures MASE (0,875) et WAPE (43,5 %). La prévision naïve saisonnière a le coût le plus faible (16 739 $ US).

Vous pouvez maintenant évaluer toute prévision avec les mesures adaptées à la décision, et vous avez les références de base à dépasser. Mais ces références ne font que répéter le passé ou en calculer la moyenne. Même la meilleure présente encore une erreur de 43,5 % des unités. Vous construirez ensuite une prévision qui donne plus de poids aux jours récents et apprend la tendance et la saison.

Leçon suivante : Lissage exponentiel (ETS, Holt-Winters)