Travail final
- Après les études de cas
- environ 3 h
Où nous en sommes
Dans ce cours, nous avons cadré des problèmes d'anomalies et construit des références de base, des cartes de contrôle et des vérifications de dérive. Nous avons comparé quatre familles de détecteurs, les avons évalués selon un budget et avons exécuté une tâche quotidienne de détection. Dans ce travail, vous faites tout cela sur un nouveau flux de données de Larkfield avec des problèmes que nous avons insérés.
Ce que vous saurez faire
Appliquez tout le cours à un nouveau flux de données : les remboursements de Larkfield de janvier à mars. Vous cadrez le problème et surveillez le taux quotidien avec une carte de contrôle. Vous vérifiez la dérive liée à la nouvelle région et comparez les détecteurs avec un même test équitable. Ensuite, vous exécutez une petite tâche sur mars et rédigez une recommandation pour Grace, avec son coût et ses limites.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les modules 1 à 9. Chaque partie ci-dessous nomme les leçons qu’elle utilise.
- Le certificat exige aussi au moins une étude de cas du module 10. Pour voir d’abord les mêmes étapes sur des données réelles, ouvrez Cartes de contrôle sur une vraie ligne de production.
Ce qu’il vous faut sur votre ordinateur
- Python 3.12, un terminal et un carnet (notebook) Jupyter si vous le souhaitez. Les parties 1 à 4 et 6 conviennent bien à un carnet. La partie 5 nécessite des fichiers et un terminal.
- Le dépôt des laboratoires du cours avec le dossier
C34, comme dans Découvrir les données de Larkfield. Si vous l’avez, exécutezgit -C nextia-learning-labs pullpour obtenir les derniers fichiers. - Votre tâche de détection du module 9, ou la copie
C34/snapshots/end-of-m09. Vous en réutilisez deux idées : l’identifiant d’alerte et le registre. - Environ 400 Mo d’espace disque pour l’environnement virtuel. Aucun compte, aucune clé ni aucuns frais.
Testé sur macOS (puce Apple), avec Python 3.12.13 et les versions des paquets ci-dessous. Nous avons écrit les commandes Windows (PowerShell), mais nous ne les avons pas exécutées.
La situation : des remboursements avec une nouvelle région
Section intitulée « La situation : des remboursements avec une nouvelle région »Grace, la responsable du soutien, envoie un nouveau flux de données à Priya, la scientifique des données de Larkfield. Il contient les remboursements de janvier à mars 2026, par agent, par région et par jour. Au milieu de mars, Larkfield ouvre une cinquième région, west (ouest). Grace écrit :
« Janvier et février ont été calmes. Surveillez mars pour moi, s’il vous plaît. Je veux connaître les vrais problèmes : un agent qui rembourse trop, des remboursements qui contournent la limite d’approbation, de l’argent payé deux fois, un flux défectueux. Mais west est une nouvelle région. Je ne veux pas une alarme chaque jour simplement parce qu’elle est nouvelle. »
Nous, l’équipe du cours, avons inséré des problèmes en mars. Nous ne vous disons pas lesquels ni où. Le dossier des laboratoires ne contient aucun corrigé, scellé ou non. Vous trouvez les problèmes avec les méthodes du cours et présentez les preuves. Les données sont synthétiques, comme toutes les tables de Larkfield.
Les coûts et le budget
Section intitulée « Les coûts et le budget »Utilisez ces hypothèses pour que vos chiffres soient comparables à ceux des autres apprenants. Si vous souhaitez essayer un deuxième ensemble d’hypothèses, ajoutez-le et expliquez pourquoi.
| Hypothèse | Valeur |
|---|---|
| Budget d’alertes | L’équipe de Grace vérifie au plus 3 alertes par jour. |
| Mois calmes | Pendant un mois calme, Grace accepte environ 1 fausse alerte par semaine. |
| Une fausse alerte | Environ une heure de vérification : 45 dollars (au tarif du cours de 3 dollars pour 4 minutes). |
| Un problème manqué | L’argent qu’il laisse sortir : les remboursements supplémentaires d’un agent chaque jour jusqu’à l’alerte, ou le montant payé deux fois. |
| Comptés séparément | Un agent questionné pour rien et un rapport erroné provenant d’un flux défectueux. Ne leur attribuez pas de valeur monétaire. |
Les données
Section intitulée « Les données »Les données se trouvent dans le dossier des laboratoires C34/final-assignment/data/. Il contient trois fichiers et une liste de leurs sommes de contrôle. Une somme de contrôle est un long nombre calculé à partir des octets d’un fichier. Si un octet change, la somme de contrôle change.
| Fichier | Lignes | Une ligne | Colonnes |
|---|---|---|---|
final_refunds_agents.csv (63 Ko) |
2 431 | un agent pendant un jour de travail | date, agent_id, orders, refunds, refund_amount |
final_refunds_regions.csv (11 Ko) |
366 | une région pendant une journée | date, region, orders, refunds, refund_amount |
final_refunds.csv (88 Ko) |
1 550 | un remboursement provenant du système de paiement | refund_id, date, agent_id, order_id, region, amount, reason |
Voici le sens des colonnes :
orders(commandes) : les commandes dans la file de l’agent ce jour-là, ou les commandes de la région. C’est le dénominateur du taux de remboursement.refunds(remboursements),refund_amount(montant remboursé) : le nombre de remboursements et leur total en dollars, selon le flux quotidien.amount(montant) : un remboursement, en dollars canadiens. Un remboursement de 100 dollars ou plus nécessite l’approbation d’un chef d’équipe : c’est la limite d’approbation.reason(raison) : le choix de l’agent parmidamaged(endommagé),late(en retard),wrong_item(mauvais article),missing(manquant) ouchanged_mind(changement d’avis).- Il y a 40 agents. Chacun travaille environ cinq jours par semaine, avec environ 22 commandes par jour.
Les flux des agents et des régions proviennent d’un système. La table des remboursements provient d’un autre, le système de paiement. Quand deux systèmes devraient concorder, vous pouvez vérifier l’un à l’aide de l’autre.
Préparer le dossier
Section intitulée « Préparer le dossier »-
Créez un dossier pour le travail,
refund-pack, et copiez-y les données :Fenêtre de terminal mkdir refund-packcd refund-packcp -R ../nextia-learning-labs/C34/final-assignment/data datapython3.12 -m venv .venvsource .venv/bin/activatepython -m pip install pandas==3.1.1 numpy==2.5.4 scipy==1.18.1 scikit-learn==1.9.1 matplotlib==3.11.2Fenêtre de terminal mkdir refund-packcd refund-packCopy-Item -Recurse ..\nextia-learning-labs\C34\final-assignment\data datapy -3.12 -m venv .venv.venv\Scripts\Activate.ps1python -m pip install pandas==3.1.1 numpy==2.5.4 scipy==1.18.1 scikit-learn==1.9.1 matplotlib==3.11.2 -
Enregistrez ce script sous le nom
check_data.py. Il vérifie les sommes de contrôle, puis charge les trois tables :import hashlibfrom pathlib import Pathimport pandas as pdfor line in Path("data/SHA256SUMS").read_text().splitlines():digest, name = line.split()ok = hashlib.sha256(Path("data", name).read_bytes()).hexdigest() == digestprint("OK " if ok else "BAD", name)agents = pd.read_csv("data/final_refunds_agents.csv", parse_dates=["date"])regions = pd.read_csv("data/final_refunds_regions.csv", parse_dates=["date"])refunds = pd.read_csv("data/final_refunds.csv", parse_dates=["date"])for name, t in [("agents", agents), ("regions", regions), ("refunds", refunds)]:print(f"{name:8} {len(t):6,} rows {t.date.min().date()} to {t.date.max().date()}")print("first day of each region:", regions.groupby("region").date.min().dt.strftime("%m-%d").to_dict()) -
Exécutez-le avec
python check_data.py. Vous voyez :OK final_refunds.csvOK final_refunds_agents.csvOK final_refunds_regions.csvagents 2,431 rows 2026-01-01 to 2026-03-29regions 366 rows 2026-01-01 to 2026-03-29refunds 1,550 rows 2026-01-01 to 2026-03-29first day of each region: {'coast': '01-01', 'east': '01-01', 'north': '01-01', 'south': '01-01', 'west': '03-16'}
Trois périodes, trois rôles
Section intitulée « Trois périodes, trois rôles »Vous ne choisissez jamais un réglage sur les données qui servent à l’évaluer. Chaque mois a donc un rôle différent. La période de démarrage correspond au début, quand une fenêtre de jours passés n’est pas encore pleine.
Description textuelle du diagramme
Le diagramme montre quatre cases en ordre chronologique. Les trois premières sont dans un cadre : « Mois de référence, phase I de la carte quotidienne ». Case 1, du 1er au 14 janvier : démarrage, les fenêtres se remplissent. Case 2, du 15 au 31 janvier : régler chaque seuil, environ 1 fausse alerte par semaine. Case 3, février : le test. Une copie intacte donne les fausses alertes. Des copies avec votre propre décalage inséré donnent le délai jusqu’à l’alerte. Une flèche mène à la case 4, mars : la reprise. La tâche s’exécute jour par jour, avec les problèmes cachés, et west entre en service le 16 mars.
Voici le taux de remboursement quotidien de toute la boutique, tiré du fichier des agents. Regardez-le avant de choisir une méthode.
- Taux de remboursement du jour
- Taux de janvier et février (2,35 %)
- Fin de février
- Entrée en service de l'ouest (16 mars)
Description textuelle du graphique
Le graphique montre un point par jour, du 1er janvier au 29 mars 2026, pour 88 jours avec des commandes. Une ligne pleine indique le taux de janvier et février ensemble, 2,35 %. Une ligne verticale pointillée marque la fin de février. Une autre marque le 16 mars, jour de l’entrée en service de west. Jusqu’au 15 mars, les points montent et descendent autour de la ligne, surtout entre 1,5 % et 3,8 %. Le jour le plus bas est le 4 février, à 1,2 %. À partir du 16 mars, les points montent, jour après jour, jusqu’à 6,13 % le 28 mars. Le taux de mars dans son ensemble est de 3,63 %. Rien dans le graphique ne montre un agent ou un remboursement précis : c’est pourquoi vous avez besoin des vérifications ci-dessous.
Partie 1 : cadrer le problème
Section intitulée « Partie 1 : cadrer le problème »Leçons utilisées : Le paiement qui ne cadrait pas, Types d’anomalies et Les étiquettes sont rares.
Rédigez FRAMING.md, une page. Pour chaque problème que Grace nomme, écrivez :
- Le type d’anomalie : ponctuelle, contextuelle, collective ou point de rupture.
- L’unité et le moment de la vérification. Par exemple : un agent, chaque matin, sur les 7 derniers jours de travail.
- La table et les colonnes qui le montrent.
- Le coût d’un problème manqué et celui d’une fausse alerte, selon les hypothèses ci-dessus.
- Le cadre : une règle pour un motif exact, ou un détecteur qui apprend la normale à partir des mois de référence.
Ajoutez ensuite la nouvelle région. En deux phrases, expliquez pourquoi west est un changement de la normale, pas un problème. Dites ce que cela implique pour chaque vérification.
Partie 2 : la carte quotidienne et la vérification de dérive
Section intitulée « Partie 2 : la carte quotidienne et la vérification de dérive »Leçons utilisées : Cartes de contrôle, Cartes pour les taux et les dénombrements, Règles pour les motifs, Petits décalages durables, La distribution a-t-elle changé? et Dérive dans de nombreuses variables.
La carte de contrôle
Section intitulée « La carte de contrôle »- Calculez le taux de remboursement quotidien de toute la boutique à partir du fichier des agents. Utilisez janvier et février comme phase I.
- Choisissez le type de carte : une carte p ou une carte p′ de Laney. Mesurez la dispersion du z de la carte p en phase I et justifiez votre choix en une phrase.
- Ajoutez une CUSUM (somme cumulée) ou une EWMA (moyenne mobile à pondération exponentielle) pour un petit décalage durable. Choisissez le décalage que Grace doit détecter pour toute la boutique, par exemple 0,5 point.
- Réglez k et h, ou λ et L, à partir de ce décalage.
- Mesurez les fausses alarmes par mois de chaque carte. Comptez-les en phase I et simulez la longueur moyenne de séquence comme dans la leçon. La phase I ne dure que 59 jours, donc le compte seul ne suffit pas.
- Appliquez les cartes à mars. Notez chaque jour d’alarme, avec le taux et le nombre de commandes de ce jour.
La vérification de dérive sur la nouvelle région
Section intitulée « La vérification de dérive sur la nouvelle région »- Comparez les montants remboursés du 16 au 29 mars avec ceux des mois de référence : test KS (Kolmogorov-Smirnov), PSI (indice de stabilité de la population) et distance de Wasserstein. Faites-le pour toutes les régions, puis pour les anciennes régions seulement.
- Comparez la répartition des commandes par région (PSI). Expliquez ce qui arrive à une catégorie absente de la référence.
- Comparez le taux de remboursement de west au taux de référence. Dites si l’échantillon est assez grand pour conclure quoi que ce soit.
- Exécutez la même vérification de dérive hebdomadaire sur chaque semaine de février par rapport à janvier, et comptez les alarmes. Cela donne les fausses alarmes par mois de votre vérification de dérive.
- Si vous testez plusieurs variables ou plusieurs jours, contrôlez le taux de fausses découvertes.
Partie 3 : le tableau comparatif
Section intitulée « Partie 3 : le tableau comparatif »Leçons utilisées : Médiane, MAD et IQR, Petits décalages durables : un agent, Isolation Forest, Les variables comptent plus que l’algorithme, Pourquoi l’exactitude est trompeuse ici et Évaluer sans corrigé complet.
Le tableau compare les détecteurs pour un problème : un agent qui rembourse plus qu’avant, ou plus que ses collègues. L’unité est un agent pendant un jour de travail. Chaque détecteur attribue un score à chaque agent-jour à partir de ce jour et des jours précédents seulement.
Les détecteurs
Section intitulée « Les détecteurs »Comparez une référence de base et au moins trois familles :
| Famille | Exemple |
|---|---|
| Référence de base | Aucun détecteur. Puis une règle robuste simple : le taux de l’agent sur les 7 derniers jours de travail, exprimé en cote z (z-score) robuste par rapport à tous les agents ce jour-là. |
| Maîtrise statistique des procédés | Une carte p par agent et une CUSUM par agent sur le z de la carte p. |
| Isolement | Isolation Forest (forêt d’isolement) sur quelques variables du passé de l’agent. Par exemple : le taux sur 7 et 28 jours de travail, la proportion entre 90 et 99,99 dollars, le remboursement moyen. |
| Distance ou densité (facultatif) | Distance aux k plus proches voisins (kNN) ou LOF (facteur local d’aberrance) sur les mêmes variables. |
Une même évaluation pour tous les détecteurs
Section intitulée « Une même évaluation pour tous les détecteurs »Le dossier des laboratoires n’a pas de corrigé, donc vous insérez votre propre problème de test. C’est un test construit : vous connaissez la réponse parce que vous l’avez créé.
- Réglez le seuil de chaque détecteur sur la période du 15 au 31 janvier pour environ 1 fausse alerte par semaine. Pour les deux cartes, gardez aussi les limites classiques (z supérieur à 3, h = 4) comme lignes supplémentaires.
- Appliquez le budget. Une alerte est un agent-jour au-dessus du seuil. Au plus 3 alertes par jour sont envoyées, les scores les plus élevés d’abord.
- Sur février tel quel, comptez les alertes. Considérez-les toutes comme fausses : Grace dit que février était calme. Notez les alertes par jour et les fausses alertes par semaine.
- Créez 10 copies des données, avec une graine aléatoire fixe. Dans chaque copie, choisissez un agent différent.
- Ajoutez 3 points au taux de remboursement de cet agent à partir du 9 février. Tirez les remboursements supplémentaires avec
rng.binomial(orders, 0.03). Attribuez-leur des montants tirés des remboursements de référence. - Sur chaque copie, trouvez la première alerte concernant l’agent choisi après le 9 février. Notez les décalages détectés, ceux détectés en 14 jours et le nombre médian de jours jusqu’à l’alerte.
- Notez la précision selon le budget : la proportion des alertes après le 9 février qui concernent l’agent choisi.
- Notez le coût sur 4 semaines avec un agent décalé : 45 dollars par fausse alerte, plus les remboursements supplémentaires avant l’alerte. Chaque jour de travail, un décalage de 3 points coûte environ 0,03 × les commandes de l’agent × le remboursement moyen. Un décalage jamais détecté entraîne un coût chaque jour du test.
Mettez les résultats dans un tableau, comparison.csv. Ses colonnes sont detector, setting, threshold, alerts_per_day, false_alerts_per_week, shifts_found, found_within_14_days, median_days_to_alert, precision_at_budget, cost_4_weeks. Ajoutez une ligne pour « aucun détecteur ». N’ajoutez pas de colonne d’exactitude.
Partie 4 : choisir le détecteur et son seuil
Section intitulée « Partie 4 : choisir le détecteur et son seuil »Leçons utilisées : Le budget d’alertes, Tranches et équité et Quand ne pas utiliser l’apprentissage automatique.
- Choisissez un détecteur d’agents dans votre tableau. Justifiez votre choix en trois à cinq phrases. Utilisez le coût sur 4 semaines, le délai jusqu’à l’alerte et la facilité pour Grace d’expliquer une alerte à un agent.
- Notez son seuil et comment le budget l’a établi. Notez sa précision selon le budget et son coût par semaine.
- Comparez son coût à celui d’« aucun détecteur ». Si l’économie est faible, dites-le. Une faible économie est un résultat honnête, pas un échec.
- Faites une vérification par tranche des fausses alertes de février. Séparez-les selon la taille de la file : moins de 20 commandes par jour, et 20 ou plus. Séparez-les ensuite par agent.
- Montrez les comptes à côté des taux. Dites si quelques agents reçoivent la majorité des fausses alertes.
Partie 5 : la tâche de détection sur mars
Section intitulée « Partie 5 : la tâche de détection sur mars »Leçons utilisées : Du score à l’alerte, Quand le « normal » change, Fatigue d’alerte et responsabilité et Loi de Benford et autres vérifications d’affaires.
Écrivez refund_job.py, une petite tâche structurée comme la tâche de détection du cours. Elle a deux commandes : run --day <date> et replay --from <date> --to <date>. Chaque exécution lit seulement les données jusqu’au jour indiqué.
- Chaque jour, exécutez la carte quotidienne de la partie 2 et votre détecteur d’agents de la partie 4.
- Exécutez aussi les vérifications exactes de la leçon sur les vérifications d’affaires. Trouvez un remboursement payé deux fois : même commande et même montant. Trouvez un total de flux qui ne correspond pas à la table des remboursements.
- Une fois par semaine, testez la proportion des remboursements de chaque agent juste sous la limite d’approbation.
- Ajoutez une vérification avec un seuil fixé sur les mois de référence. Par exemple : un remboursement supérieur au 99e centile des remboursements de référence.
- Créez l’identifiant de chaque alerte à partir du jour, de la vérification et de la clé seulement. Copiez
alert_id()dedetect/alerts.py. - Gardez un registre des identifiants envoyés, comme le fait
detect/ledger.py. - Écrivez chaque alerte sur une ligne JSON dans
alerts/<day>.jsonl, avec ses raisons en mots et une première étape. - Écrivez une règle pour la nouvelle région, avec son responsable et sa date de fin. Par exemple : exclure west de la carte, de la vérification de dérive et de la vérification à seuil fixe pendant 28 jours, et envoyer plutôt une note hebdomadaire à Grace.
- Rejouez les données du 1er au 29 mars. Écrivez un tableau des alertes par jour, par vérification. Aucun jour ne peut avoir plus d’alertes d’agents que le budget.
- Exécutez de nouveau une journée. La tâche doit envoyer 0 nouvelle alerte.
- Dans un nouveau dossier, rejouez mars sans la règle pour la nouvelle région. Les alertes supplémentaires sont le déluge que votre règle évite.
- Exécutez la tâche dans un nouvel environnement virtuel à partir de votre
requirements.txt. Notez la commande et sa sortie.
Une ligne d’alerte a cette forme. Cet exemple est construit : les valeurs sont des valeurs de remplacement.
{"alert_id": "3f9c0a1b2c3d4e5f", "day": "2026-03-xx", "check": "agent", "key": "A-xx", "score": 4.1, "reasons": ["A-xx: 9 refunds on 150 orders in the last 7 working days (6.0%; all agents' median 2.4%)"], "first_step": "Read the agent's refunds of the last 7 working days with the agent's team lead. Do not blame first."}Partie 6 : la recommandation pour Grace
Section intitulée « Partie 6 : la recommandation pour Grace »Leçons utilisées : Le budget d’alertes et Fatigue d’alerte et responsabilité.
Rédigez GRACE.md, une page destinée à une personne qui ne programme pas. Elle doit préciser :
- Ce que vous avez trouvé en mars : chaque alerte qui semble signaler un vrai problème, avec les preuves et la première étape.
- Les alertes que vous jugez fausses, et pourquoi.
- Les vérifications à faire chaque jour et leur responsable (Grace, Mei pour les flux, les finances pour les paiements en double).
- Le coût par semaine de votre choix, comparé à l’inaction.
- Ce que les détecteurs ne peuvent pas trouver. Donnez au moins une ampleur de problème que votre évaluation a manquée ou trouvée tard, avec le nombre.
- Quand fixer de nouvelles limites : par exemple, après 28 jours de données pour west, ou après un changement de transporteur.
Ce qu’il faut remettre
Section intitulée « Ce qu’il faut remettre »Description textuelle du diagramme
Le diagramme commence par les données : les tables agents, regions et refunds. Six cases suivent en ligne. 1, Note de cadrage : types, unité, coûts, budget. 2, Carte quotidienne et vérification de dérive : fausses alertes par mois. 3, Tableau comparatif : une référence de base et 3 familles, une évaluation. 4, Le choix : seuil selon le budget, coût, une tranche. 5, La tâche sur mars : aucune alerte en double, aucun flot d’alertes provenant de west. 6, Note pour Grace : la décision et ce que les vérifications ne peuvent pas trouver.
refund-pack/ FRAMING.md Part 1 REPORT.md Parts 2 to 5, with the commands that make every number comparison.csv Part 3 refund_job.py Part 5, and any notebook or script that you used alerts/ Part 5: one file per day of March state/ Part 5: the ledger GRACE.md Part 6 requirements.txt exact versionsREPORT.md contient ces sections :
# Refunds, January to March 2026: anomaly-detection report
## Data checks (rows, dates, checksums)## Daily control chart (Part 2: chart type and reason, settings, false alarms a month, March alarms)## Drift check on the new region (Part 2: tests, sizes, false alarms a month, what you conclude)## Comparison table (Part 3: the table, the planted test, the costs)## Chosen detector (Part 4: the reason, threshold, precision at the budget, cost, the slice)## Detection job (Part 5: alerts per day, the rerun, the new-region rule and the flood it prevents, the fresh-environment run)## Labels and limits (which numbers are measured, constructed or assumed)Vérifiez votre travail
Section intitulée « Vérifiez votre travail »Un réviseur note chaque élément démontré, partiellement démontré ou pas encore démontré, avec une raison concrète. Sans réviseur, appliquez vous-même le tableau à votre dossier, ou demandez à un collègue. Chaque élément vaut des points : tous s’il est démontré, la moitié s’il est partiellement démontré, aucun sinon. Les points montrent les faiblesses de votre dossier. Mais vous terminez le cours seulement quand les six éléments sont démontrés : 100 points. Vous pouvez améliorer un élément et le soumettre à nouveau.
| Élément requis | Points | Démontré si | Partiellement démontré, par exemple | Pas encore démontré, par exemple |
|---|---|---|---|---|
| 1. Note de cadrage (Types d’anomalies) | 10 | Chaque problème a son type, son unité, son moment de vérification, ses deux coûts et son budget. Vous présentez west comme un changement de la normale. | Il manque les coûts pour un problème. | Aucune unité ou aucun moment de vérification. |
| 2. Carte quotidienne et vérification de dérive, avec fausses alertes par mois (Module 3) | 20 | Vous justifiez le type de carte à partir de la phase I. Les paramètres découlent du décalage important. Vous mesurez les fausses alertes par mois pour la carte et la vérification de dérive. La vérification de dérive compare les anciennes régions et l’ensemble des régions, et indique si l’échantillon suffit. | Vous comptez les fausses alertes en phase I seulement, sans simulation. | Vous appelez une valeur p seule « dérive ». Ou aucun taux de fausses alertes. |
| 3. Tableau comparatif (Modules 2, 3, 4 et 7) | 20 | Une référence de base et au moins trois familles, avec des seuils établis du 15 au 31 janvier. Vous les testez sur les mêmes copies de février, avec les colonnes ci-dessus. | Une famille utilise un test différent. | Aucune référence de base. Ou des seuils fixés sur février ou mars. |
| 4. Détecteur choisi (Le budget d’alertes) | 15 | Le seuil découle du budget. Vous donnez la précision au budget, le coût par semaine comparé à l’inaction, et une tranche avec les nombres. | Aucune tranche, ou des taux sans nombres. | Vous choisissez selon l’exactitude, ou selon le nom de la méthode. |
| 5. Tâche de détection sur mars (Module 9) | 20 | Chaque jour, la tâche lit seulement le passé. Une nouvelle exécution envoie 0 nouvelle alerte. Les alertes par agent respectent le budget. Vous écrivez la règle pour les nouvelles régions et comptez le flot d’alertes qu’elle évite. Chaque alerte donne des raisons et une première étape. Une exécution dans un environnement neuf fonctionne. | Aucun décompte du flot d’alertes sans la règle. | Une nouvelle exécution renvoie les alertes. Ou vous excluez west pour toujours, sans date de fin. |
| 6. Recommandation pour Grace (Modules 7 et 9) | 15 | Une page en mots simples. Les vraies et les fausses alertes avec leurs preuves, les responsables, le coût et au moins une limite chiffrée des détecteurs. | Les limites restent générales, sans nombre. | Aucune limite. Ou une affirmation que la tâche trouve tous les problèmes. |
Refusé, peu importe le reste (l’élément est « pas encore démontré ») :
- Un détecteur jugé seulement par l’exactitude. Pour des événements rares, un détecteur qui n’alerte jamais a une exactitude élevée. (Éléments 3 et 4.)
- Un seuil réglé sur les données qui servent à l’évaluer. Les seuils proviennent du 15 au 31 janvier. Vous ne les changez jamais après avoir vu le test de février ou les données de mars. (Éléments 3 et 5.)
- Une méthode choisie sans référence de base dans la comparaison. (Élément 3.)
- Une tâche qui envoie deux fois la même alerte. (Élément 5.)
À quoi ressemble un bon travail
Section intitulée « À quoi ressemble un bon travail »Un bon dossier est honnête avant d’être impressionnant. Il contient trois choses.
- Des mesures honnêtes selon les coûts du cours. Précision au budget, délai en jours avant l’alerte, fausses alertes par semaine et coût en dollars. Les hypothèses figurent à côté. Chaque nombre porte une étiquette : mesuré, construit ou supposé.
- Une référence de base simple dans la comparaison. La cote z robuste d’un taux sur 7 jours tient en quelques lignes de pandas. Si un détecteur complexe ne fait pas mieux, le dossier le dit et conserve le détecteur simple.
- Une décision avec son coût. « Nous faisons ces vérifications chaque matin. Elles coûtent environ ce montant par semaine. Elles économisent environ ce montant. Elles manquent ceci. »
Afficher nos résultats pour vérifier votre méthode
Ouvrez ceci seulement après avoir obtenu vos propres nombres. Nous avons exécuté le travail une fois, avec les données publiques seulement et les paramètres des étapes ci-dessus. Si vos paramètres diffèrent, vos nombres diffèrent. Comparez alors la méthode, pas les nombres. Ce ne sont pas les réponses aux problèmes insérés.
- Carte quotidienne (phase I, 59 jours) : le taux est d’environ 2,35 %, sur environ 600 commandes par jour. La dispersion de la cote z de la carte p est d’environ 1,09, et le σz de Laney d’environ 1,00. La phase I ne montre donc aucune dispersion supplémentaire à corriger. Aucune alarme sur la carte en phase I. Les fausses alertes simulées par mois sont d’environ 0,2 pour la carte p′ de Laney et 0,1 pour l’EWMA (moyenne mobile à pondération exponentielle) (λ 0,1, L 2,6). La CUSUM (somme cumulée) (k environ 0,40, h 8) en a moins de 0,1. Un décalage de 0,5 point dans tout le magasin prend environ 9 jours avant une alarme avec l’EWMA. Il en prend 18 avec la CUSUM et 23 avec la carte p′ de Laney (simulation). Sur l’ensemble des régions, la carte p′ de Laney déclenche une alarme chaque jour du 21 au 29 mars.
- Vérification de dérive : comparez les montants des remboursements du 16 au 29 mars avec les mois de référence. Sur l’ensemble des régions, la valeur p du test KS (Kolmogorov-Smirnov) est bien inférieure à 0,001. Le PSI (indice de stabilité de la population) est d’environ 0,49. Le remboursement médian double, passant d’environ 40 à environ 80 dollars. Sur les anciennes régions seulement, la valeur p du test KS est d’environ 0,12 et le PSI d’environ 0,05 : aucune dérive. West seul compte environ 250 remboursements, avec une médiane d’environ 106 dollars et un taux de remboursement d’environ 15,5 %. La répartition des commandes par région a un PSI d’environ 1,9, seulement parce que west est nouveau. La vérification hebdomadaire de février par rapport à janvier a donné 0 alarme en 4 semaines au seuil PSI de 0,25. La semaine la plus élevée a atteint 0,18 sur environ 90 remboursements : le PSI fluctue beaucoup avec de petites semaines.
- Comparaison (seuils du 15 au 31 janvier, 10 copies, +3 points à partir du 9 février) : un décalage de 3 points coûte environ 39 dollars chaque jour ouvrable. Sans détecteur, le coût sur 4 semaines est d’environ 560 dollars. La carte p par agent, au seuil correspondant, était la moins chère : environ 470 dollars. Elle a donné environ 0,75 fausse alerte par semaine et trouvé 7 décalages sur 10, après une médiane de 7 jours. Isolation Forest (forêt d’isolement), avec 4 variables, n’a donné aucune fausse alerte, mais n’a trouvé que 3 décalages sur 10 (environ 490 dollars). La référence de base par cote z robuste en a trouvé 8 sur 10, après une médiane de 8 jours. Mais ses 1,75 fausses alertes par semaine coûtaient plus cher que l’inaction : environ 610 dollars. La CUSUM en a trouvé 8 sur 10 le plus rapidement (médiane de 6 jours), avec 2,5 fausses alertes par semaine (environ 730 dollars). Les limites classiques ont donné 2,75 (carte p) et 9,5 (CUSUM) fausses alertes par semaine.
- Février n’est pas mars : quand west a augmenté le taux de chaque agent, les vérifications contre le taux de référence ont suivi cette hausse. En mars, la CUSUM par agent a envoyé environ 1,6 alerte par jour. La cote z robuste par rapport aux pairs en a envoyé environ 0,34 par jour, car tous les agents ont évolué ensemble. Cela justifie de préférer une vérification par rapport aux pairs en mars, même si elle coûtait plus cher en février. Indiquez votre choix et pourquoi.
- Tâche sur mars : environ une alerte par jour et jamais plus de 4 dans une journée. Les alertes par agent respectent le budget, et une nouvelle exécution envoie 0 nouvelle alerte. Sans la règle pour les nouvelles régions, la même tâche a envoyé environ 2,8 fois plus d’alertes. Elle en a envoyé jusqu’à 12 dans une journée. La plupart des alertes supplémentaires venaient de la vérification à seuil fixe des gros remboursements, de la vérification de dérive et de la carte quotidienne.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
Une alerte quotidienne pour une région simplement nouvelle
Symptôme : dès le deuxième jour de west, la vérification de dérive déclenche une alarme chaque jour.
Cause : la répartition des commandes contient une catégorie absente de la référence. Le PSI augmente avec chaque nouvelle commande dans cette région, et cela ne s’arrêtera pas.
Correction : écrivez une règle pour une nouvelle région, avec un responsable et une date de fin. Excluez-la de la vérification de dérive et de la carte pendant 28 jours, et envoyez plutôt une note hebdomadaire. Établissez ensuite de nouvelles limites qui incluent west.
Erreur courante
Zéro remboursement devient un flux en panne
Symptôme : votre vérification déclenche une alarme pour chaque journée d’une région sans remboursement.
Cause : une région avec environ 100 commandes et un taux de 2,4 % a souvent zéro remboursement par hasard. Cela arrive pendant les journées calmes. En janvier et février, 11 journées de région avec au moins 85 commandes n’avaient aucun remboursement.
Correction : comparez le flux avec la table refunds. Un flux est en panne quand les deux systèmes divergent, pas quand un nombre est petit.
Erreur courante
La nouvelle exécution renvoie les alertes
Symptôme : vous exécutez le 11 mars une deuxième fois, et les mêmes alertes arrivent à nouveau.
Cause : l’identifiant de l’alerte contient le score ou l’heure d’exécution, ou la tâche ne lit pas son registre.
Correction : construisez l’identifiant avec seulement le jour, la vérification et la clé. Vérifiez le registre avant d’écrire, comme dans Du score à l’alerte.
Erreur courante
Un petit test devient une preuve
Symptôme : un agent a 3 remboursements sur 8 juste sous la limite (un exemple construit). Votre note dit « cet agent évite le chef d’équipe ».
Cause : avec 8 remboursements, un remboursement de plus ou de moins change la proportion de plus de 12 points. Une petite valeur p dit « inhabituel », pas « volontaire ».
Correction : écrivez « inhabituel, à réviser », donnez les nombres et laissez l’équipe de Grace examiner les commandes. Observez l’agent plus longtemps avant que quelqu’un tire une conclusion.
Récapitulatif
Vous pouvez maintenant transformer un nouveau flux de données en vérifications auxquelles une équipe peut se fier. Vous cadrez chaque problème avec son type, son unité et ses coûts. Vous surveillez un taux avec une carte de contrôle. Vous vérifiez la dérive lors d’un lancement, avec un taux de fausses alertes mesuré. Vous comparez les détecteurs sur un même test équitable, avec une référence de base simple. Vous choisissez selon le coût. Vous exécutez les vérifications comme une tâche quotidienne qui n’envoie jamais deux fois la même alerte. Et vous expliquez au responsable ce que les vérifications ne peuvent pas voir. Pour poursuivre, MLOps et LLMOps : exploiter l’IA en production fait fonctionner ce type de tâche en production, avec des tableaux de bord et des incidents. Prévisions et séries chronologiques : prédire la suite enseigne en profondeur les références de base des séries chronologiques.