Aller au contenu
English

Travail final

  • Après les études de cas
  • environ 3 h

Où nous en sommes

Dans ce cours, nous avons cadré des problèmes d'anomalies et construit des références de base, des cartes de contrôle et des vérifications de dérive. Nous avons comparé quatre familles de détecteurs, les avons évalués selon un budget et avons exécuté une tâche quotidienne de détection. Dans ce travail, vous faites tout cela sur un nouveau flux de données de Larkfield avec des problèmes que nous avons insérés.

Ce que vous saurez faire

Appliquez tout le cours à un nouveau flux de données : les remboursements de Larkfield de janvier à mars. Vous cadrez le problème et surveillez le taux quotidien avec une carte de contrôle. Vous vérifiez la dérive liée à la nouvelle région et comparez les détecteurs avec un même test équitable. Ensuite, vous exécutez une petite tâche sur mars et rédigez une recommandation pour Grace, avec son coût et ses limites.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 180 minutes

Ce que vous devez savoir

  • Les modules 1 à 9. Chaque partie ci-dessous nomme les leçons qu’elle utilise.
  • Le certificat exige aussi au moins une étude de cas du module 10. Pour voir d’abord les mêmes étapes sur des données réelles, ouvrez Cartes de contrôle sur une vraie ligne de production.

Ce qu’il vous faut sur votre ordinateur

  • Python 3.12, un terminal et un carnet (notebook) Jupyter si vous le souhaitez. Les parties 1 à 4 et 6 conviennent bien à un carnet. La partie 5 nécessite des fichiers et un terminal.
  • Le dépôt des laboratoires du cours avec le dossier C34, comme dans Découvrir les données de Larkfield. Si vous l’avez, exécutez git -C nextia-learning-labs pull pour obtenir les derniers fichiers.
  • Votre tâche de détection du module 9, ou la copie C34/snapshots/end-of-m09. Vous en réutilisez deux idées : l’identifiant d’alerte et le registre.
  • Environ 400 Mo d’espace disque pour l’environnement virtuel. Aucun compte, aucune clé ni aucuns frais.

Testé sur macOS (puce Apple), avec Python 3.12.13 et les versions des paquets ci-dessous. Nous avons écrit les commandes Windows (PowerShell), mais nous ne les avons pas exécutées.

La situation : des remboursements avec une nouvelle région

Section intitulée « La situation : des remboursements avec une nouvelle région »

Grace, la responsable du soutien, envoie un nouveau flux de données à Priya, la scientifique des données de Larkfield. Il contient les remboursements de janvier à mars 2026, par agent, par région et par jour. Au milieu de mars, Larkfield ouvre une cinquième région, west (ouest). Grace écrit :

« Janvier et février ont été calmes. Surveillez mars pour moi, s’il vous plaît. Je veux connaître les vrais problèmes : un agent qui rembourse trop, des remboursements qui contournent la limite d’approbation, de l’argent payé deux fois, un flux défectueux. Mais west est une nouvelle région. Je ne veux pas une alarme chaque jour simplement parce qu’elle est nouvelle. »

Nous, l’équipe du cours, avons inséré des problèmes en mars. Nous ne vous disons pas lesquels ni où. Le dossier des laboratoires ne contient aucun corrigé, scellé ou non. Vous trouvez les problèmes avec les méthodes du cours et présentez les preuves. Les données sont synthétiques, comme toutes les tables de Larkfield.

Utilisez ces hypothèses pour que vos chiffres soient comparables à ceux des autres apprenants. Si vous souhaitez essayer un deuxième ensemble d’hypothèses, ajoutez-le et expliquez pourquoi.

Hypothèse Valeur
Budget d’alertes L’équipe de Grace vérifie au plus 3 alertes par jour.
Mois calmes Pendant un mois calme, Grace accepte environ 1 fausse alerte par semaine.
Une fausse alerte Environ une heure de vérification : 45 dollars (au tarif du cours de 3 dollars pour 4 minutes).
Un problème manqué L’argent qu’il laisse sortir : les remboursements supplémentaires d’un agent chaque jour jusqu’à l’alerte, ou le montant payé deux fois.
Comptés séparément Un agent questionné pour rien et un rapport erroné provenant d’un flux défectueux. Ne leur attribuez pas de valeur monétaire.

Les données se trouvent dans le dossier des laboratoires C34/final-assignment/data/. Il contient trois fichiers et une liste de leurs sommes de contrôle. Une somme de contrôle est un long nombre calculé à partir des octets d’un fichier. Si un octet change, la somme de contrôle change.

Fichier Lignes Une ligne Colonnes
final_refunds_agents.csv (63 Ko) 2 431 un agent pendant un jour de travail date, agent_id, orders, refunds, refund_amount
final_refunds_regions.csv (11 Ko) 366 une région pendant une journée date, region, orders, refunds, refund_amount
final_refunds.csv (88 Ko) 1 550 un remboursement provenant du système de paiement refund_id, date, agent_id, order_id, region, amount, reason

Voici le sens des colonnes :

  • orders (commandes) : les commandes dans la file de l’agent ce jour-là, ou les commandes de la région. C’est le dénominateur du taux de remboursement.
  • refunds (remboursements), refund_amount (montant remboursé) : le nombre de remboursements et leur total en dollars, selon le flux quotidien.
  • amount (montant) : un remboursement, en dollars canadiens. Un remboursement de 100 dollars ou plus nécessite l’approbation d’un chef d’équipe : c’est la limite d’approbation.
  • reason (raison) : le choix de l’agent parmi damaged (endommagé), late (en retard), wrong_item (mauvais article), missing (manquant) ou changed_mind (changement d’avis).
  • Il y a 40 agents. Chacun travaille environ cinq jours par semaine, avec environ 22 commandes par jour.

Les flux des agents et des régions proviennent d’un système. La table des remboursements provient d’un autre, le système de paiement. Quand deux systèmes devraient concorder, vous pouvez vérifier l’un à l’aide de l’autre.

  1. Créez un dossier pour le travail, refund-pack, et copiez-y les données :

    Fenêtre de terminal
    mkdir refund-pack
    cd refund-pack
    cp -R ../nextia-learning-labs/C34/final-assignment/data data
    python3.12 -m venv .venv
    source .venv/bin/activate
    python -m pip install pandas==3.1.1 numpy==2.5.4 scipy==1.18.1 scikit-learn==1.9.1 matplotlib==3.11.2
  2. Enregistrez ce script sous le nom check_data.py. Il vérifie les sommes de contrôle, puis charge les trois tables :

    import hashlib
    from pathlib import Path
    import pandas as pd
    for line in Path("data/SHA256SUMS").read_text().splitlines():
    digest, name = line.split()
    ok = hashlib.sha256(Path("data", name).read_bytes()).hexdigest() == digest
    print("OK " if ok else "BAD", name)
    agents = pd.read_csv("data/final_refunds_agents.csv", parse_dates=["date"])
    regions = pd.read_csv("data/final_refunds_regions.csv", parse_dates=["date"])
    refunds = pd.read_csv("data/final_refunds.csv", parse_dates=["date"])
    for name, t in [("agents", agents), ("regions", regions), ("refunds", refunds)]:
    print(f"{name:8} {len(t):6,} rows {t.date.min().date()} to {t.date.max().date()}")
    print("first day of each region:", regions.groupby("region").date.min().dt.strftime("%m-%d").to_dict())
  3. Exécutez-le avec python check_data.py. Vous voyez :

    OK final_refunds.csv
    OK final_refunds_agents.csv
    OK final_refunds_regions.csv
    agents 2,431 rows 2026-01-01 to 2026-03-29
    regions 366 rows 2026-01-01 to 2026-03-29
    refunds 1,550 rows 2026-01-01 to 2026-03-29
    first day of each region: {'coast': '01-01', 'east': '01-01', 'north': '01-01', 'south': '01-01', 'west': '03-16'}

Vous ne choisissez jamais un réglage sur les données qui servent à l’évaluer. Chaque mois a donc un rôle différent. La période de démarrage correspond au début, quand une fenêtre de jours passés n’est pas encore pleine.

Quatre cases en ordre chronologique. Du 1er au 14 janvier : démarrage, les fenêtres de 7 et 28 jours se remplissent. Du 15 au 31 janvier : régler chaque seuil pour environ 1 fausse alerte par semaine. Février : le test, une copie intacte pour les fausses alertes et des copies avec votre propre décalage inséré pour le délai jusqu'à l'alerte. Janvier et février forment les mois de référence, la phase I de la carte quotidienne. Puis mars, du 1er au 29 : la reprise, la tâche s'exécute jour par jour, les problèmes cachés, west entre en service le 16 mars.
Janvier sert à régler les seuils, février à les tester et mars à rejouer les données. Janvier et février forment la phase I de la carte quotidienne.
Description textuelle du diagramme

Le diagramme montre quatre cases en ordre chronologique. Les trois premières sont dans un cadre : « Mois de référence, phase I de la carte quotidienne ». Case 1, du 1er au 14 janvier : démarrage, les fenêtres se remplissent. Case 2, du 15 au 31 janvier : régler chaque seuil, environ 1 fausse alerte par semaine. Case 3, février : le test. Une copie intacte donne les fausses alertes. Des copies avec votre propre décalage inséré donnent le délai jusqu’à l’alerte. Une flèche mène à la case 4, mars : la reprise. La tâche s’exécute jour par jour, avec les problèmes cachés, et west entre en service le 16 mars.

Voici le taux de remboursement quotidien de toute la boutique, tiré du fichier des agents. Regardez-le avant de choisir une méthode.

  • Taux de remboursement du jour
  • Taux de janvier et février (2,35 %)
  • Fin de février
  • Entrée en service de l'ouest (16 mars)
Le taux de remboursement quotidien de Larkfield. Jusqu'à la mi-mars, les jours montent et descendent autour de 2,35 %. Après l'entrée en service de west, le taux grimpe. Aucun jour seul ne vous dit si un agent a changé.
Description textuelle du graphique

Le graphique montre un point par jour, du 1er janvier au 29 mars 2026, pour 88 jours avec des commandes. Une ligne pleine indique le taux de janvier et février ensemble, 2,35 %. Une ligne verticale pointillée marque la fin de février. Une autre marque le 16 mars, jour de l’entrée en service de west. Jusqu’au 15 mars, les points montent et descendent autour de la ligne, surtout entre 1,5 % et 3,8 %. Le jour le plus bas est le 4 février, à 1,2 %. À partir du 16 mars, les points montent, jour après jour, jusqu’à 6,13 % le 28 mars. Le taux de mars dans son ensemble est de 3,63 %. Rien dans le graphique ne montre un agent ou un remboursement précis : c’est pourquoi vous avez besoin des vérifications ci-dessous.

Leçons utilisées : Le paiement qui ne cadrait pas, Types d’anomalies et Les étiquettes sont rares.

Rédigez FRAMING.md, une page. Pour chaque problème que Grace nomme, écrivez :

  1. Le type d’anomalie : ponctuelle, contextuelle, collective ou point de rupture.
  2. L’unité et le moment de la vérification. Par exemple : un agent, chaque matin, sur les 7 derniers jours de travail.
  3. La table et les colonnes qui le montrent.
  4. Le coût d’un problème manqué et celui d’une fausse alerte, selon les hypothèses ci-dessus.
  5. Le cadre : une règle pour un motif exact, ou un détecteur qui apprend la normale à partir des mois de référence.

Ajoutez ensuite la nouvelle région. En deux phrases, expliquez pourquoi west est un changement de la normale, pas un problème. Dites ce que cela implique pour chaque vérification.

Partie 2 : la carte quotidienne et la vérification de dérive

Section intitulée « Partie 2 : la carte quotidienne et la vérification de dérive »

Leçons utilisées : Cartes de contrôle, Cartes pour les taux et les dénombrements, Règles pour les motifs, Petits décalages durables, La distribution a-t-elle changé? et Dérive dans de nombreuses variables.

  1. Calculez le taux de remboursement quotidien de toute la boutique à partir du fichier des agents. Utilisez janvier et février comme phase I.
  2. Choisissez le type de carte : une carte p ou une carte p′ de Laney. Mesurez la dispersion du z de la carte p en phase I et justifiez votre choix en une phrase.
  3. Ajoutez une CUSUM (somme cumulée) ou une EWMA (moyenne mobile à pondération exponentielle) pour un petit décalage durable. Choisissez le décalage que Grace doit détecter pour toute la boutique, par exemple 0,5 point.
  4. Réglez k et h, ou λ et L, à partir de ce décalage.
  5. Mesurez les fausses alarmes par mois de chaque carte. Comptez-les en phase I et simulez la longueur moyenne de séquence comme dans la leçon. La phase I ne dure que 59 jours, donc le compte seul ne suffit pas.
  6. Appliquez les cartes à mars. Notez chaque jour d’alarme, avec le taux et le nombre de commandes de ce jour.
  1. Comparez les montants remboursés du 16 au 29 mars avec ceux des mois de référence : test KS (Kolmogorov-Smirnov), PSI (indice de stabilité de la population) et distance de Wasserstein. Faites-le pour toutes les régions, puis pour les anciennes régions seulement.
  2. Comparez la répartition des commandes par région (PSI). Expliquez ce qui arrive à une catégorie absente de la référence.
  3. Comparez le taux de remboursement de west au taux de référence. Dites si l’échantillon est assez grand pour conclure quoi que ce soit.
  4. Exécutez la même vérification de dérive hebdomadaire sur chaque semaine de février par rapport à janvier, et comptez les alarmes. Cela donne les fausses alarmes par mois de votre vérification de dérive.
  5. Si vous testez plusieurs variables ou plusieurs jours, contrôlez le taux de fausses découvertes.

Leçons utilisées : Médiane, MAD et IQR, Petits décalages durables : un agent, Isolation Forest, Les variables comptent plus que l’algorithme, Pourquoi l’exactitude est trompeuse ici et Évaluer sans corrigé complet.

Le tableau compare les détecteurs pour un problème : un agent qui rembourse plus qu’avant, ou plus que ses collègues. L’unité est un agent pendant un jour de travail. Chaque détecteur attribue un score à chaque agent-jour à partir de ce jour et des jours précédents seulement.

Comparez une référence de base et au moins trois familles :

Famille Exemple
Référence de base Aucun détecteur. Puis une règle robuste simple : le taux de l’agent sur les 7 derniers jours de travail, exprimé en cote z (z-score) robuste par rapport à tous les agents ce jour-là.
Maîtrise statistique des procédés Une carte p par agent et une CUSUM par agent sur le z de la carte p.
Isolement Isolation Forest (forêt d’isolement) sur quelques variables du passé de l’agent. Par exemple : le taux sur 7 et 28 jours de travail, la proportion entre 90 et 99,99 dollars, le remboursement moyen.
Distance ou densité (facultatif) Distance aux k plus proches voisins (kNN) ou LOF (facteur local d’aberrance) sur les mêmes variables.

Le dossier des laboratoires n’a pas de corrigé, donc vous insérez votre propre problème de test. C’est un test construit : vous connaissez la réponse parce que vous l’avez créé.

  1. Réglez le seuil de chaque détecteur sur la période du 15 au 31 janvier pour environ 1 fausse alerte par semaine. Pour les deux cartes, gardez aussi les limites classiques (z supérieur à 3, h = 4) comme lignes supplémentaires.
  2. Appliquez le budget. Une alerte est un agent-jour au-dessus du seuil. Au plus 3 alertes par jour sont envoyées, les scores les plus élevés d’abord.
  3. Sur février tel quel, comptez les alertes. Considérez-les toutes comme fausses : Grace dit que février était calme. Notez les alertes par jour et les fausses alertes par semaine.
  4. Créez 10 copies des données, avec une graine aléatoire fixe. Dans chaque copie, choisissez un agent différent.
  5. Ajoutez 3 points au taux de remboursement de cet agent à partir du 9 février. Tirez les remboursements supplémentaires avec rng.binomial(orders, 0.03). Attribuez-leur des montants tirés des remboursements de référence.
  6. Sur chaque copie, trouvez la première alerte concernant l’agent choisi après le 9 février. Notez les décalages détectés, ceux détectés en 14 jours et le nombre médian de jours jusqu’à l’alerte.
  7. Notez la précision selon le budget : la proportion des alertes après le 9 février qui concernent l’agent choisi.
  8. Notez le coût sur 4 semaines avec un agent décalé : 45 dollars par fausse alerte, plus les remboursements supplémentaires avant l’alerte. Chaque jour de travail, un décalage de 3 points coûte environ 0,03 × les commandes de l’agent × le remboursement moyen. Un décalage jamais détecté entraîne un coût chaque jour du test.

Mettez les résultats dans un tableau, comparison.csv. Ses colonnes sont detector, setting, threshold, alerts_per_day, false_alerts_per_week, shifts_found, found_within_14_days, median_days_to_alert, precision_at_budget, cost_4_weeks. Ajoutez une ligne pour « aucun détecteur ». N’ajoutez pas de colonne d’exactitude.

Leçons utilisées : Le budget d’alertes, Tranches et équité et Quand ne pas utiliser l’apprentissage automatique.

  1. Choisissez un détecteur d’agents dans votre tableau. Justifiez votre choix en trois à cinq phrases. Utilisez le coût sur 4 semaines, le délai jusqu’à l’alerte et la facilité pour Grace d’expliquer une alerte à un agent.
  2. Notez son seuil et comment le budget l’a établi. Notez sa précision selon le budget et son coût par semaine.
  3. Comparez son coût à celui d’« aucun détecteur ». Si l’économie est faible, dites-le. Une faible économie est un résultat honnête, pas un échec.
  4. Faites une vérification par tranche des fausses alertes de février. Séparez-les selon la taille de la file : moins de 20 commandes par jour, et 20 ou plus. Séparez-les ensuite par agent.
  5. Montrez les comptes à côté des taux. Dites si quelques agents reçoivent la majorité des fausses alertes.

Leçons utilisées : Du score à l’alerte, Quand le « normal » change, Fatigue d’alerte et responsabilité et Loi de Benford et autres vérifications d’affaires.

Écrivez refund_job.py, une petite tâche structurée comme la tâche de détection du cours. Elle a deux commandes : run --day <date> et replay --from <date> --to <date>. Chaque exécution lit seulement les données jusqu’au jour indiqué.

  1. Chaque jour, exécutez la carte quotidienne de la partie 2 et votre détecteur d’agents de la partie 4.
  2. Exécutez aussi les vérifications exactes de la leçon sur les vérifications d’affaires. Trouvez un remboursement payé deux fois : même commande et même montant. Trouvez un total de flux qui ne correspond pas à la table des remboursements.
  3. Une fois par semaine, testez la proportion des remboursements de chaque agent juste sous la limite d’approbation.
  4. Ajoutez une vérification avec un seuil fixé sur les mois de référence. Par exemple : un remboursement supérieur au 99e centile des remboursements de référence.
  5. Créez l’identifiant de chaque alerte à partir du jour, de la vérification et de la clé seulement. Copiez alert_id() de detect/alerts.py.
  6. Gardez un registre des identifiants envoyés, comme le fait detect/ledger.py.
  7. Écrivez chaque alerte sur une ligne JSON dans alerts/<day>.jsonl, avec ses raisons en mots et une première étape.
  8. Écrivez une règle pour la nouvelle région, avec son responsable et sa date de fin. Par exemple : exclure west de la carte, de la vérification de dérive et de la vérification à seuil fixe pendant 28 jours, et envoyer plutôt une note hebdomadaire à Grace.
  9. Rejouez les données du 1er au 29 mars. Écrivez un tableau des alertes par jour, par vérification. Aucun jour ne peut avoir plus d’alertes d’agents que le budget.
  10. Exécutez de nouveau une journée. La tâche doit envoyer 0 nouvelle alerte.
  11. Dans un nouveau dossier, rejouez mars sans la règle pour la nouvelle région. Les alertes supplémentaires sont le déluge que votre règle évite.
  12. Exécutez la tâche dans un nouvel environnement virtuel à partir de votre requirements.txt. Notez la commande et sa sortie.

Une ligne d’alerte a cette forme. Cet exemple est construit : les valeurs sont des valeurs de remplacement.

{"alert_id": "3f9c0a1b2c3d4e5f", "day": "2026-03-xx", "check": "agent", "key": "A-xx", "score": 4.1,
"reasons": ["A-xx: 9 refunds on 150 orders in the last 7 working days (6.0%; all agents' median 2.4%)"],
"first_step": "Read the agent's refunds of the last 7 working days with the agent's team lead. Do not blame first."}

Leçons utilisées : Le budget d’alertes et Fatigue d’alerte et responsabilité.

Rédigez GRACE.md, une page destinée à une personne qui ne programme pas. Elle doit préciser :

  1. Ce que vous avez trouvé en mars : chaque alerte qui semble signaler un vrai problème, avec les preuves et la première étape.
  2. Les alertes que vous jugez fausses, et pourquoi.
  3. Les vérifications à faire chaque jour et leur responsable (Grace, Mei pour les flux, les finances pour les paiements en double).
  4. Le coût par semaine de votre choix, comparé à l’inaction.
  5. Ce que les détecteurs ne peuvent pas trouver. Donnez au moins une ampleur de problème que votre évaluation a manquée ou trouvée tard, avec le nombre.
  6. Quand fixer de nouvelles limites : par exemple, après 28 jours de données pour west, ou après un changement de transporteur.
Six cases alignées après les données : 1. Note de cadrage : types, unité, coûts, budget. 2. Carte quotidienne et vérification de dérive : fausses alertes par mois. 3. Tableau comparatif : une référence de base et 3 familles, une évaluation. 4. Le choix : seuil selon le budget, coût, une tranche. 5. La tâche sur mars : aucune alerte en double, aucun flot d'alertes provenant de west. 6. Note pour Grace : la décision et ce que les vérifications ne peuvent pas trouver.
Le dossier, dans l'ordre où vous le construisez. Chaque partie utilise la précédente.
Description textuelle du diagramme

Le diagramme commence par les données : les tables agents, regions et refunds. Six cases suivent en ligne. 1, Note de cadrage : types, unité, coûts, budget. 2, Carte quotidienne et vérification de dérive : fausses alertes par mois. 3, Tableau comparatif : une référence de base et 3 familles, une évaluation. 4, Le choix : seuil selon le budget, coût, une tranche. 5, La tâche sur mars : aucune alerte en double, aucun flot d’alertes provenant de west. 6, Note pour Grace : la décision et ce que les vérifications ne peuvent pas trouver.

refund-pack/
FRAMING.md Part 1
REPORT.md Parts 2 to 5, with the commands that make every number
comparison.csv Part 3
refund_job.py Part 5, and any notebook or script that you used
alerts/ Part 5: one file per day of March
state/ Part 5: the ledger
GRACE.md Part 6
requirements.txt exact versions

REPORT.md contient ces sections :

# Refunds, January to March 2026: anomaly-detection report
## Data checks (rows, dates, checksums)
## Daily control chart (Part 2: chart type and reason, settings, false alarms a month, March alarms)
## Drift check on the new region (Part 2: tests, sizes, false alarms a month, what you conclude)
## Comparison table (Part 3: the table, the planted test, the costs)
## Chosen detector (Part 4: the reason, threshold, precision at the budget, cost, the slice)
## Detection job (Part 5: alerts per day, the rerun, the new-region rule and the flood it prevents,
the fresh-environment run)
## Labels and limits (which numbers are measured, constructed or assumed)

Un réviseur note chaque élément démontré, partiellement démontré ou pas encore démontré, avec une raison concrète. Sans réviseur, appliquez vous-même le tableau à votre dossier, ou demandez à un collègue. Chaque élément vaut des points : tous s’il est démontré, la moitié s’il est partiellement démontré, aucun sinon. Les points montrent les faiblesses de votre dossier. Mais vous terminez le cours seulement quand les six éléments sont démontrés : 100 points. Vous pouvez améliorer un élément et le soumettre à nouveau.

Élément requis Points Démontré si Partiellement démontré, par exemple Pas encore démontré, par exemple
1. Note de cadrage (Types d’anomalies) 10 Chaque problème a son type, son unité, son moment de vérification, ses deux coûts et son budget. Vous présentez west comme un changement de la normale. Il manque les coûts pour un problème. Aucune unité ou aucun moment de vérification.
2. Carte quotidienne et vérification de dérive, avec fausses alertes par mois (Module 3) 20 Vous justifiez le type de carte à partir de la phase I. Les paramètres découlent du décalage important. Vous mesurez les fausses alertes par mois pour la carte et la vérification de dérive. La vérification de dérive compare les anciennes régions et l’ensemble des régions, et indique si l’échantillon suffit. Vous comptez les fausses alertes en phase I seulement, sans simulation. Vous appelez une valeur p seule « dérive ». Ou aucun taux de fausses alertes.
3. Tableau comparatif (Modules 2, 3, 4 et 7) 20 Une référence de base et au moins trois familles, avec des seuils établis du 15 au 31 janvier. Vous les testez sur les mêmes copies de février, avec les colonnes ci-dessus. Une famille utilise un test différent. Aucune référence de base. Ou des seuils fixés sur février ou mars.
4. Détecteur choisi (Le budget d’alertes) 15 Le seuil découle du budget. Vous donnez la précision au budget, le coût par semaine comparé à l’inaction, et une tranche avec les nombres. Aucune tranche, ou des taux sans nombres. Vous choisissez selon l’exactitude, ou selon le nom de la méthode.
5. Tâche de détection sur mars (Module 9) 20 Chaque jour, la tâche lit seulement le passé. Une nouvelle exécution envoie 0 nouvelle alerte. Les alertes par agent respectent le budget. Vous écrivez la règle pour les nouvelles régions et comptez le flot d’alertes qu’elle évite. Chaque alerte donne des raisons et une première étape. Une exécution dans un environnement neuf fonctionne. Aucun décompte du flot d’alertes sans la règle. Une nouvelle exécution renvoie les alertes. Ou vous excluez west pour toujours, sans date de fin.
6. Recommandation pour Grace (Modules 7 et 9) 15 Une page en mots simples. Les vraies et les fausses alertes avec leurs preuves, les responsables, le coût et au moins une limite chiffrée des détecteurs. Les limites restent générales, sans nombre. Aucune limite. Ou une affirmation que la tâche trouve tous les problèmes.

Refusé, peu importe le reste (l’élément est « pas encore démontré ») :

  • Un détecteur jugé seulement par l’exactitude. Pour des événements rares, un détecteur qui n’alerte jamais a une exactitude élevée. (Éléments 3 et 4.)
  • Un seuil réglé sur les données qui servent à l’évaluer. Les seuils proviennent du 15 au 31 janvier. Vous ne les changez jamais après avoir vu le test de février ou les données de mars. (Éléments 3 et 5.)
  • Une méthode choisie sans référence de base dans la comparaison. (Élément 3.)
  • Une tâche qui envoie deux fois la même alerte. (Élément 5.)

Un bon dossier est honnête avant d’être impressionnant. Il contient trois choses.

  • Des mesures honnêtes selon les coûts du cours. Précision au budget, délai en jours avant l’alerte, fausses alertes par semaine et coût en dollars. Les hypothèses figurent à côté. Chaque nombre porte une étiquette : mesuré, construit ou supposé.
  • Une référence de base simple dans la comparaison. La cote z robuste d’un taux sur 7 jours tient en quelques lignes de pandas. Si un détecteur complexe ne fait pas mieux, le dossier le dit et conserve le détecteur simple.
  • Une décision avec son coût. « Nous faisons ces vérifications chaque matin. Elles coûtent environ ce montant par semaine. Elles économisent environ ce montant. Elles manquent ceci. »
Afficher nos résultats pour vérifier votre méthode

Ouvrez ceci seulement après avoir obtenu vos propres nombres. Nous avons exécuté le travail une fois, avec les données publiques seulement et les paramètres des étapes ci-dessus. Si vos paramètres diffèrent, vos nombres diffèrent. Comparez alors la méthode, pas les nombres. Ce ne sont pas les réponses aux problèmes insérés.

  • Carte quotidienne (phase I, 59 jours) : le taux est d’environ 2,35 %, sur environ 600 commandes par jour. La dispersion de la cote z de la carte p est d’environ 1,09, et le σz de Laney d’environ 1,00. La phase I ne montre donc aucune dispersion supplémentaire à corriger. Aucune alarme sur la carte en phase I. Les fausses alertes simulées par mois sont d’environ 0,2 pour la carte p′ de Laney et 0,1 pour l’EWMA (moyenne mobile à pondération exponentielle) (λ 0,1, L 2,6). La CUSUM (somme cumulée) (k environ 0,40, h 8) en a moins de 0,1. Un décalage de 0,5 point dans tout le magasin prend environ 9 jours avant une alarme avec l’EWMA. Il en prend 18 avec la CUSUM et 23 avec la carte p′ de Laney (simulation). Sur l’ensemble des régions, la carte p′ de Laney déclenche une alarme chaque jour du 21 au 29 mars.
  • Vérification de dérive : comparez les montants des remboursements du 16 au 29 mars avec les mois de référence. Sur l’ensemble des régions, la valeur p du test KS (Kolmogorov-Smirnov) est bien inférieure à 0,001. Le PSI (indice de stabilité de la population) est d’environ 0,49. Le remboursement médian double, passant d’environ 40 à environ 80 dollars. Sur les anciennes régions seulement, la valeur p du test KS est d’environ 0,12 et le PSI d’environ 0,05 : aucune dérive. West seul compte environ 250 remboursements, avec une médiane d’environ 106 dollars et un taux de remboursement d’environ 15,5 %. La répartition des commandes par région a un PSI d’environ 1,9, seulement parce que west est nouveau. La vérification hebdomadaire de février par rapport à janvier a donné 0 alarme en 4 semaines au seuil PSI de 0,25. La semaine la plus élevée a atteint 0,18 sur environ 90 remboursements : le PSI fluctue beaucoup avec de petites semaines.
  • Comparaison (seuils du 15 au 31 janvier, 10 copies, +3 points à partir du 9 février) : un décalage de 3 points coûte environ 39 dollars chaque jour ouvrable. Sans détecteur, le coût sur 4 semaines est d’environ 560 dollars. La carte p par agent, au seuil correspondant, était la moins chère : environ 470 dollars. Elle a donné environ 0,75 fausse alerte par semaine et trouvé 7 décalages sur 10, après une médiane de 7 jours. Isolation Forest (forêt d’isolement), avec 4 variables, n’a donné aucune fausse alerte, mais n’a trouvé que 3 décalages sur 10 (environ 490 dollars). La référence de base par cote z robuste en a trouvé 8 sur 10, après une médiane de 8 jours. Mais ses 1,75 fausses alertes par semaine coûtaient plus cher que l’inaction : environ 610 dollars. La CUSUM en a trouvé 8 sur 10 le plus rapidement (médiane de 6 jours), avec 2,5 fausses alertes par semaine (environ 730 dollars). Les limites classiques ont donné 2,75 (carte p) et 9,5 (CUSUM) fausses alertes par semaine.
  • Février n’est pas mars : quand west a augmenté le taux de chaque agent, les vérifications contre le taux de référence ont suivi cette hausse. En mars, la CUSUM par agent a envoyé environ 1,6 alerte par jour. La cote z robuste par rapport aux pairs en a envoyé environ 0,34 par jour, car tous les agents ont évolué ensemble. Cela justifie de préférer une vérification par rapport aux pairs en mars, même si elle coûtait plus cher en février. Indiquez votre choix et pourquoi.
  • Tâche sur mars : environ une alerte par jour et jamais plus de 4 dans une journée. Les alertes par agent respectent le budget, et une nouvelle exécution envoie 0 nouvelle alerte. Sans la règle pour les nouvelles régions, la même tâche a envoyé environ 2,8 fois plus d’alertes. Elle en a envoyé jusqu’à 12 dans une journée. La plupart des alertes supplémentaires venaient de la vérification à seuil fixe des gros remboursements, de la vérification de dérive et de la carte quotidienne.

Erreur courante

Une alerte quotidienne pour une région simplement nouvelle

Symptôme : dès le deuxième jour de west, la vérification de dérive déclenche une alarme chaque jour.

Cause : la répartition des commandes contient une catégorie absente de la référence. Le PSI augmente avec chaque nouvelle commande dans cette région, et cela ne s’arrêtera pas.

Correction : écrivez une règle pour une nouvelle région, avec un responsable et une date de fin. Excluez-la de la vérification de dérive et de la carte pendant 28 jours, et envoyez plutôt une note hebdomadaire. Établissez ensuite de nouvelles limites qui incluent west.

Erreur courante

Zéro remboursement devient un flux en panne

Symptôme : votre vérification déclenche une alarme pour chaque journée d’une région sans remboursement.

Cause : une région avec environ 100 commandes et un taux de 2,4 % a souvent zéro remboursement par hasard. Cela arrive pendant les journées calmes. En janvier et février, 11 journées de région avec au moins 85 commandes n’avaient aucun remboursement.

Correction : comparez le flux avec la table refunds. Un flux est en panne quand les deux systèmes divergent, pas quand un nombre est petit.

Erreur courante

La nouvelle exécution renvoie les alertes

Symptôme : vous exécutez le 11 mars une deuxième fois, et les mêmes alertes arrivent à nouveau.

Cause : l’identifiant de l’alerte contient le score ou l’heure d’exécution, ou la tâche ne lit pas son registre.

Correction : construisez l’identifiant avec seulement le jour, la vérification et la clé. Vérifiez le registre avant d’écrire, comme dans Du score à l’alerte.

Erreur courante

Un petit test devient une preuve

Symptôme : un agent a 3 remboursements sur 8 juste sous la limite (un exemple construit). Votre note dit « cet agent évite le chef d’équipe ».

Cause : avec 8 remboursements, un remboursement de plus ou de moins change la proportion de plus de 12 points. Une petite valeur p dit « inhabituel », pas « volontaire ».

Correction : écrivez « inhabituel, à réviser », donnez les nombres et laissez l’équipe de Grace examiner les commandes. Observez l’agent plus longtemps avant que quelqu’un tire une conclusion.

Récapitulatif

Vous pouvez maintenant transformer un nouveau flux de données en vérifications auxquelles une équipe peut se fier. Vous cadrez chaque problème avec son type, son unité et ses coûts. Vous surveillez un taux avec une carte de contrôle. Vous vérifiez la dérive lors d’un lancement, avec un taux de fausses alertes mesuré. Vous comparez les détecteurs sur un même test équitable, avec une référence de base simple. Vous choisissez selon le coût. Vous exécutez les vérifications comme une tâche quotidienne qui n’envoie jamais deux fois la même alerte. Et vous expliquez au responsable ce que les vérifications ne peuvent pas voir. Pour poursuivre, MLOps et LLMOps : exploiter l’IA en production fait fonctionner ce type de tâche en production, avec des tableaux de bord et des incidents. Prévisions et séries chronologiques : prédire la suite enseigne en profondeur les références de base des séries chronologiques.