Surveiller un modèle sur des données publiques qui changent
- Étude de cas 1
- 120 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Cette étude de cas applique la dérive et les étiquettes tardives du module 4 à de vraies données publiques : les demandes au service 311 de New York en 2020. Vous suivez un petit modèle mois par mois, pendant un confinement, une tempête et de nouveaux types de plaintes, et vous découvrez quand la dérive avait un effet et quand elle n'en avait pas.
Étude de cas 1 sur 2 · MLOps et LLMOps : exploiter l'IA en productionSurveiller un modèle sur des données publiques qui changent
1. Définir la responsabilité opérationnelle
2. Versionner et reproduire le système
3. Instrumenter une télémétrie utile
4. Surveiller les changements de comportement
5. Mettre en production et améliorer en toute sécurité
6. Gérer les incidents et la passation
Ce que vous saurez faire
Surveillez un modèle pendant que le monde autour de lui change réellement. Vous entraînerez un petit modèle sur les demandes au service 311 de New York du début de 2020. Puis vous le suivrez mois par mois, pendant un confinement, une tempête et l’arrivée de nouveaux types de plaintes. Vous découvrirez quand la dérive avait un effet, quand elle n’en avait pas et ce que seules les étiquettes tardives révélaient.
Cette étude de cas prend la forme d’un carnet (notebook) Jupyter. Le travail consiste à analyser : entraîner, calculer les scores, compter et comparer, mois par mois. Le carnet exécute chaque étape de cette page, avec le même code et les mêmes sorties, plus quatre tâches avec vérifications. Il installe pandas et scikit-learn et télécharge 2,2 Mo de données. Il s’exécute en environ une minute sur le processeur d’un portable, sans compte, sans clé et sans Docker.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise tout le cours. Ces leçons sont les plus importantes :
- La dérive des données, des prédictions et des concepts, la baisse de performance et le PSI avec sa règle pratique, dans Dérive des données et dérive conceptuelle.
- Les étiquettes qui arrivent tard et l’intervalle de Wilson, dans Étiquettes tardives.
- Un objectif écrit avant de mesurer, dans Objectifs de service.
- Diagnostiquer d’abord, puis choisir le plus petit changement, dans Réentraîner ou réviser. Un nouveau modèle est une mise en production avec une barrière, dans Barrières d’évaluation.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet n’en a pas besoin)
- Un dossier avec un environnement virtuel contenant pandas 3.0.6, scikit-learn 1.9.1 et matplotlib 3.11.2. Le projet
ticket-apin’est pas utilisé. - Le carnet, téléchargé depuis le lien ci-dessus, dans VS Code ou JupyterLab. Sa cellule de configuration crée un dossier
monitor-311et y télécharge les données. Pour recommencer, supprimez ce dossier.
Testé sur macOS (Apple silicon) avec Python 3.12.13, pandas 3.0.6 et scikit-learn 1.9.1, dans Jupyter après un démarrage neuf. Windows et Linux n’ont pas été testés.
La situation
Section intitulée « La situation »Priya a observé la dérive dans les essais de Larkfield, où le cours provoquait chaque changement volontairement. Elle veut maintenant voir un suivi confronté à un changement que personne n’a prévu. Les données ouvertes d’une ville en offrent un : les demandes au service 311 de New York en 2020.
Le 311 est la ligne municipale pour les problèmes non urgents : bruit, absence de chauffage, lampadaire brisé, arbre endommagé. Une personne appelle, écrit en ligne ou utilise l’application. La Ville transmet la demande à un organisme, qui la ferme après être intervenu.
Priya imagine un petit modèle utile pour un tel service. Quand une demande arrive, la page de confirmation dit « la plupart des demandes comme la vôtre sont fermées en une semaine ». Ou elle dit « ce type de demande prend souvent plus de temps ». Les deux erreurs ont un coût. Un « en une semaine » erroné est une promesse non tenue, et la personne rappelle. Un « plus de temps » erroné réduit les attentes des gens ou les pousse à abandonner.
L’équipe, le modèle et la page de confirmation sont construits pour cette étude de cas. NYC 311 ne les utilise pas. Les demandes, les dates et les changements sont réels.
Ce que vous allez construire
Section intitulée « Ce que vous allez construire »Vous construirez une régression logistique qui prédit « fermée en 7 jours » à partir des renseignements connus à l’arrivée. Vous l’entraînez sur janvier 2020 et la vérifiez sur février. Puis vous construisez son suivi avec les méthodes du cours : dérive des entrées, dérive des prédictions, étiquettes tardives et exactitude avec intervalle. Vous exécutez le suivi pour chaque mois, de mars à décembre 2020. À la fin, vous produisez son rapport pour un mois qu’il n’a jamais vu : janvier 2021.
La question est celle du cours, appliquée à une ville : comment saurions-nous que le modèle sert mal les résidents, avant qu’ils nous le disent?
Les données
Section intitulée « Les données »Les données proviennent de 311 Service Requests from 2020 to Present sur NYC Open Data, jeu de données erm2-nwe9. Il contient plus de 22 millions de demandes et grossit chaque jour. Le cours a pris un échantillon fixe d’une demande sur 20 : chaque demande dont unique_key est un multiple de 20, de janvier 2020 à janvier 2021. Il a conservé 7 colonnes, sans adresses, coordonnées géographiques ni descriptions.
La source change chaque jour : les organismes ferment d’anciennes demandes et corrigent des lignes. Un nouveau téléchargement peut différer légèrement. Le carnet utilise donc la copie fixe et vérifie sa somme de contrôle. Priya la charge :
raw = load("data/nyc311_2020.csv.gz")print(f"{len(raw):,} requests, {raw['month'].min()} to {raw['month'].max()}")columns = ["created_date", "closed_date", "agency", "complaint_type", "borough", "open_data_channel_type"]print(raw[columns].head(3).to_string(index=False))147,015 requests, 2020-01 to 2020-12 created_date closed_date agency complaint_type borough open_data_channel_type2020-01-01T00:00:00.000 2020-01-02T09:51:29.000 DOHMH Food Poisoning BRONX ONLINE2020-01-01T00:00:00.000 2020-01-02T00:00:01.000 DOHMH Food Poisoning QUEENS ONLINE2020-01-01T00:09:39.000 2020-01-06T17:06:32.000 HPD PLUMBING MANHATTAN PHONECe que cela nous apprend. Chaque ligne représente une demande. Le modèle peut utiliser seulement ce qui est connu à l’arrivée de la demande : le type de plainte (174 types en 2020), l’organisme (17), l’arrondissement, le canal, ainsi que l’heure et le jour de la semaine de created_date. closed_date appartient au futur : cette colonne sert à créer l’étiquette.
Premières vérifications
Section intitulée « Premières vérifications »Avant de construire quoi que ce soit à partir des dates, Priya les vérifie :
print("closed before it was created:", int((raw["days_to_close"] < 0).sum()))print("closed in the same second: ", int((raw["days_to_close"] == 0).sum()))print("still open (no closed date): ", int(raw["closed"].isna().sum()))print("no borough: ", int((raw["borough"] == "Unspecified").sum()))print("channels:", raw["channel"].value_counts().to_dict())closed before it was created: 1001closed in the same second: 4073still open (no closed date): 1768no borough: 2211channels: {'PHONE': 57507, 'ONLINE': 45267, 'MOBILE': 26918, 'UNKNOWN': 17298, 'OTHER': 25}Ce que cela nous apprend. 1 001 demandes sont fermées avant leur création. C’est impossible, donc prepare() les retire. Les 4 073 demandes fermées dans la même seconde ont souvent reçu une réponse immédiate, avec de l’information; elles restent. Les 1 768 demandes sans date de fermeture sont encore ouvertes, plus de cinq ans après. Elles n’ont pas été fermées en une semaine, donc leur étiquette est 0.
Définir le problème : une étiquette qui arrive tard
Section intitulée « Définir le problème : une étiquette qui arrive tard »Le modèle répond quand une demande arrive : sera-t-elle fermée en 7 jours? La vraie réponse vient plus tard. On la connaît à la fermeture de la demande ou 7 jours après son arrivée, selon ce qui arrive en premier. Après 7 jours, « pas en une semaine » est certain, peu importe la suite.
C’est une étiquette tardive, comme dans Étiquettes tardives, avec une différence : ici, chaque demande reçoit son étiquette, pas seulement un échantillon. prepare() ajoute l’étiquette et le moment où elle devient connue :
requests = prepare(raw)wait = (requests["label_known_at"] - requests["created"]).dt.total_seconds() / 86400print(f"{len(requests):,} requests kept")print(f"label known within 1 day: {(wait <= 1).mean():.1%}; median wait {wait.median():.2f} days; " f"waited the full 7 days: {(requests[TARGET] == 0).mean():.1%}")146,014 requests keptlabel known within 1 day: 56.8%; median wait 0.38 days; waited the full 7 days: 18.0%Ce que cela nous apprend. La plupart des étiquettes arrivent vite, car la plupart des demandes sont fermées rapidement. 18 % attendent la semaine entière : les demandes qui n’ont pas été fermées à temps. Retenez ceci : les étiquettes lentes appartiennent aux demandes difficiles.
Explorer ce dont le suivi a besoin
Section intitulée « Explorer ce dont le suivi a besoin »Priya n’examine pas chaque colonne. Elle pose une question utile au suivi : comment la répartition des types de plaintes évolue-t-elle, mois par mois?
- HEAT/HOT WATER (chauffage/eau chaude, saisonnier)
- Non-Emergency Police Matter (affaire policière non urgente)
- Illegal Fireworks (feux d'artifice illégaux)
- Damaged Tree (arbre endommagé)
Description textuelle du graphique
L’axe des x montre les mois de 2020. HEAT/HOT WATER, en pointillés, est à 13 % en janvier, descend sous 1 % de juin à septembre, puis remonte à 16 % en décembre. Non-Emergency Police Matter est sous 0,5 % en janvier et février, bondit à 15 % en avril et à 13,5 % en mai, puis repasse sous 1 % à partir d’août. Illegal Fireworks est près de 0, sauf en juin (9,4 %) et en juillet (5,7 %). Damaged Tree reste sous 2,5 % chaque mois, sauf en août, où il atteint 13,1 %.
Ce graphique contient trois types de changements :
- Une saison. Les plaintes de chauffage diminuent chaque été et reviennent en octobre. C’est normal, et cela arrive chaque année.
- Des événements. En avril et mai, les résidents ont signalé des rassemblements pendant le confinement, et « Non-Emergency Police Matter » a environ décuplé. Juin a apporté des feux d’artifice illégaux. Le 4 août, la tempête tropicale Isaias a fait tomber des arbres partout dans la ville. L’échantillon contient 758 demandes « Damaged Tree » pour cette seule journée.
- De nouveaux types de demandes. Certains types n’existaient pas en février :
before = set(requests.loc[requests["month"] <= "2020-02", "complaint_type"])new = requests[~requests["complaint_type"].isin(before)]print(new.groupby("complaint_type")["created"].agg(first="min", requests="size") .query("requests >= 20").sort_values("first").to_string()) first requestscomplaint_typeCOVID-19 Non-essential Construction 2020-04-02 08:42:57 321Illegal Animal Kept as Pet 2020-04-06 15:59:55 27Mosquitoes 2020-06-04 13:27:52 20NonCompliance with Phased Reopening 2020-06-08 10:31:05 2542Outdoor Dining 2020-07-01 18:35:50 197Standing Water 2020-07-22 00:00:00 37Real Time Enforcement 2020-09-29 09:08:47 59Private or Charter School Reopening 2020-10-13 11:04:13 51Mass Gathering Complaint 2020-10-19 22:03:21 108Le modèle rencontrera des types qu’il n’a jamais vus. Son encodeur ignore les types inconnus. Le modèle répond donc encore à partir de l’organisme, de l’arrondissement, du canal et du moment.
Une référence de base, des solutions de rechange et une comparaison équitable
Section intitulée « Une référence de base, des solutions de rechange et une comparaison équitable »Priya entraîne les modèles sur janvier 2020 et compare les candidats sur février 2020, un mois auquel elle fait confiance. Février devient aussi la référence de chaque vérification de dérive. Tous les candidats ont une même mesure : l’exactitude, la part des demandes dont la prédiction est correcte, avec son intervalle à 95 %.
train = requests[requests["month"] == "2020-01"]reference = requests[requests["month"] == "2020-02"]model = make_model().fit(train[FEATURES], train[TARGET])boosted = make_boosted().fit(train[FEATURES], train[TARGET])candidates = { "always 'within a week'": np.ones(len(reference), dtype=int), "lookup by complaint type": lookup_predict(train, reference), "logistic regression": score(model, reference)["prediction"].to_numpy(), "boosted trees": (boosted.predict_proba(reference[FEATURES])[:, 1] >= 0.5).astype(int),}print(f"February 2020, {len(reference):,} requests: accuracy [95% interval]")for name, prediction in candidates.items(): good = int((prediction == reference[TARGET].to_numpy()).sum()) low, high = wilson(good, len(reference)) print(f" {name:26s} {good / len(reference):.1%} [{low:.1%}, {high:.1%}]")February 2020, 8,558 requests: accuracy [95% interval] always 'within a week' 83.2% [82.4%, 84.0%] lookup by complaint type 88.4% [87.7%, 89.0%] logistic regression 88.9% [88.3%, 89.6%] boosted trees 88.8% [88.1%, 89.4%]Ce que cela nous apprend. La référence de base triviale atteint déjà 83,2 %, car la plupart des demandes sont fermées en une semaine. La table de correspondance dit « en une semaine » si la plupart des demandes du même type ont été fermées en une semaine en janvier. Elle ajoute 5 points : le type de plainte fait presque tout le travail. La régression logistique sur six entrées ajoute un demi-point, et les intervalles se chevauchent. Les arbres avec boosting (renforcement) n’ajoutent rien.
Priya conserve la régression logistique. Elle est aussi bonne que le meilleur modèle, petite et lisible. Elle peut aussi répondre pour un type jamais vu, là où la table de correspondance donne une seule estimation globale. Puis, avant tout suivi, Priya écrit l’objectif : l’exactitude d’un mois doit atteindre au moins 87 %, soit les 88,9 % de février moins 2 points. Un mois est sous l’objectif quand tout son intervalle est sous 87 %. Il est à surveiller quand seule son estimation ponctuelle est sous ce seuil.
Le suivi
Section intitulée « Le suivi »Quand chaque signal devient connu
Section intitulée « Quand chaque signal devient connu »Le suivi comporte quatre signaux. Ils arrivent à différents moments, et ce moment détermine ce que chacun permet de faire :
Description textuelle du diagramme
Pour les demandes d’août, la dérive des entrées et celle des prédictions sont connues à mesure que les demandes arrivent. À la fin du mois, l’estimation selon la répartition et les étiquettes précoces sont aussi connues. Toutes les étiquettes sont connues le 8 septembre. C’est seulement alors que l’exactitude est complète. En août, les signaux précoces pointaient dans la bonne direction. En septembre, non : seules les étiquettes complètes révélaient la baisse.
La dérive des entrées est le PSI du type de plainte, de l’organisme et du canal par rapport à février. La dérive des prédictions est la part prédite « en une semaine » (84,2 % en février). L’exactitude exige les étiquettes complètes.
Un nouveau signal : l’estimation selon la répartition
Section intitulée « Un nouveau signal : l’estimation selon la répartition »La dérive indique que la répartition a changé. Elle ne dit pas si ce changement nuit. Une étape peu coûteuse aide.
Imaginez une livreuse dont la journée devient plus difficile : plus d’escaliers, moins d’ascenseurs. Son gestionnaire peut estimer le temps supplémentaire selon la nouvelle répartition des escaliers et des ascenseurs, avant son retour. Il ne peut pas prévoir qu’un ascenseur est tombé en panne.
La même idée fonctionne pour le modèle. Prenez l’exactitude de février pour chaque type de plainte, puis pondérez-la selon la répartition de ce mois. C’est l’estimation selon la répartition : l’exactitude attendue si seule la répartition avait changé. Elle n’exige aucune étiquette.
Description textuelle du diagramme
Le modèle prédit correctement 95 % des demandes pour bruit et 60 % des demandes pour arbres. Avec 90 % pour bruit et 10 % pour arbres, l’exactitude attendue est de 91,5 %. Après une tempête, avec 60 % pour bruit et 40 % pour arbres, elle est de 81 %. L’estimation voit une répartition plus difficile. Elle ne peut pas voir un type qui commence à se comporter différemment.
Utilisez-la quand une entrée explique la plupart des erreurs du modèle, comme le type de plainte ici. Elle exige une table d’exactitude de février par type et une moyenne pondérée par mois.
Mois par mois
Section intitulée « Mois par mois »Prédisez. Quel mois aura la plus grande dérive des entrées? Aura-t-il aussi la plus faible exactitude?
reference_scored = score(model, reference)months = [f"2020-{m:02d}" for m in range(3, 13)]monthly = month_table(model, reference_scored, requests, months)print(monthly.drop(columns="requests").to_string()) psi_type psi_agency psi_channel predicted_in_week estimate_from_mix accuracy low high statusmonth2020-03 0.234 0.122 0.009 0.808 0.867 0.878 0.871 0.885 meets objective2020-04 1.339 0.330 0.138 0.855 0.881 0.894 0.887 0.900 meets objective2020-05 1.291 0.296 0.208 0.873 0.907 0.911 0.906 0.916 meets objective2020-06 1.821 0.387 0.210 0.853 0.905 0.895 0.890 0.900 meets objective2020-07 1.500 0.409 0.136 0.818 0.882 0.869 0.863 0.874 watch2020-08 1.454 0.651 0.140 0.720 0.830 0.839 0.833 0.844 below objective2020-09 1.022 0.357 0.263 0.827 0.889 0.861 0.855 0.867 below objective2020-10 0.684 0.360 0.210 0.831 0.890 0.869 0.864 0.875 watch2020-11 0.560 0.313 0.103 0.830 0.888 0.887 0.881 0.893 meets objective2020-12 0.559 0.332 0.086 0.833 0.891 0.880 0.874 0.886 meets objectiveLes deux graphiques montrent la première colonne et l’exactitude côte à côte :
Description textuelle du graphique
Un graphique à colonnes avec dix colonnes, de mars à décembre 2020. Mars 0,23, avril 1,34, mai 1,29, juin 1,82, juillet 1,50, août 1,45, septembre 1,02, octobre 0,68, novembre 0,56, décembre 0,56. Chaque colonne dépasse 0,2, la ligne indiquant un grand changement.
- Atteint l'objectif
- À surveiller : l'estimation ponctuelle sous 87 %
- Sous l'objectif : tout l'intervalle sous 87 %
Description textuelle du graphique
Dix lignes, une par mois, avec l’exactitude et son intervalle à 95 %, et une ligne pointillée à l’objectif de 87 %. Mars 87,8 %, avril 89,4 %, mai 91,1 % et juin 89,5 % sont à droite de la ligne. Juillet 86,9 % et octobre 86,9 % ont leur estimation ponctuelle juste à gauche de la ligne, et leur intervalle la traverse. Août 83,9 % (83,3 % à 84,4 %) et septembre 86,1 % (85,5 % à 86,7 %) sont entièrement à gauche de la ligne. Novembre 88,7 % et décembre 88,0 % sont à droite.
Ce que cela nous apprend. La dérive des entrées est grande chaque mois. Elle culmine en juin (1,82 : feux d’artifice et bruit), et l’exactitude de juin, 89,5 %, dépasse celle de février. Avril et mai ont un PSI supérieur à 1,2, et ce sont les meilleurs mois du modèle. Les demandes devenues plus fréquentes pendant le confinement étaient faciles. La dérive seule ne prouve pas que le modèle se trompe.
Le modèle était réellement moins bon en août (83,9 %) et en septembre (86,1 %). La dérive des prédictions a changé en août, passant de 84 % à 72 % « en une semaine », et presque pas en septembre. Tomás réentraînerait maintenant. Priya demande d’abord pourquoi.
Là où le modèle s’est vraiment trompé
Section intitulée « Là où le modèle s’est vraiment trompé »Ce que l’estimation a vu et ce qu’elle a manqué
Section intitulée « Ce que l’estimation a vu et ce qu’elle a manqué »Comparez l’estimation fondée sur la composition et les premières étiquettes à l’exactitude mesurée :
- Exactitude sur toutes les étiquettes
- Estimation fondée sur la composition
- Premières étiquettes, à la fin du mois
- Objectif de 87 %
Description textuelle du graphique
L’axe des x va de mars à décembre 2020. L’exactitude sur toutes les étiquettes est de 87,8 %, 89,4 %, 91,1 %, 89,5 %, 86,9 %, 83,9 %, 86,1 %, 86,9 %, 88,7 %, 88,0 %. L’estimation fondée sur la composition est de 86,7 %, 88,1 %, 90,7 %, 90,5 %, 88,2 %, 83,0 %, 88,9 %, 89,0 %, 88,8 %, 89,1 %. Les premières étiquettes donnent 88,2 %, 90,1 %, 92,4 %, 91,4 %, 88,3 %, 84,8 %, 88,0 %, 87,7 %, 89,8 %, 89,2 %. En août, les trois lignes passent sous la ligne pointillée à 87 %. En septembre, l’estimation et les premières étiquettes restent au-dessus; seule l’exactitude sur toutes les étiquettes est en dessous.
En août, l’estimation (83,0 %) a détecté la baisse à la fin du mois, une semaine avant les étiquettes. La composition avait changé en faveur de types déjà difficiles. En septembre, l’estimation donnait 88,9 %, contre 86,1 % en réalité. La composition n’explique pas cette baisse.
Les sous-groupes
Section intitulée « Les sous-groupes »La fonction wrong_by_type() du carnet (notebook) Jupyter liste les types de plaintes ayant le plus de prédictions erronées dans un mois :
for month in ["2020-08", "2020-09"]: print(month); print(wrong_by_type(month).to_string()); print()2020-08 requests wrong closed_in_week predicted_in_week february_closed_in_weekcomplaint_typeDamaged Tree 2279 772 0.33 0.03 0.55Dirty Conditions 222 178 0.20 1.00 0.91NonCompliance with Phased Reopening 473 175 0.63 1.00 NaNRequest Large Bulky Item Collection 1579 165 0.90 1.00 0.86UNSANITARY CONDITION 349 126 0.36 0.01 0.29
2020-09 requests wrong closed_in_week predicted_in_week february_closed_in_weekcomplaint_typeRequest Large Bulky Item Collection 1402 249 0.82 1.00 0.86NonCompliance with Phased Reopening 372 208 0.44 1.00 NaNSidewalk Condition 226 137 0.82 0.27 0.45UNSANITARY CONDITION 363 133 0.36 0.01 0.29Dirty Conditions 198 122 0.38 1.00 0.91Ce que cela nous apprend. Août présentait trois problèmes différents :
- Un sous-groupe difficile qui a grossi. La tempête a entraîné 2 279 demandes « Damaged Tree » (arbre endommagé), dont un tiers ont été fermées en une semaine. Le modèle prédisait « plus longtemps » pour presque toutes, ce qui est juste deux fois sur trois. Sans les arbres, l’exactitude d’août atteint 86,5 % : mieux, mais toujours sous l’objectif.
- Une relation qui a changé. Les demandes « Dirty Conditions » (conditions insalubres) étaient fermées en une semaine dans 91 % des cas en février, contre 20 % en août. Le modèle prédisait toujours « en une semaine ». C’est une dérive conceptuelle : la même demande, un résultat différent. Les données ne disent pas pourquoi l’organisme est devenu plus lent. Elles montrent seulement que l’ancienne relation ne tenait plus.
- Un type que le modèle n’avait jamais vu. « NonCompliance with Phased Reopening » (non-respect de la réouverture progressive) est apparu en juin. Le modèle prédisait « en une semaine » d’après l’organisme responsable. En septembre, seulement 44 % des demandes étaient fermées à temps.
Septembre présente surtout les deuxième et troisième problèmes. L’estimation fondée sur la composition ne peut pas les détecter, car elle suppose que chaque type se comporte comme en février. Seules les étiquettes le peuvent.
Erreur courante
Lire les étiquettes trop tôt
À la fin d’un mois, environ 93 % de ses étiquettes sont déjà connues. Il est tentant d’évaluer le mois à ce moment :
for month in ["2020-07", "2020-08", "2020-09", "2020-10"]: scored = score(model, requests[requests["month"] == month]) end = pd.Period(month, "M").end_time.ceil("D") # midnight after the last day early, full = accuracy(scored, as_of=end), accuracy(scored) print(f"{month}: labels known at month end {early['known'] / early['requests']:.1%}, " f"accuracy on them {early['accuracy']:.1%}; on all labels {full['accuracy']:.1%}")2020-07: labels known at month end 93.7%, accuracy on them 88.3%; on all labels 86.9%2020-08: labels known at month end 93.7%, accuracy on them 84.8%; on all labels 83.9%2020-09: labels known at month end 93.4%, accuracy on them 88.0%; on all labels 86.1%2020-10: labels known at month end 92.9%, accuracy on them 87.7%; on all labels 86.9%À la fin de septembre, les premières étiquettes donnent 88,0 %, au-dessus de l’objectif. Toutes les étiquettes donnent 86,1 %. Les premières étiquettes correspondent aux demandes fermées rapidement, et le modèle prédit plus souvent correctement ces demandes. Les premières étiquettes ne constituent pas un échantillon aléatoire du mois.
La solution : évaluez une fenêtre seulement quand toutes ses étiquettes peuvent être connues : ici, 7 jours après sa fin. Ou mesurez seulement les demandes assez anciennes. Jusque-là, le rapport de surveillance indique « labels incomplete » (étiquettes incomplètes).
Comparer les systèmes de surveillance et les politiques de réentraînement
Section intitulée « Comparer les systèmes de surveillance et les politiques de réentraînement »À quelle alarme se fier
Section intitulée « À quelle alarme se fier »Chaque signal peut déclencher une alarme. Les mois vraiment mauvais sont ceux sous l’objectif selon les étiquettes complètes : août et septembre. Le carnet compte les alarmes de chaque système de surveillance de mars à décembre :
| Système de surveillance | Moment où le signal est connu | Alarmes | Mauvais mois détectés | Fausses alertes |
|---|---|---|---|---|
| Dérive : PSI du type supérieur à 0,2 | fin du mois | 10 | 2 sur 2 | 8 |
| Estimation fondée sur la composition sous 87 % | fin du mois | 2 | 1 sur 2 (août) | 1 (mars) |
| Premières étiquettes sous 87 % | fin du mois | 1 | 1 sur 2 (août) | 0 |
| Étiquettes complètes sous l’objectif | 7 jours plus tard | 2 | 2 sur 2 | 0 |
L’alarme de dérive « détecte » les deux mauvais mois seulement parce qu’elle se déclenche chaque mois. Une personne qui reçoit dix alarmes pour deux problèmes cesse vite de les lire. Les étiquettes complètes ont toujours raison, mais arrivent une semaine plus tard. Cette semaine est le prix de la vérité.
Réentraîner en cas de dérive?
Section intitulée « Réentraîner en cas de dérive? »Dans le module 4, Tomás disait : « L’alerte de dérive s’est déclenchée : réentraînons automatiquement. » Ici, l’alarme se déclenche chaque mois, ce qui signifie un nouveau modèle chaque mois. Priya compare trois politiques avec une mesure : la proportion de prédictions correctes parmi toutes les demandes de mars à décembre. Un nouveau modèle peut commencer le 8 du mois, quand les étiquettes du mois précédent sont complètes. bad est l’ensemble des mois sous l’objectif :
for policy in ["keep", "every_month", "after_label_alarm"]: result = simulate_retraining(policy, model, requests, months, bad) under = [m for m, a in result["by_month"].items() if a < OBJECTIVE] print(f"{policy:18s} accuracy {result['overall']:.1%} new models {result['releases']:2d} months under 87%: {under}")keep accuracy 87.6% new models 0 months under 87%: ['2020-07', '2020-08', '2020-09', '2020-10']every_month accuracy 88.6% new models 10 months under 87%: ['2020-08']after_label_alarm accuracy 87.6% new models 2 months under 87%: ['2020-07', '2020-08', '2020-12']Ce que cela nous apprend. Ici, un nouveau modèle chaque mois fait 1,0 point de mieux, avec 10 nouveaux modèles. Tomás a raison : un modèle plus récent aide avec ces données. Mais l’alarme de dérive n’y est pour rien : elle se déclenche chaque mois. « Réentraîner en cas de dérive » revient donc à suivre un calendrier mensuel. Août reste un échec, car aucun modèle entraîné sur juillet ne connaît la tempête.
Réentraîner une seule fois sur le mois en échec aide en septembre et octobre, mais nuit en novembre et décembre. Un modèle entraîné sur un mois inhabituel apprend ce mois-là : un modèle de septembre ne connaît pas les plaintes de chauffage hivernales. Chaque nouveau modèle est une mise en production qui nécessite une vérification avant sa mise en service, comme dans Barrières d’évaluation. Cette étude de cas n’a pas simulé cette barrière.
La recommandation
Section intitulée « La recommandation »Priya l’écrit pour l’équipe, dans l’esprit de Réentraîner ou réviser :
- Agissez selon les étiquettes. Évaluez chaque mois 7 jours après sa fin, sur toutes ses étiquettes, selon l’objectif de 87 % fixé à l’avance. Agissez quand tout l’intervalle est sous cet objectif.
- Enquêtez à partir des signaux rapides. La dérive et l’estimation fondée sur la composition sont connues à la fin du mois. Si l’estimation passe sous l’objectif ou si la part d’un type bondit, examinez ce sous-groupe immédiatement. Une alarme de dérive ouvre une enquête, jamais un changement.
- N’évaluez jamais à partir des premières étiquettes. Le rapport indique « labels incomplete » jusqu’à ce que la fenêtre soit complète.
- Réentraînez selon un calendrier, avec une barrière. Le réentraînement mensuel a gagné 1,0 point ici. Chaque nouveau modèle doit réussir une évaluation sur le dernier mois complet avant de remplacer l’ancien.
- Corrigez les causes, pas seulement les modèles. La tempête était un événement : informez les résidents que les demandes concernant les arbres prennent plus de temps cette semaine-là. Les fermetures plus lentes de « Dirty Conditions » relèvent de l’organisme, pas du modèle.
- Renouvelez la référence. En 2021, l’alarme de dérive indique encore « large change » (changement important) par rapport à février 2020. Choisissez un nouveau mois de référence dont vous avez vérifié les étiquettes.
La surveillance de nouvelles entrées, de bout en bout
Section intitulée « La surveillance de nouvelles entrées, de bout en bout »Janvier 2021 constitue de nouvelles entrées : rien jusqu’ici ne l’a utilisé. Le 8 février 2021, toutes les étiquettes de janvier peuvent être connues. Priya produit le rapport de surveillance tel qu’il apparaîtrait ce jour-là :
january = prepare(load("data/nyc311_2021-01.csv.gz"))print_report(month_report(model, reference_scored, january, "2021-02-08"), "2021-02-08")Monthly report, read on 2021-02-08: 11,380 requestsInput drift against the reference month: input psi p_value verdictcomplaint_type 0.466 3.7e-210 large change agency 0.289 1.9e-171 large change channel 0.145 7.7e-147 small change borough 0.024 9.4e-24 no real change hour 0.012 5.9e-05 no real changePrediction drift: predicted 'within a week' 84.0% (reference 84.2%)Accuracy expected from the mix (no labels needed): 89.2%Labels known: 100.0%; accuracy on them: 89.1% [88.5%, 89.7%]Status: meets objective (objective 87%)Le même rapport une semaine plus tôt, le 1 février, indique « labels incomplete ». On connaît 91,2 % des étiquettes, et elles donnent 90,8 % : encore trop élevé.
Ce que cela nous apprend. Un an après le mois de référence, la dérive reste importante, et le modèle atteint son objectif. Les valeurs p sont minuscules partout, même pour l’heure, où rien n’a réellement changé. Avec des milliers de demandes, chaque petite différence est « certaine ». Lisez le PSI pour l’ampleur et la valeur p pour la certitude, comme dans Dérive des données et dérive conceptuelle.
Enseignements et limites
Section intitulée « Enseignements et limites »- La dérive oriente; les étiquettes décident. La dérive était importante chaque mois, et le modèle a échoué dans deux mois. En août, un sous-groupe difficile a grossi, et la composition l’a montré. En septembre, une relation a changé et un nouveau type est apparu; seules les étiquettes l’ont montré, une semaine plus tard.
- Limites. Une ville, une année, une cible et un modèle. Le délai de fermeture n’est pas la qualité : un organisme peut fermer une demande sans régler le problème. L’échantillon contient une demande sur 20; les petits types ont donc de larges intervalles. L’objectif de 87 % est une hypothèse. Dans l’histoire, Priya le fixe avant de regarder. Le cours l’a choisi après un premier examen de l’année complète : considérez-le donc comme un choix pédagogique. Avec 86 %, seul août est sous l’objectif. La barrière avant un nouveau modèle n’a pas été simulée.
Utilisation responsable
Section intitulée « Utilisation responsable »- Les données concernent les résidents et leurs quartiers. L’échantillon ne contient ni adresses, ni coordonnées, ni texte libre, et la méthode n’en a pas besoin. Ne le joignez pas au jeu de données complet pour étudier un ménage.
- Le nombre de signalements ne reflète pas les besoins. Les gens de certains quartiers signalent plus de problèmes que d’autres. Un modèle peut apprendre que « les demandes d’ici se ferment lentement ». Il transforme alors un service lent en une promesse moins avantageuse pour les mêmes personnes. Vérifiez les erreurs par arrondissement avant de présenter une promesse aux résidents.
- « Fermé » ne signifie pas « réglé ». N’utilisez pas ce modèle pour évaluer le travail d’un organisme.
- Indiquez ce qui est construit. L’équipe, le modèle et la page de confirmation sont construits à des fins pédagogiques. NYC 311 ne les utilise pas.
En faire un projet de portfolio
Section intitulée « En faire un projet de portfolio »Cette étude de cas montre à un employeur que vous pouvez exploiter un modèle après son lancement. Vous savez distinguer la dérive de l’échec, attendre la vérité et transformer les alarmes en décisions. Appropriez-vous ce projet avec un changement. Prenez d’autres mois (2021 à 2022, avec une nouvelle référence), une autre cible (« fermé en 3 jours ») ou les données 311 d’une autre ville. Vérifiez d’abord la licence de cette ville.
Quoi mettre dans le dépôt :
README.md(modèle ci-dessous).- Le carnet, exécuté du début à la fin, avec ses sorties et ses graphiques.
MONITORING.md: l’objectif, le mois de référence, chaque signal et le moment où il est connu, et qui agit sur chaque alarme.- La source des données, les conditions et la somme de contrôle de votre copie. La NYC Open Data Law exige la source, la version et vos modifications.
Un modèle de README :
# Monitoring a 311 "closed within a week" model through 2020
## QuestionHow would we know that a model trained before 2020 is failing residents,and which signals can we trust, and when?
## Data and termsNYC 311 Service Requests (NYC Open Data, erm2-nwe9), 1-in-20 sample,Jan 2020 - Jan 2021, 7 columns, no addresses. NYC Open Data Law:no restrictions on use; source, version and changes stated.
## ApproachLogistic regression on 6 inputs known on arrival; trained Jan 2020,chosen on Feb 2020 (88.9%, lookup table 88.4%). Objective 87% per month,written in advance. Monthly monitor: PSI (complaint type, agency, channel),prediction drift, estimate from the mix, accuracy on complete labels(Wilson interval). Alarm and retraining policies compared Mar-Dec 2020.
## ResultsPSI of the type > 0.2 in all 10 months; accuracy below objective in 2:Aug 83.9% (storm: a hard slice grew; the mix estimate saw it) andSep 86.1% (changed closure times, a new type; only labels saw it).Early labels were optimistic (Sep: 88.0%). Monthly retraining +1.0 point.
## LimitsOne city and year; closure time is not quality; gate not simulated.Comment le décrire en entrevue, en deux phrases : « J’ai surveillé un modèle 311 pendant l’année 2020. La dérive des entrées était importante chaque mois, mais le modèle n’a manqué son objectif que deux fois. Une tempête expliquait août; un changement des délais de fermeture, visible seulement dans les étiquettes tardives, expliquait septembre. »
Pour aller plus loin :
- Utilisez une fenêtre glissante comme référence (les trois derniers mois complets), et comptez les alarmes de dérive qui restent.
- Ajoutez la barrière. Entraînez un modèle candidat sur les trois premières semaines d’un mois, puis comparez-le au modèle actuel sur la dernière semaine. Remplacez le modèle seulement si le gain est clair.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
En avril et mai 2020, le PSI du type de plainte dépassait 1,2, bien au-dessus de 0,2. Le modèle se trompait-il ces mois-là, et qu'est-ce que cela enseigne sur les alarmes de dérive?
Afficher la réponse
Non. Avril (89,4 %) et mai (91,1 %) étaient les meilleurs mois du modèle, meilleurs que février à 88,9 %. Les demandes liées au confinement qui ont augmenté, comme les signalements de foules, étaient faciles à prédire. La dérive indique que les entrées ont changé, pas que les prédictions se sont dégradées. Ici, l’alarme de dérive s’est déclenchée pendant les dix mois, dont seulement deux étaient mauvais. Une alarme de dérive devrait donc ouvrir une enquête sur le sous-groupe qui a changé. Elle ne devrait pas alerter une personne de garde ni déclencher un changement.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
L'estimation fondée sur la composition a averti pour août, mais pas pour septembre. Expliquez les deux cas.
Afficher la réponse
L’estimation pondère l’exactitude de février pour chaque type de plainte selon la composition du mois. En août, la tempête a porté « Damaged Tree » à 13 % des demandes, un type déjà difficile pour le modèle. L’estimation est donc tombée à 83,0 %, près de l’exactitude réelle de 83,9 %. En septembre, la baisse venait de types dont le comportement avait changé et d’un nouveau type. Les demandes « Dirty Conditions » se fermaient beaucoup plus lentement. L’estimation suppose que chaque type se comporte comme en février; elle donnait donc 88,9 %. Seules les étiquettes complètes ont montré 86,1 %.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
À la fin de septembre, 93 % des étiquettes du mois sont connues et donnent 88,0 %, au-dessus de l'objectif de 87 %. Pourquoi le rapport indique-t-il encore « labels incomplete », et quel était le résultat réel?
Afficher la réponse
Les premières étiquettes correspondent aux demandes fermées rapidement, et le modèle prédit plus souvent correctement ces demandes. L’exactitude précoce est donc trop élevée : ce n’est pas un échantillon aléatoire du mois. Les étiquettes de septembre sont complètes 7 jours après la fin du mois. L’exactitude est alors de 86,1 % [85,5 %, 86,7 %], sous l’objectif. Évaluez une fenêtre seulement quand toutes ses étiquettes peuvent être connues.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Vous avez entraîné un petit modèle sur janvier 2020 et l’avez choisi sur février, avec un objectif fixé avant toute surveillance.
- Vous avez construit une surveillance mensuelle avec quatre signaux : dérive des entrées, dérive des prédictions, estimation fondée sur la composition et exactitude sur les étiquettes complètes. Chacun a son propre moment.
- La dérive des entrées était importante pendant les dix mois, et le modèle était sous l’objectif dans deux mois. En août, un sous-groupe difficile a grossi. En septembre, une relation a changé, ce que seules les étiquettes pouvaient montrer.
- Les premières étiquettes étaient optimistes. Évaluez une fenêtre quand toutes ses étiquettes peuvent être connues.
- Le réentraînement mensuel a aidé un peu, selon un calendrier avec une barrière, pas en réaction à la dérive. Une alarme de dérive ouvre une enquête, jamais un changement.
Ensuite, l’autre étude de cas : une panne documentée publiquement, reconstruite selon le format d’analyse post-incident du cours.
Leçon suivante : Analyse post-incident d'une panne publique