Aller au contenu
English

Surveiller un modèle sur des données publiques qui changent

  • Étude de cas 1
  • 120 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Cette étude de cas applique la dérive et les étiquettes tardives du module 4 à de vraies données publiques : les demandes au service 311 de New York en 2020. Vous suivez un petit modèle mois par mois, pendant un confinement, une tempête et de nouveaux types de plaintes, et vous découvrez quand la dérive avait un effet et quand elle n'en avait pas.

Ce que vous saurez faire

Surveillez un modèle pendant que le monde autour de lui change réellement. Vous entraînerez un petit modèle sur les demandes au service 311 de New York du début de 2020. Puis vous le suivrez mois par mois, pendant un confinement, une tempête et l’arrivée de nouveaux types de plaintes. Vous découvrirez quand la dérive avait un effet, quand elle n’en avait pas et ce que seules les étiquettes tardives révélaient.

Étude de casPièce de portfolio

Durée
Environ 2 h
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Étiquettes tardives
  • Dérive des entrées et des prédictions (PSI)
  • Estimation selon la répartition
  • Exactitude avec intervalles
  • Erreurs par sous-groupe
  • Politiques d'alerte
  • Politiques de réentraînement
  • Rapport de suivi mensuel

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Cette étude de cas prend la forme d’un carnet (notebook) Jupyter. Le travail consiste à analyser : entraîner, calculer les scores, compter et comparer, mois par mois. Le carnet exécute chaque étape de cette page, avec le même code et les mêmes sorties, plus quatre tâches avec vérifications. Il installe pandas et scikit-learn et télécharge 2,2 Mo de données. Il s’exécute en environ une minute sur le processeur d’un portable, sans compte, sans clé et sans Docker.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 120 minutes

Ce que vous devez savoir

Cette étude de cas utilise tout le cours. Ces leçons sont les plus importantes :

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet n’en a pas besoin)

  • Un dossier avec un environnement virtuel contenant pandas 3.0.6, scikit-learn 1.9.1 et matplotlib 3.11.2. Le projet ticket-api n’est pas utilisé.
  • Le carnet, téléchargé depuis le lien ci-dessus, dans VS Code ou JupyterLab. Sa cellule de configuration crée un dossier monitor-311 et y télécharge les données. Pour recommencer, supprimez ce dossier.

Testé sur macOS (Apple silicon) avec Python 3.12.13, pandas 3.0.6 et scikit-learn 1.9.1, dans Jupyter après un démarrage neuf. Windows et Linux n’ont pas été testés.

Priya a observé la dérive dans les essais de Larkfield, où le cours provoquait chaque changement volontairement. Elle veut maintenant voir un suivi confronté à un changement que personne n’a prévu. Les données ouvertes d’une ville en offrent un : les demandes au service 311 de New York en 2020.

Le 311 est la ligne municipale pour les problèmes non urgents : bruit, absence de chauffage, lampadaire brisé, arbre endommagé. Une personne appelle, écrit en ligne ou utilise l’application. La Ville transmet la demande à un organisme, qui la ferme après être intervenu.

Priya imagine un petit modèle utile pour un tel service. Quand une demande arrive, la page de confirmation dit « la plupart des demandes comme la vôtre sont fermées en une semaine ». Ou elle dit « ce type de demande prend souvent plus de temps ». Les deux erreurs ont un coût. Un « en une semaine » erroné est une promesse non tenue, et la personne rappelle. Un « plus de temps » erroné réduit les attentes des gens ou les pousse à abandonner.

L’équipe, le modèle et la page de confirmation sont construits pour cette étude de cas. NYC 311 ne les utilise pas. Les demandes, les dates et les changements sont réels.

Vous construirez une régression logistique qui prédit « fermée en 7 jours » à partir des renseignements connus à l’arrivée. Vous l’entraînez sur janvier 2020 et la vérifiez sur février. Puis vous construisez son suivi avec les méthodes du cours : dérive des entrées, dérive des prédictions, étiquettes tardives et exactitude avec intervalle. Vous exécutez le suivi pour chaque mois, de mars à décembre 2020. À la fin, vous produisez son rapport pour un mois qu’il n’a jamais vu : janvier 2021.

La question est celle du cours, appliquée à une ville : comment saurions-nous que le modèle sert mal les résidents, avant qu’ils nous le disent?

Les données proviennent de 311 Service Requests from 2020 to Present sur NYC Open Data, jeu de données erm2-nwe9. Il contient plus de 22 millions de demandes et grossit chaque jour. Le cours a pris un échantillon fixe d’une demande sur 20 : chaque demande dont unique_key est un multiple de 20, de janvier 2020 à janvier 2021. Il a conservé 7 colonnes, sans adresses, coordonnées géographiques ni descriptions.

La source change chaque jour : les organismes ferment d’anciennes demandes et corrigent des lignes. Un nouveau téléchargement peut différer légèrement. Le carnet utilise donc la copie fixe et vérifie sa somme de contrôle. Priya la charge :

raw = load("data/nyc311_2020.csv.gz")
print(f"{len(raw):,} requests, {raw['month'].min()} to {raw['month'].max()}")
columns = ["created_date", "closed_date", "agency", "complaint_type", "borough", "open_data_channel_type"]
print(raw[columns].head(3).to_string(index=False))
147,015 requests, 2020-01 to 2020-12
created_date closed_date agency complaint_type borough open_data_channel_type
2020-01-01T00:00:00.000 2020-01-02T09:51:29.000 DOHMH Food Poisoning BRONX ONLINE
2020-01-01T00:00:00.000 2020-01-02T00:00:01.000 DOHMH Food Poisoning QUEENS ONLINE
2020-01-01T00:09:39.000 2020-01-06T17:06:32.000 HPD PLUMBING MANHATTAN PHONE

Ce que cela nous apprend. Chaque ligne représente une demande. Le modèle peut utiliser seulement ce qui est connu à l’arrivée de la demande : le type de plainte (174 types en 2020), l’organisme (17), l’arrondissement, le canal, ainsi que l’heure et le jour de la semaine de created_date. closed_date appartient au futur : cette colonne sert à créer l’étiquette.

Avant de construire quoi que ce soit à partir des dates, Priya les vérifie :

print("closed before it was created:", int((raw["days_to_close"] < 0).sum()))
print("closed in the same second: ", int((raw["days_to_close"] == 0).sum()))
print("still open (no closed date): ", int(raw["closed"].isna().sum()))
print("no borough: ", int((raw["borough"] == "Unspecified").sum()))
print("channels:", raw["channel"].value_counts().to_dict())
closed before it was created: 1001
closed in the same second: 4073
still open (no closed date): 1768
no borough: 2211
channels: {'PHONE': 57507, 'ONLINE': 45267, 'MOBILE': 26918, 'UNKNOWN': 17298, 'OTHER': 25}

Ce que cela nous apprend. 1 001 demandes sont fermées avant leur création. C’est impossible, donc prepare() les retire. Les 4 073 demandes fermées dans la même seconde ont souvent reçu une réponse immédiate, avec de l’information; elles restent. Les 1 768 demandes sans date de fermeture sont encore ouvertes, plus de cinq ans après. Elles n’ont pas été fermées en une semaine, donc leur étiquette est 0.

Définir le problème : une étiquette qui arrive tard

Section intitulée « Définir le problème : une étiquette qui arrive tard »

Le modèle répond quand une demande arrive : sera-t-elle fermée en 7 jours? La vraie réponse vient plus tard. On la connaît à la fermeture de la demande ou 7 jours après son arrivée, selon ce qui arrive en premier. Après 7 jours, « pas en une semaine » est certain, peu importe la suite.

C’est une étiquette tardive, comme dans Étiquettes tardives, avec une différence : ici, chaque demande reçoit son étiquette, pas seulement un échantillon. prepare() ajoute l’étiquette et le moment où elle devient connue :

requests = prepare(raw)
wait = (requests["label_known_at"] - requests["created"]).dt.total_seconds() / 86400
print(f"{len(requests):,} requests kept")
print(f"label known within 1 day: {(wait <= 1).mean():.1%}; median wait {wait.median():.2f} days; "
f"waited the full 7 days: {(requests[TARGET] == 0).mean():.1%}")
146,014 requests kept
label known within 1 day: 56.8%; median wait 0.38 days; waited the full 7 days: 18.0%

Ce que cela nous apprend. La plupart des étiquettes arrivent vite, car la plupart des demandes sont fermées rapidement. 18 % attendent la semaine entière : les demandes qui n’ont pas été fermées à temps. Retenez ceci : les étiquettes lentes appartiennent aux demandes difficiles.

Priya n’examine pas chaque colonne. Elle pose une question utile au suivi : comment la répartition des types de plaintes évolue-t-elle, mois par mois?

  • HEAT/HOT WATER (chauffage/eau chaude, saisonnier)
  • Non-Emergency Police Matter (affaire policière non urgente)
  • Illegal Fireworks (feux d'artifice illégaux)
  • Damaged Tree (arbre endommagé)
La part de quatre types de plaintes pour chaque mois de 2020, selon l'échantillon d'une demande sur 20. Les plaintes de chauffage diminuent chaque été. Les trois autres sont des changements propres à 2020 : rassemblements signalés pendant le confinement, feux d'artifice en juin et tempête tropicale Isaias en août.
Description textuelle du graphique

L’axe des x montre les mois de 2020. HEAT/HOT WATER, en pointillés, est à 13 % en janvier, descend sous 1 % de juin à septembre, puis remonte à 16 % en décembre. Non-Emergency Police Matter est sous 0,5 % en janvier et février, bondit à 15 % en avril et à 13,5 % en mai, puis repasse sous 1 % à partir d’août. Illegal Fireworks est près de 0, sauf en juin (9,4 %) et en juillet (5,7 %). Damaged Tree reste sous 2,5 % chaque mois, sauf en août, où il atteint 13,1 %.

Ce graphique contient trois types de changements :

  • Une saison. Les plaintes de chauffage diminuent chaque été et reviennent en octobre. C’est normal, et cela arrive chaque année.
  • Des événements. En avril et mai, les résidents ont signalé des rassemblements pendant le confinement, et « Non-Emergency Police Matter » a environ décuplé. Juin a apporté des feux d’artifice illégaux. Le 4 août, la tempête tropicale Isaias a fait tomber des arbres partout dans la ville. L’échantillon contient 758 demandes « Damaged Tree » pour cette seule journée.
  • De nouveaux types de demandes. Certains types n’existaient pas en février :
before = set(requests.loc[requests["month"] <= "2020-02", "complaint_type"])
new = requests[~requests["complaint_type"].isin(before)]
print(new.groupby("complaint_type")["created"].agg(first="min", requests="size")
.query("requests >= 20").sort_values("first").to_string())
first requests
complaint_type
COVID-19 Non-essential Construction 2020-04-02 08:42:57 321
Illegal Animal Kept as Pet 2020-04-06 15:59:55 27
Mosquitoes 2020-06-04 13:27:52 20
NonCompliance with Phased Reopening 2020-06-08 10:31:05 2542
Outdoor Dining 2020-07-01 18:35:50 197
Standing Water 2020-07-22 00:00:00 37
Real Time Enforcement 2020-09-29 09:08:47 59
Private or Charter School Reopening 2020-10-13 11:04:13 51
Mass Gathering Complaint 2020-10-19 22:03:21 108

Le modèle rencontrera des types qu’il n’a jamais vus. Son encodeur ignore les types inconnus. Le modèle répond donc encore à partir de l’organisme, de l’arrondissement, du canal et du moment.

Une référence de base, des solutions de rechange et une comparaison équitable

Section intitulée « Une référence de base, des solutions de rechange et une comparaison équitable »

Priya entraîne les modèles sur janvier 2020 et compare les candidats sur février 2020, un mois auquel elle fait confiance. Février devient aussi la référence de chaque vérification de dérive. Tous les candidats ont une même mesure : l’exactitude, la part des demandes dont la prédiction est correcte, avec son intervalle à 95 %.

train = requests[requests["month"] == "2020-01"]
reference = requests[requests["month"] == "2020-02"]
model = make_model().fit(train[FEATURES], train[TARGET])
boosted = make_boosted().fit(train[FEATURES], train[TARGET])
candidates = {
"always 'within a week'": np.ones(len(reference), dtype=int),
"lookup by complaint type": lookup_predict(train, reference),
"logistic regression": score(model, reference)["prediction"].to_numpy(),
"boosted trees": (boosted.predict_proba(reference[FEATURES])[:, 1] >= 0.5).astype(int),
}
print(f"February 2020, {len(reference):,} requests: accuracy [95% interval]")
for name, prediction in candidates.items():
good = int((prediction == reference[TARGET].to_numpy()).sum())
low, high = wilson(good, len(reference))
print(f" {name:26s} {good / len(reference):.1%} [{low:.1%}, {high:.1%}]")
February 2020, 8,558 requests: accuracy [95% interval]
always 'within a week' 83.2% [82.4%, 84.0%]
lookup by complaint type 88.4% [87.7%, 89.0%]
logistic regression 88.9% [88.3%, 89.6%]
boosted trees 88.8% [88.1%, 89.4%]

Ce que cela nous apprend. La référence de base triviale atteint déjà 83,2 %, car la plupart des demandes sont fermées en une semaine. La table de correspondance dit « en une semaine » si la plupart des demandes du même type ont été fermées en une semaine en janvier. Elle ajoute 5 points : le type de plainte fait presque tout le travail. La régression logistique sur six entrées ajoute un demi-point, et les intervalles se chevauchent. Les arbres avec boosting (renforcement) n’ajoutent rien.

Priya conserve la régression logistique. Elle est aussi bonne que le meilleur modèle, petite et lisible. Elle peut aussi répondre pour un type jamais vu, là où la table de correspondance donne une seule estimation globale. Puis, avant tout suivi, Priya écrit l’objectif : l’exactitude d’un mois doit atteindre au moins 87 %, soit les 88,9 % de février moins 2 points. Un mois est sous l’objectif quand tout son intervalle est sous 87 %. Il est à surveiller quand seule son estimation ponctuelle est sous ce seuil.

Le suivi comporte quatre signaux. Ils arrivent à différents moments, et ce moment détermine ce que chacun permet de faire :

Une chronologie des demandes d'août 2020 en quatre étapes : du 1er au 31 août, les demandes arrivent et le modèle prédit immédiatement; le 31 août, le mois se termine; du 1er au 7 septembre, les dernières étiquettes arrivent; le 8 septembre, toutes les étiquettes sont connues. Connu immédiatement : la dérive des entrées, avec un PSI du type de plainte de 1,45, un grand changement; et la dérive des prédictions, avec 72 % « en une semaine » contre 84 % en février. Connu à la fin du mois : l'estimation selon la répartition, 83,0 %, sous l'objectif de 87 %; et les étiquettes précoces, connues à 94 %, avec une exactitude de 84,8 % sur celles-ci. Une note en pointillés : les premières étiquettes sont celles des demandes fermées rapidement, donc l'exactitude précoce est trop élevée. Connu 7 jours plus tard, dans un encadré épais : toutes les étiquettes, exactitude de 83,9 %, intervalle de 83,3 % à 84,4 %, sous l'objectif. Un dernier encadré : en septembre, la dérive était grande, l'estimation indiquait 88,9 % et les étiquettes précoces 88,0 %; seules toutes les étiquettes révélaient 86,1 %, sous l'objectif.
Août 2020 : ce que le suivi sait, et quand. Les signaux rapides indiquent où regarder. Seules les étiquettes complètes, une semaine après la fin du mois, mesurent les erreurs.
Description textuelle du diagramme

Pour les demandes d’août, la dérive des entrées et celle des prédictions sont connues à mesure que les demandes arrivent. À la fin du mois, l’estimation selon la répartition et les étiquettes précoces sont aussi connues. Toutes les étiquettes sont connues le 8 septembre. C’est seulement alors que l’exactitude est complète. En août, les signaux précoces pointaient dans la bonne direction. En septembre, non : seules les étiquettes complètes révélaient la baisse.

La dérive des entrées est le PSI du type de plainte, de l’organisme et du canal par rapport à février. La dérive des prédictions est la part prédite « en une semaine » (84,2 % en février). L’exactitude exige les étiquettes complètes.

Un nouveau signal : l’estimation selon la répartition

Section intitulée « Un nouveau signal : l’estimation selon la répartition »

La dérive indique que la répartition a changé. Elle ne dit pas si ce changement nuit. Une étape peu coûteuse aide.

Imaginez une livreuse dont la journée devient plus difficile : plus d’escaliers, moins d’ascenseurs. Son gestionnaire peut estimer le temps supplémentaire selon la nouvelle répartition des escaliers et des ascenseurs, avant son retour. Il ne peut pas prévoir qu’un ascenseur est tombé en panne.

La même idée fonctionne pour le modèle. Prenez l’exactitude de février pour chaque type de plainte, puis pondérez-la selon la répartition de ce mois. C’est l’estimation selon la répartition : l’exactitude attendue si seule la répartition avait changé. Elle n’exige aucune étiquette.

Un exemple construit avec deux rangées de barres proportionnelles. Le modèle prédit correctement 95 % des demandes pour bruit et 60 % des demandes pour arbres. Février : 90 % pour bruit et 10 % pour arbres, exactitude attendue de 0,9 fois 95 % plus 0,1 fois 60 %, soit 91,5 %. Après une tempête : 60 % pour bruit et 40 % pour arbres, exactitude attendue de 0,6 fois 95 % plus 0,4 fois 60 %, soit 81 %. Une note : l'estimation n'exige aucune étiquette, donc elle est connue à l'arrivée des demandes; elle voit une répartition plus difficile, mais ne peut pas voir un changement de comportement de chaque type.
L'estimation selon la répartition dans un exemple construit : le même modèle, une répartition plus difficile, une exactitude attendue plus basse, avant l'arrivée de toute étiquette.
Description textuelle du diagramme

Le modèle prédit correctement 95 % des demandes pour bruit et 60 % des demandes pour arbres. Avec 90 % pour bruit et 10 % pour arbres, l’exactitude attendue est de 91,5 %. Après une tempête, avec 60 % pour bruit et 40 % pour arbres, elle est de 81 %. L’estimation voit une répartition plus difficile. Elle ne peut pas voir un type qui commence à se comporter différemment.

Utilisez-la quand une entrée explique la plupart des erreurs du modèle, comme le type de plainte ici. Elle exige une table d’exactitude de février par type et une moyenne pondérée par mois.

Prédisez. Quel mois aura la plus grande dérive des entrées? Aura-t-il aussi la plus faible exactitude?

reference_scored = score(model, reference)
months = [f"2020-{m:02d}" for m in range(3, 13)]
monthly = month_table(model, reference_scored, requests, months)
print(monthly.drop(columns="requests").to_string())
psi_type psi_agency psi_channel predicted_in_week estimate_from_mix accuracy low high status
month
2020-03 0.234 0.122 0.009 0.808 0.867 0.878 0.871 0.885 meets objective
2020-04 1.339 0.330 0.138 0.855 0.881 0.894 0.887 0.900 meets objective
2020-05 1.291 0.296 0.208 0.873 0.907 0.911 0.906 0.916 meets objective
2020-06 1.821 0.387 0.210 0.853 0.905 0.895 0.890 0.900 meets objective
2020-07 1.500 0.409 0.136 0.818 0.882 0.869 0.863 0.874 watch
2020-08 1.454 0.651 0.140 0.720 0.830 0.839 0.833 0.844 below objective
2020-09 1.022 0.357 0.263 0.827 0.889 0.861 0.855 0.867 below objective
2020-10 0.684 0.360 0.210 0.831 0.890 0.869 0.864 0.875 watch
2020-11 0.560 0.313 0.103 0.830 0.888 0.887 0.881 0.893 meets objective
2020-12 0.559 0.332 0.086 0.833 0.891 0.880 0.874 0.886 meets objective

Les deux graphiques montrent la première colonne et l’exactitude côte à côte :

Dérive des entrées du type de plainte chaque mois, par rapport à février 2020. Chaque mois dépasse 0,2, la règle pratique pour un grand changement.
Description textuelle du graphique

Un graphique à colonnes avec dix colonnes, de mars à décembre 2020. Mars 0,23, avril 1,34, mai 1,29, juin 1,82, juillet 1,50, août 1,45, septembre 1,02, octobre 0,68, novembre 0,56, décembre 0,56. Chaque colonne dépasse 0,2, la ligne indiquant un grand changement.

  • Atteint l'objectif
  • À surveiller : l'estimation ponctuelle sous 87 %
  • Sous l'objectif : tout l'intervalle sous 87 %
L'exactitude de chaque mois sur toutes ses étiquettes, avec son intervalle à 95 % et le nombre de demandes. Seuls août et septembre sont sous l'objectif de 87 %.
Description textuelle du graphique

Dix lignes, une par mois, avec l’exactitude et son intervalle à 95 %, et une ligne pointillée à l’objectif de 87 %. Mars 87,8 %, avril 89,4 %, mai 91,1 % et juin 89,5 % sont à droite de la ligne. Juillet 86,9 % et octobre 86,9 % ont leur estimation ponctuelle juste à gauche de la ligne, et leur intervalle la traverse. Août 83,9 % (83,3 % à 84,4 %) et septembre 86,1 % (85,5 % à 86,7 %) sont entièrement à gauche de la ligne. Novembre 88,7 % et décembre 88,0 % sont à droite.

Ce que cela nous apprend. La dérive des entrées est grande chaque mois. Elle culmine en juin (1,82 : feux d’artifice et bruit), et l’exactitude de juin, 89,5 %, dépasse celle de février. Avril et mai ont un PSI supérieur à 1,2, et ce sont les meilleurs mois du modèle. Les demandes devenues plus fréquentes pendant le confinement étaient faciles. La dérive seule ne prouve pas que le modèle se trompe.

Le modèle était réellement moins bon en août (83,9 %) et en septembre (86,1 %). La dérive des prédictions a changé en août, passant de 84 % à 72 % « en une semaine », et presque pas en septembre. Tomás réentraînerait maintenant. Priya demande d’abord pourquoi.

Comparez l’estimation fondée sur la composition et les premières étiquettes à l’exactitude mesurée :

  • Exactitude sur toutes les étiquettes
  • Estimation fondée sur la composition
  • Premières étiquettes, à la fin du mois
  • Objectif de 87 %
Trois façons de lire l'exactitude d'un mois. L'estimation fondée sur la composition et les premières étiquettes sont connues à la fin du mois; l'exactitude sur toutes les étiquettes, une semaine plus tard. En août, les trois passent sous l'objectif. En septembre, seules les étiquettes complètes le font.
Description textuelle du graphique

L’axe des x va de mars à décembre 2020. L’exactitude sur toutes les étiquettes est de 87,8 %, 89,4 %, 91,1 %, 89,5 %, 86,9 %, 83,9 %, 86,1 %, 86,9 %, 88,7 %, 88,0 %. L’estimation fondée sur la composition est de 86,7 %, 88,1 %, 90,7 %, 90,5 %, 88,2 %, 83,0 %, 88,9 %, 89,0 %, 88,8 %, 89,1 %. Les premières étiquettes donnent 88,2 %, 90,1 %, 92,4 %, 91,4 %, 88,3 %, 84,8 %, 88,0 %, 87,7 %, 89,8 %, 89,2 %. En août, les trois lignes passent sous la ligne pointillée à 87 %. En septembre, l’estimation et les premières étiquettes restent au-dessus; seule l’exactitude sur toutes les étiquettes est en dessous.

En août, l’estimation (83,0 %) a détecté la baisse à la fin du mois, une semaine avant les étiquettes. La composition avait changé en faveur de types déjà difficiles. En septembre, l’estimation donnait 88,9 %, contre 86,1 % en réalité. La composition n’explique pas cette baisse.

La fonction wrong_by_type() du carnet (notebook) Jupyter liste les types de plaintes ayant le plus de prédictions erronées dans un mois :

for month in ["2020-08", "2020-09"]:
print(month); print(wrong_by_type(month).to_string()); print()
2020-08
requests wrong closed_in_week predicted_in_week february_closed_in_week
complaint_type
Damaged Tree 2279 772 0.33 0.03 0.55
Dirty Conditions 222 178 0.20 1.00 0.91
NonCompliance with Phased Reopening 473 175 0.63 1.00 NaN
Request Large Bulky Item Collection 1579 165 0.90 1.00 0.86
UNSANITARY CONDITION 349 126 0.36 0.01 0.29
2020-09
requests wrong closed_in_week predicted_in_week february_closed_in_week
complaint_type
Request Large Bulky Item Collection 1402 249 0.82 1.00 0.86
NonCompliance with Phased Reopening 372 208 0.44 1.00 NaN
Sidewalk Condition 226 137 0.82 0.27 0.45
UNSANITARY CONDITION 363 133 0.36 0.01 0.29
Dirty Conditions 198 122 0.38 1.00 0.91

Ce que cela nous apprend. Août présentait trois problèmes différents :

  • Un sous-groupe difficile qui a grossi. La tempête a entraîné 2 279 demandes « Damaged Tree » (arbre endommagé), dont un tiers ont été fermées en une semaine. Le modèle prédisait « plus longtemps » pour presque toutes, ce qui est juste deux fois sur trois. Sans les arbres, l’exactitude d’août atteint 86,5 % : mieux, mais toujours sous l’objectif.
  • Une relation qui a changé. Les demandes « Dirty Conditions » (conditions insalubres) étaient fermées en une semaine dans 91 % des cas en février, contre 20 % en août. Le modèle prédisait toujours « en une semaine ». C’est une dérive conceptuelle : la même demande, un résultat différent. Les données ne disent pas pourquoi l’organisme est devenu plus lent. Elles montrent seulement que l’ancienne relation ne tenait plus.
  • Un type que le modèle n’avait jamais vu. « NonCompliance with Phased Reopening » (non-respect de la réouverture progressive) est apparu en juin. Le modèle prédisait « en une semaine » d’après l’organisme responsable. En septembre, seulement 44 % des demandes étaient fermées à temps.

Septembre présente surtout les deuxième et troisième problèmes. L’estimation fondée sur la composition ne peut pas les détecter, car elle suppose que chaque type se comporte comme en février. Seules les étiquettes le peuvent.

Erreur courante

Lire les étiquettes trop tôt

À la fin d’un mois, environ 93 % de ses étiquettes sont déjà connues. Il est tentant d’évaluer le mois à ce moment :

for month in ["2020-07", "2020-08", "2020-09", "2020-10"]:
scored = score(model, requests[requests["month"] == month])
end = pd.Period(month, "M").end_time.ceil("D") # midnight after the last day
early, full = accuracy(scored, as_of=end), accuracy(scored)
print(f"{month}: labels known at month end {early['known'] / early['requests']:.1%}, "
f"accuracy on them {early['accuracy']:.1%}; on all labels {full['accuracy']:.1%}")
2020-07: labels known at month end 93.7%, accuracy on them 88.3%; on all labels 86.9%
2020-08: labels known at month end 93.7%, accuracy on them 84.8%; on all labels 83.9%
2020-09: labels known at month end 93.4%, accuracy on them 88.0%; on all labels 86.1%
2020-10: labels known at month end 92.9%, accuracy on them 87.7%; on all labels 86.9%

À la fin de septembre, les premières étiquettes donnent 88,0 %, au-dessus de l’objectif. Toutes les étiquettes donnent 86,1 %. Les premières étiquettes correspondent aux demandes fermées rapidement, et le modèle prédit plus souvent correctement ces demandes. Les premières étiquettes ne constituent pas un échantillon aléatoire du mois.

La solution : évaluez une fenêtre seulement quand toutes ses étiquettes peuvent être connues : ici, 7 jours après sa fin. Ou mesurez seulement les demandes assez anciennes. Jusque-là, le rapport de surveillance indique « labels incomplete » (étiquettes incomplètes).

Comparer les systèmes de surveillance et les politiques de réentraînement

Section intitulée « Comparer les systèmes de surveillance et les politiques de réentraînement »

Chaque signal peut déclencher une alarme. Les mois vraiment mauvais sont ceux sous l’objectif selon les étiquettes complètes : août et septembre. Le carnet compte les alarmes de chaque système de surveillance de mars à décembre :

Système de surveillance Moment où le signal est connu Alarmes Mauvais mois détectés Fausses alertes
Dérive : PSI du type supérieur à 0,2 fin du mois 10 2 sur 2 8
Estimation fondée sur la composition sous 87 % fin du mois 2 1 sur 2 (août) 1 (mars)
Premières étiquettes sous 87 % fin du mois 1 1 sur 2 (août) 0
Étiquettes complètes sous l’objectif 7 jours plus tard 2 2 sur 2 0

L’alarme de dérive « détecte » les deux mauvais mois seulement parce qu’elle se déclenche chaque mois. Une personne qui reçoit dix alarmes pour deux problèmes cesse vite de les lire. Les étiquettes complètes ont toujours raison, mais arrivent une semaine plus tard. Cette semaine est le prix de la vérité.

Dans le module 4, Tomás disait : « L’alerte de dérive s’est déclenchée : réentraînons automatiquement. » Ici, l’alarme se déclenche chaque mois, ce qui signifie un nouveau modèle chaque mois. Priya compare trois politiques avec une mesure : la proportion de prédictions correctes parmi toutes les demandes de mars à décembre. Un nouveau modèle peut commencer le 8 du mois, quand les étiquettes du mois précédent sont complètes. bad est l’ensemble des mois sous l’objectif :

for policy in ["keep", "every_month", "after_label_alarm"]:
result = simulate_retraining(policy, model, requests, months, bad)
under = [m for m, a in result["by_month"].items() if a < OBJECTIVE]
print(f"{policy:18s} accuracy {result['overall']:.1%} new models {result['releases']:2d} months under 87%: {under}")
keep accuracy 87.6% new models 0 months under 87%: ['2020-07', '2020-08', '2020-09', '2020-10']
every_month accuracy 88.6% new models 10 months under 87%: ['2020-08']
after_label_alarm accuracy 87.6% new models 2 months under 87%: ['2020-07', '2020-08', '2020-12']

Ce que cela nous apprend. Ici, un nouveau modèle chaque mois fait 1,0 point de mieux, avec 10 nouveaux modèles. Tomás a raison : un modèle plus récent aide avec ces données. Mais l’alarme de dérive n’y est pour rien : elle se déclenche chaque mois. « Réentraîner en cas de dérive » revient donc à suivre un calendrier mensuel. Août reste un échec, car aucun modèle entraîné sur juillet ne connaît la tempête.

Réentraîner une seule fois sur le mois en échec aide en septembre et octobre, mais nuit en novembre et décembre. Un modèle entraîné sur un mois inhabituel apprend ce mois-là : un modèle de septembre ne connaît pas les plaintes de chauffage hivernales. Chaque nouveau modèle est une mise en production qui nécessite une vérification avant sa mise en service, comme dans Barrières d’évaluation. Cette étude de cas n’a pas simulé cette barrière.

Priya l’écrit pour l’équipe, dans l’esprit de Réentraîner ou réviser :

  • Agissez selon les étiquettes. Évaluez chaque mois 7 jours après sa fin, sur toutes ses étiquettes, selon l’objectif de 87 % fixé à l’avance. Agissez quand tout l’intervalle est sous cet objectif.
  • Enquêtez à partir des signaux rapides. La dérive et l’estimation fondée sur la composition sont connues à la fin du mois. Si l’estimation passe sous l’objectif ou si la part d’un type bondit, examinez ce sous-groupe immédiatement. Une alarme de dérive ouvre une enquête, jamais un changement.
  • N’évaluez jamais à partir des premières étiquettes. Le rapport indique « labels incomplete » jusqu’à ce que la fenêtre soit complète.
  • Réentraînez selon un calendrier, avec une barrière. Le réentraînement mensuel a gagné 1,0 point ici. Chaque nouveau modèle doit réussir une évaluation sur le dernier mois complet avant de remplacer l’ancien.
  • Corrigez les causes, pas seulement les modèles. La tempête était un événement : informez les résidents que les demandes concernant les arbres prennent plus de temps cette semaine-là. Les fermetures plus lentes de « Dirty Conditions » relèvent de l’organisme, pas du modèle.
  • Renouvelez la référence. En 2021, l’alarme de dérive indique encore « large change » (changement important) par rapport à février 2020. Choisissez un nouveau mois de référence dont vous avez vérifié les étiquettes.

La surveillance de nouvelles entrées, de bout en bout

Section intitulée « La surveillance de nouvelles entrées, de bout en bout »

Janvier 2021 constitue de nouvelles entrées : rien jusqu’ici ne l’a utilisé. Le 8 février 2021, toutes les étiquettes de janvier peuvent être connues. Priya produit le rapport de surveillance tel qu’il apparaîtrait ce jour-là :

january = prepare(load("data/nyc311_2021-01.csv.gz"))
print_report(month_report(model, reference_scored, january, "2021-02-08"), "2021-02-08")
Monthly report, read on 2021-02-08: 11,380 requests
Input drift against the reference month:
input psi p_value verdict
complaint_type 0.466 3.7e-210 large change
agency 0.289 1.9e-171 large change
channel 0.145 7.7e-147 small change
borough 0.024 9.4e-24 no real change
hour 0.012 5.9e-05 no real change
Prediction drift: predicted 'within a week' 84.0% (reference 84.2%)
Accuracy expected from the mix (no labels needed): 89.2%
Labels known: 100.0%; accuracy on them: 89.1% [88.5%, 89.7%]
Status: meets objective (objective 87%)

Le même rapport une semaine plus tôt, le 1 février, indique « labels incomplete ». On connaît 91,2 % des étiquettes, et elles donnent 90,8 % : encore trop élevé.

Ce que cela nous apprend. Un an après le mois de référence, la dérive reste importante, et le modèle atteint son objectif. Les valeurs p sont minuscules partout, même pour l’heure, où rien n’a réellement changé. Avec des milliers de demandes, chaque petite différence est « certaine ». Lisez le PSI pour l’ampleur et la valeur p pour la certitude, comme dans Dérive des données et dérive conceptuelle.

  • La dérive oriente; les étiquettes décident. La dérive était importante chaque mois, et le modèle a échoué dans deux mois. En août, un sous-groupe difficile a grossi, et la composition l’a montré. En septembre, une relation a changé et un nouveau type est apparu; seules les étiquettes l’ont montré, une semaine plus tard.
  • Limites. Une ville, une année, une cible et un modèle. Le délai de fermeture n’est pas la qualité : un organisme peut fermer une demande sans régler le problème. L’échantillon contient une demande sur 20; les petits types ont donc de larges intervalles. L’objectif de 87 % est une hypothèse. Dans l’histoire, Priya le fixe avant de regarder. Le cours l’a choisi après un premier examen de l’année complète : considérez-le donc comme un choix pédagogique. Avec 86 %, seul août est sous l’objectif. La barrière avant un nouveau modèle n’a pas été simulée.
  • Les données concernent les résidents et leurs quartiers. L’échantillon ne contient ni adresses, ni coordonnées, ni texte libre, et la méthode n’en a pas besoin. Ne le joignez pas au jeu de données complet pour étudier un ménage.
  • Le nombre de signalements ne reflète pas les besoins. Les gens de certains quartiers signalent plus de problèmes que d’autres. Un modèle peut apprendre que « les demandes d’ici se ferment lentement ». Il transforme alors un service lent en une promesse moins avantageuse pour les mêmes personnes. Vérifiez les erreurs par arrondissement avant de présenter une promesse aux résidents.
  • « Fermé » ne signifie pas « réglé ». N’utilisez pas ce modèle pour évaluer le travail d’un organisme.
  • Indiquez ce qui est construit. L’équipe, le modèle et la page de confirmation sont construits à des fins pédagogiques. NYC 311 ne les utilise pas.

Cette étude de cas montre à un employeur que vous pouvez exploiter un modèle après son lancement. Vous savez distinguer la dérive de l’échec, attendre la vérité et transformer les alarmes en décisions. Appropriez-vous ce projet avec un changement. Prenez d’autres mois (2021 à 2022, avec une nouvelle référence), une autre cible (« fermé en 3 jours ») ou les données 311 d’une autre ville. Vérifiez d’abord la licence de cette ville.

Quoi mettre dans le dépôt :

  • README.md (modèle ci-dessous).
  • Le carnet, exécuté du début à la fin, avec ses sorties et ses graphiques.
  • MONITORING.md : l’objectif, le mois de référence, chaque signal et le moment où il est connu, et qui agit sur chaque alarme.
  • La source des données, les conditions et la somme de contrôle de votre copie. La NYC Open Data Law exige la source, la version et vos modifications.

Un modèle de README :

# Monitoring a 311 "closed within a week" model through 2020
## Question
How would we know that a model trained before 2020 is failing residents,
and which signals can we trust, and when?
## Data and terms
NYC 311 Service Requests (NYC Open Data, erm2-nwe9), 1-in-20 sample,
Jan 2020 - Jan 2021, 7 columns, no addresses. NYC Open Data Law:
no restrictions on use; source, version and changes stated.
## Approach
Logistic regression on 6 inputs known on arrival; trained Jan 2020,
chosen on Feb 2020 (88.9%, lookup table 88.4%). Objective 87% per month,
written in advance. Monthly monitor: PSI (complaint type, agency, channel),
prediction drift, estimate from the mix, accuracy on complete labels
(Wilson interval). Alarm and retraining policies compared Mar-Dec 2020.
## Results
PSI of the type > 0.2 in all 10 months; accuracy below objective in 2:
Aug 83.9% (storm: a hard slice grew; the mix estimate saw it) and
Sep 86.1% (changed closure times, a new type; only labels saw it).
Early labels were optimistic (Sep: 88.0%). Monthly retraining +1.0 point.
## Limits
One city and year; closure time is not quality; gate not simulated.

Comment le décrire en entrevue, en deux phrases : « J’ai surveillé un modèle 311 pendant l’année 2020. La dérive des entrées était importante chaque mois, mais le modèle n’a manqué son objectif que deux fois. Une tempête expliquait août; un changement des délais de fermeture, visible seulement dans les étiquettes tardives, expliquait septembre. »

Pour aller plus loin :

  • Utilisez une fenêtre glissante comme référence (les trois derniers mois complets), et comptez les alarmes de dérive qui restent.
  • Ajoutez la barrière. Entraînez un modèle candidat sur les trois premières semaines d’un mois, puis comparez-le au modèle actuel sur la dernière semaine. Remplacez le modèle seulement si le gain est clair.

Vérifiez votre compréhension

En avril et mai 2020, le PSI du type de plainte dépassait 1,2, bien au-dessus de 0,2. Le modèle se trompait-il ces mois-là, et qu'est-ce que cela enseigne sur les alarmes de dérive?

Afficher la réponse

Non. Avril (89,4 %) et mai (91,1 %) étaient les meilleurs mois du modèle, meilleurs que février à 88,9 %. Les demandes liées au confinement qui ont augmenté, comme les signalements de foules, étaient faciles à prédire. La dérive indique que les entrées ont changé, pas que les prédictions se sont dégradées. Ici, l’alarme de dérive s’est déclenchée pendant les dix mois, dont seulement deux étaient mauvais. Une alarme de dérive devrait donc ouvrir une enquête sur le sous-groupe qui a changé. Elle ne devrait pas alerter une personne de garde ni déclencher un changement.

Vérifiez votre compréhension

L'estimation fondée sur la composition a averti pour août, mais pas pour septembre. Expliquez les deux cas.

Afficher la réponse

L’estimation pondère l’exactitude de février pour chaque type de plainte selon la composition du mois. En août, la tempête a porté « Damaged Tree » à 13 % des demandes, un type déjà difficile pour le modèle. L’estimation est donc tombée à 83,0 %, près de l’exactitude réelle de 83,9 %. En septembre, la baisse venait de types dont le comportement avait changé et d’un nouveau type. Les demandes « Dirty Conditions » se fermaient beaucoup plus lentement. L’estimation suppose que chaque type se comporte comme en février; elle donnait donc 88,9 %. Seules les étiquettes complètes ont montré 86,1 %.

Vérifiez votre compréhension

À la fin de septembre, 93 % des étiquettes du mois sont connues et donnent 88,0 %, au-dessus de l'objectif de 87 %. Pourquoi le rapport indique-t-il encore « labels incomplete », et quel était le résultat réel?

Afficher la réponse

Les premières étiquettes correspondent aux demandes fermées rapidement, et le modèle prédit plus souvent correctement ces demandes. L’exactitude précoce est donc trop élevée : ce n’est pas un échantillon aléatoire du mois. Les étiquettes de septembre sont complètes 7 jours après la fin du mois. L’exactitude est alors de 86,1 % [85,5 %, 86,7 %], sous l’objectif. Évaluez une fenêtre seulement quand toutes ses étiquettes peuvent être connues.

Récapitulatif

  • Vous avez entraîné un petit modèle sur janvier 2020 et l’avez choisi sur février, avec un objectif fixé avant toute surveillance.
  • Vous avez construit une surveillance mensuelle avec quatre signaux : dérive des entrées, dérive des prédictions, estimation fondée sur la composition et exactitude sur les étiquettes complètes. Chacun a son propre moment.
  • La dérive des entrées était importante pendant les dix mois, et le modèle était sous l’objectif dans deux mois. En août, un sous-groupe difficile a grossi. En septembre, une relation a changé, ce que seules les étiquettes pouvaient montrer.
  • Les premières étiquettes étaient optimistes. Évaluez une fenêtre quand toutes ses étiquettes peuvent être connues.
  • Le réentraînement mensuel a aidé un peu, selon un calendrier avec une barrière, pas en réaction à la dérive. Une alarme de dérive ouvre une enquête, jamais un changement.

Ensuite, l’autre étude de cas : une panne documentée publiquement, reconstruite selon le format d’analyse post-incident du cours.

Leçon suivante : Analyse post-incident d'une panne publique