Aller au contenu
English

Mesures inhabituelles dans des données ouvertes publiques

  • Étude de cas 3
  • 150 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Dans ce cours, nous avions toujours un corrigé des anomalies insérées. Les données ouvertes publiques n'en ont pas. Dans cette étude de cas, nous prenons une vraie série publique et insérons nos propres anomalies pour évaluer les détecteurs. Nous distinguons les événements réels des erreurs de données, puis rédigeons la politique d'alerte.

Étude de cas 3 sur 4 · Détection d'anomalies : trouver ce qui est inhabituelMesures inhabituelles dans des données ouvertes publiques
Aperçu du cours

Ce que vous saurez faire

Trouvez les erreurs dans un vrai flux de données public sans corrigé. Vous comparerez une station à ses voisines et insérerez des erreurs pour mesurer le rappel. Vous réviserez un échantillon aléatoire à la main et examinerez l’accord entre les détecteurs. Ensuite, vous rédigerez une politique d’alerte selon un budget de révision. Vous l’appliquerez à de nouvelles semaines et décrirez honnêtement ce qu’elle a trouvé.

Étude de casPièce de portfolio

Licence
CC BY 4.0
Durée
Environ 2 h 30
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Premières vérifications d'un flux public
  • La cote z par rapport aux voisines
  • Règles et référence de base robuste
  • Isolation Forest
  • Erreurs insérées
  • Un échantillon révisé à la main
  • Accord entre les détecteurs
  • Une politique d'alerte selon un budget de révision

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Le carnet (notebook) Jupyter exécute chaque étape de cette page, avec le même code et les mêmes sorties. Il contient aussi deux tâches avec des vérifications. Ses cellules de configuration installent pandas et scikit-learn. Elles téléchargent les données (8,2 Mo) depuis UCI avec une somme de contrôle. Après l’installation, il s’exécute en moins d’une minute.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

Ce que vous devez savoir

Cette étude de cas utilise tout le cours. Voici les leçons les plus importantes :

Ce qu’il vous faut sur votre ordinateur

Rien : le carnet s’exécute dans Colab ou Kaggle. Pour l’exécuter localement, utilisez un environnement virtuel avec Python 3.12, pandas 3.1.1, NumPy 2.5.4 et scikit-learn 1.9.1. La cellule de configuration crée un nouveau dossier open-air-readings. Pour recommencer, supprimez ce dossier.

Testé sur macOS avec Python 3.12.13, dans Jupyter lancé à neuf. Colab, Kaggle, Windows et Linux n’ont pas été testés.

Une petite équipe gère une carte publique de la qualité de l’air. Chaque heure, elle affiche les mesures des 12 stations de surveillance de la qualité de l’air d’une ville. Les gens la consultent avant d’aller courir ou de se rendre au parc.

Mina veille à l’exactitude des données de la carte. Kai, un analyste, crée les détecteurs. Nous avons inventé ces deux personnes et la carte. Les mesures sont réelles : 12 stations à Beijing, de 2013 à 2017.

La carte peut se tromper de deux façons :

  • Elle affiche une mesure erronée. Une station indique 3 alors que l’air est pollué. Les gens voient « air de bonne qualité », puis cessent de faire confiance à la carte.
  • Elle masque un événement réel. Une nuit de smog intense, toutes les stations indiquent 600. Si un détecteur masque ces mesures comme des erreurs, les gens ne reçoivent aucun avertissement. C’est la pire erreur.

Mina peut réviser 5 journées-stations par semaine. Une journée-station correspond à une station pendant une journée. Une révision prend environ 6 minutes, soit 30 minutes par semaine. Ces deux nombres sont nos hypothèses.

Mina demande à Kai : « Quelles mesures devrais-je vérifier chaque semaine? Et pouvez-vous me dire si votre détecteur est bon, quand personne ne sait quelles mesures étaient erronées? »

Vous allez créer une politique d’alerte. Elle indique quelles mesures la carte masque sans révision. Elle précise aussi lesquelles vont aux 5 révisions hebdomadaires de Mina, et dans quel ordre. Vous l’évaluerez de trois façons, sans corrigé. Ensuite, vous l’appliquerez à 8 semaines qu’aucune étape n’a encore utilisées.

Les données proviennent de Beijing Multi-Site Air Quality, dans le UCI Machine Learning Repository. Elles contiennent une ligne par station et par heure, du 1er mars 2013 au 28 février 2017. Les mesures de l’air proviennent du Beijing Municipal Environmental Monitoring Center.

L’étude de cas utilise ces colonnes :

Colonne Signification
station Une des 12 stations de surveillance, par exemple Dongsi ou Huairou.
year, month, day, hour L’heure de la mesure.
PM2.5 Les particules fines dans l’air, en microgrammes par mètre cube (µg/m³). C’est le nombre affiché sur la carte.
PM10 Les particules jusqu’à une taille légèrement plus grande, mesurées par un deuxième instrument à la même station. En physique, les PM2.5 font partie des PM10.

Il n’y a aucune étiquette. Personne n’a indiqué quelles mesures sont erronées.

Nous avons comparé deux autres flux ouverts. Les données Air Quality d’UCI, provenant d’une ville italienne, utilisent un seul appareil. Il n’a donc pas de voisins. Le compteur de vélos Fremont Bridge de Seattle fournit un flux en direct dont le fichier change constamment, avec seulement deux compteurs.

Le carnet crée deux tables, pm25 et pm10, avec une colonne par station et une ligne par heure. Ensuite, il compte les problèmes visibles sans détecteur :

values = pm25.stack() # every PM2.5 reading that is not missing
print(f"missing PM2.5 readings: {pm25.isna().mean().mean():.1%}; hours with no station at all: {pm25.isna().all(axis=1).sum()}")
print(f"smallest value: {values.min():.0f}, read {(values == values.min()).sum():,} times; "
f"the value 3, read {(values == 3).sum():,} times; largest: {values.max():.0f}")
print(f"PM2.5 equal to PM10: {(pm25 == pm10).stack().mean():.1%}; PM2.5 above PM10: {(pm25 > pm10).stack().mean():.1%}")
decimals = {c: int((readings[c].dropna() % 1 != 0).sum()) for c in ["PM2.5", "PM10"]}
print("readings that are not whole numbers:", decimals)
same_as_before = pm25.eq(pm25.shift()) & pm25.notna()
print("stations whose value did not change from 05:00 to 09:00 on 18 September 2013:",
int(same_as_before.loc["2013-09-18 05:00":"2013-09-18 09:00"].all().sum()), "of 12")
420,768 readings: 12 stations x 35,064 hours, 2013-03-01 to 2017-02-28
missing PM2.5 readings: 2.1%; hours with no station at all: 81
smallest value: 2, read 17 times; the value 3, read 8,810 times; largest: 999
PM2.5 equal to PM10: 23.5%; PM2.5 above PM10: 5.1%
readings that are not whole numbers: {'PM2.5': 181, 'PM10': 229}
stations whose value did not change from 05:00 to 09:00 on 18 September 2013: 12 of 12

Ce que cela nous apprend.

  • Environ 2 % des mesures sont manquantes. La carte les affiche déjà comme manquantes, donc nous ne les signalons pas.
  • La valeur 3 apparaît 8 810 fois, et les valeurs inférieures seulement 17 fois. Donc, 3 est le plancher : la valeur la plus basse que les instruments indiquent normalement.
  • Les PM2.5 dépassent les PM10 pendant 5 % des heures, ce que la physique ne permet pas. Elles leur sont exactement égales pendant près du quart des heures. Les deux instruments ne concordent donc pas toujours. « PM2.5 supérieures aux PM10 » ne peut donc pas servir seul de règle pour détecter les erreurs.
  • Quelques centaines de mesures ne sont pas des nombres entiers, contrairement à toutes les autres. Elles semblent avoir été ajoutées pour combler des manques.
  • Le 18 septembre 2013, chaque heure de 5 h à 9 h répétait l’heure précédente, aux 12 stations. Tout le flux s’est figé.

Les données contiennent des erreurs, sans aucune note à leur sujet. Ici, chaque verdict sur une erreur repose sur un jugement tiré des données.

Kai écrit d’abord le cadre :

  • L’unité : une journée-station. Mina révise des journées, pas des heures. Un capteur bloqué pendant 8 heures constitue un problème, pas 8.
  • Le score d’une journée-station : le score horaire le plus élevé de cette journée.
  • Le budget : chaque semaine, les 5 journées-stations aux scores les plus élevés vont à Mina. En cas d’égalité, elles suivent l’ordre chronologique.
  • Les périodes. L’historique, de mars 2013 au 1er mars 2015, apprend aux détecteurs ce qui est normal. Les semaines d’évaluation, du 2 mars 2015 au 28 février 2016, couvrent 52 semaines, du lundi au dimanche. Toutes les comparaisons les utilisent. Les nouvelles semaines, du 2 janvier au 26 février 2017, sont réservées à l’exécution de bout en bout.
  • Ce qui compte comme une erreur : une mesure de PM2.5 erronée d’environ 10 µg/m³ ou plus. Une erreur plus petite ne change pas ce qu’une personne voit sur la carte.

Votre thermomètre de balcon indique 35 °C un matin frais de printemps. Est-ce une vague de chaleur, ou le thermomètre est-il au soleil? Vous vérifiez la météo de votre ville. Si toute la ville est à 12 °C, votre thermomètre se trompe.

C’est la même chose pour l’air. L’air pollué couvre toute la ville, et les mesures de toutes les stations augmentent. Quand un instrument tombe en panne, seule cette station change. Nous comparons donc chaque mesure à la médiane des autres stations à la même heure.

Les feux d’artifice du Nouvel An, le 8 février 2016, sont un événement réel. Dans le graphique ci-dessous, les mesures de toutes les stations augmentent ensemble après minuit.

  • Station la plus élevée
  • Médiane des 12 stations
  • Station la plus basse
Feux d'artifice du Nouvel An : les mesures de toutes les stations augmentent après minuit. La médiane des 12 stations passe de 172 à minuit à 627 à 1 h. Une station atteint 999, le maximum de l'instrument.
Description textuelle du graphique

Le graphique montre trois lignes du 7 février 2016 à 18 h au 8 février à 12 h. La médiane des 12 stations est d’environ 20 à 70 en soirée, et de 172 à minuit. Elle grimpe à 627 à 1 h et reste au-dessus de 480 jusqu’à 7 h. Elle descend à 58 à 9 h, puis à 9 à midi. La station la plus élevée atteint 999 à 2 h. La station la plus basse indique 28 à minuit et 296 à 1 h. Les trois lignes montent et descendent ensemble.

Le deuxième graphique montre une erreur. Le 16 janvier 2017 à 11 h et à 12 h, Wanshouxigong indique 10 et 3. Les 11 autres stations restent près de 90. À 13 h, elle indique de nouveau 72.

  • Wanshouxigong, PM2.5
  • Médiane des 11 autres stations
Une erreur : une station descend à 10, puis à 3 pendant deux heures. Les 11 autres stations restent près de 90.
Description textuelle du graphique

Le graphique couvre la période de 6 h à 18 h le 16 janvier 2017. La médiane des 11 autres stations passe graduellement de 101 à 118, avec des valeurs entre 83 et 92 vers midi. La ligne de Wanshouxigong la suit, entre 64 et 83, jusqu’à 10 h. Elle descend à 10 à 11 h, puis à 3 à 12 h. Ensuite, elle revient à 72 à 13 h et monte avec les autres jusqu’à 114.

À une même heure, cinq stations indiquent 80, 85, 78, 90 et 240. Pour chaque station, prenez la médiane des quatre autres. Calculez ensuite l’écart sur une échelle logarithmique, log(1 + mesure). Cette échelle donne le même petit écart pour 80 contre 90 et pour 400 contre 450.

reading median of the others gap (log)
A 80 87.5 -0.09
B 85 85.0 0.00
C 78 87.5 -0.11
D 90 82.5 0.09
E 240 82.5 1.06

Les stations A à D sont à moins de 0,11 de leurs voisines. La station E est à 1,06 au-dessus d’elles. Dans l’historique, 95 % des écarts se situent entre −1,04 et 0,7. E est donc inhabituelle.

Chaque station a son propre écart normal : une station rurale mesure souvent un air plus propre qu’au centre-ville. Chaque écart devient donc une cote z robuste, avec la médiane et la MAD de la station tirées de l’historique. C’est la méthode de Médiane, MAD et IQR. Nous l’appelons la cote z par rapport aux voisines :

def neighbour_gap(pm25, min_others=6):
"""log(1 + reading) minus the median of the other stations in the same hour."""
x = np.log1p(pm25)
gap = {}
for s in x.columns:
others = x.drop(columns=s)
gap[s] = (x[s] - others.median(axis=1)).where(others.notna().sum(axis=1) >= min_others)
return pd.DataFrame(gap)
def neighbour_z(pm25, history=HISTORY):
"""The robust z-score of the neighbour gap, with each station's median and MAD from the history."""
g = neighbour_gap(pm25)
return pd.DataFrame({s: robust_z(g[s], g.loc[history, s]) for s in g.columns}).abs()

Avec moins de 6 autres stations dans l’heure, la médiane n’est pas représentative. L’heure ne reçoit donc aucun score.

Kai compare six détecteurs. Chacun donne un score à chaque station et à chaque heure.

  • MAD propre (la référence de base). La cote z robuste d’une mesure par rapport aux 7 derniers jours de sa propre station. Elle ne sait rien des autres stations.
  • Règles, écrites avant que quiconque examine les signalements. Une règle se déclenche pour une valeur identique pendant au moins 6 heures, au-dessus du plancher. Elle se déclenche aussi si les PM2.5 dépassent deux fois les PM10 plus 50, ou au maximum de 999. Une règle donne 1 ou 0. Voir Les règles, et quand une règle est la bonne réponse.
  • Cote z par rapport aux voisines, comme ci-dessus.
  • Isolation Forest, sur cinq nombres par station et par heure : le niveau, l’écart avec les voisines, le changement depuis l’heure précédente, les PM2.5 par rapport aux PM10 et les heures sans changement. Il apprend à partir de 60 000 heures aléatoires de l’historique, avec 200 arbres.
  • Règles, puis cote z par rapport aux voisines, et règles, puis Isolation Forest. Les signalements des règles passent en premier, et le score classe le reste.

Ensuite, le budget transforme les scores en liste hebdomadaire pour Mina :

def weekly_flags(hourly, period, budget=BUDGET, start=None):
"""The `budget` highest station-days of each week (ties in time order). A 0/1 rule sends only its 1s."""
day = station_days(hourly, period)
day["week"] = (day["day"] - pd.Timestamp(start or period.start)).dt.days // 7
day = day.sort_values(["week", "score", "day", "station"], ascending=[True, False, True, True])
flags = day.groupby("week").head(budget)
return flags[flags["score"] > 0].reset_index(drop=True)

Chaque détecteur envoie 260 signalements pendant les 52 semaines d’évaluation, soit 5 par semaine. Les règles seules ne se sont déclenchées que pour 4 journées-stations sur toute l’année.

Quel détecteur produit les 260 meilleurs signalements, quand personne ne sait quelles mesures étaient erronées? Nous utilisons les trois méthodes de Évaluer sans corrigé complet.

Nous créons notre propre petit corrigé. Nous copions les mesures et insérons 104 erreurs dans les semaines d’évaluation. Nous en insérons 2 par semaine, à des stations et des journées aléatoires, soit 26 de chaque type :

Type Ce que nous changeons
Pic Une heure indique 3 × la vraie valeur + 150.
Blocage La même valeur pendant 8 heures.
Échelle Chaque mesure de la journée est trop élevée de 60 %, comme avec un instrument mal étalonné.
Horloge La journée affiche les mesures de 6 heures plus tôt.

Chaque détecteur attribue des scores à la copie. La liste hebdomadaire de Mina prend les 5 premiers, comme avant. Le rappel au budget est la proportion d’erreurs insérées qui figurent sur la liste :

kind clock scale spike stuck all
own MAD (baseline) 0.04 0.04 0.27 0.04 0.10
rules 0.12 0.04 0.85 1.00 0.50
neighbour z 0.23 0.12 0.77 0.08 0.30
Isolation Forest 0.15 0.08 1.00 0.58 0.45
rules, then neighbour z 0.31 0.15 1.00 1.00 0.62
rules, then Isolation Forest 0.23 0.08 1.00 1.00 0.58
Erreurs insérées dans la liste hebdomadaire de 5 de Mina, sur 52 semaines. Les règles, puis la cote z par rapport aux voisines en trouvent 64 sur 104. Les règles, puis Isolation Forest en trouvent 60. La référence de base en trouve 10.
Description textuelle du graphique

Un diagramme à six colonnes montre les erreurs insérées trouvées sur 104. MAD propre (la référence de base) : 10. Règles : 52. Cote z par rapport aux voisines : 31. Isolation Forest : 47. Règles, puis cote z par rapport aux voisines : 64, le maximum. Règles, puis Isolation Forest : 60.

  • La référence de base ne trouve presque rien : 10 sur 104. Les changements réels de l’air occupent tout son budget.
  • Les règles simples sont efficaces : elles trouvent tous les capteurs bloqués et 85 % des pics, avec environ un signalement par semaine.
  • Les règles, puis la cote z par rapport aux voisines donnent le meilleur résultat, 64 sur 104. Elles devancent légèrement les règles, puis Isolation Forest, qui en trouvent 60. La différence est de 4 erreurs en un an. La méthode simple est aussi bonne et beaucoup plus facile à expliquer : « cette station indique 3, ses voisines indiquent 90 ».
  • Personne ne trouve les erreurs d’échelle : au plus 15 %. Une mesure trop élevée de 60 % ressemble encore à une mesure de l’air. Une lente erreur d’étalonnage exige une méthode pour les petits décalages persistants, comme CUSUM sur l’écart avec les voisines. Voir Petits décalages durables : CUSUM et EWMA.

Les erreurs insérées donnent des nombres exacts, mais seulement pour les quatre types que nous avons imaginés. Pour voir les vraies erreurs, quelqu’un doit examiner les données.

Méthode 2 : réviser un échantillon aléatoire à la main

Section intitulée « Méthode 2 : réviser un échantillon aléatoire à la main »

Avant la révision, Kai et Mina écrivent comment décider. Sans liste de vérification, un même réviseur décide différemment le lundi et le vendredi.

Un arbre de décision avec trois questions. Première question : les PM2.5 sont-elles au minimum, bloquées ou marquées par un saut d'une heure, avec un écart d'au moins 10 par rapport aux PM10 de la station ou aux autres stations? Si oui, c'est une défaillance. Sinon : les PM10 de la station ou une autre station montrent-elles le même changement à peu près au même moment? Si oui, c'est réel. Sinon : l'écart est-il inférieur à 10 µg/m³? Si oui, c'est normal; sinon, c'est incertain.
La liste de vérification pour la révision. Quatre verdicts : défaillance, réel, normal et incertain. Un verdict incertain est permis et compté séparément.
Description textuelle du diagramme

Le diagramme est un arbre de décision. Première question : les PM2.5 sont-elles au minimum, bloquées ou marquées par un saut d’une heure? Et l’écart avec les PM10 de la station ou les autres stations atteint-il au moins 10 µg/m³? Si oui, le verdict est une défaillance. Par exemple : 3 pendant trois heures, alors que ses PM10 indiquent 53 à 104 et les autres stations, 70 à 78. Sinon, deuxième question : les PM10 de la station ou une autre station montrent-elles le même changement à peu près au même moment? Si oui, le verdict est réel, par exemple de l’air propre qui atteint cette station une heure plus tôt. Sinon, troisième question : l’écart est-il inférieur à 10 µg/m³, trop petit pour changer ce que montre la carte? Si oui, le verdict est normal, par exemple 3 contre 9 dans de l’air propre. Sinon, le verdict est incertain : notez pourquoi et comptez-le séparément.

Le carnet (notebook) Jupyter prend 20 signalements aléatoires pour la référence de base, la cote z des voisines et Isolation Forest (forêt d’isolement). Il les prend dans les semaines d’évaluation sans défaillances insérées. Les règles se sont déclenchées seulement 4 fois; nous révisons donc les 4 signalements.

64 picked flags, 61 different station-days to review (366 minutes at 6 minutes each)

Deux détecteurs ont choisi les trois mêmes journées-stations. Les 61 révisions représentent environ 12 semaines du budget de Mina, pour une seule évaluation.

Pour chaque signalement, le réviseur lit une fiche de preuves : la pire heure de la journée, avec les 3 heures précédentes et suivantes. En voici une :

PM2.5 PM10 others, median others, highest same as before
10-19 16:00 NaN NaN 79.5 85.0 0
10-19 17:00 NaN NaN 79.0 89.0 0
10-19 18:00 3.0 3.0 82.0 90.0 0
10-19 19:00 3.0 3.0 92.0 104.0 1
10-19 20:00 69.0 69.0 98.0 120.0 0
10-19 21:00 86.0 86.0 100.0 135.0 0
10-19 22:00 84.0 84.0 106.0 117.0 0

Wanliu, 19 octobre 2015. Après deux heures manquantes, les deux instruments indiquent 3, alors que les autres stations indiquent 82 à 92. Le verdict : défaillance. Le fichier reviews.csv contient un verdict et une raison d’une ligne pour chacune des 61 journées-stations.

{'fault': 23, 'real': 18, 'normal': 16, 'unclear': 4}
own MAD (baseline) faults 5 of 20: 0.25 (95% interval 0.06 to 0.44) | real 7, normal 7, unclear 1
neighbour z faults 10 of 20: 0.50 (95% interval 0.28 to 0.72) | real 7, normal 0, unclear 3
Isolation Forest faults 9 of 20: 0.45 (95% interval 0.23 to 0.67) | real 3, normal 7, unclear 1
rules faults 1 of 4: 0.25 (95% interval 0.00 to 0.67) | real 1, normal 2, unclear 0
La proportion de défaillances dans chaque échantillon révisé, avec son intervalle à 95 %. Avec 20 révisions, chaque intervalle couvre environ 40 points : impossible de départager la cote z des voisines et Isolation Forest. Les deux dernières lignes viennent de sections suivantes.
Description textuelle du graphique

Cinq lignes, chacune montrant une proportion de défaillances avec un intervalle à 95 %, sur un axe de 0 à 100 %. MAD propre (la référence de base), 5 sur 20 : 25 %, de 6 % à 44 %. Cote z des voisines, 10 sur 20 : 50 %, de 28 % à 72 %. Isolation Forest, 9 sur 20 : 45 %, de 23 % à 67 %. Règle du plancher, 13 sur 20 : 65 %, de 44 % à 86 %. Politique sur les nouvelles semaines, 7 sur 40 : 17,5 %, de 6 % à 29 %.

  • La cote z des voisines et Isolation Forest sont à peu près à égalité. 10 et 9 défaillances sur 20. Leurs intervalles se chevauchent presque entièrement. Vingt révisions ne permettent pas de les départager.
  • La référence de base fait moins bien : 5 défaillances sur 20. Parmi ses 20 signalements, 14 concernaient de l’air propre ou des changements réels de l’air.
  • Les 4 signalements des règles nous ont appris quelque chose sur les données. L’un était une vraie défaillance : une station bloquée à 11 pendant 7 heures. Un autre concernait la nuit du Nouvel An, à 999. Deux concernaient des problèmes de PM10 : les PM2.5 concordaient avec les voisines, mais les PM10 étaient trop basses et non entières. Ainsi, « PM2.5 bien au-dessus des PM10 » désigne parfois le mauvais instrument.
  • Isolation Forest signale de l’air propre (7 verdicts normaux sur 20). La cote z des voisines signale des changements locaux réels (7 verdicts réels sur 20). Par exemple, de l’air propre qui atteint une station en premier.

Un échantillon révisé ne dit rien sur les défaillances sans signalement; il ne donne donc aucun rappel. Et les verdicts sont notre jugement.

L’accord ne nécessite aucun corrigé. L’indice de Jaccard de deux listes est le nombre de signalements communs, divisé par le nombre présent dans l’une ou l’autre. Une valeur de 1 signifie les mêmes signalements; 0 signifie aucun signalement commun.

flagged by all three: 32
own MAD (baseline) neighbour z Isolation Forest
own MAD (baseline) 1.00 0.13 0.12
neighbour z 0.13 1.00 0.23
Isolation Forest 0.12 0.23 1.00

Ce que cela nous apprend. Les détecteurs s’accordent peu : au plus 0,23. Seulement 32 journées-stations figurent sur les trois listes. Un faible accord invite à ne pas utiliser un seul détecteur, mais ne dit pas lequel a raison.

Erreur courante

La référence de base signale de l'air propre

Symptôme : Mina ouvre un signalement de la référence de base pour Wanliu, le 22 janvier 2016. La station indique 3 à 8. Les autres stations indiquent 5 à 9. Rien ne cloche.

Cause : la référence de base compare chaque mesure aux 7 derniers jours de la station, sur une échelle logarithmique. Dans de l’air très propre, passer de 8 à 3 représente un grand changement sur cette échelle. Mais l’écart est de 5 µg/m³ : personne ne le verrait en lisant la carte.

Correction : comparez une station à ses voisines, pas seulement à son propre passé. Une ville entière où l’air est propre semble alors normale. Notez aussi, avant la révision, la taille minimale d’une erreur importante : ici, environ 10 µg/m³.

Conséquence pour le travail en IA : un détecteur qui a raison « sur son échelle » peut quand même gaspiller le budget. Parmi les 20 signalements révisés de la référence de base, 14 ne comportaient aucune défaillance. Pendant que Mina les fermait, de vraies défaillances attendaient.

Ce que la révision nous a appris : les chutes au plancher

Section intitulée « Ce que la révision nous a appris : les chutes au plancher »

La plupart des 23 défaillances révisées se ressemblent. Les PM2.5 chutent au minimum pendant une heure ou deux, tandis que les PM10 de la station ou les autres stations restent plus élevées. Personne n’a inséré ce type de défaillance; seule la révision pouvait donc le trouver.

Une nouvelle règle peut le détecter : une mesure de 4 ou moins, alors que la médiane des autres stations atteint 15 ou plus. La mesure est alors au moins 11 sous celle de ses voisines.

def floor_drops(pm25, low=4, others_at_least=15):
"""Readings at the floor (4 or less) while the median of the other stations is 15 or more."""
others = pd.DataFrame({s: pm25.drop(columns=s).median(axis=1) for s in pm25.columns})
return (pm25 <= low) & (others >= others_at_least)
floor-drop station-days in the evaluation weeks: 224 (4.3 a week)
floor drop False True
verdict
fault 5 18
normal 15 1
real 17 1
unclear 4 0

Parmi les 23 défaillances révisées, 18 sont des chutes au plancher. Mais il y a 4,3 journées-stations avec chute au plancher par semaine : presque tout le budget de 5 de Mina.

Les 18 défaillances venaient des signalements échantillonnés, pas de la règle. Pour savoir à quelle fréquence la règle a raison, nous révisons un nouvel échantillon aléatoire : 20 de ses 224 journées-stations.

floor drops reviewed: {'fault': 13, 'unclear': 3, 'real': 2, 'normal': 2}
faults 13 of 20: 0.65 (95% interval 0.44 to 0.86)

Environ deux chutes au plancher sur trois sont des défaillances. Les autres correspondent à de l’air propre dans une station. Par exemple, une station du nord où l’air devient propre une heure avant le reste de la ville.

Quand la règle se trompe, elle masque une mesure basse. La carte montre « aucune mesure » plutôt que « air de bonne qualité » pendant une heure. Elle ne masque jamais la pollution.

Cette règle peut donc agir sans révision, et le budget de Mina sert au reste. C’est une règle écrite avec une responsable, comme dans Fatigue d’alerte et responsabilité. Mina compte les chutes au plancher chaque semaine et envoie le total au fournisseur de données.

Kai place tous les détecteurs dans un tableau. La mesure décisive est celle liée au budget de Mina : les défaillances insérées trouvées avec 5 signalements par semaine. La colonne de révision vient de 20 révisions par détecteur; lisez-la donc avec son intervalle. Les coûts sont nos hypothèses : 6 minutes par révision.

Détecteur Signalements par semaine Défaillances insérées trouvées Défaillances insérées manquées par semaine Révision : défaillances Minutes de révision par semaine
MAD propre (référence de base) 5,0 0,10 1,8 0,25 (5 sur 20) 30
Règles 1,1 0,50 1,0 0,25 (1 sur 4) 6
Cote z des voisines 5,0 0,30 1,4 0,50 (10 sur 20) 30
Isolation Forest 5,0 0,45 1,1 0,45 (9 sur 20) 30
Règles, puis cote z des voisines 5,0 0,62 0,8 non révisé 30
Règles, puis Isolation Forest 5,0 0,58 0,8 non révisé 30
Politique : chutes au plancher retirées, règles, puis cote z des voisines 5,0 0,62 0,8 nouvelles semaines : 0,17 (7 sur 40) 30

Les 1,1 signalement par semaine des règles proviennent de la copie avec défaillances insérées. « Règles, puis cote z des voisines » partage 258 de ses 260 signalements réels avec la cote z des voisines. Sa proportion révisée est donc proche de 0,50.

La méthode simple gagne. Les règles, puis la cote z des voisines, trouvent le plus de défaillances insérées et sont les plus faciles à expliquer. Isolation Forest est proche, et la révision ne permet pas de départager les deux.

Un flux. Chaque heure, 12 stations. Étape 1 : est-ce une chute au plancher, à 4 ou moins, alors que la médiane des autres atteint 15 ou plus? Si oui, marquer la mesure comme manquante sans révision et la compter chaque semaine; 54 journées-stations dans les 8 nouvelles semaines. Sinon, étape 2 : attribuer un score, une règle d'abord, puis la cote z des voisines. Étape 3 : les 5 journées-stations aux scores les plus élevés par semaine. Étape 4 : Mina révise la fiche de preuves. Défaillance : retenir la mesure et avertir le fournisseur de données, 7 dans les nouvelles semaines. Réel ou normal : conserver la mesure et noter la raison, 33 dans les nouvelles semaines.
La politique d'alerte. Une règle traite les chutes au plancher sans révision, car ses erreurs coûtent peu. Les règles classent tout le reste, puis la cote z des voisines, pour les 5 révisions hebdomadaires de Mina.
Description textuelle du diagramme

Le diagramme montre un flux de gauche à droite. Chaque heure, les mesures de PM2.5 et de PM10 de 12 stations arrivent. L’étape 1 demande : est-ce une chute au plancher, à 4 ou moins, alors que la médiane des autres atteint 15 ou plus? Si oui, la politique marque la mesure comme manquante, sans révision, et la compte chaque semaine : 54 journées-stations dans les 8 nouvelles semaines. Sinon, l’étape 2 lui attribue un score : une règle d’abord, puis la cote z des voisines. L’étape 3 conserve les 5 journées-stations aux scores les plus élevés de la semaine. Étape 4 : Mina révise la fiche de preuves de chacune. Si c’est une défaillance, elle retient la mesure et avertit le fournisseur de données : 7 dans les 8 nouvelles semaines. Si c’est réel ou normal, elle conserve la mesure et note la raison : 33 dans les 8 nouvelles semaines.

Kai écrit à Mina :

  • Masquez automatiquement les chutes au plancher. Environ deux sur trois sont des défaillances, et une erreur ne masque que de l’air propre. Comptez-les chaque semaine pour le fournisseur de données.
  • Révisez les 5 journées-stations aux scores les plus élevés par semaine, classées d’abord par les trois règles, puis par la cote z des voisines. Utilisez la liste de vérification et écrivez une raison par verdict.
  • Ne masquez jamais une mesure élevée sans révision. Une valeur élevée dans toute la ville correspond à l’air réel, et la cote z des voisines ne la signale pas.
  • N’utilisez pas Isolation Forest pour l’instant. Il a trouvé 4 défaillances insérées de moins, et ses raisons sont plus difficiles à expliquer.

Et les usages auxquels la politique ne convient pas :

  • Pas aux erreurs lentes d’étalonnage. Elle a trouvé au plus 15 % des erreurs d’échelle insérées.
  • Pas à une défaillance du flux entier. Quand les 12 stations se figent ensemble, comme le 18 septembre 2013, les voisines concordent. Seule la règle de blocage le voit.
  • Pas pour affirmer la qualité d’une station. Un verdict est notre jugement à partir des données, pas un fait fourni par le fournisseur.

Kai exécute la politique une fois sur la période du 2 janvier au 26 février 2017. Aucune étape n’a vu ces semaines, et nous n’insérons aucune défaillance. Chaque signalement reçoit une raison tirée des données de sa pire heure.

new_scores = policy(pm25, pm10)
new_flags = weekly_flags(new_scores, NEW_INPUT)
new_drops = drop_days.loc[NEW_INPUT]
new_flags["reason"] = [reason(s, d) for s, d in zip(new_flags["station"], new_flags["day"])]
8 weeks: 54 floor-drop station-days removed with no review; 40 flags to review, 0 of them from a rule
day station reason
0 2017-01-02 Wanshouxigong 10:00 362, above the median of the others, 23; its PM10 457
1 2017-01-02 Tiantan 11:00 314, above the median of the others, 29; its PM10 479
2 2017-01-02 Gucheng 04:00 13, below the median of the others, 269; its PM10 13
3 2017-01-08 Wanshouxigong 18:00 154, above the median of the others, 18; its PM10 164
4 2017-01-08 Tiantan 18:00 125, above the median of the others, 18; its PM10 145
5 2017-01-10 Aotizhongxin 19:00 13, below the median of the others, 69; its PM10 50
6 2017-01-10 Wanshouxigong 17:00 57, above the median of the others, 8; its PM10 97
7 2017-01-11 Nongzhanguan 15:00 7, below the median of the others, 50; its PM10 5
8 2017-01-13 Wanliu 18:00 2, below the median of the others, 14; its PM10 22
9 2017-01-11 Wanshouxigong 22:00 119, above the median of the others, 26; its PM10 119

Les raisons expliquent les premiers signalements. Le 2 janvier, Wanshouxigong et Tiantan, deux stations centrales, indiquent plus de 300, alors que les autres indiquent environ 25. Leurs PM10 concordent, et la ville suit deux heures plus tard. Gucheng indique 13, alors que les autres indiquent 269 : l’air propre l’atteint en premier.

Mina révise les 40 signalements (new-reviews.csv) :

{'real': 27, 'fault': 7, 'normal': 6}
faults 7 of 40: 0.17 (95% interval 0.06 to 0.29)

Ce que cela nous apprend. Seulement 7 des 40 signalements sont des défaillances. C’est beaucoup moins que les 10 sur 20 de la cote z des voisines durant les semaines d’évaluation. Il y a deux raisons :

  • La règle du plancher a pris les défaillances faciles en premier. 54 journées-stations n’ont jamais atteint la file.
  • L’hiver remplit la file de différences locales réelles. L’air propre du nord atteint les stations du nord une heure ou deux avant le centre. La cote z des voisines ne distingue pas un front qui arrive une heure plus tôt d’une défaillance d’une heure.

Mina conserve les 27 mesures réelles. Mais le budget permet de trouver moins de défaillances que les semaines d’évaluation le promettaient.

Trois des 7 défaillances surviennent le 16 janvier 2017 : Wanshouxigong à 11 h, Shunyi à 15 h et Tiantan à 16 h. Une station après l’autre chute puis remonte : une question pour le fournisseur de données.

La nuit du Nouvel An, le 28 janvier 2017, est la plus polluée de ces semaines. La politique la considère-t-elle comme une défaillance?

median of the 12 stations, 00:00 to 06:00: [342, 566, 655, 613, 582, 574, 538]
own MAD (baseline): 1 flag on 28 January
policy: 0 flags on 28 January

Non. Chaque station indique une valeur élevée; aucune n’est donc loin de ses voisines. La référence de base consacre l’un de ses 5 signalements hebdomadaires à cette nuit. La politique conserve toutes les mesures sur la carte.

  • Aucune étiquette, trois types de preuves. Les défaillances insérées ont donné un rappel exact pour les types que nous avions imaginés. La révision a trouvé la vraie défaillance la plus fréquente. L’accord a montré que les détecteurs voient des choses différentes. Aucun type de preuve ne suffisait seul.
  • Le budget de révision détermine ce que vous savez. 20 révisions donnent un intervalle d’environ 40 points.
  • L’évaluation était trop favorable. Dans les nouvelles semaines, la proportion de défaillances dans la file est passée d’environ une sur deux à une sur six.
  • Les verdicts sont les nôtres. L’auteur du cours a écrit chaque verdict à partir d’une fiche de preuves et d’une liste de vérification écrite. Il n’a pas visité le terrain et pouvait voir quel détecteur avait choisi chaque signalement. Parmi les 61 premiers verdicts, 4 étaient « incertains ». Un deuxième réviseur à l’aveugle ne serait pas d’accord avec certains. Les réviseurs font des erreurs, comme le rappelle Évaluer sans corrigé complet.
  • La politique ne voit pas deux types de défaillances : les erreurs lentes d’étalonnage (échelle) et les défaillances du flux entier.
  • Des données anciennes, une seule ville. Les instruments changent; vérifiez donc de nouveau la règle du plancher sur des données plus récentes.
  • Les gens agissent à partir des données publiques. Masquer une mesure réelle est la pire erreur. La politique ne masque donc automatiquement que les mesures basses.
  • Ne publiez pas un verdict comme un fait. « La station X était défaillante ce jour-là » est un jugement tiré des données. Présentez-le ainsi et fournissez la fiche de preuves.
  • Mentionnez la source (CC BY 4.0), avec le texte d’attribution ci-dessus et une note sur vos modifications.
  • Identifiez les hypothèses. Le budget de 5, les 6 minutes, la limite de 10 µg/m³ et les nombres de la règle du plancher sont des choix. Dites-le partout où un nombre en dépend.

Cette étude de cas montre à un employeur que vous pouvez évaluer honnêtement un détecteur sans étiquettes. Elle montre aussi que vous pouvez présenter un résultat défavorable. Personnalisez-la avec un changement : PM10 plutôt que PM2.5, un nouveau type de défaillance insérée ou un deuxième réviseur. Ensuite, rendez-la publique et facile à lire en cinq minutes.

Quoi mettre dans le dépôt :

  • README.md (modèle ci-dessous) et le carnet Jupyter avec ses sorties.
  • checklist.md (la liste de vérification, un exemple par verdict) et reviews.csv (vos verdicts, chacun avec une raison).
  • comparison.csv, avec la révision des nouvelles semaines gardée séparément.
  • La source et la licence des données, avec le texte d’attribution. Un lien et une somme de contrôle suffisent.

Un modèle de README :

# Faults in a public air-quality feed, with no labels
## Problem
12 stations report PM2.5 every hour to a public map. One reviewer can check 5 station-days
a week (assumption). Hiding a real high reading is the worst mistake.
## Data and licence
UCI "Beijing Multi-Site Air Quality" (Chen), hourly, Mar 2013 - Feb 2017, CC BY 4.0,
https://doi.org/10.24432/C5RK5G. No labels. Unchanged.
## Approach
Unit: a station-day. Detectors: own-station MAD (baseline), 3 rules, neighbour z-score
(robust z of the gap to the other stations' median), Isolation Forest, rules + each score.
Evaluation without labels: 104 planted faults (recall at 5 a week), a random hand review
(20 flags each, 95% intervals), Jaccard agreement.
## Results
Rules then neighbour z: 64 of 104 planted faults; Isolation Forest 47; baseline 10.
Review: neighbour z 10/20 faults, Isolation Forest 9/20. The review found floor drops
(reading <= 4, others >= 15): 65% faults, now hidden with no review.
New weeks (Jan-Feb 2017): 7 faults in 40 reviewed flags, 27 real local differences.
## Limits
Our verdicts; wide intervals; blind to slow calibration errors and feed-wide faults;
2013-2017 data.

Comment le décrire en entrevue, en deux phrases : « J’ai créé un détecteur de défaillances pour un flux public de qualité de l’air sans étiquettes, puis je l’ai évalué avec des défaillances insérées, une révision manuelle et l’accord entre détecteurs. La révision a trouvé la vraie défaillance la plus fréquente, devenue une règle automatique, et les nouvelles semaines ont montré plus de différences locales réelles que de défaillances. »

Pour aller plus loin :

Tâche 1 : un budget plus grand pour les erreurs d’échelle

Section intitulée « Tâche 1 : un budget plus grand pour les erreurs d’échelle »

La cote z des voisines a trouvé 12 % des erreurs d’échelle insérées avec 5 signalements par semaine. Avant de l’exécuter, faites une prédiction : avec un budget de 10 signalements par semaine, en trouve-t-elle deux fois plus? Dans la section 11 du carnet (notebook) Jupyter, utilisez weekly_flags(planted_scores["neighbour z"], EVALUATION, budget=10) et found(). Placez la proportion d’erreurs d’échelle trouvées dans share_scale_neighbour_10, arrondie à 2 décimales.

Afficher la réponse
budget_10 = weekly_flags(planted_scores["neighbour z"], EVALUATION, budget=10)
share_scale_neighbour_10 = round(float(found(budget_10)[planted.kind == "scale"].mean()), 2)
Check passed: share_scale_neighbour_10 is 0.23.

Oui, environ deux fois plus : 23 % au lieu de 12 %. Mais cela prend deux fois plus de temps de révision, et 77 % des erreurs d’échelle restent non détectées. Un budget plus grand ne corrige pas un détecteur qui ne peut pas voir un défaut.

La règle du plancher exige une médiane de 15 ou plus aux autres stations. Faites une prédiction : avec 30 ou plus, combien des 224 journées-stations avec une chute au plancher restent-elles? Utilisez floor_drops(pm25, others_at_least=30). Placez le nombre de journées-stations des semaines d’évaluation dans floor_days_30.

Afficher la réponse
drops_30 = floor_drops(pm25, others_at_least=30)
floor_days_30 = int(drops_30.loc[EVALUATION].groupby(drops_30.loc[EVALUATION].index.normalize()).any().sum().sum())
Check passed: floor_days_30 is 84.

84 journées-stations, soit 1,6 par semaine. Une règle plus stricte masque moins de mesures d’air propre par erreur. Mais les chutes réapparaissent sur la carte quand les autres stations affichent de 15 à 29. Pour choisir, révisez un échantillon de ces 140 journées-stations.

Vérifiez votre compréhension

Les défauts insérés par Kai indiquent que les règles, puis la cote z des voisines, trouvent 62 % des défauts dans le budget. Mina dit : « Donc, on trouve 62 % des vrais défauts. » Expliquez pourquoi c'est incorrect et ce que le résultat des défauts insérés lui apprend.

Afficher la réponse

Les 62 % représentent le rappel des 104 défauts que Kai a insérés. Ils sont de quatre types qu’il a imaginés : pics, valeurs bloquées, erreurs d’échelle et erreurs d’horloge. Les vrais défauts comprennent aussi d’autres types. Le plus courant dans ce flux de données, la chute au plancher, n’a pas été inséré du tout. Ce nombre ne dit donc rien de précis sur les vrais défauts. Il lui permet toutefois de comparer les détecteurs sur le même test connu. Les règles, puis la cote z des voisines, ont trouvé 64 défauts sur 104, Isolation Forest (forêt d’isolement), 47, et la référence de base, 10. Utilisez les défauts insérés pour comparer et choisir, pas pour promettre un rappel réel.

Vérifiez votre compréhension

Dans la révision manuelle, la cote z des voisines a trouvé 10 défauts sur 20 signalements, et Isolation Forest, 9 sur 20. Kai peut-il dire que la cote z des voisines est plus précise? De quoi aurait-il besoin pour en être sûr?

Afficher la réponse

Non. Avec 20 révisions, l’intervalle à 95 % de chaque proportion a une largeur d’environ 0,4. Il va de 0,28 à 0,72 pour la cote z des voisines, et de 0,23 à 0,67 pour Isolation Forest. Les intervalles se chevauchent presque complètement. La différence d’un défaut pourrait donc venir du hasard. Pour distinguer deux proportions qui diffèrent d’environ 0,05, il lui faudrait des centaines de révisions par détecteur. Cela représente des mois du budget de Mina. Il décide donc à partir d’autres éléments : les défauts insérés et le détecteur le plus facile à expliquer.

Vérifiez votre compréhension

La règle du plancher a raison environ deux fois sur trois, et elle agit sans révision. Une règle qui masque toutes les mesures supérieures à 500 pourrait avoir raison aussi souvent. Pourquoi la première règle est-elle acceptable, mais pas la deuxième?

Afficher la réponse

Parce que le coût d’une erreur est très différent. Quand la règle du plancher se trompe, elle masque une mesure basse. La carte n’affiche aucune mesure plutôt que de l’air propre pendant une heure, et personne n’est en danger. Quand une règle qui masque les mesures élevées se trompe, elle masque une vraie pollution. C’est le cas des feux d’artifice du Nouvel An à 999. Les gens ne reçoivent alors aucun avertissement : c’est la pire erreur pour la carte. Une action automatique est acceptable seulement si ses erreurs coûtent peu. Une personne doit examiner les résultats d’une règle dont les erreurs coûtent cher.

Récapitulatif

  • Sans étiquettes, vous avez utilisé trois types d’éléments probants. Les défauts insérés donnent des résultats exacts pour les types insérés. Une révision manuelle aléatoire donne un résultat honnête, avec de larges intervalles. L’accord entre détecteurs ne coûte rien, mais ignore ce qu’ils manquent tous.
  • Comparer une station à ses voisines distingue les événements réels des défauts. Sur 104 défauts insérés, les règles, puis la cote z des voisines, en ont trouvé 64. Isolation Forest en a trouvé 47, et la référence de base, 10 : la méthode simple a gagné.
  • La révision a révélé le défaut réel le plus courant, les chutes au plancher. Une règle les masque maintenant sans révision, parce que ses erreurs masquent seulement de l’air propre.
  • Sur 8 nouvelles semaines, la politique a masqué 54 journées-stations avec une chute au plancher et envoyé 40 signalements. Ils comprenaient 7 défauts, 27 vraies différences locales et 6 cas normaux. La nuit du Nouvel An n’a reçu aucun signalement.
  • Un nombre tiré des semaines d’évaluation n’est pas une promesse pour la prochaine saison. Vérifiez la politique sur de nouvelles données et dites ce qu’elle a trouvé.

Ensuite, une vraie chaîne de production : cartes de contrôle et vérifications de dérive sur les capteurs d’une usine, comparées à Isolation Forest.

Leçon suivante : Cartes de contrôle sur une vraie ligne de production