Aller au contenu
English

Cartes de contrôle sur une vraie ligne de production

  • Étude de cas 4
  • 120 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Dans ce cours, nous avons surveillé les remboursements de Larkfield avec des cartes de contrôle, et ses paiements avec des tests de dérive. Les usines ont inventé ces méthodes. Dans cette étude de cas, nous créons des cartes de contrôle et des vérifications de dérive pour les capteurs d'une vraie chaîne de production. Nous les comparons à *Isolation Forest* (forêt d'isolement) et cherchons des signes avant-coureurs.

Étude de cas 4 sur 4 · Détection d'anomalies : trouver ce qui est inhabituelCartes de contrôle sur une vraie ligne de production
Aperçu du cours

Ce que vous saurez faire

Transformez les mesures des capteurs d’une vraie chaîne de production en liste d’inspection hebdomadaire, et évaluez honnêtement sa valeur. Vous fixerez les limites de phase I et déterminerez combien des 590 capteurs ne produisent que du bruit. Vous produirez un rapport de dérive avec le taux de fausses découvertes et tracerez les cartes des capteurs qui ont changé. Ensuite, vous comparerez les détecteurs avec un même budget d’inspection. Les résultats de réussite ou d’échec serviront seulement à vérifier.

Étude de casPièce de portfolio

Licence
CC BY 4.0
Durée
Environ 2 h
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Phase I et phase II
  • Carte I pour des centaines de capteurs
  • Capteurs qui ne produisent que du bruit
  • Rapport de dérive avec FDR
  • EWMA sur les capteurs choisis
  • Étiquettes comme vérification
  • Un budget pour tous les détecteurs
  • Isolation Forest
  • Une procédure d'intervention pour les alarmes

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Le carnet (notebook) Jupyter exécute chaque étape de cette page, avec le même code et les mêmes sorties. Il ajoute trois tâches avec des vérifications. Ses cellules de configuration installent pandas, SciPy et scikit-learn. Elles téléchargent les données (2 Mo) du dépôt UCI avec une somme de contrôle. Aucun compte n’est nécessaire, et l’exécution prend moins d’une minute après l’installation.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 120 minutes

Ce que vous devez savoir

Voici les leçons les plus importantes :

Ce qu’il vous faut sur votre ordinateur

Rien : le carnet s’exécute dans Colab, Kaggle ou VS Code. Pour l’exécuter localement, utilisez un environnement virtuel avec Python 3.12, pandas 3.1.1, NumPy 2.5.4, SciPy 1.18.1, scikit-learn 1.9.1 et matplotlib 3.11.2. La cellule de configuration crée un dossier secom-case-study. Pour recommencer, supprimez ce dossier.

Testé sur macOS avec Python 3.12.13, dans Jupyter après un démarrage à neuf. Colab, Kaggle, Windows et Linux n’ont pas été testés.

Une usine fabrique des puces à semi-conducteurs sur une longue chaîne de machines. Chaque unité (un article produit) traverse de nombreuses étapes du procédé. À chaque étape, des capteurs et des points de mesure enregistrent le fonctionnement des machines. À la fin de la chaîne, un test indique une réussite ou un échec.

Beatriz est l’ingénieure qualité de la chaîne. Ivan est analyste de données. Nous avons inventé ces deux personnes pour cette étude de cas. La chaîne et ses données sont réelles.

Beatriz a deux questions :

  • « La chaîne compte 590 capteurs. Lesquels mon équipe devrait-elle surveiller, et avec quelles cartes? »
  • « Mon équipe peut retirer 5 unités par semaine de la chaîne pour une inspection complète. Lesquelles devrions-nous prendre? »

Les coûts sont nos hypothèses :

  • Une inspection prend environ une heure de travail d’ingénieur, avec le temps d’utilisation des outils : 80 dollars (hypothèse).
  • Une unité défectueuse qui atteint le test de fin de chaîne a traversé toutes les étapes suivantes pour rien : 400 dollars de travail perdu (hypothèse).

Une unité défectueuse trouvée tôt coûte 80 dollars plutôt que 400. Une unité conforme que nous inspectons coûte 80 dollars pour rien.

Vous créerez une tâche hebdomadaire pour Beatriz. Elle lit les nouvelles unités de la semaine. Elle indique quels capteurs ont dérivé et l’état des cartes des capteurs choisis. Elle liste les 5 unités à inspecter, avec les capteurs les plus éloignés des limites pour chacune. Les résultats de réussite ou d’échec ne servent jamais à entraîner quoi que ce soit. Ils servent seulement à vérifier chaque étape après coup.

Les données proviennent de SECOM, dans le UCI Machine Learning Repository. Elles couvrent 1 567 unités d’une chaîne de semi-conducteurs, du 19 juillet au 17 octobre 2008. Chaque unité comporte 590 mesures de capteurs, ainsi que le résultat et l’heure de son test de fin de chaîne.

Fichier Contenu
secom.data Une ligne par unité, avec 590 nombres séparés par des espaces. NaN indique une mesure manquante. Les capteurs n’ont pas de noms : l’usine les a retirés.
secom_labels.data Une ligne par unité : -1 (réussite) ou 1 (échec), et l’heure du test.

Nous avons comparé deux autres jeux de données. Les exécutions du Tennessee Eastman Process sont du domaine public, mais simulées, et occupent 1,4 Go. Les données de la chaîne de production Bosch suivent les règles d’un concours, pas une licence ouverte, et occupent environ 14 Go.

Le carnet charge les deux fichiers et les vérifie :

sensors = pd.read_csv("secom.data", sep=r"\s+", header=None)
sensors.columns = [f"s{i:03d}" for i in range(sensors.shape[1])] # the sensors have numbers, not names
labels = pd.read_csv("secom_labels.data", sep=" ", header=None, names=["result", "time"])
labels["time"] = pd.to_datetime(labels["time"], format="%d/%m/%Y %H:%M:%S")
fail = (labels["result"] == 1).to_numpy() # 1 = failed the line test, -1 = passed
(1567, 590) | fails: 104 (6.6%)
from 2008-07-19 11:55:00 to 2008-10-17 06:07:00 | in time order: True
missing readings: 4.5% | units a day: median 16, most 62

Ce que cela nous apprend. Les unités sont déjà en ordre chronologique, donc une carte de contrôle peut les suivre une à une. 104 unités ont échoué, soit 6,6 %. La chaîne produit un nombre différent d’unités chaque jour, de 1 à 62. Nous traçons donc les unités, pas les jours, et comptons le budget par semaine.

Les cartes de contrôle ont besoin d’une phase I : une période qui fixe les limites. Ensuite, la phase II compare chaque nouvelle unité à ces limites, comme dans Cartes de contrôle. Nous divisons les 13 semaines (du 19 juillet au 17 octobre) en ordre chronologique :

phase I 19 Jul to 31 Aug: 618 units, 65 fails (10.5%)
first week 01 Sep to 07 Sep: 133 units, 2 fails (1.5%)
comparison 08 Sep to 12 Oct: 722 units, 36 fails (5.0%)
new week 13 Oct to 17 Oct: 94 units, 1 fails (1.1%)

Ce que cela nous apprend. La phase I fixe les limites. La semaine qui suit est le premier examen : son rapport de dérive choisit les capteurs à tracer. Les semaines de comparaison comparent tous les détecteurs avec le même budget. La nouvelle semaine reste inutilisée jusqu’à la fin, pour l’exécution de bout en bout.

Le taux d’échec n’est pas stable. Il est de 10,5 % en phase I et de 5,0 % pendant les semaines de comparaison. Une phase I avec beaucoup d’échecs n’est pas une « bonne » période, mais c’est la seule que nous avons.

Certains capteurs ne peuvent rien nous apprendre. Le carnet compte trois types :

constant = sensors.nunique() <= 1 # the same value on every unit
mostly_empty = sensors.isna().mean() > 0.5 # more than half of the readings missing
top_share = sensors[phase1].apply(lambda s: s.value_counts(normalize=True).max() if s.notna().any() else 1.0)
stuck_in_phase1 = (top_share > 0.95) & ~constant & ~mostly_empty # one value in more than 95% of phase I
constant: 116 | more than half empty: 28 | stuck on one value in phase I: 14 | kept: 432

Un capteur bloqué donne la même valeur pour presque toutes les unités de phase I. Quatre d’entre eux donnent une seule valeur sur 616 des 618 unités de phase I, et ne varient que plus tard. Leur étendue mobile en phase I est proche de 0, donc la largeur de leurs limites est presque nulle. Chaque changement ultérieur ressemble alors à une énorme alarme. Le cas d’échec ci-dessous l’illustre.

Voici maintenant la question qui a rendu ce jeu de données célèbre : quels capteurs sont liés aux échecs? Nous utilisons les étiquettes seulement pour vérifier, pas pour choisir quoi que ce soit.

Pour chaque capteur, le carnet exécute un test de rang (le test de Mann-Whitney). Il trie toutes les mesures du capteur. Il demande ensuite : les unités défectueuses se placent-elles plus haut ou plus bas que les unités conformes? Il examine l’ordre, pas la taille, donc quelques mesures énormes ne peuvent pas décider du résultat. Avec 432 tests, le hasard seul donne environ 22 résultats sous 0,05. Nous utilisons donc Bonferroni et le taux de fausses découvertes (BH), comme dans Dérive dans de nombreuses variables.

Avant de lire la sortie, faites une prédiction : combien de capteurs BH conserve-t-il sur l’ensemble des unités? Et dans une seule période?

432 tests | p < 0.05: 85 (chance alone: about 22) | Bonferroni: 9 | FDR (BH): 23
phase I only: FDR (BH) keeps 2
comparison weeks only: FDR (BH) keeps 0

Sur l’ensemble des unités, BH conserve 23 capteurs. En phase I, il en conserve 2. Pendant les semaines de comparaison, il n’en conserve aucun. Pourquoi le nombre baisse-t-il autant?

Le carnet teste quels capteurs ont changé entre la phase I et les semaines suivantes (test KS, avec BH) :

sensors that moved between phase I and the rest (KS, FDR): 364 of 432
of the 23 related to fails, moved too: 23
fail rate: phase I 10.5%, after it 4.1%

Ce que cela nous apprend. Le taux d’échec a baissé après la phase I, et 364 des 432 capteurs ont changé en même temps. Un capteur qui suit seulement le calendrier est « lié aux échecs » sur l’ensemble des unités. Ses valeurs de phase I accompagnent davantage d’échecs. Les 23 capteurs conservés par BH ont tous aussi changé avec le temps. Dans une seule période, où le calendrier ne peut pas aider, il ne reste presque rien.

Un arbre partant de 590 capteurs. 158 ne peuvent pas transmettre de signal : 116 constants, 28 avec plus de la moitié des mesures manquantes, 14 bloqués sur une valeur en phase I. 432 sont conservés. Parmi les 432, 364 ont changé entre la phase I et la suite. 23 sont liés aux échecs sur l'ensemble des unités, et tous les 23 ont aussi changé avec le temps. Dans une seule période : 2 en phase I, 0 pendant les semaines de comparaison.
Combien de capteurs ne produisent que du bruit? 158 sur 590 ne peuvent pas transmettre de signal. Parmi les 432 autres, le taux de fausses découvertes en conserve 23 comme liés aux échecs sur l'ensemble des unités, et 0 pendant les semaines de comparaison.
Description textuelle du diagramme

Le diagramme commence avec 590 capteurs sur 1 567 unités. Une branche mène aux 158 capteurs qui ne peuvent pas transmettre de signal : 116 constants, 28 avec plus de la moitié des mesures manquantes et 14 bloqués sur une valeur en phase I. L’autre branche mène aux 432 capteurs que nous conservons. À partir des 432, une case indique que 364 ont changé entre la phase I et les semaines suivantes (test KS, taux de fausses découvertes de 5 %). Une autre case indique que 23 sont liés aux échecs sur l’ensemble des unités (test de rang, taux de fausses découvertes de 5 %). Tous les 23 ont aussi changé avec le temps. En dessous, une dernière case indique : dans une seule période, 2 en phase I et 0 pendant les semaines de comparaison.

Donc, honnêtement : 158 capteurs ne produisent certainement que du bruit. Parmi les 432 autres, nous ne pouvons montrer pour aucun capteur qu’il distingue à lui seul une unité défectueuse d’une unité conforme dans une période. Cela ne prouve pas qu’ils sont inutiles : 36 échecs forment un petit échantillon, et un capteur peut compter avec d’autres.

Le carnet construit la carte I de chaque capteur, comme dans Cartes de contrôle. La ligne centrale est la moyenne de phase I. Sigma vient de l’étendue mobile : le changement moyen d’une unité à la suivante, divisé par 1,128. Une mesure manquante prend la médiane de phase I, donc elle ne donne aucune alarme.

centre = ref.mean()
sigma = ref.diff().abs().mean() / 1.128 # the I-MR chart's sigma, from the moving range
filled = S.fillna(ref.median()) # a missing reading takes phase I's median: it gives no alarm
z = (filled - centre) / sigma # each reading, in sigmas from its centre line
beyond = z.abs() > 3 # outside the I chart's limits

Faites d’abord une prédiction. Si chaque capteur était sous contrôle et suivait une distribution en cloche, 0,27 % des mesures dépasseraient les limites par hasard. Avec 432 capteurs, cela donne 1,2 capteur par unité. Combien en attendez-vous en phase I elle-même?

sensors outside their limits on one unit, phase I: 12.1 on average (chance alone, if every sensor were in control and bell-shaped: 1.2)
the same in the comparison weeks: 15.3
units with no sensor outside: phase I 3 of 618

Ce que cela nous apprend. Même en phase I, une unité a 12,1 capteurs hors de leurs propres limites, dix fois plus que par hasard. Seules 3 des 618 unités de phase I n’en ont aucun. Les vrais capteurs ont des changements par paliers, des dérives lentes et de longues queues. La phase I n’est donc pas « sous contrôle » pour beaucoup d’entre eux.

C’est l’hôtel aux cent détecteurs de fumée de Dérive dans de nombreuses variables, avec 432 alarmes. Un capteur hors de ses limites ne signifie presque rien. Le nombre de capteurs hors des limites, sur une unité, peut en dire plus. Nous le testons ci-dessous.

Dérive multivariée avec le taux de fausses découvertes

Section intitulée « Dérive multivariée avec le taux de fausses découvertes »

Le rapport de dérive compare la première semaine après la phase I à la phase I, capteur par capteur. Il donne la valeur p du test KS, le PSI et la décision de BH. C’est ce que faisait le rapport de Dérive dans de nombreuses variables pour les paiements de Larkfield :

432 sensors | p < 0.05: 265 | FDR (BH): 246 | PSI 0.25 or more: 205

BH conserve 246 capteurs, et 205 ont un PSI élevé (0,25 ou plus). Avec 133 unités, ce n’est pas seulement l’effet du « grand échantillon » de La distribution a-t-elle changé?. La moitié de la chaîne a vraiment changé.

Le même rapport pour chaque semaine après la phase I :

week units fails fail rate sensors drifted (BH)
2008-09-01 133 2 0.015 246
2008-09-08 95 4 0.042 323
2008-09-15 154 5 0.032 312
2008-09-22 166 4 0.024 310
2008-09-29 169 15 0.089 331
2008-10-06 138 8 0.058 329
2008-10-13 94 1 0.011 336

La semaine du 29 septembre a le plus d’échecs : 15 sur 169 unités, soit 8,9 %. Mais son rapport de dérive ressemble aux autres. Chaque semaine, BH conserve de 246 à 336 capteurs. Voici le taux d’échec de chaque semaine, phase I comprise. C’est le véritable signal de qualité de la chaîne, tiré des étiquettes :

  • Semaines de phase I
  • Semaines après la phase I
  • Taux d'échec en phase I (10,5 %)
Le taux d'échec hebdomadaire. Il est élevé en phase I (10,5 % sur la période), faible début septembre, puis remonte la semaine du 29 septembre (8,9 %).
Description textuelle du graphique

Le graphique montre un point par semaine, de la semaine du 14 juillet à celle du 13 octobre 2008. Une ligne pointillée marque le taux d’échec de phase I, soit 10,5 %. Les sept premiers points sont en phase I : 23,1 % (seulement 13 unités), 9,5 %, 20,8 %, 13,0 %, 13,7 %, 10,6 % et 4,1 %. Viennent ensuite les semaines après la phase I : 1,5 %, 4,2 %, 3,2 %, 2,4 %, 8,9 % (la semaine du 29 septembre, le maximum après la phase I), 5,8 % et 1,1 %.

Ce que cela nous apprend. La dérive est partout, tout le temps, et elle ne suit pas les échecs. Quand le taux d’échec a baissé après la phase I, des centaines de capteurs ont dérivé. Quand il a augmenté le 29 septembre, le rapport de dérive n’a pas changé. Sur cette chaîne, le rapport de dérive dit « regardez » chaque semaine. Il ne peut pas indiquer où se trouve un problème de qualité.

Beatriz ne peut pas lire 432 cartes. Une carte de contrôle n’a aussi de sens que pour un capteur sous contrôle en phase I. Ivan conserve donc d’abord les capteurs adaptés aux cartes, avec quatre règles qui n’ont besoin d’aucune étiquette :

  • moins de 5 % des mesures manquantes;
  • au moins 50 valeurs différentes en phase I (pas un compteur avec peu de paliers);
  • au plus 1 % des unités de phase I hors des limites;
  • peu de mémoire d’une unité à la suivante (autocorrélation de décalage 1 inférieure à 0,3).

151 capteurs satisfont ces règles. Parmi eux, il prend les 3 ayant le PSI le plus élevé dans le rapport de dérive de la première semaine :

chartable sensors: 151 of 432
chosen: ['s059', 's416', 's051']
p PSI BH
s059 1.5e-18 2.254 True
s416 3.6e-11 1.914 True
s051 5.6e-06 1.409 True
  • s059, chaque unité
  • Ligne centrale, moyenne de phase I (7,66)
  • Limites de phase I (−18,68 et 34,00)
  • Fin de la phase I
La carte I de s059. Après la phase I, le niveau passe d'environ 7,7 à environ 0 et y reste, mais seules 2 unités suivantes dépassent les limites. Deux mesures de phase I, 87,0 et 168,1, sont tracées au bord supérieur.
Description textuelle du graphique

Le graphique montre la mesure du capteur s059 sur chacune des 1 567 unités sous forme de ligne mince et bruitée. Une ligne centrale continue se trouve à 7,66, la moyenne de phase I. Les limites pointillées sont à −18,68 et 34,00. Une ligne verticale pointillée marque la fin de la phase I, à l’unité 618. En phase I, la ligne est haute et bruitée : 90 % des mesures sont entre −8,4 et 26,9. Six mesures de phase I dépassent les limites. Deux d’entre elles, 87,0 et 168,1, dépassent le haut du graphique. Après la phase I, la ligne est plus basse : 90 % des mesures sont entre −5,7 et 5,2, avec une moyenne de −0,08. Seules deux mesures suivantes dépassent les limites, toutes deux le 1er septembre.

Ce que cela nous apprend. Le niveau de s059 a baissé d’environ 7,7, soit 0,9 sigma, et est resté bas. Les unités individuelles franchissent rarement une limite de 3 sigmas après un décalage aussi petit. C’est le rôle de l’EWMA, dans Petits décalages durables : CUSUM et EWMA.

Le carnet exécute une EWMA sur chaque capteur choisi, avec les paramètres de cette leçon : λ = 0,1 et L = 2,6. Chaque EWMA commence à 0 au début de la phase I, puis recommence à la première unité qui suit. Ensuite, les étiquettes vérifient les alarmes : le taux d’échec est-il plus élevé quand l’EWMA est en alarme?

  • EWMA de s059
  • Limites de l'EWMA
  • Fin de la phase I
L'EWMA de s059 franchit sa limite inférieure le 1er septembre, le premier jour après la phase I, et reste en dessous. En phase I, elle dépasse aussi ses limites 38,8 % du temps : la phase I n'était pas stable.
Description textuelle du graphique

Le graphique montre l’EWMA du capteur s059, en sigmas, pour les 1 567 unités. Deux limites pointillées se trouvent à +0,596 et −0,596. Une ligne verticale pointillée marque la fin de la phase I. En phase I, l’EWMA monte jusqu’à 1,67 le 5 août. Elle descend à −0,89 le 31 août, donc elle franchit les deux limites. Après la phase I, elle recommence à 0 et passe sous la limite inférieure en dix unités, le 1er septembre. Elle reste sous la limite pour 93 % des unités de comparaison, et sa valeur minimale est −1,22.

sensor share in alarm, phase I first alarm after phase I share in alarm, comparison fail rate in alarm fail rate not in alarm
s059 0.388 01 Sep 09:06 0.927 0.048 0.075
s416 0.209 01 Sep 05:32 0.191 0.036 0.053
s051 0.286 01 Sep 23:05 0.108 0.038 0.051

Ce que cela nous apprend. Trois choses.

  • L’EWMA a trouvé les décalages rapidement. Les trois cartes ont déclenché une alarme le 1er septembre, le premier jour après la phase I.
  • Les décalages n’ont pas nui au rendement. Pour chaque capteur, les unités produites pendant une alarme échouaient moins souvent que les autres : 4,8 % contre 7,5 % pour s059. Le procédé a changé; la qualité ne s’est pas dégradée.
  • La phase I n’était pas stable. Les EWMA étaient en alarme pendant 21 % à 39 % de la phase I elle-même. Ces capteurs satisfaisaient la règle de la carte I (1 % hors des limites). Mais une dérive lente en phase I échappe à une carte I. Vérifiez aussi la phase I avec une EWMA.

Une mesure : les unités défectueuses trouvées en cinq inspections par semaine

Section intitulée « Une mesure : les unités défectueuses trouvées en cinq inspections par semaine »

Passons à la deuxième question de Beatriz : quelles 5 unités son équipe devrait-elle inspecter chaque semaine? Chaque détecteur attribue un score à chaque unité. Chaque semaine, l’équipe inspecte les 5 unités aux scores les plus élevés. Ivan compare six options pendant les cinq semaines de comparaison :

  • Aucune inspection : le minimum.
  • Nombre hors limites : le nombre de capteurs, parmi les 432, hors de leurs limites de phase I pour cette unité. C’est la règle simple, la référence de base.
  • Nombre selon la cote z robuste : le nombre de capteurs à plus de 4 cotes z robustes (MAD) de leur médiane de phase I, comme dans Médiane, MAD et IQR.
  • Carte I, 3 capteurs choisis : le plus grand |z| de s059, s416 et s051.
  • EWMA, 3 capteurs choisis : la plus grande |EWMA| des trois mêmes capteurs.
  • Isolation Forest : Isolation Forest (forêt d’isolement), avec 200 arbres sur les 432 capteurs en unités z, entraînée sur la phase I.

Une ligne parfaite, qui connaît les réponses, montre le maximum. Certaines semaines comptent moins de 5 unités défectueuses. Même cette ligne parfaite ne peut donc pas atteindre une précision de 1.

Le carnet (notebook) Jupyter évalue chaque détecteur avec la même fonction. La dernière colonne indique la probabilité que des choix aléatoires trouvent autant d’unités défectueuses (un test binomial) :

def at_budget(score, mask=compare_weeks, budget=BUDGET):
"""Each week, inspect the `budget` units with the highest scores (ties: the earlier unit first)."""
found = inspected = 0
for w in sorted(set(week[mask])):
units = np.nonzero(mask & (week == w))[0]
top = units[np.argsort(-score[units], kind="stable")][:budget]
inspected, found = inspected + len(top), found + int(fail[top].sum())
...

Faites d’abord une prédiction : quel détecteur trouve le plus d’unités défectueuses? Un détecteur coûte-t-il moins cher que l’absence d’inspection?

comparison weeks: 5 | units: 722 | fails: 36 | a random pick finds a fail 5.0% of the time
detector inspected fails found precision recall cost a week chance of this by luck
no inspection 0 0 0.00 0.000 2880 1.000
count outside limits (all sensors) 25 3 0.12 0.083 3040 0.126
count above 4 robust z (all sensors) 25 1 0.04 0.028 3200 0.722
I chart, 3 chosen sensors (largest |z|) 25 0 0.00 0.000 3280 1.000
EWMA, 3 chosen sensors (largest |EWMA|) 25 0 0.00 0.000 3280 1.000
Isolation Forest (all sensors) 25 2 0.08 0.056 3120 0.356
perfect (knows the answers) 25 23 0.92 0.639 1440 0.000
Unités défectueuses trouvées avec le même budget. Le simple nombre de capteurs hors limites en trouve 3, Isolation Forest 2, les cartes des capteurs choisis 0. La méthode parfaite en trouverait 23.
Description textuelle du graphique

Sept lignes, un point chacune : les unités défectueuses trouvées en 25 inspections. Aucune inspection : 0. Nombre hors limites : 3, mis en évidence. Nombre selon la cote z robuste : 1. Carte I sur 3 capteurs : 0. EWMA sur 3 capteurs : 0. Isolation Forest : 2. Méthode parfaite : 23, loin à droite de toutes les autres.

  • Le score le plus simple gagne. « Combien de capteurs sont hors limites » trouve 3 unités défectueuses en 25 inspections, soit une précision de 0,12. Des choix aléatoires trouveraient une unité défectueuse dans 5,0 % des cas. Isolation Forest, sur les mêmes 432 capteurs, en trouve 2.
  • Les cartes des capteurs choisis ne trouvent rien à l’échelle de l’unité. Une EWMA surveille le procédé : elle dit « le niveau a changé depuis le 1er septembre ». Cela reste vrai pendant des semaines. Elle ne peut pas dire quelle unité sera défectueuse.
  • Mais tous les nombres sont petits. Trouver 3 unités défectueuses en 25 inspections arriverait par hasard dans 12,6 % des cas. Nous ne pouvons donc pas dire que le nombre hors limites fait mieux que le hasard. Nous pouvons dire qu’aucune méthode ici ne fait clairement mieux que ce nombre.
  • Aucun détecteur ne rentabilise ses inspections. Avec nos coûts, une inspection est rentable seulement si plus de 80 ÷ 400 = 20 % des unités inspectées sont défectueuses. La meilleure précision est de 12 %. Inspecter coûte donc plus cher chaque semaine (3 040 dollars) que ne pas inspecter (2 880 dollars).

Tomás, l’ingénieur en IA du cours, demanderait un modèle plus gros. Mais un modèle plus gros ne donne pas plus de signal : Isolation Forest, avec les 432 capteurs, n’a pas battu un décompte. Quand ne pas utiliser l’apprentissage automatique montrait la même chose pour les paiements de Larkfield.

Ivan écrit à Beatriz dans ses mots :

  • Ne choisissez pas encore les unités à inspecter avec ces capteurs. Le meilleur score a trouvé 3 unités défectueuses en 25 inspections, contre environ 1 avec des choix aléatoires. Cela peut être le hasard. Il coûte plus qu’il ne permet d’économiser.
  • Utilisez le nombre de capteurs hors limites comme seul nombre à surveiller par unité. Il est simple à expliquer et c’était le meilleur des six. Vérifiez-le de nouveau quand vous aurez plus d’unités défectueuses.
  • Suivez le procédé sur les cartes, pas l’unité. Les cartes EWMA de quelques capteurs adaptés montrent vite les changements du procédé (ici, dès le premier jour après la phase I). Pour chaque alarme EWMA, vérifiez le rendement avant d’agir.
  • Établissez une nouvelle phase I. L’ancienne avait un taux d’unités défectueuses de 10,5 % et des capteurs qui dérivaient. Prenez quelques semaines avec un taux stable et des EWMA stables, vérifiez-les et fixez de nouvelles limites.
  • Retirez ou corrigez le bruit. 158 capteurs ne portent aucun signal. 14 d’entre eux étaient bloqués en phase I. Demandez à l’équipe responsable de l’équipement s’ils sont brisés, remplacés ou réinitialisés.

Et voici à quoi ne pas l’utiliser :

  • Pas pour arrêter la ligne. Presque chaque unité a un capteur hors limites. Retenez les unités seulement après les étapes ci-dessous.
  • Pas comme conclusion sur la physique. Les capteurs n’ont pas de noms.
  • Pas comme outil de prédiction des unités défectueuses. Aucun modèle n’a été entraîné sur les étiquettes. Les vérifications montrent que les mesures distinguent mal les unités défectueuses.

Aucune étape n’a utilisé la dernière semaine, du 13 au 17 octobre. Ivan y exécute la tâche hebdomadaire. Elle produit le rapport de dérive, l’état des EWMA et la liste d’inspection. Cette liste indique les 3 capteurs les plus éloignés de leurs limites pour chaque unité :

13 Oct to 17 Oct: 94 units
drift against phase I: 336 sensors (BH); largest PSI: s116 7.38, s539 6.19, s247 5.98
EWMA of the chosen sensors, share of the week in alarm: {'s059': 1.0, 's416': 0.32, 's051': 0.02}
time sensors outside furthest out
unit
1489 13 Oct 20:53 49 s338, s202, s333
1482 13 Oct 15:42 32 s572, s576, s574
1525 15 Oct 07:36 30 s032, s036, s034
1533 15 Oct 14:08 30 s222, s494, s360
1539 15 Oct 19:24 29 s572, s574, s576

Puis les étiquettes de la nouvelle semaine, pour vérifier :

fails among the 5 inspected: 0 | failed units this week: [1519] | their rank by the count: [8] of 94

Ce que cela nous apprend. La tâche fonctionne sur de nouvelles données. Son résultat est modeste. Une unité sur 94 était défectueuse, et le nombre hors limites l’a classée au 8e rang. Avec un budget de 5, l’équipe l’aurait manquée. Avec un budget de 10, elle l’aurait trouvée, au double du coût.

Les capteurs s572, s574 et s576 sont les plus éloignés des limites sur deux des cinq unités. Seule la liste des capteurs de l’usine peut dire s’ils sont sur une même machine.

Une alarme marque le début du travail, pas la fin. L’équipe de Beatriz suit quatre étapes :

Un parcours à partir d'une alarme (une unité avec beaucoup de capteurs hors limites, ou une alarme EWMA). Étape 1 : le capteur ou le procédé? Bloqué, données manquantes, réétalonné. Si c'est le capteur : corriger le flux de données ou le capteur, le noter, sans retenir d'unités. Si c'est le procédé, étape 2 : une unité ou un décalage durable? Étape 3 : qu'est-ce qui a changé à ce moment-là? Journal de l'outil, entretien, lot de matière, recette. Étape 4 : est-ce que cela nuit au rendement? Si non : la normale a changé, le noter, nouvelles limites de phase I après le changement. Si oui : retenir et inspecter les unités depuis le changement, corriger la cause, puis fixer de nouvelles limites.
Quatre étapes après une alarme. Sur une ligne comme celle-ci, la plupart des alarmes s'arrêtent à l'étape 1 ou 4, sans retenir d'unités : un problème de capteur, ou un changement qui ne nuit pas au rendement.
Description textuelle du diagramme

Le diagramme commence par une alarme : une unité avec beaucoup de capteurs hors limites, ou une alarme EWMA. L’étape 1 demande : est-ce le capteur ou le procédé? Cherchez un capteur bloqué, des mesures manquantes ou un réétalonnage. Si c’est le capteur, corrigez le flux de données ou le capteur et notez-le, sans retenir d’unités. Si c’est le procédé, l’étape 2 demande : est-ce une unité ou un décalage durable? La carte I montre un point, l’EWMA montre une séquence. L’étape 3 demande : qu’est-ce qui a changé à ce moment-là? Consultez le journal de l’outil, l’entretien, le lot de matière et la recette. L’étape 4 demande : est-ce que cela nuit au rendement? Regardez le taux d’unités défectueuses depuis le changement. Si non, la normale a changé : notez-le et fixez de nouvelles limites de phase I après le changement. Si oui, retenez et inspectez les unités produites depuis le changement, corrigez la cause, puis fixez de nouvelles limites.

Sur cette ligne, l’alarme EWMA de s059 du 1er septembre passe par les quatre étapes. Ce n’est pas un capteur bloqué (étape 1). C’est un décalage durable, pas une seule unité (étape 2). Les données ne peuvent pas répondre à l’étape 3 : seuls les journaux (logs) de l’usine le peuvent. À l’étape 4, le taux d’unités défectueuses a baissé après le décalage. Beatriz le note donc, continue de surveiller et fixe de nouvelles limites pour s059 après une période stable. Elle ne retient aucune unité.

La vérification du rendement à l’étape 4 peut utiliser une carte p du taux hebdomadaire d’unités défectueuses. Elle arrive tard, au bout de la ligne, mais elle détermine si une alarme de capteur compte.

Erreur courante

Les quatre capteurs qui étaient bloqués

Symptôme : à la première exécution d’Ivan, la liste d’inspection de la nouvelle semaine indiquait les mêmes capteurs pour chaque unité : s542, s543, s544 et s545. Les cinq unités avaient de 33 à 57 capteurs « hors limites ».

Cause : ces quatre capteurs donnaient une seule valeur sur 616 des 618 unités de phase I, par exemple 0.0026 pour s544. Leur étendue mobile en phase I était proche de 0 (exactement 0 pour s544). La largeur de leurs limites était donc presque nulle. Après la phase I, ils donnaient des valeurs réelles et variables, et chaque valeur était « hors limites ». C’était l’étape 1 des étapes après une alarme : le capteur, pas le procédé.

Correction : une règle avant toute limite. Un capteur qui donne une seule valeur sur plus de 95 % de la phase I n’a pas de limites utilisables. Le carnet compte maintenant 14 de ces capteurs et les retire. Il reste donc 432 capteurs, pas 440.

Conséquence pour le travail en IA : un détecteur qui additionne beaucoup de variables suit sa pire variable. Une variable dont l’échelle est proche de 0 peut remplir chaque alerte. Vérifiez la dispersion de chaque variable dans la fenêtre de référence avant de faire confiance à un score combiné.

Erreur courante

Choisir les capteurs avec les étiquettes

Symptôme : une façon courante d’utiliser SECOM est de choisir les capteurs qui diffèrent le plus entre unités défectueuses et conformes. On trace ensuite leurs cartes. En phase I, BH conserve 2 de ces capteurs.

Cause : dans les semaines de comparaison, BH ne conserve aucun des 432 capteurs comme lié aux unités défectueuses. Les capteurs choisis par les étiquettes de phase I ne sont pas fiables ensuite. Sur l’ensemble des unités, 23 capteurs semblent liés. Mais les 23 ont aussi changé avec le temps, comme le taux d’unités défectueuses.

Correction : choisissez les capteurs sans les étiquettes (adaptés aux cartes et ayant le plus changé dans le rapport de dérive). Utilisez les étiquettes seulement pour vérifier ensuite. Si vous devez choisir avec les étiquettes, choisissez dans une période et vérifiez dans une période ultérieure, comme ici.

Conséquence pour le travail en IA : une variable choisie sur les mêmes données que vous évaluez ensuite paraît toujours bonne. Dans un procédé qui dérive, elle mesure souvent seulement la date. C’est pourquoi le cours d’apprentissage automatique garde des données de test séparées, dans Données d’entraînement, de validation et de test : séparez le choix de la vérification.

  • Beaucoup de capteurs, peu de signal. 158 des 590 capteurs n’en portent aucun. Dans une même période, aucun des 432 autres capteurs ne distinguait à lui seul les unités défectueuses des unités conformes. Sur l’ensemble des unités, les 23 qui semblent liés changent avec le calendrier.
  • La phase I n’était pas sous contrôle.
  • La dérive n’est pas un dommage. Des centaines de capteurs dérivaient chaque semaine pendant que le taux d’unités défectueuses baissait.
  • De petits nombres. Cinq semaines de comparaison, 36 unités défectueuses, 25 inspections par détecteur. Une différence d’une ou deux unités défectueuses est du bruit. La comparaison ne peut donc pas classer les détecteurs : aucun n’est clairement utile.
  • Nos hypothèses. Le budget (5 par semaine) et les coûts (80 et 400 dollars) sont les nôtres, pas ceux de l’usine. Avec une unité défectueuse manquée à 1 000 dollars, la précision minimale pour être rentable descend à 8 %. Le nombre hors limites serait alors rentable, si sa précision se maintenait.
  • Une ligne, 13 semaines en 2008, des capteurs anonymes. Nous ne pouvons pas vérifier la physique, les journaux des outils ou l’entretien, qu’un ingénieur consulterait d’abord.
  • Les données concernent une vraie usine. Elles ne contiennent aucune donnée personnelle. L’usine a retiré les noms des capteurs. N’essayez donc pas de découvrir quelle entreprise ou quelles machines elles décrivent.
  • Citez la source. CC BY 4.0 permet de partager et de modifier les données, avec le texte d’attribution ci-dessus et une note de vos changements.
  • Retenir des unités touche les gens. Cela ralentit la ligne. Un opérateur peut devoir expliquer une alarme causée par un capteur brisé. Vérifiez l’étape 1 avant d’impliquer des gens et indiquez le degré de certitude de l’alarme.
  • Indiquez les hypothèses. Le budget, les coûts et la période de phase I sont des choix. Dites-le partout où un nombre en dépend. Indiquez aussi la « probabilité due au hasard » à côté des petits nombres.

Cette étude de cas montre à un employeur que vous savez travailler avec des données réelles et imparfaites de capteurs. Elle montre aussi que vous présentez honnêtement un résultat faible. Faites-en votre projet avec un changement. Par exemple, essayez une nouvelle phase I, une carte T² de Hotelling ou un autre budget. Rendez-le ensuite public et facile à lire en cinq minutes.

Quoi mettre dans le dépôt :

  • README.md, la page que les gens lisent d’abord (modèle ci-dessous).
  • Le carnet, exécuté du début à la fin, avec ses sorties.
  • sensor_triage.csv : chaque capteur avec sa règle (constant, vide, bloqué, conservé, adapté aux cartes).
  • drift_by_week.csv et comparison.csv : les nombres hebdomadaires de capteurs en dérive, et les six détecteurs avec les unités défectueuses trouvées, la précision, le rappel, le coût et la probabilité due au hasard.
  • La source et la licence des données, avec le texte d’attribution ci-dessus. Un lien et la somme de contrôle suffisent.

Un modèle de README :

# Control charts and drift checks on a real semiconductor line (UCI SECOM)
## Problem
590 sensors, 1,567 units, pass/fail at the end of the line. Which sensors to chart,
and which 5 units a week to inspect? Inspection 80 dollars, a fail at the line test
400 dollars (assumptions).
## Data and licence
UCI "SECOM" (McCann, Johnston), July-October 2008, CC BY 4.0,
https://doi.org/10.24432/C54305. Labels used only as a check.
## Approach
Phase I = 19 Jul - 31 Aug. Removed 158 constant, empty or stuck sensors.
I chart limits for 432 sensors; weekly drift report (KS, PSI, BH); EWMA on 3 chartable
sensors that moved most; 6 detectors under 5 inspections a week, 5 comparison weeks.
## Results
No sensor separates fails inside one period (BH: 0 of 432). Hundreds drift every week,
but the yield improved. Best detector: count of sensors outside limits, 3 fails in
25 inspections (random: about 1; chance by luck 13%). No detector pays at these costs.
## Limits
Unstable phase I; 36 fails; anonymous sensors; assumed costs.

Comment le décrire en entrevue, en quatre phrases : « J’ai établi des limites de phase I et un rapport hebdomadaire de dérive pour les 590 capteurs d’une vraie ligne de semi-conducteurs. J’ai comparé six détecteurs avec un même budget d’inspection, en utilisant les résultats conforme/défectueux seulement pour vérifier. 158 capteurs ne portaient aucun signal, et la plupart des liens apparents avec les unités défectueuses venaient du temps. Aucun détecteur n’a battu les choix aléatoires avec certitude, et je l’ai présenté avec les chiffres. »

Allez plus loin :

  • Construisez une carte T² de Hotelling : une carte multivariée sur les composantes principales de la phase I. Bat-elle le nombre hors limites?
  • Choisissez une nouvelle phase I, par exemple du 1er au 28 septembre, et répétez la comparaison sur octobre. Les EWMA restent-elles sans alarme?
  • Comparez avec les autres études de cas, Fraude par carte avec un budget de révision et Pannes dans les métriques de machines ou de serveurs : où une règle simple gagne-t-elle dans ces cas?

Changez une chose : le budget. Avant l’exécution, faites une prédiction : avec 10 inspections par semaine, la précision du nombre hors limites dépasse-t-elle 0,12? Dans la section 8 du carnet, utilisez at_budget() avec budget=10 pour scores["count outside limits (all sensors)"]. Placez la précision dans precision_10.

Afficher la réponse
precision_10 = at_budget(scores["count outside limits (all sensors)"], budget=10)["precision"]
Check passed: precision_10 is 0.12.

La précision reste à 0,12 : 6 unités défectueuses en 50 inspections. Le nombre hors limites en trouve donc deux fois plus au double du coût. Il reste bien sous les 20 % nécessaires pour rentabiliser une inspection. Un budget plus grand en trouve davantage, mais il ne rend pas chaque inspection plus utile.

Vérifiez votre compréhension

Sur l'ensemble des 1 567 unités, le taux de fausses découvertes retient 23 capteurs comme liés aux échecs. Pendant les semaines de comparaison, il n'en retient aucun. Expliquez pourquoi et ce que cela signifie pour le choix des capteurs.

Afficher la réponse

Le taux d’échec a changé avec le temps : 10,5 % en phase I et environ 4 % ensuite. En même temps, 364 des 432 capteurs ont changé. Un capteur qui suit seulement le calendrier a des valeurs différentes pendant la période où les échecs sont nombreux. Sur l’ensemble des unités, il semble donc lié aux défaillances. Les 23 capteurs retenus ont aussi changé avec le temps. Dans une même période, le calendrier n’aide pas, et aucun capteur ne distingue les unités défectueuses des unités conformes. Choisir les capteurs selon leur lien avec les échecs dans toutes les données reviendrait surtout à choisir des horloges. Choisissez sans les étiquettes, puis vérifiez plus tard, dans une période distincte.

Vérifiez votre compréhension

L'EWMA du capteur s059 déclenche une alarme dès le premier jour après la phase I. Elle reste en alarme pendant des semaines. Les unités produites pendant l'alarme ont eu moins d'échecs que les autres. Que devrait faire Beatriz, et pourquoi?

Afficher la réponse

Elle devrait suivre les étapes prévues en cas d’alarme. Le capteur n’est pas bloqué, et le décalage dure : il ne touche pas une seule unité. Le procédé a donc réellement changé. Elle devrait chercher ce qui a changé à ce moment-là (le journal de l’outil, l’entretien, le matériau). Ensuite, elle vérifie le rendement : le taux d’échec n’a pas augmenté (4,8 % pendant l’alarme, 7,5 % sans alarme). Le changement ne nuit donc pas à la qualité. Elle le consigne, ne retient aucune unité et établit de nouvelles limites pour s059 après une période stable. Une EWMA indique que le procédé a changé, pas qu’il s’est dégradé. Seule la vérification du rendement peut le confirmer.

Vérifiez votre compréhension

Le nombre de capteurs hors limites permet de trouver 3 unités défectueuses en 25 inspections. Une sélection aléatoire en trouverait environ 1. Ivan ne recommande pas encore de l'utiliser pour choisir les unités. Donnez deux raisons fondées sur les chiffres.

Afficher la réponse

Premièrement, l’écart peut venir du hasard. Avec un taux d’échec de 5,0 %, une sélection aléatoire trouverait au moins 3 unités défectueuses en 25 inspections. Cela arriverait environ 12,6 % du temps. Avec seulement 36 unités défectueuses en cinq semaines, une ou deux de plus représentent du bruit. Deuxièmement, ce n’est pas rentable. Une inspection coûte 80 $ et un échec, 400 $. Une inspection est donc rentable seulement si plus de 20 % des unités inspectées sont défaillantes. La précision du nombre de capteurs hors limites est de 12 %. L’inspection fondée sur ce nombre coûte 3 040 $ par semaine, contre 2 880 $ sans inspection.

Récapitulatif

  • Sur 590 capteurs, 158 ne fournissent aucun signal (constants, presque sans données ou bloqués en phase I). Parmi les 432 autres, le taux de fausses découvertes en retient 23 comme liés aux échecs sur l’ensemble des unités. Il en retient 0 pendant les semaines de comparaison : le signal vient surtout du temps.
  • La phase I n’était pas sous contrôle : 12,1 capteurs hors limites par unité, contre 1,2 par hasard.
  • Le rapport hebdomadaire de dérive retenait de 246 à 336 capteurs chaque semaine, sans suivre les échecs.
  • L’EWMA des capteurs choisis a détecté le décalage dès le premier jour. La vérification du rendement a montré qu’il ne nuisait pas à la qualité.
  • Avec un même budget de 5 inspections par semaine, le score le plus simple (capteurs hors limites) a trouvé le plus d’unités défectueuses : 3 sur 36. Mais cela pouvait venir du hasard, et aucun détecteur n’a rentabilisé ses inspections.

Ensuite, le travail final : les remboursements de Larkfield par agent, avec une nouvelle région qui entre en service au milieu du mois. Vous choisissez les cartes et les vérifications, puis vous rédigez la politique d’alerte.

Leçon suivante : Travail final