Cartes de contrôle sur une vraie ligne de production
- Étude de cas 4
- 120 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Dans ce cours, nous avons surveillé les remboursements de Larkfield avec des cartes de contrôle, et ses paiements avec des tests de dérive. Les usines ont inventé ces méthodes. Dans cette étude de cas, nous créons des cartes de contrôle et des vérifications de dérive pour les capteurs d'une vraie chaîne de production. Nous les comparons à *Isolation Forest* (forêt d'isolement) et cherchons des signes avant-coureurs.
Étude de cas 4 sur 4 · Détection d'anomalies : trouver ce qui est inhabituelCartes de contrôle sur une vraie ligne de production
1. Ce que « inhabituel » veut dire
2. Des références de base simples et difficiles à battre
3. Maîtrise statistique des procédés et dérive de distribution
- Cartes de contrôle : cette variation est-elle normale?
- Règles pour les motifs, et le prix de chaque règle
- Cartes pour les taux et les dénombrements
- Petits décalages durables : CUSUM et EWMA
- La distribution a-t-elle changé?
- Dérive dans de nombreuses variables, et quoi faire
- Loi de Benford et autres vérifications d'affaires
4. Distance, densité et isolement
5. Les anomalies dans le temps
6. Méthodes profondes et plongements
7. Évaluer avec peu d'étiquettes
8. Apprendre des réviseurs
9. Exploiter un détecteur en production
Ce que vous saurez faire
Transformez les mesures des capteurs d’une vraie chaîne de production en liste d’inspection hebdomadaire, et évaluez honnêtement sa valeur. Vous fixerez les limites de phase I et déterminerez combien des 590 capteurs ne produisent que du bruit. Vous produirez un rapport de dérive avec le taux de fausses découvertes et tracerez les cartes des capteurs qui ont changé. Ensuite, vous comparerez les détecteurs avec un même budget d’inspection. Les résultats de réussite ou d’échec serviront seulement à vérifier.
Le carnet (notebook) Jupyter exécute chaque étape de cette page, avec le même code et les mêmes sorties. Il ajoute trois tâches avec des vérifications. Ses cellules de configuration installent pandas, SciPy et scikit-learn. Elles téléchargent les données (2 Mo) du dépôt UCI avec une somme de contrôle. Aucun compte n’est nécessaire, et l’exécution prend moins d’une minute après l’installation.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Voici les leçons les plus importantes :
- La phase I, la phase II et la carte I-MR, dans Cartes de contrôle : cette variation est-elle normale?.
- La carte EWMA et ses paramètres, dans Petits décalages durables : CUSUM et EWMA.
- KS, PSI et pourquoi un grand échantillon indique toujours « un changement », dans La distribution a-t-elle changé?.
- Bonferroni, le taux de fausses découvertes et le rapport de dérive, dans Dérive dans de nombreuses variables, et quoi faire.
- Isolation Forest, dans Isolation Forest.
- La précision pour un budget donné et le coût par semaine, dans Le budget d’alertes.
Ce qu’il vous faut sur votre ordinateur
Rien : le carnet s’exécute dans Colab, Kaggle ou VS Code. Pour l’exécuter localement, utilisez un environnement virtuel avec Python 3.12, pandas 3.1.1, NumPy 2.5.4, SciPy 1.18.1, scikit-learn 1.9.1 et matplotlib 3.11.2. La cellule de configuration crée un dossier secom-case-study. Pour recommencer, supprimez ce dossier.
Testé sur macOS avec Python 3.12.13, dans Jupyter après un démarrage à neuf. Colab, Kaggle, Windows et Linux n’ont pas été testés.
La situation
Section intitulée « La situation »Une usine fabrique des puces à semi-conducteurs sur une longue chaîne de machines. Chaque unité (un article produit) traverse de nombreuses étapes du procédé. À chaque étape, des capteurs et des points de mesure enregistrent le fonctionnement des machines. À la fin de la chaîne, un test indique une réussite ou un échec.
Beatriz est l’ingénieure qualité de la chaîne. Ivan est analyste de données. Nous avons inventé ces deux personnes pour cette étude de cas. La chaîne et ses données sont réelles.
Beatriz a deux questions :
- « La chaîne compte 590 capteurs. Lesquels mon équipe devrait-elle surveiller, et avec quelles cartes? »
- « Mon équipe peut retirer 5 unités par semaine de la chaîne pour une inspection complète. Lesquelles devrions-nous prendre? »
Les coûts sont nos hypothèses :
- Une inspection prend environ une heure de travail d’ingénieur, avec le temps d’utilisation des outils : 80 dollars (hypothèse).
- Une unité défectueuse qui atteint le test de fin de chaîne a traversé toutes les étapes suivantes pour rien : 400 dollars de travail perdu (hypothèse).
Une unité défectueuse trouvée tôt coûte 80 dollars plutôt que 400. Une unité conforme que nous inspectons coûte 80 dollars pour rien.
Ce que vous allez créer
Section intitulée « Ce que vous allez créer »Vous créerez une tâche hebdomadaire pour Beatriz. Elle lit les nouvelles unités de la semaine. Elle indique quels capteurs ont dérivé et l’état des cartes des capteurs choisis. Elle liste les 5 unités à inspecter, avec les capteurs les plus éloignés des limites pour chacune. Les résultats de réussite ou d’échec ne servent jamais à entraîner quoi que ce soit. Ils servent seulement à vérifier chaque étape après coup.
Les données
Section intitulée « Les données »Les données proviennent de SECOM, dans le UCI Machine Learning Repository. Elles couvrent 1 567 unités d’une chaîne de semi-conducteurs, du 19 juillet au 17 octobre 2008. Chaque unité comporte 590 mesures de capteurs, ainsi que le résultat et l’heure de son test de fin de chaîne.
| Fichier | Contenu |
|---|---|
secom.data |
Une ligne par unité, avec 590 nombres séparés par des espaces. NaN indique une mesure manquante. Les capteurs n’ont pas de noms : l’usine les a retirés. |
secom_labels.data |
Une ligne par unité : -1 (réussite) ou 1 (échec), et l’heure du test. |
Nous avons comparé deux autres jeux de données. Les exécutions du Tennessee Eastman Process sont du domaine public, mais simulées, et occupent 1,4 Go. Les données de la chaîne de production Bosch suivent les règles d’un concours, pas une licence ouverte, et occupent environ 14 Go.
Premières vérifications
Section intitulée « Premières vérifications »Le carnet charge les deux fichiers et les vérifie :
sensors = pd.read_csv("secom.data", sep=r"\s+", header=None)sensors.columns = [f"s{i:03d}" for i in range(sensors.shape[1])] # the sensors have numbers, not nameslabels = pd.read_csv("secom_labels.data", sep=" ", header=None, names=["result", "time"])labels["time"] = pd.to_datetime(labels["time"], format="%d/%m/%Y %H:%M:%S")fail = (labels["result"] == 1).to_numpy() # 1 = failed the line test, -1 = passed(1567, 590) | fails: 104 (6.6%)from 2008-07-19 11:55:00 to 2008-10-17 06:07:00 | in time order: Truemissing readings: 4.5% | units a day: median 16, most 62Ce que cela nous apprend. Les unités sont déjà en ordre chronologique, donc une carte de contrôle peut les suivre une à une. 104 unités ont échoué, soit 6,6 %. La chaîne produit un nombre différent d’unités chaque jour, de 1 à 62. Nous traçons donc les unités, pas les jours, et comptons le budget par semaine.
Quatre périodes
Section intitulée « Quatre périodes »Les cartes de contrôle ont besoin d’une phase I : une période qui fixe les limites. Ensuite, la phase II compare chaque nouvelle unité à ces limites, comme dans Cartes de contrôle. Nous divisons les 13 semaines (du 19 juillet au 17 octobre) en ordre chronologique :
phase I 19 Jul to 31 Aug: 618 units, 65 fails (10.5%)first week 01 Sep to 07 Sep: 133 units, 2 fails (1.5%)comparison 08 Sep to 12 Oct: 722 units, 36 fails (5.0%)new week 13 Oct to 17 Oct: 94 units, 1 fails (1.1%)Ce que cela nous apprend. La phase I fixe les limites. La semaine qui suit est le premier examen : son rapport de dérive choisit les capteurs à tracer. Les semaines de comparaison comparent tous les détecteurs avec le même budget. La nouvelle semaine reste inutilisée jusqu’à la fin, pour l’exécution de bout en bout.
Le taux d’échec n’est pas stable. Il est de 10,5 % en phase I et de 5,0 % pendant les semaines de comparaison. Une phase I avec beaucoup d’échecs n’est pas une « bonne » période, mais c’est la seule que nous avons.
Combien de capteurs ne produisent que du bruit?
Section intitulée « Combien de capteurs ne produisent que du bruit? »Les capteurs qui ne peuvent pas transmettre de signal
Section intitulée « Les capteurs qui ne peuvent pas transmettre de signal »Certains capteurs ne peuvent rien nous apprendre. Le carnet compte trois types :
constant = sensors.nunique() <= 1 # the same value on every unitmostly_empty = sensors.isna().mean() > 0.5 # more than half of the readings missingtop_share = sensors[phase1].apply(lambda s: s.value_counts(normalize=True).max() if s.notna().any() else 1.0)stuck_in_phase1 = (top_share > 0.95) & ~constant & ~mostly_empty # one value in more than 95% of phase Iconstant: 116 | more than half empty: 28 | stuck on one value in phase I: 14 | kept: 432Un capteur bloqué donne la même valeur pour presque toutes les unités de phase I. Quatre d’entre eux donnent une seule valeur sur 616 des 618 unités de phase I, et ne varient que plus tard. Leur étendue mobile en phase I est proche de 0, donc la largeur de leurs limites est presque nulle. Chaque changement ultérieur ressemble alors à une énorme alarme. Le cas d’échec ci-dessous l’illustre.
Les étiquettes comme vérification
Section intitulée « Les étiquettes comme vérification »Voici maintenant la question qui a rendu ce jeu de données célèbre : quels capteurs sont liés aux échecs? Nous utilisons les étiquettes seulement pour vérifier, pas pour choisir quoi que ce soit.
Pour chaque capteur, le carnet exécute un test de rang (le test de Mann-Whitney). Il trie toutes les mesures du capteur. Il demande ensuite : les unités défectueuses se placent-elles plus haut ou plus bas que les unités conformes? Il examine l’ordre, pas la taille, donc quelques mesures énormes ne peuvent pas décider du résultat. Avec 432 tests, le hasard seul donne environ 22 résultats sous 0,05. Nous utilisons donc Bonferroni et le taux de fausses découvertes (BH), comme dans Dérive dans de nombreuses variables.
Avant de lire la sortie, faites une prédiction : combien de capteurs BH conserve-t-il sur l’ensemble des unités? Et dans une seule période?
432 tests | p < 0.05: 85 (chance alone: about 22) | Bonferroni: 9 | FDR (BH): 23phase I only: FDR (BH) keeps 2comparison weeks only: FDR (BH) keeps 0Sur l’ensemble des unités, BH conserve 23 capteurs. En phase I, il en conserve 2. Pendant les semaines de comparaison, il n’en conserve aucun. Pourquoi le nombre baisse-t-il autant?
Le calendrier explique la majeure partie du signal
Section intitulée « Le calendrier explique la majeure partie du signal »Le carnet teste quels capteurs ont changé entre la phase I et les semaines suivantes (test KS, avec BH) :
sensors that moved between phase I and the rest (KS, FDR): 364 of 432of the 23 related to fails, moved too: 23fail rate: phase I 10.5%, after it 4.1%Ce que cela nous apprend. Le taux d’échec a baissé après la phase I, et 364 des 432 capteurs ont changé en même temps. Un capteur qui suit seulement le calendrier est « lié aux échecs » sur l’ensemble des unités. Ses valeurs de phase I accompagnent davantage d’échecs. Les 23 capteurs conservés par BH ont tous aussi changé avec le temps. Dans une seule période, où le calendrier ne peut pas aider, il ne reste presque rien.
Description textuelle du diagramme
Le diagramme commence avec 590 capteurs sur 1 567 unités. Une branche mène aux 158 capteurs qui ne peuvent pas transmettre de signal : 116 constants, 28 avec plus de la moitié des mesures manquantes et 14 bloqués sur une valeur en phase I. L’autre branche mène aux 432 capteurs que nous conservons. À partir des 432, une case indique que 364 ont changé entre la phase I et les semaines suivantes (test KS, taux de fausses découvertes de 5 %). Une autre case indique que 23 sont liés aux échecs sur l’ensemble des unités (test de rang, taux de fausses découvertes de 5 %). Tous les 23 ont aussi changé avec le temps. En dessous, une dernière case indique : dans une seule période, 2 en phase I et 0 pendant les semaines de comparaison.
Donc, honnêtement : 158 capteurs ne produisent certainement que du bruit. Parmi les 432 autres, nous ne pouvons montrer pour aucun capteur qu’il distingue à lui seul une unité défectueuse d’une unité conforme dans une période. Cela ne prouve pas qu’ils sont inutiles : 36 échecs forment un petit échantillon, et un capteur peut compter avec d’autres.
Limites de phase I pour 432 capteurs
Section intitulée « Limites de phase I pour 432 capteurs »Le carnet construit la carte I de chaque capteur, comme dans Cartes de contrôle. La ligne centrale est la moyenne de phase I. Sigma vient de l’étendue mobile : le changement moyen d’une unité à la suivante, divisé par 1,128. Une mesure manquante prend la médiane de phase I, donc elle ne donne aucune alarme.
centre = ref.mean()sigma = ref.diff().abs().mean() / 1.128 # the I-MR chart's sigma, from the moving rangefilled = S.fillna(ref.median()) # a missing reading takes phase I's median: it gives no alarmz = (filled - centre) / sigma # each reading, in sigmas from its centre linebeyond = z.abs() > 3 # outside the I chart's limitsFaites d’abord une prédiction. Si chaque capteur était sous contrôle et suivait une distribution en cloche, 0,27 % des mesures dépasseraient les limites par hasard. Avec 432 capteurs, cela donne 1,2 capteur par unité. Combien en attendez-vous en phase I elle-même?
sensors outside their limits on one unit, phase I: 12.1 on average (chance alone, if every sensor were in control and bell-shaped: 1.2)the same in the comparison weeks: 15.3units with no sensor outside: phase I 3 of 618Ce que cela nous apprend. Même en phase I, une unité a 12,1 capteurs hors de leurs propres limites, dix fois plus que par hasard. Seules 3 des 618 unités de phase I n’en ont aucun. Les vrais capteurs ont des changements par paliers, des dérives lentes et de longues queues. La phase I n’est donc pas « sous contrôle » pour beaucoup d’entre eux.
C’est l’hôtel aux cent détecteurs de fumée de Dérive dans de nombreuses variables, avec 432 alarmes. Un capteur hors de ses limites ne signifie presque rien. Le nombre de capteurs hors des limites, sur une unité, peut en dire plus. Nous le testons ci-dessous.
Dérive multivariée avec le taux de fausses découvertes
Section intitulée « Dérive multivariée avec le taux de fausses découvertes »La première semaine
Section intitulée « La première semaine »Le rapport de dérive compare la première semaine après la phase I à la phase I, capteur par capteur. Il donne la valeur p du test KS, le PSI et la décision de BH. C’est ce que faisait le rapport de Dérive dans de nombreuses variables pour les paiements de Larkfield :
432 sensors | p < 0.05: 265 | FDR (BH): 246 | PSI 0.25 or more: 205BH conserve 246 capteurs, et 205 ont un PSI élevé (0,25 ou plus). Avec 133 unités, ce n’est pas seulement l’effet du « grand échantillon » de La distribution a-t-elle changé?. La moitié de la chaîne a vraiment changé.
Chaque semaine
Section intitulée « Chaque semaine »Le même rapport pour chaque semaine après la phase I :
week units fails fail rate sensors drifted (BH)2008-09-01 133 2 0.015 2462008-09-08 95 4 0.042 3232008-09-15 154 5 0.032 3122008-09-22 166 4 0.024 3102008-09-29 169 15 0.089 3312008-10-06 138 8 0.058 3292008-10-13 94 1 0.011 336La semaine du 29 septembre a le plus d’échecs : 15 sur 169 unités, soit 8,9 %. Mais son rapport de dérive ressemble aux autres. Chaque semaine, BH conserve de 246 à 336 capteurs. Voici le taux d’échec de chaque semaine, phase I comprise. C’est le véritable signal de qualité de la chaîne, tiré des étiquettes :
- Semaines de phase I
- Semaines après la phase I
- Taux d'échec en phase I (10,5 %)
Description textuelle du graphique
Le graphique montre un point par semaine, de la semaine du 14 juillet à celle du 13 octobre 2008. Une ligne pointillée marque le taux d’échec de phase I, soit 10,5 %. Les sept premiers points sont en phase I : 23,1 % (seulement 13 unités), 9,5 %, 20,8 %, 13,0 %, 13,7 %, 10,6 % et 4,1 %. Viennent ensuite les semaines après la phase I : 1,5 %, 4,2 %, 3,2 %, 2,4 %, 8,9 % (la semaine du 29 septembre, le maximum après la phase I), 5,8 % et 1,1 %.
Ce que cela nous apprend. La dérive est partout, tout le temps, et elle ne suit pas les échecs. Quand le taux d’échec a baissé après la phase I, des centaines de capteurs ont dérivé. Quand il a augmenté le 29 septembre, le rapport de dérive n’a pas changé. Sur cette chaîne, le rapport de dérive dit « regardez » chaque semaine. Il ne peut pas indiquer où se trouve un problème de qualité.
Tracer les cartes des capteurs qui ont changé
Section intitulée « Tracer les cartes des capteurs qui ont changé »Quels capteurs tracer
Section intitulée « Quels capteurs tracer »Beatriz ne peut pas lire 432 cartes. Une carte de contrôle n’a aussi de sens que pour un capteur sous contrôle en phase I. Ivan conserve donc d’abord les capteurs adaptés aux cartes, avec quatre règles qui n’ont besoin d’aucune étiquette :
- moins de 5 % des mesures manquantes;
- au moins 50 valeurs différentes en phase I (pas un compteur avec peu de paliers);
- au plus 1 % des unités de phase I hors des limites;
- peu de mémoire d’une unité à la suivante (autocorrélation de décalage 1 inférieure à 0,3).
151 capteurs satisfont ces règles. Parmi eux, il prend les 3 ayant le PSI le plus élevé dans le rapport de dérive de la première semaine :
chartable sensors: 151 of 432chosen: ['s059', 's416', 's051'] p PSI BHs059 1.5e-18 2.254 Trues416 3.6e-11 1.914 Trues051 5.6e-06 1.409 TrueLa carte I de s059
Section intitulée « La carte I de s059 »- s059, chaque unité
- Ligne centrale, moyenne de phase I (7,66)
- Limites de phase I (−18,68 et 34,00)
- Fin de la phase I
Description textuelle du graphique
Le graphique montre la mesure du capteur s059 sur chacune des 1 567 unités sous forme de ligne mince et bruitée. Une ligne centrale continue se trouve à 7,66, la moyenne de phase I. Les limites pointillées sont à −18,68 et 34,00. Une ligne verticale pointillée marque la fin de la phase I, à l’unité 618. En phase I, la ligne est haute et bruitée : 90 % des mesures sont entre −8,4 et 26,9. Six mesures de phase I dépassent les limites. Deux d’entre elles, 87,0 et 168,1, dépassent le haut du graphique. Après la phase I, la ligne est plus basse : 90 % des mesures sont entre −5,7 et 5,2, avec une moyenne de −0,08. Seules deux mesures suivantes dépassent les limites, toutes deux le 1er septembre.
Ce que cela nous apprend. Le niveau de s059 a baissé d’environ 7,7, soit 0,9 sigma, et est resté bas. Les unités individuelles franchissent rarement une limite de 3 sigmas après un décalage aussi petit. C’est le rôle de l’EWMA, dans Petits décalages durables : CUSUM et EWMA.
EWMA sur les capteurs choisis
Section intitulée « EWMA sur les capteurs choisis »Le carnet exécute une EWMA sur chaque capteur choisi, avec les paramètres de cette leçon : λ = 0,1 et L = 2,6. Chaque EWMA commence à 0 au début de la phase I, puis recommence à la première unité qui suit. Ensuite, les étiquettes vérifient les alarmes : le taux d’échec est-il plus élevé quand l’EWMA est en alarme?
- EWMA de s059
- Limites de l'EWMA
- Fin de la phase I
Description textuelle du graphique
Le graphique montre l’EWMA du capteur s059, en sigmas, pour les 1 567 unités. Deux limites pointillées se trouvent à +0,596 et −0,596. Une ligne verticale pointillée marque la fin de la phase I. En phase I, l’EWMA monte jusqu’à 1,67 le 5 août. Elle descend à −0,89 le 31 août, donc elle franchit les deux limites. Après la phase I, elle recommence à 0 et passe sous la limite inférieure en dix unités, le 1er septembre. Elle reste sous la limite pour 93 % des unités de comparaison, et sa valeur minimale est −1,22.
sensor share in alarm, phase I first alarm after phase I share in alarm, comparison fail rate in alarm fail rate not in alarm s059 0.388 01 Sep 09:06 0.927 0.048 0.075 s416 0.209 01 Sep 05:32 0.191 0.036 0.053 s051 0.286 01 Sep 23:05 0.108 0.038 0.051Ce que cela nous apprend. Trois choses.
- L’EWMA a trouvé les décalages rapidement. Les trois cartes ont déclenché une alarme le 1er septembre, le premier jour après la phase I.
- Les décalages n’ont pas nui au rendement. Pour chaque capteur, les unités produites pendant une alarme échouaient moins souvent que les autres : 4,8 % contre 7,5 % pour s059. Le procédé a changé; la qualité ne s’est pas dégradée.
- La phase I n’était pas stable. Les EWMA étaient en alarme pendant 21 % à 39 % de la phase I elle-même. Ces capteurs satisfaisaient la règle de la carte I (1 % hors des limites). Mais une dérive lente en phase I échappe à une carte I. Vérifiez aussi la phase I avec une EWMA.
Une mesure : les unités défectueuses trouvées en cinq inspections par semaine
Section intitulée « Une mesure : les unités défectueuses trouvées en cinq inspections par semaine »Les détecteurs
Section intitulée « Les détecteurs »Passons à la deuxième question de Beatriz : quelles 5 unités son équipe devrait-elle inspecter chaque semaine? Chaque détecteur attribue un score à chaque unité. Chaque semaine, l’équipe inspecte les 5 unités aux scores les plus élevés. Ivan compare six options pendant les cinq semaines de comparaison :
- Aucune inspection : le minimum.
- Nombre hors limites : le nombre de capteurs, parmi les 432, hors de leurs limites de phase I pour cette unité. C’est la règle simple, la référence de base.
- Nombre selon la cote z robuste : le nombre de capteurs à plus de 4 cotes z robustes (MAD) de leur médiane de phase I, comme dans Médiane, MAD et IQR.
- Carte I, 3 capteurs choisis : le plus grand |z| de s059, s416 et s051.
- EWMA, 3 capteurs choisis : la plus grande |EWMA| des trois mêmes capteurs.
- Isolation Forest : Isolation Forest (forêt d’isolement), avec 200 arbres sur les 432 capteurs en unités z, entraînée sur la phase I.
Une ligne parfaite, qui connaît les réponses, montre le maximum. Certaines semaines comptent moins de 5 unités défectueuses. Même cette ligne parfaite ne peut donc pas atteindre une précision de 1.
La comparaison
Section intitulée « La comparaison »Le carnet (notebook) Jupyter évalue chaque détecteur avec la même fonction. La dernière colonne indique la probabilité que des choix aléatoires trouvent autant d’unités défectueuses (un test binomial) :
def at_budget(score, mask=compare_weeks, budget=BUDGET): """Each week, inspect the `budget` units with the highest scores (ties: the earlier unit first).""" found = inspected = 0 for w in sorted(set(week[mask])): units = np.nonzero(mask & (week == w))[0] top = units[np.argsort(-score[units], kind="stable")][:budget] inspected, found = inspected + len(top), found + int(fail[top].sum()) ...Faites d’abord une prédiction : quel détecteur trouve le plus d’unités défectueuses? Un détecteur coûte-t-il moins cher que l’absence d’inspection?
comparison weeks: 5 | units: 722 | fails: 36 | a random pick finds a fail 5.0% of the time detector inspected fails found precision recall cost a week chance of this by luck no inspection 0 0 0.00 0.000 2880 1.000 count outside limits (all sensors) 25 3 0.12 0.083 3040 0.126 count above 4 robust z (all sensors) 25 1 0.04 0.028 3200 0.722I chart, 3 chosen sensors (largest |z|) 25 0 0.00 0.000 3280 1.000EWMA, 3 chosen sensors (largest |EWMA|) 25 0 0.00 0.000 3280 1.000 Isolation Forest (all sensors) 25 2 0.08 0.056 3120 0.356 perfect (knows the answers) 25 23 0.92 0.639 1440 0.000Description textuelle du graphique
Sept lignes, un point chacune : les unités défectueuses trouvées en 25 inspections. Aucune inspection : 0. Nombre hors limites : 3, mis en évidence. Nombre selon la cote z robuste : 1. Carte I sur 3 capteurs : 0. EWMA sur 3 capteurs : 0. Isolation Forest : 2. Méthode parfaite : 23, loin à droite de toutes les autres.
Ce que la comparaison nous apprend
Section intitulée « Ce que la comparaison nous apprend »- Le score le plus simple gagne. « Combien de capteurs sont hors limites » trouve 3 unités défectueuses en 25 inspections, soit une précision de 0,12. Des choix aléatoires trouveraient une unité défectueuse dans 5,0 % des cas. Isolation Forest, sur les mêmes 432 capteurs, en trouve 2.
- Les cartes des capteurs choisis ne trouvent rien à l’échelle de l’unité. Une EWMA surveille le procédé : elle dit « le niveau a changé depuis le 1er septembre ». Cela reste vrai pendant des semaines. Elle ne peut pas dire quelle unité sera défectueuse.
- Mais tous les nombres sont petits. Trouver 3 unités défectueuses en 25 inspections arriverait par hasard dans 12,6 % des cas. Nous ne pouvons donc pas dire que le nombre hors limites fait mieux que le hasard. Nous pouvons dire qu’aucune méthode ici ne fait clairement mieux que ce nombre.
- Aucun détecteur ne rentabilise ses inspections. Avec nos coûts, une inspection est rentable seulement si plus de 80 ÷ 400 = 20 % des unités inspectées sont défectueuses. La meilleure précision est de 12 %. Inspecter coûte donc plus cher chaque semaine (3 040 dollars) que ne pas inspecter (2 880 dollars).
Tomás, l’ingénieur en IA du cours, demanderait un modèle plus gros. Mais un modèle plus gros ne donne pas plus de signal : Isolation Forest, avec les 432 capteurs, n’a pas battu un décompte. Quand ne pas utiliser l’apprentissage automatique montrait la même chose pour les paiements de Larkfield.
La recommandation
Section intitulée « La recommandation »Ivan écrit à Beatriz dans ses mots :
- Ne choisissez pas encore les unités à inspecter avec ces capteurs. Le meilleur score a trouvé 3 unités défectueuses en 25 inspections, contre environ 1 avec des choix aléatoires. Cela peut être le hasard. Il coûte plus qu’il ne permet d’économiser.
- Utilisez le nombre de capteurs hors limites comme seul nombre à surveiller par unité. Il est simple à expliquer et c’était le meilleur des six. Vérifiez-le de nouveau quand vous aurez plus d’unités défectueuses.
- Suivez le procédé sur les cartes, pas l’unité. Les cartes EWMA de quelques capteurs adaptés montrent vite les changements du procédé (ici, dès le premier jour après la phase I). Pour chaque alarme EWMA, vérifiez le rendement avant d’agir.
- Établissez une nouvelle phase I. L’ancienne avait un taux d’unités défectueuses de 10,5 % et des capteurs qui dérivaient. Prenez quelques semaines avec un taux stable et des EWMA stables, vérifiez-les et fixez de nouvelles limites.
- Retirez ou corrigez le bruit. 158 capteurs ne portent aucun signal. 14 d’entre eux étaient bloqués en phase I. Demandez à l’équipe responsable de l’équipement s’ils sont brisés, remplacés ou réinitialisés.
Et voici à quoi ne pas l’utiliser :
- Pas pour arrêter la ligne. Presque chaque unité a un capteur hors limites. Retenez les unités seulement après les étapes ci-dessous.
- Pas comme conclusion sur la physique. Les capteurs n’ont pas de noms.
- Pas comme outil de prédiction des unités défectueuses. Aucun modèle n’a été entraîné sur les étiquettes. Les vérifications montrent que les mesures distinguent mal les unités défectueuses.
L’exécution complète sur une nouvelle semaine
Section intitulée « L’exécution complète sur une nouvelle semaine »Aucune étape n’a utilisé la dernière semaine, du 13 au 17 octobre. Ivan y exécute la tâche hebdomadaire. Elle produit le rapport de dérive, l’état des EWMA et la liste d’inspection. Cette liste indique les 3 capteurs les plus éloignés de leurs limites pour chaque unité :
13 Oct to 17 Oct: 94 unitsdrift against phase I: 336 sensors (BH); largest PSI: s116 7.38, s539 6.19, s247 5.98EWMA of the chosen sensors, share of the week in alarm: {'s059': 1.0, 's416': 0.32, 's051': 0.02} time sensors outside furthest outunit1489 13 Oct 20:53 49 s338, s202, s3331482 13 Oct 15:42 32 s572, s576, s5741525 15 Oct 07:36 30 s032, s036, s0341533 15 Oct 14:08 30 s222, s494, s3601539 15 Oct 19:24 29 s572, s574, s576Puis les étiquettes de la nouvelle semaine, pour vérifier :
fails among the 5 inspected: 0 | failed units this week: [1519] | their rank by the count: [8] of 94Ce que cela nous apprend. La tâche fonctionne sur de nouvelles données. Son résultat est modeste. Une unité sur 94 était défectueuse, et le nombre hors limites l’a classée au 8e rang. Avec un budget de 5, l’équipe l’aurait manquée. Avec un budget de 10, elle l’aurait trouvée, au double du coût.
Les capteurs s572, s574 et s576 sont les plus éloignés des limites sur deux des cinq unités. Seule la liste des capteurs de l’usine peut dire s’ils sont sur une même machine.
Ce qu’une ingénieure qualité fait avec une alarme
Section intitulée « Ce qu’une ingénieure qualité fait avec une alarme »Une alarme marque le début du travail, pas la fin. L’équipe de Beatriz suit quatre étapes :
Description textuelle du diagramme
Le diagramme commence par une alarme : une unité avec beaucoup de capteurs hors limites, ou une alarme EWMA. L’étape 1 demande : est-ce le capteur ou le procédé? Cherchez un capteur bloqué, des mesures manquantes ou un réétalonnage. Si c’est le capteur, corrigez le flux de données ou le capteur et notez-le, sans retenir d’unités. Si c’est le procédé, l’étape 2 demande : est-ce une unité ou un décalage durable? La carte I montre un point, l’EWMA montre une séquence. L’étape 3 demande : qu’est-ce qui a changé à ce moment-là? Consultez le journal de l’outil, l’entretien, le lot de matière et la recette. L’étape 4 demande : est-ce que cela nuit au rendement? Regardez le taux d’unités défectueuses depuis le changement. Si non, la normale a changé : notez-le et fixez de nouvelles limites de phase I après le changement. Si oui, retenez et inspectez les unités produites depuis le changement, corrigez la cause, puis fixez de nouvelles limites.
Sur cette ligne, l’alarme EWMA de s059 du 1er septembre passe par les quatre étapes. Ce n’est pas un capteur bloqué (étape 1). C’est un décalage durable, pas une seule unité (étape 2). Les données ne peuvent pas répondre à l’étape 3 : seuls les journaux (logs) de l’usine le peuvent. À l’étape 4, le taux d’unités défectueuses a baissé après le décalage. Beatriz le note donc, continue de surveiller et fixe de nouvelles limites pour s059 après une période stable. Elle ne retient aucune unité.
La vérification du rendement à l’étape 4 peut utiliser une carte p du taux hebdomadaire d’unités défectueuses. Elle arrive tard, au bout de la ligne, mais elle détermine si une alarme de capteur compte.
Erreur courante
Les quatre capteurs qui étaient bloqués
Symptôme : à la première exécution d’Ivan, la liste d’inspection de la nouvelle semaine indiquait les mêmes capteurs pour chaque unité : s542, s543, s544 et s545. Les cinq unités avaient de 33 à 57 capteurs « hors limites ».
Cause : ces quatre capteurs donnaient une seule valeur sur 616 des 618 unités de phase I, par exemple 0.0026 pour s544. Leur étendue mobile en phase I était proche de 0 (exactement 0 pour s544). La largeur de leurs limites était donc presque nulle. Après la phase I, ils donnaient des valeurs réelles et variables, et chaque valeur était « hors limites ». C’était l’étape 1 des étapes après une alarme : le capteur, pas le procédé.
Correction : une règle avant toute limite. Un capteur qui donne une seule valeur sur plus de 95 % de la phase I n’a pas de limites utilisables. Le carnet compte maintenant 14 de ces capteurs et les retire. Il reste donc 432 capteurs, pas 440.
Conséquence pour le travail en IA : un détecteur qui additionne beaucoup de variables suit sa pire variable. Une variable dont l’échelle est proche de 0 peut remplir chaque alerte. Vérifiez la dispersion de chaque variable dans la fenêtre de référence avant de faire confiance à un score combiné.
Erreur courante
Choisir les capteurs avec les étiquettes
Symptôme : une façon courante d’utiliser SECOM est de choisir les capteurs qui diffèrent le plus entre unités défectueuses et conformes. On trace ensuite leurs cartes. En phase I, BH conserve 2 de ces capteurs.
Cause : dans les semaines de comparaison, BH ne conserve aucun des 432 capteurs comme lié aux unités défectueuses. Les capteurs choisis par les étiquettes de phase I ne sont pas fiables ensuite. Sur l’ensemble des unités, 23 capteurs semblent liés. Mais les 23 ont aussi changé avec le temps, comme le taux d’unités défectueuses.
Correction : choisissez les capteurs sans les étiquettes (adaptés aux cartes et ayant le plus changé dans le rapport de dérive). Utilisez les étiquettes seulement pour vérifier ensuite. Si vous devez choisir avec les étiquettes, choisissez dans une période et vérifiez dans une période ultérieure, comme ici.
Conséquence pour le travail en IA : une variable choisie sur les mêmes données que vous évaluez ensuite paraît toujours bonne. Dans un procédé qui dérive, elle mesure souvent seulement la date. C’est pourquoi le cours d’apprentissage automatique garde des données de test séparées, dans Données d’entraînement, de validation et de test : séparez le choix de la vérification.
Constats et limites
Section intitulée « Constats et limites »- Beaucoup de capteurs, peu de signal. 158 des 590 capteurs n’en portent aucun. Dans une même période, aucun des 432 autres capteurs ne distinguait à lui seul les unités défectueuses des unités conformes. Sur l’ensemble des unités, les 23 qui semblent liés changent avec le calendrier.
- La phase I n’était pas sous contrôle.
- La dérive n’est pas un dommage. Des centaines de capteurs dérivaient chaque semaine pendant que le taux d’unités défectueuses baissait.
- De petits nombres. Cinq semaines de comparaison, 36 unités défectueuses, 25 inspections par détecteur. Une différence d’une ou deux unités défectueuses est du bruit. La comparaison ne peut donc pas classer les détecteurs : aucun n’est clairement utile.
- Nos hypothèses. Le budget (5 par semaine) et les coûts (80 et 400 dollars) sont les nôtres, pas ceux de l’usine. Avec une unité défectueuse manquée à 1 000 dollars, la précision minimale pour être rentable descend à 8 %. Le nombre hors limites serait alors rentable, si sa précision se maintenait.
- Une ligne, 13 semaines en 2008, des capteurs anonymes. Nous ne pouvons pas vérifier la physique, les journaux des outils ou l’entretien, qu’un ingénieur consulterait d’abord.
Utilisation responsable
Section intitulée « Utilisation responsable »- Les données concernent une vraie usine. Elles ne contiennent aucune donnée personnelle. L’usine a retiré les noms des capteurs. N’essayez donc pas de découvrir quelle entreprise ou quelles machines elles décrivent.
- Citez la source. CC BY 4.0 permet de partager et de modifier les données, avec le texte d’attribution ci-dessus et une note de vos changements.
- Retenir des unités touche les gens. Cela ralentit la ligne. Un opérateur peut devoir expliquer une alarme causée par un capteur brisé. Vérifiez l’étape 1 avant d’impliquer des gens et indiquez le degré de certitude de l’alarme.
- Indiquez les hypothèses. Le budget, les coûts et la période de phase I sont des choix. Dites-le partout où un nombre en dépend. Indiquez aussi la « probabilité due au hasard » à côté des petits nombres.
Faites-en un projet pour votre portfolio
Section intitulée « Faites-en un projet pour votre portfolio »Cette étude de cas montre à un employeur que vous savez travailler avec des données réelles et imparfaites de capteurs. Elle montre aussi que vous présentez honnêtement un résultat faible. Faites-en votre projet avec un changement. Par exemple, essayez une nouvelle phase I, une carte T² de Hotelling ou un autre budget. Rendez-le ensuite public et facile à lire en cinq minutes.
Quoi mettre dans le dépôt :
README.md, la page que les gens lisent d’abord (modèle ci-dessous).- Le carnet, exécuté du début à la fin, avec ses sorties.
sensor_triage.csv: chaque capteur avec sa règle (constant, vide, bloqué, conservé, adapté aux cartes).drift_by_week.csvetcomparison.csv: les nombres hebdomadaires de capteurs en dérive, et les six détecteurs avec les unités défectueuses trouvées, la précision, le rappel, le coût et la probabilité due au hasard.- La source et la licence des données, avec le texte d’attribution ci-dessus. Un lien et la somme de contrôle suffisent.
Un modèle de README :
# Control charts and drift checks on a real semiconductor line (UCI SECOM)
## Problem590 sensors, 1,567 units, pass/fail at the end of the line. Which sensors to chart,and which 5 units a week to inspect? Inspection 80 dollars, a fail at the line test400 dollars (assumptions).
## Data and licenceUCI "SECOM" (McCann, Johnston), July-October 2008, CC BY 4.0,https://doi.org/10.24432/C54305. Labels used only as a check.
## ApproachPhase I = 19 Jul - 31 Aug. Removed 158 constant, empty or stuck sensors.I chart limits for 432 sensors; weekly drift report (KS, PSI, BH); EWMA on 3 chartablesensors that moved most; 6 detectors under 5 inspections a week, 5 comparison weeks.
## ResultsNo sensor separates fails inside one period (BH: 0 of 432). Hundreds drift every week,but the yield improved. Best detector: count of sensors outside limits, 3 fails in25 inspections (random: about 1; chance by luck 13%). No detector pays at these costs.
## LimitsUnstable phase I; 36 fails; anonymous sensors; assumed costs.Comment le décrire en entrevue, en quatre phrases : « J’ai établi des limites de phase I et un rapport hebdomadaire de dérive pour les 590 capteurs d’une vraie ligne de semi-conducteurs. J’ai comparé six détecteurs avec un même budget d’inspection, en utilisant les résultats conforme/défectueux seulement pour vérifier. 158 capteurs ne portaient aucun signal, et la plupart des liens apparents avec les unités défectueuses venaient du temps. Aucun détecteur n’a battu les choix aléatoires avec certitude, et je l’ai présenté avec les chiffres. »
Allez plus loin :
- Construisez une carte T² de Hotelling : une carte multivariée sur les composantes principales de la phase I. Bat-elle le nombre hors limites?
- Choisissez une nouvelle phase I, par exemple du 1er au 28 septembre, et répétez la comparaison sur octobre. Les EWMA restent-elles sans alarme?
- Comparez avec les autres études de cas, Fraude par carte avec un budget de révision et Pannes dans les métriques de machines ou de serveurs : où une règle simple gagne-t-elle dans ces cas?
À vous de jouer : un budget plus grand
Section intitulée « À vous de jouer : un budget plus grand »Changez une chose : le budget. Avant l’exécution, faites une prédiction : avec 10 inspections par semaine, la précision du nombre hors limites dépasse-t-elle 0,12? Dans la section 8 du carnet, utilisez at_budget() avec budget=10 pour scores["count outside limits (all sensors)"]. Placez la précision dans precision_10.
Afficher la réponse
precision_10 = at_budget(scores["count outside limits (all sensors)"], budget=10)["precision"]Check passed: precision_10 is 0.12.La précision reste à 0,12 : 6 unités défectueuses en 50 inspections. Le nombre hors limites en trouve donc deux fois plus au double du coût. Il reste bien sous les 20 % nécessaires pour rentabiliser une inspection. Un budget plus grand en trouve davantage, mais il ne rend pas chaque inspection plus utile.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Sur l'ensemble des 1 567 unités, le taux de fausses découvertes retient 23 capteurs comme liés aux échecs. Pendant les semaines de comparaison, il n'en retient aucun. Expliquez pourquoi et ce que cela signifie pour le choix des capteurs.
Afficher la réponse
Le taux d’échec a changé avec le temps : 10,5 % en phase I et environ 4 % ensuite. En même temps, 364 des 432 capteurs ont changé. Un capteur qui suit seulement le calendrier a des valeurs différentes pendant la période où les échecs sont nombreux. Sur l’ensemble des unités, il semble donc lié aux défaillances. Les 23 capteurs retenus ont aussi changé avec le temps. Dans une même période, le calendrier n’aide pas, et aucun capteur ne distingue les unités défectueuses des unités conformes. Choisir les capteurs selon leur lien avec les échecs dans toutes les données reviendrait surtout à choisir des horloges. Choisissez sans les étiquettes, puis vérifiez plus tard, dans une période distincte.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
L'EWMA du capteur s059 déclenche une alarme dès le premier jour après la phase I. Elle reste en alarme pendant des semaines. Les unités produites pendant l'alarme ont eu moins d'échecs que les autres. Que devrait faire Beatriz, et pourquoi?
Afficher la réponse
Elle devrait suivre les étapes prévues en cas d’alarme. Le capteur n’est pas bloqué, et le décalage dure : il ne touche pas une seule unité. Le procédé a donc réellement changé. Elle devrait chercher ce qui a changé à ce moment-là (le journal de l’outil, l’entretien, le matériau). Ensuite, elle vérifie le rendement : le taux d’échec n’a pas augmenté (4,8 % pendant l’alarme, 7,5 % sans alarme). Le changement ne nuit donc pas à la qualité. Elle le consigne, ne retient aucune unité et établit de nouvelles limites pour s059 après une période stable. Une EWMA indique que le procédé a changé, pas qu’il s’est dégradé. Seule la vérification du rendement peut le confirmer.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le nombre de capteurs hors limites permet de trouver 3 unités défectueuses en 25 inspections. Une sélection aléatoire en trouverait environ 1. Ivan ne recommande pas encore de l'utiliser pour choisir les unités. Donnez deux raisons fondées sur les chiffres.
Afficher la réponse
Premièrement, l’écart peut venir du hasard. Avec un taux d’échec de 5,0 %, une sélection aléatoire trouverait au moins 3 unités défectueuses en 25 inspections. Cela arriverait environ 12,6 % du temps. Avec seulement 36 unités défectueuses en cinq semaines, une ou deux de plus représentent du bruit. Deuxièmement, ce n’est pas rentable. Une inspection coûte 80 $ et un échec, 400 $. Une inspection est donc rentable seulement si plus de 20 % des unités inspectées sont défaillantes. La précision du nombre de capteurs hors limites est de 12 %. L’inspection fondée sur ce nombre coûte 3 040 $ par semaine, contre 2 880 $ sans inspection.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Sur 590 capteurs, 158 ne fournissent aucun signal (constants, presque sans données ou bloqués en phase I). Parmi les 432 autres, le taux de fausses découvertes en retient 23 comme liés aux échecs sur l’ensemble des unités. Il en retient 0 pendant les semaines de comparaison : le signal vient surtout du temps.
- La phase I n’était pas sous contrôle : 12,1 capteurs hors limites par unité, contre 1,2 par hasard.
- Le rapport hebdomadaire de dérive retenait de 246 à 336 capteurs chaque semaine, sans suivre les échecs.
- L’EWMA des capteurs choisis a détecté le décalage dès le premier jour. La vérification du rendement a montré qu’il ne nuisait pas à la qualité.
- Avec un même budget de 5 inspections par semaine, le score le plus simple (capteurs hors limites) a trouvé le plus d’unités défectueuses : 3 sur 36. Mais cela pouvait venir du hasard, et aucun détecteur n’a rentabilisé ses inspections.
Ensuite, le travail final : les remboursements de Larkfield par agent, avec une nouvelle région qui entre en service au milieu du mois. Vous choisissez les cartes et les vérifications, puis vous rédigez la politique d’alerte.
Leçon suivante : Travail final