Aller au contenu
English

Règles pour les motifs, et le prix de chaque règle

  • Leçon 9
  • 35 min
  • Module 3 : Maîtrise statistique des procédés et dérive de distribution

Où nous en sommes

Notre carte de contrôle déclenche une alarme lorsqu'une journée dépasse les limites. Un motif lent, comme huit jours consécutifs au-dessus du centre, reste à l'intérieur. Dans cette leçon, nous ajoutons des règles de séquence pour les motifs. Nous mesurons le prix de chaque règle avec la longueur moyenne de séquence : plus de règles, plus de fausses alarmes.

Leçon 9 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelRègles pour les motifs, et le prix de chaque règle
Aperçu du cours

Ce que vous saurez faire

Détectez un motif sur plusieurs jours qu’aucune journée ne révèle seule. Sachez ce que chaque règle ajoutée coûte en fausses alarmes. Une carte avec trop peu de règles tarde à réagir. Une carte avec trop de règles donne trop de fausses alarmes.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il applique les quatre règles de séquence aux remboursements de Larkfield. Une simulation de 2 000 séquences mesure le prix de chaque règle. Les cellules de préparation installent les paquets et téléchargent les données (moins de 1 Mo). Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

  • La carte I-MR, sa ligne centrale, son sigma et ses limites de phase I, dans Cartes de contrôle : cette variation est-elle normale?.
  • La hausse insérée de 0,3 point du taux de remboursement à partir du 7 avril 2025, dans la même leçon. La carte I-MR l’a détectée après 98 jours.

Ce qu’il vous faut sur votre ordinateur

Rien. Le carnet fonctionne dans Colab, Kaggle ou VS Code.

Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1 et NumPy 2.5.4. Colab et Kaggle n’ont pas été testés.

Un détecteur de fumée doit faire un choix. S’il est très sensible, il sonne chaque fois que vous faites griller du pain. Après une semaine, vous retirez sa pile. Il reste alors silencieux lors d’un vrai incendie. S’il est peu sensible, il reste silencieux quand vous cuisinez, mais vous avertit tard lors d’un vrai incendie.

Aucun réglage n’est gratuit. Chaque façon supplémentaire de déclencher l’alarme détecte les vrais incendies plus tôt. Elle sonne aussi plus souvent pour du pain grillé. Le bon réglage dépend de deux coûts : celui d’une fausse alarme et celui d’une alarme tardive.

Une carte de contrôle doit faire le même choix. La leçon précédente utilisait une seule façon de déclencher l’alarme : une journée au-delà de 3 sigmas. Cette leçon en ajoute d’autres et mesure leur prix.

Le problème : un décalage qui reste à l’intérieur des limites

Section intitulée « Le problème : un décalage qui reste à l’intérieur des limites »

La hausse insérée du taux de remboursement de Larkfield a commencé le 7 avril 2025. Voici la première semaine qui suit, exprimée en z : la distance de chaque journée à la ligne centrale, en sigmas. Une journée à la limite supérieure a z = 3.

2025-04-07 -0.29
2025-04-08 2.04
2025-04-09 1.34
2025-04-10 -0.03
2025-04-11 -0.87
2025-04-12 1.46
2025-04-13 -0.68

Aucune journée n’approche 3, donc la règle à un point reste silencieuse. Le décalage ajoute environ un demi-sigma à chaque journée. C’est trop petit pour être visible en une journée, et le bruit quotidien le masque. Mais sur plusieurs jours, un décalage laisse un motif. Il y a plus de jours au-dessus du centre qu’en dessous, et plus de jours un peu élevés. Une personne qui regarde la carte le voit. Une règle peut aussi le voir.

En 1956, des ingénieurs de Western Electric, une usine de téléphones, ont écrit des règles pour ces motifs. Chaque règle décrit un motif rare quand rien n’a changé. Ce sont les règles de Western Electric, souvent appelées règles de séquence. Plusieurs examinent une séquence de jours consécutifs :

  1. Un point au-delà de 3 sigmas.
  2. Deux points sur trois consécutifs au-delà de 2 sigmas, du même côté.
  3. Quatre points sur cinq consécutifs au-delà de 1 sigma, du même côté.
  4. Huit points consécutifs du même côté de la ligne centrale.

En 1984, Lloyd Nelson a ajouté d’autres règles du même genre. Les règles de Nelson comprennent « six points consécutifs, tous en hausse ou tous en baisse », qui détecte une tendance. Cette leçon utilise les quatre règles ci-dessus. Chaque nouvelle règle fonctionne de la même façon et a le même type de prix.

Voici douze jours, en sigmas par rapport au centre. Aucune journée ne dépasse 3 sigmas. Avant de poursuivre, faites une prédiction : quelles règles déclenchent une alarme, et quel jour?

Jour 1 2 3 4 5 6 7 8 9 10 11 12
z 0,4 −0,6 1,2 0,5 1,4 1,1 0,3 1,6 2,3 0,8 2,6 1,2
Règles qui déclenchent une alarme 3 4 2, 4 3, 4
  • La règle 3 déclenche une alarme au jour 9. Les jours 5 à 9 ont les valeurs 1,4, 1,1, 0,3, 1,6 et 2,3. Quatre de ces cinq valeurs dépassent 1.
  • La règle 4 déclenche une alarme au jour 10. Les jours 3 à 10 sont tous au-dessus de la ligne centrale : huit jours consécutifs. Elle déclenche encore une alarme aux jours 11 et 12, car la séquence continue.
  • La règle 2 déclenche une alarme au jour 11. Les jours 9 et 11 dépassent 2 sigmas. C’est donc le cas de deux des trois jours 9 à 11.
  • La règle 1 ne déclenche jamais d’alarme.
  • z du jour
  • ±3 sigmas : les limites
  • ±1 et ±2 sigmas
Douze jours et les zones des règles de séquence. Aucun point ne dépasse 3 sigmas, mais les règles 2, 3 et 4 déclenchent des alarmes aux jours 9 à 12.
Description textuelle du graphique

Le graphique montre douze points pour z, du jour 1 au jour 12. Des lignes pointillées se trouvent à 1, 2 et 3 sigmas au-dessus et en dessous d’une ligne centrale à 0. Après le jour 2, chaque point est au-dessus de la ligne centrale. La plupart des points sont entre 1 et 2 sigmas. Les jours 9 et 11 sont juste au-dessus de 2 sigmas, à 2,3 et 2,6. Aucun point n’atteint la ligne des 3 sigmas. Des étiquettes indiquent la première alarme de chaque règle : règle 3 au jour 9, règle 4 au jour 10 et règle 2 au jour 11.

Dans le carnet, la fonction fired(z, rule) marque ces jours pour une règle, des deux côtés du centre :

def fired(z, rule):
"""True on each day where one Western Electric rule fires, on the high side or the low side."""
days = pd.Series(False, index=z.index)
for s in (z, -z): # the high side, then the low side
if rule == 1:
days |= s > 3
if rule == 2:
days |= (s > 2) & ((s > 2).astype(int).rolling(3, min_periods=1).sum() >= 2)
if rule == 3:
days |= (s > 1) & ((s > 1).astype(int).rolling(5, min_periods=1).sum() >= 4)
if rule == 4:
days |= (s > 0).astype(int).rolling(8).sum() == 8
return days

rolling(3) examine chaque journée et les deux journées précédentes. .sum() compte combien d’entre elles dépassent la ligne.

Le carnet applique quatre ensembles de règles à la phase II. Pour chaque ensemble, il donne la première alarme après le décalage inséré. Il compte aussi les jours d’alarme par mois durant les mois stables, du 1er janvier au 6 avril 2025. Rien n’avait changé durant cette période :

rules first alarm days to alarm false alarms per month
1 2025-07-14 98 0.00
1 + 4 2025-06-11 65 2.22
1 + 2 + 4 2025-06-11 65 2.22
1 + 2 + 3 + 4 2025-06-11 65 2.85
stable days where rule 4 fires: ['2025-02-09', '2025-02-10', '2025-02-11', '2025-02-12', '2025-02-13', '2025-04-04', '2025-04-05']

Avec la règle 4 ajoutée, la carte a détecté le décalage 65 jours après son début. C’est un mois plus tôt qu’avec la règle 1 seule. Mais la règle 4 a aussi déclenché des alarmes pendant 7 jours des mois stables. Il s’agissait de deux séquences sous le centre : du 9 au 13 février et du 4 au 5 avril. Rien n’avait changé à ces moments-là, donc ce sont de fausses alarmes. Le tableau compte les jours d’alarme : une longue séquence déclenche une nouvelle alarme chaque jour.

Une série raconte une seule histoire. Une semaine chanceuse ou malchanceuse la change. Pour connaître le prix d’une règle, il faut plusieurs séries et une mesure comparable.

La longueur de séquence est le nombre de jours entre un point de départ et la première alarme. Sa moyenne sur plusieurs séquences est la longueur moyenne de séquence (ARL). Deux ARL décrivent une carte :

  • L’ARL sous contrôle : rien n’a changé, donc la première alarme est une fausse alarme. Nous la voulons longue.
  • L’ARL après un décalage : la première alarme détecte le changement. Nous la voulons courte.

Voici un petit exemple détaillé. Supposons que le bruit suit une loi normale et que la carte utilise seulement la règle 1. Une journée dépasse 3 sigmas par hasard avec une probabilité de 0,0027. En moyenne, une fausse alarme survient tous les 1 / 0,0027 ≈ 370 jours. Cela donne environ 30,44 / 370 = 0,08 fausse alarme par mois. La valeur théorique de 370 jours suppose un bruit parfait, en forme de cloche.

Les données réelles ne sont pas aussi régulières. Chez Larkfield, le nombre de commandes varie selon la journée. Certaines journées sont pires que d’autres pour des raisons que personne n’a insérées. Nous mesurons donc l’ARL par simulation. Le carnet crée 2 000 séquences de 1 500 jours avec le même processus que les données. Chaque journée prend son nombre de commandes d’une journée de phase I et reçoit un effet propre à la journée. La simulation tire ensuite les remboursements commande par commande. Elle applique chaque ensemble de règles à 2 000 séquences sans changement. Elle l’applique aussi à 2 000 séquences avec le décalage de 0,3 point dès le jour 1 :

rules days to a false alarm days to catch the shift false alarms a month
1 209.8 60.6 0.15
1 + 4 116.1 34.1 0.26
1 + 2 + 4 99.6 28.4 0.31
1 + 2 + 3 + 4 80.2 23.2 0.38

Avec la règle 1 seule, la carte I-MR de Larkfield donne une fausse alarme tous les 209,8 jours, pas 370. Le bruit réel a des queues plus lourdes que la courbe en cloche. La carte détecte le décalage de 0,3 point après 60,6 jours en moyenne. Les 98 jours des données réelles correspondaient à une séquence malchanceuse.

Le prix des règles de séquence sur la carte I-MR de Larkfield, selon 2 000 séquences simulées. Chaque règle déplace la carte vers le bas et la gauche : elle détecte le décalage plus vite, mais donne une fausse alarme plus tôt.
Description textuelle du graphique

Le graphique présente quatre points reliés par une ligne. L’axe horizontal indique les jours avant une fausse alarme. L’axe vertical indique les jours pour détecter le décalage de 0,3 point. La règle 1 seule est en haut à droite : 209,8 jours avant une fausse alarme et 60,6 jours pour détecter le décalage. Les règles 1 et 4 sont à 116,1 et 34,1 jours. Les règles 1, 2 et 4 sont à 99,6 et 28,4. Les quatre règles sont en bas à gauche : 80,2 et 23,2 jours. Aucun point n’est à la fois très à droite et bas : chaque gain de vitesse coûte des fausses alarmes.

C’est le prix d’une règle. Les quatre règles détectent le décalage en 23,2 jours plutôt que 60,6, soit presque trois fois plus vite. Elles donnent aussi une fausse alarme tous les 80,2 jours plutôt que 209,8, soit presque trois fois plus souvent. Aucun ensemble de règles n’est « le meilleur ». Le bon choix dépend des coûts de Grace. Chaque fausse alarme coûte une heure de vérification. Chaque alarme tardive coûte un mois de remboursements supplémentaires.

L’explorateur montre la carte I-MR de 120 jours. Les 30 premiers jours n’ont aucun décalage. À partir du jour 31, un décalage de la taille choisie est inséré. Chaque taille utilise les mêmes nombres aléatoires, donc seul le décalage diffère. Activez et désactivez les règles.

Explorer

Règles de séquence sur la carte I-MR

Première alarme haute après le décalage
jour 43 du décalage
Fausses alarmes avant le décalage
0 dans les 30 jours avant le décalage
Simulé : fausses alarmes
une tous les 209,8 jours (0,15 par mois)
Simulé : un décalage de 0,3 point attrapé
après 60,6 jours en moyenne

Carte I-MR avec la règle 1, un décalage de 0,3 point à partir du jour 31. La première alarme haute après le début du décalage tombe le jour 73 de la série : le jour 43 du décalage. Sans décalage, cette carte donne aussi une alarme ce jour-là : cette alarme vient du bruit d’une journée, pas du décalage. Avant le décalage, 0 fausse alarme en 30 jours. Dans la simulation de 2 000 séries, cette carte donne une fausse alarme tous les 209,8 jours et attrape un décalage de 0,3 point après 60,6 jours en moyenne.

  • la valeur de la carte
  • ligne centrale et limites
  • alarme
0246Taux de remboursement (%)1153145607590105120Jour de la série (le décalage commence le jour 31)début du décalagela valeur de la carteJour 73 : 4,56 %, alarme haute (règle 1)Jour 79 : 4,65 %, alarme haute (règle 1)
0246Taux de remboursement (%)1316090120Jour de la série (le décalage commence le jour 31)début du décalagela valeur de la carteJour 73 : 4,56 %, alarme haute (règle 1)Jour 79 : 4,65 %, alarme haute (règle 1)
Jours d’alarme (2)
JourValeurCôtéPourquoi
734,56 %hauterègle 1
794,65 %hauterègle 1
La carte I-MR de 120 jours simulés, avec les limites de phase I. Activez et désactivez les règles de séquence, puis changez la taille du décalage à partir du jour 31. L'affichage donne la première alarme haute après le décalage, les fausses alarmes avant celui-ci et les longueurs moyennes de séquence simulées.
Description textuelle de l’explorateur

L’explorateur montre la carte I-MR de 120 jours de taux de remboursement. Une ligne représente le taux de chaque journée. La ligne centrale est à 2,14 %, et les limites pointillées sont à 0,28 % et 4,00 %. Une ligne verticale pointillée marque le jour 31, où commence le décalage inséré. Les jours d’alarme sont encerclés. Quatre boutons activent et désactivent les règles de séquence. Six boutons règlent le décalage : aucun, 0,1, 0,2, 0,3, 0,5 ou 1,0 point. L’affichage donne le jour de la première alarme haute après le décalage. Il donne aussi les fausses alarmes durant les 30 jours précédents. Il indique également les longueurs moyennes de séquence simulées pour les règles choisies.

Au départ, la règle 1 est active et le décalage est de 0,3 point. La première alarme haute survient au jour 73 de la série, soit au jour 43 du décalage. Sans décalage, la même carte déclenche une alarme le même jour. Cette alarme provient donc du bruit, pas du décalage. Avec les quatre règles actives, la carte détecte le décalage au jour 34, soit au jour 4 du décalage. Sans décalage et avec les quatre règles, la carte compte 9 jours d’alarme sur 120 jours. Elle en compte 2 avec la règle 1 seule. Aucun ensemble de règles ne donne de fausse alarme dans les 30 premiers jours de cette série. Pour la règle 1 seule, la simulation donne 209,8 jours avant une fausse alarme et 60,6 jours pour détecter le décalage. Pour les quatre règles, elle donne 80,2 et 23,2 jours. Elle n’a pas mesuré d’autres ensembles, comme la règle 4 seule.

Deux choses à remarquer. Premièrement, dans cette série, les quatre règles détectent le décalage après 4 jours. La simulation indique pourtant 23,2 jours en moyenne. Une série peut être chanceuse. Deuxièmement, sans décalage, chaque alarme est fausse. Comptez-les avec une règle, puis avec quatre.

Utilisez les règles de séquence sur une carte qu’une personne lit, lorsqu’un motif doit être nommé : « huit jours au-dessus du centre ». Leur calcul ne coûte rien, et elles détectent les petits décalages plus tôt. Activez seulement les règles dont vous pouvez assumer les fausses alarmes. Décidez avec les ARL, avant de regarder les données. N’attendez pas de voir un motif que vous voulez expliquer.

Une règle de séquence n’est pas un modèle du décalage. Elle détecte que quelque chose a changé, mais pas ce qui a changé. Chaque règle rend aussi la carte plus sensible à tout, y compris une petite erreur dans la ligne centrale. Le cas d’échec ci-dessous le montre.

  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. La cellule des données se termine par la ligne Ready: (prêt).
  3. Dans la section 1, exécutez la cellule. Vous voyez un centre de 0.02137 et un sigma de 0.00621.
  4. Dans la section 2, exécutez la cellule qui définit fired() et alarms(). Elle n’affiche rien.
  5. Dans la section 3, écrivez votre prédiction pour les douze jours. Exécutez ensuite la cellule. Le premier True (vrai) est au jour 9.
  6. Dans la section 4, exécutez la cellule. Vous voyez 2025-07-14 pour la règle 1 et 2025-06-11 avec les quatre règles.
  7. Dans la section 5, exécutez la cellule de simulation. Vous voyez simulated days: 6000000 (jours simulés : 6 000 000).
  8. Écrivez votre prédiction pour les ensembles de règles. Exécutez ensuite la cellule suivante. Vous voyez 209.8 et 80.2 jours avant une fausse alarme.
  9. Dans la section 6, écrivez les trois réponses et exécutez chaque cellule de vérification. Chacune affiche Check passed (vérification réussie).

Changez une seule chose : utilisez seulement les règles 1 et 2. La règle 2 examine la zone extérieure, entre 2 et 3 sigmas. Avant de l’exécuter, prédisez le nombre de jours avant une fausse alarme. Est-il plus proche de la règle 1 seule (209,8) ou des règles 1 et 4 (116,1)? Dans la section 6 du carnet, placez le résultat de arl((1, 2))["days to a false alarm"] dans arl_rules_1_2.

Afficher la réponse
arl_rules_1_2 = arl((1, 2))["days to a false alarm"]
Check passed: arl_rules_1_2 is 157.3.

Les règles 1 et 2 donnent une fausse alarme tous les 157,3 jours. Elles coûtent moins que les règles 1 et 4 (116,1 jours). La règle 2 exige deux points loin du centre, ce qui est plus rare que huit points du même côté. La règle 4 est la plus sensible à un petit décalage durable. Elle est donc aussi la plus coûteuse en fausses alarmes.

Erreur courante

La règle 4 déclenche des alarmes durant les mois stables

Symptôme : Grace active la règle 4. En février 2025, alors que rien n’a changé, la carte déclenche des alarmes pendant cinq jours consécutifs. Elle vérifie les agents, les transporteurs et les flux de données, sans rien trouver.

stable days where rule 4 fires: ['2025-02-09', '2025-02-10', '2025-02-11', '2025-02-12', '2025-02-13', '2025-04-04', '2025-04-05']

Cause : la règle 4 réagit à tout écart durable par rapport à la ligne centrale, même minuscule. Durant les mois stables, le taux moyen était de 2,11 %, un peu sous le centre de phase I, à 2,14 %. Les journées étaient plus souvent sous le centre qu’au-dessus. Les séquences de huit survenaient donc plus souvent. Une longue séquence déclenche aussi une nouvelle alarme chaque jour.

Diagnostic : regardez les valeurs z de la séquence. Aucune n’est grande, et la séquence est du côté bas? La cause est alors souvent la ligne centrale ou une saison calme, pas le processus.

Correction : choisissez vos règles avant de commencer, à partir du tableau des ARL. Si vous utilisez la règle 4, comptez une alarme par séquence, pas une par jour. Pour les petits décalages durables, utilisez une carte conçue pour eux. Les prochaines leçons en construisent deux.

Conséquence pour le travail en IA : un système de surveillance sensible à tout finit par être ignoré, comme le détecteur de fumée sans pile. L’équipe manque alors l’alarme importante.

Vérifiez votre compréhension

Expliquez la longueur moyenne de séquence dans vos mots. Quelles sont les deux ARL qui décrivent une carte? Dans quel sens voulez-vous voir chacune évoluer?

Afficher la réponse

La longueur de séquence est le nombre de jours avant la première alarme. L’ARL est sa moyenne sur de nombreuses séquences. L’ARL sous contrôle est le délai avant une fausse alarme quand rien n’a changé : vous le voulez long. L’ARL après un décalage est le délai pour détecter un vrai changement : vous le voulez court. Pour la carte I-MR de Larkfield avec la règle 1, la simulation donne 209,8 jours et 60,6 jours.

Vérifiez votre compréhension

Prédisez et expliquez : une équipe ajoute les quatre règles de Western Electric à une carte qui utilisait seulement la règle 1. Qu'arrive-t-il au délai pour détecter un petit décalage et aux fausses alarmes? Utilisez les chiffres de Larkfield.

Afficher la réponse

Les deux changent. La carte détecte le décalage de 0,3 point plus vite : 23,2 jours en moyenne au lieu de 60,6. Elle produit aussi des fausses alarmes plus souvent : une tous les 80,2 jours au lieu de tous les 209,8 jours. Cela représente 0,38 par mois au lieu de 0,15. Chaque règle ajoute une façon de déclencher une alarme, autant pour les vrais décalages que pour le bruit.

Vérifiez votre compréhension

Tomás dit : le manuel dit qu'une carte à 3 sigmas produit une fausse alarme tous les 370 jours. Donc, on n'a pas besoin de simulation. Que répondez-vous?

Afficher la réponse

Les 370 jours supposent un bruit parfaitement normal, en forme de cloche. Chez Larkfield, le nombre de commandes varie selon les jours, et un effet quotidien s’ajoute. Le bruit a donc des queues plus lourdes. La simulation du même processus donne une fausse alarme tous les 209,8 jours avec la règle 1. C’est presque deux fois plus souvent que ce qu’indique le manuel. Mesurez l’ARL sur un modèle de votre propre processus avant de vous y fier.

Récapitulatif

  • Les règles de séquence trouvent des motifs qu’aucun point isolé ne montre. Exemples : deux points sur trois au-delà de 2 sigmas, quatre sur cinq au-delà de 1 sigma, huit consécutifs du même côté. Les règles de Nelson en ajoutent d’autres, comme six points consécutifs en hausse.
  • La longueur moyenne de séquence donne le coût d’une carte. Le délai avant une fausse alarme devrait être long, et celui pour détecter un décalage, court. Carte I-MR de Larkfield : 209,8 et 60,6 jours avec la règle 1; 80,2 et 23,2 jours avec les quatre règles.
  • Chaque règle détecte plus vite un vrai décalage et déclenche plus tôt une fausse alarme. Choisissez les règles selon les coûts, avant de regarder les données.

Vous pouvez maintenant mesurer le coût d’une carte. Mais la carte I-MR traite chaque jour de la même façon. Larkfield reçoit 109 commandes lors d’une journée calme et plus de 1 300 lors d’une journée occupée. Ensuite, vous construirez des cartes dont les limites suivent le volume de chaque journée.

Leçon suivante : Cartes pour les taux et les dénombrements