Aller au contenu
English

Cartes pour les taux et les dénombrements

  • Leçon 10
  • 35 min
  • Module 3 : Maîtrise statistique des procédés et dérive de distribution

Où nous en sommes

Nos cartes supposent jusqu'ici que chaque journée a le même volume. Mais Larkfield reçoit environ 100 commandes les jours calmes et plus de 1 300 les jours occupés. Un taux est donc moins certain les jours à faible volume. Dans cette leçon, nous construisons des cartes p et u dont les limites changent avec le volume quotidien.

Leçon 10 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelCartes pour les taux et les dénombrements
Aperçu du cours

Ce que vous saurez faire

Surveillez un taux ou un dénombrement quand le volume quotidien change. Une carte avec une seule limite est trop stricte les jours à faible volume et trop permissive les jours à fort volume. Elle ne détecte donc pas une mauvaise journée de 1 200 commandes.

Carnet JupyterFaites cette leçon dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, tâches et vérifications de cette leçon. Il construit la carte p et la carte p′ de Laney des remboursements, une carte c et la carte u des billets de soutien par commande. Ses cellules de préparation installent les paquets et téléchargent les données (moins de 1 Mo). Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien. Le carnet fonctionne dans Colab, Kaggle ou VS Code.

Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1 et NumPy 2.5.4. Colab et Kaggle n’ont pas été testés.

Un joueur de basketball réussit 3 tirs sur 4 dans un match : 75 %. Un autre réussit 30 tirs sur 40 : aussi 75 %. Faites-vous autant confiance aux deux nombres?

Non. Avec 4 tirs, un seul tir chanceux change le taux de 25 points. Avec 40 tirs, un tir le change de 2,5 points. Le même taux est plus révélateur quand il repose sur plus d’essais. Pour qualifier un match d’« inhabituel », il faut un changement plus grand chez le premier joueur que chez le second.

Le taux de remboursement de Larkfield a la même propriété. Le nombre de commandes change chaque jour. Un taux provenant d’une journée à faible volume est moins certain qu’un taux provenant d’une journée à fort volume.

La carte I-MR des deux dernières leçons a une seule limite supérieure pour tous les jours : 4,00 %. Regardez deux journées réelles :

Jour Commandes Remboursements Taux de remboursement Au-dessus de la limite I-MR (4,00 %)?
25 décembre 2024 (Noël) 109 2 1,84 % non
28 novembre 2025 (Vendredi fou) 1 224 46 3,76 % non

Le jour de Noël, deux remboursements sur 109 commandes donnent 1,84 %. Un remboursement de plus ferait passer le taux à 2,75 %, et trois de plus, à 4,59 %. Ces changements sont dus au hasard sur une journée à si faible volume. Le Vendredi fou, 1 224 commandes donnent un taux beaucoup plus précis. Ce jour-là, un taux de 3,76 % est loin du taux habituel de 2,14 %. Pourtant, la carte I-MR ne signale rien. Sa limite est trop large pour une journée à fort volume.

La carte p est une carte de contrôle pour une proportion (p) : remboursements par commande, défauts par article ou appels interrompus par appel. Elle suppose que le hasard détermine si chaque commande est remboursée, avec la même probabilité chaque jour. Cette probabilité est p moyen, le taux de remboursement de la phase I. Un sigma pour une journée de n commandes vaut alors :

sigma du jour = √( p moyen × (1 − p moyen) / n )

Les limites sont p moyen ± 3 sigma du jour. Plus de commandes donnent un sigma plus petit, donc des limites plus étroites. Une journée à faible volume reçoit des limites larges; une journée à fort volume reçoit des limites étroites.

Prenez p moyen = 2,14 % et quatre journées. Avant de lire la dernière colonne, prédisez quelles journées dépassent leur limite supérieure.

Jour Commandes Remboursements Taux Sigma du jour Limite supérieure Au-dessus?
A 300 9 3,00 % 0,84 point 4,65 % non
B 1 200 36 3,00 % 0,42 point 3,39 % non
C 1 200 45 3,75 % 0,42 point 3,39 % oui
D 300 13 4,33 % 0,84 point 4,65 % non

Le jour D a le taux le plus élevé, 4,33 %, mais reste sous sa limite. Sur une journée de 300 commandes, cela reste du bruit normal. Le jour C a un taux plus bas, 3,75 %, mais sa limite est de 3,39 % pour 1 200 commandes. Seul le jour C est un signal.

  • Limite supérieure pour une journée de ce volume
  • p moyen, 2,14 %
La limite supérieure de la carte p baisse quand le volume augmente : 4,65 % à 300 commandes, 3,39 % à 1 200. Le jour D (4,33 %) est sous la courbe; le jour C (3,75 %) est au-dessus.
Description textuelle du graphique

Le graphique montre une courbe pointillée pour la limite supérieure selon le nombre de commandes du jour, de 100 à 1 400. La courbe commence haut, à environ 6,5 % pour 100 commandes, puis baisse rapidement, ensuite lentement. Elle atteint 4,65 % à 300 commandes, 3,51 % à 1 000 et 3,39 % à 1 200. Une ligne pleine à 2,14 % représente p moyen. Quatre points sont indiqués. A, à 3,00 % pour 300 commandes, et D, à 4,33 % pour 300 commandes, sont tous deux sous la courbe. B, à 3,00 % pour 1 200 commandes, est sous la courbe. C, à 3,75 % pour 1 200 commandes, est au-dessus.

Le carnet calcule p moyen à partir de la phase I. Il divise tous les remboursements d’avril à décembre 2024 par toutes les commandes de cette période. Il calcule ensuite un sigma pour chaque jour :

x = daily.dropna() # every day with orders (2025-10-19 has none)
p1 = x.loc["2024-04-01":"2024-12-31"] # phase I
pbar = p1.refunds.sum() / p1.orders.sum() # all refunds of phase I / all its orders
sigma_day = np.sqrt(pbar * (1 - pbar) / x.orders) # one sigma per day
ucl, lcl = pbar + 3 * sigma_day, (pbar - 3 * sigma_day).clip(lower=0)

La sortie :

p-bar 0.02141; UCL at 300 orders 0.0465, at 1,000 orders 0.0351
p-chart, days outside: ['2024-07-11', '2025-07-14', '2025-10-30', '2025-11-10', '2025-11-28', '2025-12-04', '2025-12-29']

Pour une journée de 300 commandes, la limite supérieure est de 4,65 %. Pour une journée de 1 000 commandes, elle est de 3,51 %. La carte signale sept jours. Voici les trois derniers mois de 2025, avec les limites de chaque jour :

  • Taux de remboursement du jour
  • Limites de chaque jour
La carte p d'octobre à décembre 2025. Les limites changent avec les commandes de chaque jour. Le Vendredi fou (3,76 % pour 1 224 commandes) dépasse sa limite de 3,38 %.
Description textuelle du graphique

Le graphique montre le taux de remboursement de chaque jour du 1er octobre au 31 décembre 2025 sous forme de ligne. Deux lignes pointillées montrent les limites de chaque jour. Les limites ne sont pas droites : elles se rapprochent les jours occupés et s’écartent les jours calmes. Autour du Vendredi fou, le 28 novembre, la limite supérieure baisse à 3,38 %. Le taux de 3,76 % la dépasse. Les autres jours signalés sont le 30 octobre ainsi que les 4 et 29 décembre, au-dessus de la limite supérieure. Le 10 novembre, le taux est de 0 %, sous la limite inférieure : le flux de données a envoyé des zéros.

Le carnet liste aussi les jours où la carte p et la carte I-MR ne sont pas d’accord :

only the p-chart: ['2024-07-11', '2025-11-28', '2025-12-29']
only the I-MR chart: []

La carte p détecte le Vendredi fou, que la carte I-MR n’avait pas détecté. Elle signale aussi le 11 juillet 2024, un jour de la phase I où aucune anomalie n’avait été insérée. Cette alarme est une fausse alarme, et elle indique le prochain problème.

Utilisez une carte p pour un taux dont le volume quotidien change beaucoup. Par exemple : remboursements par commande, connexions échouées par connexion, colis en retard par colis. Quand le volume est presque identique chaque jour, la carte p et la carte I-MR donnent presque les mêmes limites. La carte I-MR, plus simple, suffit alors.

Quand les données varient plus que le modèle ne le prévoit

Section intitulée « Quand les données varient plus que le modèle ne le prévoit »

La carte p suppose que chaque commande a la même probabilité de remboursement, chaque jour. Alors, z, la distance d’une journée exprimée dans ses propres sigmas, a un écart-type de 1. Les processus réels subissent aussi des effets propres à chaque jour. Une tempête retarde les colis, ou un entrepôt connaît un mauvais quart de travail. La dispersion de z dépasse alors 1. C’est la surdispersion : une dispersion plus grande que celle prévue par le modèle simple. Avec la surdispersion, une carte p donne trop d’alarmes.

phase I: standard deviation of z 1.104 (1.000 if the simple model were right)
Laney sigma_z 1.121
Laney p', days outside: ['2025-07-14', '2025-10-30', '2025-11-10', '2025-11-28']

En phase I, z a un écart-type de 1,104, et non de 1. La carte p′ de Laney (dites « p prime ») corrige cela. David Laney l’a proposée en 2002. Elle mesure la dispersion réelle de z à partir de son étendue mobile, comme la carte I-MR. Elle appelle cette mesure sigma_z. Elle multiplie ensuite les limites de la carte p par ce nombre. Ici, sigma_z vaut 1,121, donc les limites sont 12 % plus larges. La carte de Laney conserve 4 des 7 jours. La fausse alarme de la phase I disparaît, et le Vendredi fou reste.

La carte de Laney a aussi un coût. Ses limites sont plus larges, donc elle détecte plus lentement un petit décalage. La dernière leçon utilisait la simulation du cours, avec 2 000 exécutions. Pour la carte de Laney, elle donne une fausse alarme tous les 354,5 jours. Elle détecte un décalage de 0,3 point après 78,0 jours. La carte p simple donne 155,1 et 40,3 jours.

Certaines mesures sont des dénombrements, pas des taux : plaintes, erreurs, billets. Chaque dénombrement a sa propre carte.

La carte c sert à suivre un dénombrement quand chaque journée offre les mêmes possibilités d’événements. Par exemple, les plaintes à un centre d’assistance ouvert aux mêmes heures chaque jour. Pour un tel dénombrement, la variance égale la moyenne. Un sigma est donc la racine carrée du dénombrement moyen, c moyen. Voici dix journées construites de plaintes :

Jour 1 2 3 4 5 6 7 8 9 10
Plaintes 3 5 2 4 6 3 4 11 2 4

La moyenne c moyen vaut 4,4, et √4,4 = 2,10. La limite supérieure est 4,4 + 3 × 2,10 = 10,69. La limite inférieure serait sous 0, donc elle vaut 0. Le jour 8, avec 11 plaintes, dépasse la limite.

La carte u sert à suivre un dénombrement par unité quand le nombre d’unités change. Par exemple : billets par commande, erreurs par 1 000 requêtes. Un sigma pour une journée de n unités vaut √(u moyen / n). Ici, u moyen est le nombre de billets par commande en phase I. Le centre d’assistance de Larkfield reçoit des billets, et le nombre de commandes change chaque jour. Le carnet construit donc la carte u des billets par commande à partir des commandes et billets quotidiens de la série commune :

u-bar 0.4785; 727 days; u-chart alarm days 377; Laney sigma_z 3.57
heat-wave week: u-chart alarms 7 of 7 days, Laney u' 1

La carte u simple donne une alarme pour 377 des 727 jours, soit plus de la moitié. Les billets varient d’un jour à l’autre bien plus que ne le prévoit un modèle de dénombrement : sigma_z vaut 3,57. La carte u′ de Laney élargit les limites d’un facteur de 3,57 et signale 13 jours. Sept d’entre eux correspondent à la veille de Noël, à Noël, au jour de l’An et au Vendredi fou. Les six autres sont des jours isolés répartis sur les deux années, dont un pendant la canicule.

Jours avec une alarme sur la carte u et la carte u′ de Laney des billets par commande, sur 727 jours. La surdispersion fait déclencher une alarme à la carte simple pour plus de la moitié des jours.
Description textuelle du graphique

Un graphique à deux colonnes. La carte u simple des billets par commande donne une alarme pour 377 des 727 jours. La carte u′ de Laney donne une alarme pour 13 jours. La première colonne est environ 29 fois plus haute que la seconde.

Pendant la semaine de canicule de 2025, le nombre de billets a beaucoup augmenté. Mais les commandes ont aussi augmenté, donc les billets par commande sont restés presque normaux. La carte de Laney ne signale qu’un jour sur les sept. Une carte de ratio répond à une autre question qu’une carte de dénombrement. « Y a-t-il plus de billets? » n’est pas la même question que « Y a-t-il plus de billets par commande? » Choisissez celle qui correspond à la décision.

Vous mesurez Exemple Carte
Un nombre par jour délai de livraison du jour I-MR
Quelques articles mesurés ensemble temps d’emballage de 5 commandes X-barre et R
Un taux, avec un nombre d’essais variable remboursements par commande carte p (p′ de Laney en cas de surdispersion)
Un dénombrement, avec les mêmes possibilités chaque jour plaintes par jour carte c
Un dénombrement par unité, avec un nombre d’unités variable billets par commande carte u (u′ de Laney en cas de surdispersion)
  1. Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet en haut de cette page.
  2. Exécutez les cellules de préparation. La cellule des données se termine par la ligne Ready: (prêt).
  3. Dans la section 1, écrivez votre prédiction pour les jours A à D. Exécutez ensuite la cellule. Seul le jour C affiche True (vrai).
  4. Dans la section 2, exécutez la cellule de la carte p. Vous voyez p-bar 0.02141 (p moyen) et sept jours hors des limites.
  5. Exécutez la cellule du graphique. Le Vendredi fou est en rouge.
  6. Dans la section 3, exécutez la comparaison. Vous voyez trois jours que seule la carte p signale.
  7. Dans la section 4, exécutez la cellule de surdispersion. Vous voyez Laney sigma_z 1.121 (sigma_z de Laney) et quatre jours.
  8. Dans les sections 5 et 6, exécutez les cellules des cartes c et u. Vous voyez 377 jours avec une alarme pour la carte u simple.
  9. Dans la section 7, écrivez les trois réponses et exécutez chaque cellule de vérification. Chacune affiche Check passed (vérification réussie).

Changez une seule chose : le volume quotidien. Avant de le calculer, prédisez la limite supérieure de la carte p pour une journée de 500 commandes. Est-elle plus proche de 3,51 % (1 000 commandes) ou de 4,65 % (300 commandes)? Dans le carnet, calculez ucl_500 à partir de pbar, arrondi à 4 décimales.

Afficher la réponse
ucl_500 = round(pbar + 3 * np.sqrt(pbar * (1 - pbar) / 500), 4)
Check passed: ucl_500 is 0.0408.

La limite est de 4,08 %. Elle est plus proche de 4,65 % que vous ne le pensez peut-être, car sigma baisse avec la racine carrée de n. Doubler les commandes de 500 à 1 000 réduit sigma d’un facteur de seulement √2 = 1,41, et non de 2. Les limites se resserrent donc rapidement à faible volume et lentement à fort volume.

Erreur courante

Une carte u qui donne une alarme un jour sur deux

Symptôme : Grace demande une carte quotidienne des billets par commande. Amira construit une carte u simple. Elle donne une alarme pour 377 des 727 jours. Après une semaine, personne ne la lit.

Cause : la carte u suppose que les billets arrivent par pur hasard, avec une variance égale à la moyenne. Les vrais billets arrivent par vagues : une livraison retardée pousse de nombreux clients à écrire le même jour. La dispersion de z est 3,57 fois plus grande que celle prévue par le modèle (surdispersion). Les limites sont donc beaucoup trop étroites.

Diagnostic : calculez z pour la phase I et sa dispersion. Un écart-type de z bien supérieur à 1 indique une surdispersion. Un sigma_z calculé à partir de l’étendue mobile bien supérieur à 1 l’indique aussi. Une carte qui donne des alarmes pour une grande part des jours d’une période stable a la même cause.

Correction : utilisez la carte u′ de Laney (ou la carte p′ de Laney pour un taux). Elle élargit les limites d’un facteur de sigma_z. Ici, elle donne une alarme pour 13 jours, dont 7 sont des jours fériés ou le Vendredi fou.

Conséquence pour le travail en IA : surveiller un dénombrement avec le mauvais modèle crée de la fatigue d’alerte. Les gens apprennent à l’ignorer et manquent la journée importante. Vérifiez la dispersion de vos données avant de faire confiance aux limites d’une formule.

Vérifiez votre compréhension

Expliquez dans vos mots pourquoi les limites de la carte p sont plus larges les jours à faible volume. Utilisez le joueur de basketball ou Larkfield comme exemple.

Afficher la réponse

Un taux fondé sur peu d’essais change beaucoup par hasard. Un remboursement de plus sur une journée de 109 commandes change le taux de presque un point. Sur une journée de 1 224 commandes, il le change de moins de 0,1 point. La carte p calcule donc un sigma pour chaque journée selon son volume : √(p moyen × (1 − p moyen) / n). Une journée à faible volume a un sigma plus grand et des limites plus larges. Une journée à fort volume a des limites plus étroites. Pour qualifier un match d’inhabituel, il faut un changement plus grand pour le joueur qui réussit 3 tirs sur 4. Il en faut un plus petit pour celui qui réussit 30 tirs sur 40.

Vérifiez votre compréhension

Prédisez : la carte I-MR de Larkfield n'a pas signalé le Vendredi fou (3,76 % pour 1 224 commandes). La carte p le signalera-t-elle, et pourquoi?

Afficher la réponse

Oui. La carte I-MR a une seule limite supérieure pour tous les jours, 4,00 %, donc 3,76 % reste à l’intérieur. La limite supérieure de la carte p pour une journée de 1 224 commandes est de 3,38 %. Une journée à fort volume donne en effet un taux précis. Le taux de 3,76 % la dépasse donc, et la carte p signale le Vendredi fou. La carte p′ de Laney, avec des limites 1,121 fois plus larges, le signale aussi.

Vérifiez votre compréhension

Qu'est-ce que la surdispersion, comment la voyez-vous en phase I et comment la carte de Laney la traite-t-elle?

Afficher la réponse

La surdispersion signifie que les données varient plus que ne le prévoit le modèle simple de la carte. Cela peut venir, par exemple, d’effets propres à chaque jour. Vous la voyez en phase I quand z a une dispersion bien supérieure à 1. z est la distance de chaque journée exprimée dans ses propres sigmas. Cette dispersion vaut 1,104 pour les remboursements de Larkfield, et sigma_z vaut 3,57 pour les billets par commande. La carte de Laney mesure sigma_z à partir de l’étendue mobile de z et multiplie les limites par cette valeur. Cela élimine la plupart des fausses alarmes, au prix d’une alarme plus lente pour un petit décalage.

Récapitulatif

  • Une carte p donne à chaque journée ses propres limites selon son volume. Chez Larkfield, la limite supérieure est de 4,65 % à 300 commandes et de 3,51 % à 1 000. Elle détecte le Vendredi fou, que la carte I-MR n’avait pas détecté.
  • La carte c sert aux dénombrements avec les mêmes possibilités chaque jour. La carte u sert aux dénombrements par unité, comme les billets par commande.
  • La surdispersion fait donner trop d’alarmes aux cartes simples. Les cartes de Laney élargissent les limites d’un facteur de sigma_z : 1,121 pour les remboursements, 3,57 pour les billets. Pour les billets, le nombre de jours avec une alarme passe de 377 à 13.

Vous pouvez maintenant choisir une carte pour n’importe quel taux ou dénombrement. Mais toutes les cartes vues jusqu’ici examinent un seul jour à la fois. La hausse insérée de 0,3 point est restée cachée pendant des mois. Vous construirez ensuite des cartes qui additionnent de petites différences sur plusieurs jours.

Leçon suivante : Petits décalages durables : CUSUM et EWMA