Aller au contenu
English

Points de rupture

  • Leçon 23
  • 35 min
  • Module 5 : Les anomalies dans le temps

Où nous en sommes

Nos détecteurs trouvent les jours qui diffèrent de la normale. Certains changements persistent : une fuite de mémoire qui augmente pendant plusieurs jours, ou un lancement de produit qui change durablement la normale. Dans cette leçon, nous trouvons ces points de rupture avec la bibliothèque ruptures. Nous les comparons à la carte CUSUM du module sur les cartes de contrôle.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 23 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelPoints de rupture
Aperçu du cours

Ce que vous saurez faire

Trouvez les moments où une série passe à un nouveau niveau et y reste. Déterminez ensuite leur sens : un incident à corriger ou une nouvelle normale à apprendre. Un détecteur qui n’apprend pas la nouvelle normale déclenche des alarmes sans fin.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Ses cellules de préparation installent pandas, NumPy, SciPy, scikit-learn, matplotlib, statsmodels et ruptures. Elles téléchargent les métriques et les événements de l’API de billets de soutien, ainsi que les paiements (environ 8 Mo). Environ 25 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Le parcours avec carnet (Colab ou Kaggle) ou le parcours local, comme dans la première leçon de ce module.

Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1 et ruptures 1.1.10. Les commandes Windows et Colab n’ont pas été testées.

Sur une route, le panneau indique 50 km/h. Puis un nouveau panneau indique 80. Après le panneau, la vitesse des voitures augmente et reste élevée. Aucune voiture n’est inhabituelle. Le panneau est un point de rupture : un moment après lequel le niveau normal change.

Un policier qui utilise encore l’ancienne limite donne une contravention à chaque voiture après le panneau. Le policier ne se trompe pas sur les voitures. Il se trompe sur la normale.

Le problème : des alertes sans fin après un changement

Section intitulée « Le problème : des alertes sans fin après un changement »

Dans le module 3, une carte CUSUM a trouvé un petit décalage durable du taux de remboursement. Elle additionne les petits écarts au-dessus de la normale et déclenche une alarme quand la somme est trop grande. Après chaque alarme, elle repart de zéro.

Voyons maintenant ce qui arrive quand le changement persiste. Sur l’API de billets, le changement de configuration inséré le 20 octobre 2025 à 10 h a augmenté durablement la latence. Le pool de connexions du cache est passé de 64 à 16 connexions. Nous avons inséré une hausse de 12 %. La moyenne horaire mesurée est passée de 193,8 à 221,1 ms, une hausse de 14 %. Une CUSUM qui compare encore les valeurs à l’ancienne normale accumule de nouveau les écarts après chaque alarme :

alarms before the leak: 6
first alarm after the leak starts: 2025-09-22 09:00:00
alarms in total: 235 | after the configuration change: 113

113 alarmes en dix jours : une toutes les deux heures, pour le même changement. Le détecteur a raison : la latence est plus élevée. Il se trompe sur l’action à prendre. Il devrait dire une seule fois « la normale a changé ici », puis apprendre la nouvelle normale.

  • Statistique CUSUM (k 0,5)
  • Ligne d'alarme h = 5
  • Début de la fuite insérée, changement de configuration
La statistique CUSUM de la latence horaire, après retrait du cycle quotidien et apprentissage de la normale sur les 14 premiers jours. Elle déclenche une alarme chaque fois qu'elle atteint 5, puis repart de 0. Pendant la fuite et après le changement de configuration, elle remonte sans cesse à 5 : 235 alarmes au total.
Description textuelle du graphique

Une courbe de la statistique CUSUM du 1er septembre au 30 octobre 2025, surtout entre 0 et 5. Une ligne d’alarme pointillée se trouve à 5. À certaines heures, la courbe dépasse 5 d’un coup, quand la latence augmente rapidement. Durant les trois premières semaines, elle reste près de 0 et touche 5 quelques fois (6 alarmes avant la fuite). Dès le début de la fuite, le 22 septembre, elle monte à 5 en quelques heures, redescend à 0 et remonte. Cela se produit 99 fois jusqu’au redémarrage. Après le redémarrage, elle déclenche moins d’alarmes : 17 fois en trois semaines. Dès le changement de configuration du 20 octobre, elle remonte à 5 environ toutes les deux heures jusqu’à la fin des données.

L’idée : couper la série là où le niveau change

Section intitulée « L’idée : couper la série là où le niveau change »

Voici 12 valeurs. Où les couperiez-vous en deux parties, chacune avec un niveau stable?

10, 11, 9, 10, 12, 10, 15, 14, 16, 15, 14, 16

Vous le voyez tout de suite : après la sixième valeur. Un programme a besoin d’un nombre pour définir « stable ». Pour chaque coupure possible, il calcule le coût. Il prend l’écart entre chaque valeur et la moyenne de sa partie, le met au carré, puis additionne ces résultats. Une bonne coupure a un faible coût.

Coupure avant la valeur Moyenne à gauche Moyenne à droite Coût
5 10,00 14,00 32,00
6 10,40 14,29 30,63
7 10,33 15,00 9,33
8 11,00 15,00 28,00
9 11,38 15,25 34,62

Sans coupure, le coût est de 74,67. La coupure avant la valeur 7 le ramène à 9,33. Toutes les autres coupures sont moins bonnes.

Le coût de chaque coupure possible des 12 valeurs. La coupure avant la valeur 7 a le coût le plus faible, soit 9,33. Sans coupure, le coût est de 74,67.
Description textuelle du graphique

Neuf colonnes, une pour chaque position de coupure, d’avant la valeur 3 à avant la valeur 11. Les coûts sont 63,40, 46,22, 32,00, 30,63, 9,33, 28,00, 34,62, 52,89 et 61,60. La colonne de la coupure avant la valeur 7, à 9,33, a une autre couleur. Elle est beaucoup plus basse que toutes les autres.

C’est une méthode de détection de points de rupture. Sur une longue série, elle peut couper plusieurs fois. Mais chaque coupure supplémentaire réduit un peu le coût, même dans du bruit pur. Avec une coupure entre chaque paire de valeurs, le coût est de 0. La méthode ajoute donc une pénalité pour chaque coupure. Elle garde une coupure seulement si celle-ci réduit le coût de plus que la pénalité. La pénalité est un choix, comme un seuil : une grande pénalité donne peu de changements, mais des changements importants.

Deux méthodes font cela dans le paquet ruptures :

  • PELT (Pruned Exact Linear Time) trouve le meilleur ensemble de coupures pour une pénalité donnée. « Exact » signifie qu’il trouve le coût le plus faible. « Pruned » (élagué) signifie qu’il ignore les coupures qui ne peuvent pas gagner, ce qui le rend rapide.
  • La segmentation binaire coupe une fois au meilleur endroit, puis coupe chaque partie à nouveau jusqu’au nombre de coupures demandé. Elle est encore plus rapide, mais ne trouve pas toujours le meilleur ensemble.

Points de rupture dans la latence de l’API de billets

Section intitulée « Points de rupture dans la latence de l’API de billets »

Le carnet prend la moyenne horaire de la latence p95 (1 440 heures) et utilise son logarithme. Ainsi, une hausse de 10 % a la même taille partout. Il exécute ensuite les deux méthodes. PELT reçoit une pénalité de 2 × log(1 440) × la variance de la série. Chaque segment doit compter au moins 12 heures.

Prédisez. Nous avons inséré une fuite de mémoire lente du 22 septembre à 3 h au redémarrage du 27 septembre à 4 h 30. Nous avons aussi inséré le changement de configuration le 20 octobre à 10 h. Où PELT coupera-t-il?

PELT: ['2025-09-22 06:00:00', '2025-09-24 08:00:00', '2025-09-27 06:00:00', '2025-10-20 09:00:00']
binary segmentation: ['2025-09-22 06:00:00', '2025-09-23 07:00:00', '2025-09-24 08:00:00', '2025-09-25 09:00:00', '2025-09-27 06:00:00', '2025-10-20 09:00:00']
2025-09-01 00:00:00 to 2025-09-22 05:00:00: 193.1 ms
2025-09-22 06:00:00 to 2025-09-24 07:00:00: 230.7 ms
2025-09-24 08:00:00 to 2025-09-27 05:00:00: 298.0 ms
2025-09-27 06:00:00 to 2025-10-20 08:00:00: 193.8 ms
2025-10-20 09:00:00 to 2025-10-30 23:00:00: 221.1 ms
  • Latence p95, moyenne horaire
  • Segments PELT (moyenne de chacun)
  • Changements insérés
La latence horaire de l'API de billets, les cinq segments PELT et les changements insérés. PELT représente la fuite lente en escalier : 193,1 ms, puis 230,7, puis 298,0, puis retour à 193,8 après le redémarrage. Le changement de configuration forme une seule marche, à 221,1 ms.
Description textuelle du graphique

La courbe de latence horaire reste entre environ 180 et 220 millisecondes pendant trois semaines. Elle monte ensuite lentement jusqu’à près de 380 le 27 septembre, baisse au redémarrage, puis remonte légèrement dès le 20 octobre. Une courbe en escalier montre les segments PELT. Elle reste à 193,1 millisecondes jusqu’au 22 septembre à 6 h, puis à 230,7 jusqu’au 24 septembre à 8 h. Elle passe ensuite à 298,0 jusqu’au 27 septembre à 6 h, puis à 193,8 jusqu’au 20 octobre à 9 h. Elle reste à 221,1 jusqu’à la fin. Trois lignes verticales pointillées marquent le début de la fuite insérée, le redémarrage et le changement de configuration. Les coupures de PELT se trouvent à moins de trois heures de chacun. Une coupure supplémentaire apparaît au milieu de la fuite.

PELT coupe quatre fois. Sa première coupure (22 septembre à 6 h) arrive 3 heures après le début de la fuite. La coupure du redémarrage (27 septembre à 6 h) arrive 1,5 heure après le redémarrage. La coupure de configuration (20 octobre à 9 h) arrive une heure avant le changement. La moyenne de cette heure comprend déjà les premières minutes du changement.

La coupure supplémentaire au milieu de la fuite nous apprend le plus. Une hausse lente n’est pas une seule marche. Une méthode qui cherche des niveaux stables la représente en escalier : chaque marche est « un nouveau niveau ». La segmentation binaire, avec 6 coupures demandées, ajoute deux marches dans la même hausse. Un point de rupture ne signifie donc pas toujours « quelque chose s’est produit à cette heure ». Dans un changement lent, il signifie « le niveau continue de changer ».

Ces méthodes examinent la série entière. Comme STL, elles indiquent ce qui a changé dans le passé. Ce sont des outils pour revoir une semaine ou un mois, pas des alertes en temps réel.

Les deux outils répondent à des questions différentes :

CUSUM PELT
Question « Le niveau a-t-il changé maintenant? » « Où le niveau a-t-il changé dans cette période passée? »
Données nécessaires Le passé seulement : elle fonctionne en temps réel Toute la période, avant et après
Pendant la fuite Première alarme 6 heures après le début Une coupure 3 heures après le début, trouvée après coup
Après un changement durable Alarmes toutes les quelques heures (113 après le changement de configuration) Une coupure, puis un nouveau segment
Fausses alarmes 6 dans les trois semaines avant la fuite Aucune dans les trois premières semaines

Utilisez-les donc ensemble. CUSUM envoie la première alerte. Une méthode de détection de points de rupture examine ensuite les derniers jours et indique où le niveau a changé. Elle indique aussi de combien : de 193,8 à 221,1 ms. C’est ce qu’il faut à Amira pour trouver le changement de configuration dans le journal des mises en production.

Un point de rupture, où le niveau change et reste au nouveau niveau, mène à une question : ce niveau est-il un problème? Si oui : corrigez-le, c'est un incident, comme la fuite ou le pool du cache. Si non : c'est une nouvelle normale, comme le lancement de l'application ou un nouveau transporteur. Les deux chemins mènent à la même case : apprenez à nouveau, établissez une nouvelle référence de base, réentraînez le détecteur.
Que faire après un point de rupture. Corrigez-le si c'est un problème. Dans les deux cas, apprenez à nouveau la normale, sinon le détecteur déclenche des alarmes sans fin.
Description textuelle du diagramme

Une case à gauche : un point de rupture, où le niveau change et reste au nouveau niveau. Une flèche mène à une question : le nouveau niveau est-il un problème? Si oui, la flèche mène à « corrigez-le » : un incident, comme la fuite de mémoire ou le petit pool du cache. Si non, la flèche mène à « une nouvelle normale » : le lancement de l’application ou le nouveau transporteur du module 3. Les deux chemins mènent à la même case : apprenez à nouveau, avec une nouvelle référence de base, ou réentraînez le détecteur.

Un point de rupture n’est pas une alerte. C’est une question pour une personne : le nouveau niveau est-il un problème?

  • La fuite de mémoire et le petit pool du cache sont des problèmes. Amira les corrige. Après la correction, l’ancienne normale revient : le redémarrage a ramené la latence à 193,8 ms.
  • Un nouveau transporteur, une nouvelle région, une nouvelle application ne sont pas des problèmes. C’est la nouvelle normale. Le détecteur doit les apprendre.

Dans les deux cas, le détecteur apprend à nouveau la normale. Sinon, il déclenche des alarmes sans fin, comme CUSUM, ou considère le prochain vrai problème comme « habituel ».

Le lancement du produit : une nouvelle normale dans les paiements

Section intitulée « Le lancement du produit : une nouvelle normale dans les paiements »

Le 15 octobre 2025, Larkfield a lancé son application. Beaucoup de clients ont commencé à payer avec un téléphone que la boutique n’avait jamais vu pour eux. Le carnet calcule, pour chaque jour, la proportion de paiements depuis un appareil nouveau pour le client. Il utilise la même règle que les variables du cours : un appareil vu pour la première fois aujourd’hui, pour un client ayant déjà payé.

2025-10-12 5.25
2025-10-13 3.77
2025-10-14 7.58
2025-10-15 10.58
2025-10-16 20.59
2025-10-17 19.05
2025-10-18 23.90

PELT appliqué à cette série quotidienne trouve les résultats suivants. Sa pénalité est de 2 × log(jours) × la variance de juillet et août, avec au moins 7 jours par segment :

2025-07-01 to 2025-10-13: 3.82% new device
2025-10-14 to 2025-10-23: 21.79% new device
2025-10-24 to 2025-11-02: 24.21% new device
2025-11-03 to 2025-11-12: 16.37% new device
2025-11-13 to 2025-11-22: 11.07% new device
2025-11-23 to 2025-11-30: 6.73% new device
  • Proportion de nouveaux appareils
  • Segments PELT
  • Lancement de l'application
La proportion quotidienne de paiements depuis un appareil nouveau pour le client et les segments PELT. Avant l'application, environ 3,8 % par jour. Le premier point de rupture est le 14 octobre, un jour avant le lancement. La proportion monte ensuite à environ 24 % et redescend par paliers. Les clients réutilisent l'application, et leur téléphone n'est plus nouveau.
Description textuelle du graphique

Des points quotidiens du 1er juillet au 30 novembre 2025. Jusqu’à la mi-octobre, ils restent entre environ 2 % et 6 %, et la courbe PELT reste à 3,82 %. Une ligne verticale pointillée marque le lancement de l’application le 15 octobre. Dès le 14 octobre, les points montent rapidement et dépassent 20 % le 16 octobre. La courbe en escalier passe à 21,79 %, puis à 24,21 % dès le 24 octobre. À partir de novembre, les points redescendent. La courbe descend par paliers : 16,37 %, 11,07 %, puis 6,73 % durant la dernière semaine de novembre.

Ce graphique nous apprend deux choses.

Premièrement, le point de rupture est le 14 octobre, un jour avant le lancement. Ce jour-là, la proportion était déjà de 7,58 %, environ deux fois la normale. Une méthode de détection de points de rupture trouve où le niveau change dans les données, pas dans le calendrier de lancement. Les données peuvent montrer un changement un jour plus tôt (groupe test, lancement progressif) ou plus tard.

Deuxièmement, la nouvelle normale ne reste pas fixe. Un téléphone est « nouveau » seulement le premier jour. Après le lancement, la proportion monte, puis descend par paliers, à mesure que davantage de clients ont déjà utilisé l’application. PELT représente encore la baisse en escalier. La « normale » a changé, puis a continué de changer. La tâche de détection du module 9 rencontre exactement ce cas. Sa vérification de dérive repère la variable du nouvel appareil, et la tâche réentraîne le modèle.

Quand utiliser les points de rupture et ce qu’ils coûtent

Section intitulée « Quand utiliser les points de rupture et ce qu’ils coûtent »

Utilisez-les pour revoir une période passée. Après un incident, demandez : « quand a-t-il commencé, et de combien le niveau a-t-il changé? » Avant d’apprendre une nouvelle référence de base, demandez : « quels jours appartiennent à la nouvelle normale? » Vérifiez aussi qu’une correction a fonctionné : le redémarrage a ramené la latence à 193,8 ms.

Ne les utilisez pas comme alerte en temps réel. Ils ont besoin des jours après le changement. Utilisez CUSUM, une référence de base saisonnière ou une prévision pour l’alerte. Utilisez une méthode de détection de points de rupture pour l’expliquer.

Ce qu’ils coûtent : un choix, la pénalité, qui détermine le nombre de changements obtenus. PELT sur 1 440 heures prend nettement moins d’une seconde (mesuré). Un changement lent devient plusieurs coupures; lisez-les ensemble.

Erreur courante

Une pénalité trop petite ou trop grande

Symptôme : vous changez la pénalité et obtenez un résultat très différent. Avec une petite pénalité, PELT coupe toutes les quelques heures. Avec une grande pénalité, il manque un changement dont vous connaissez l’existence.

Diagnostic : exécutez PELT sur la même latence avec d’autres pénalités et comparez les coupures aux changements insérés. La première tâche du carnet le fait avec une pénalité 4 fois plus grande. Vous verrez moins de coupures, et la première coupure de la fuite arrivera plus tard. Une plus grande pénalité attend que le niveau ait assez changé pour justifier la coupure.

Correction : choisissez la pénalité sur une période dont vous connaissez la réponse. Ici, trois semaines sans changement inséré ne devraient donner aucune coupure. Notez ensuite la pénalité et sa raison, comme pour un seuil. Lisez les moyennes des segments, pas seulement les heures de coupure. Une coupure qui change la moyenne de 1 % ne justifie pas une alerte.

La section 5 du carnet propose deux tâches.

  1. Exécutez PELT sur la latence horaire avec une pénalité 4 fois plus grande : pen=4 * penalty.
  2. Listez ses points de rupture sous forme de chaînes comme "2025-09-22 06:00:00" dans strict_points, puis exécutez sa cellule de vérification.
  3. Trouvez le jour où commence le premier point de rupture de la série du lancement de l’application. L’indice d’un point de rupture correspond à la première valeur du nouveau segment.
  4. Écrivez cette date sous forme de chaîne "YYYY-MM-DD" (année-mois-jour) dans first_app_change, puis exécutez sa cellule de vérification.

Vérifiez votre compréhension

PELT divise les cinq jours de la fuite de mémoire en deux segments (230,7 ms, puis 298,0 ms). Deux événements se sont-ils produits le 24 septembre? Expliquez.

Afficher la réponse

Non. Un seul événement s’est produit : une fuite lente qui a augmenté pendant cinq jours. PELT cherche des parties dont le niveau reste stable. Il représente donc une hausse lente par des marches d’escalier. La coupure supplémentaire signifie « le niveau continue de changer », et non « un deuxième événement ». Interprétez les coupures voisines ensemble et regardez la forme de la série.

Vérifiez votre compréhension

Après le changement de configuration, CUSUM a déclenché 113 alarmes en dix jours. Amira dit que les alertes étaient justifiées, car la latence était vraiment plus élevée. Quel est leur problème?

Afficher la réponse

Elles signalent toutes le même changement. Après la première alarme, l’information utile est la suivante : « le niveau a changé le 20 octobre et reste environ 14 % plus élevé (de 193,8 à 221,1 ms) ». Chaque alarme suivante prend du temps à l’équipe et n’apporte rien. Un changement durable exige une seule décision. Corrigez-le (ici, le pool du cache réduit de 64 à 16 connexions), ou acceptez cette nouvelle normale. Dans les deux cas, le détecteur réapprend la normale et repart du nouveau niveau.

Vérifiez votre compréhension

Le premier point de rupture de la proportion de nouveaux appareils se situe le 14 octobre. Pourtant, l'application a été lancée le 15 octobre. La méthode de détection des points de rupture se trompe-t-elle?

Afficher la réponse

Non. Elle trouve le moment où les données ont changé. Le 14 octobre, la proportion était déjà de 7,58 %, soit environ deux fois la proportion habituelle de 3,8 %. Le nouveau segment commence donc à cette date. Un point de rupture est un fait mesuré dans les données; la date de lancement est un plan. Quand ces dates diffèrent, examinez les données autour des deux dates avant de décider quels jours représentent la nouvelle normale.

Récapitulatif

  • Un point de rupture est un moment après lequel le niveau normal change et reste différent.
  • PELT et la segmentation binaire (dans ruptures) découpent une série terminée aux endroits où le niveau change. La pénalité détermine le nombre de coupures.
  • Un changement lent devient un escalier de coupures. Interprétez-les ensemble.
  • CUSUM fonctionne en temps réel et détecte rapidement un changement. Mais elle continue de déclencher des alarmes jusqu’à ce qu’elle réapprenne la normale : 113 alarmes après un seul changement de configuration.
  • Un point de rupture est une question à soumettre à une personne : un problème à corriger ou une nouvelle normale à apprendre. Dans les deux cas, le détecteur doit réapprendre la normale.

Vous pouvez maintenant trouver quand le niveau d’une série a changé. Mais l’API de billets de soutien a trois métriques, et un seul incident modifie les trois à la fois. Ensuite, vous comparerez un détecteur par métrique à un détecteur pour l’ensemble des métriques. Vous regrouperez les alertes pour qu’un incident produise une seule alerte, et non quarante.

Leçon suivante : Plusieurs métriques à la fois