Aller au contenu
English

La distribution a-t-elle changé?

  • Leçon 12
  • 40 min
  • Module 3 : Maîtrise statistique des procédés et dérive de distribution

Où nous en sommes

Nos cartes surveillent un nombre par jour. Quand une nouvelle région entre en service, toute la forme de la distribution des montants peut changer. Un nombre par jour ne le montre pas. Dans cette leçon, nous comparons une fenêtre de référence à la fenêtre actuelle avec KS, PSI et Wasserstein. Nous voyons pourquoi un grand échantillon indique toujours un changement.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 12 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelLa distribution a-t-elle changé?
Aperçu du cours

Ce que vous saurez faire

Déterminez si toute la forme de la distribution d’une variable a changé entre deux fenêtres. Vérifiez si le changement est assez grand pour agir. Avec assez de données, un test seul indique un « changement » pour presque toute différence.

Carnet JupyterFaites cette leçon dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il calcule KS, Wasserstein et PSI à la main. Il examine ensuite les paiements de la nouvelle région, le test du khi-deux et le même changement à cinq tailles d’échantillon. Ses cellules de préparation installent les paquets et téléchargent les paiements (environ 7 Mo). Environ 40 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien. Le carnet fonctionne dans Colab, Kaggle ou VS Code.

Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1, NumPy 2.5.4 et SciPy 1.18.1. Colab et Kaggle n’ont pas été testés.

Pensez à la météo de votre ville sur deux semaines. Les deux semaines ont une température moyenne de 15 degrés. La première semaine, chaque journée se situe entre 13 et 17 degrés. La deuxième semaine, les nuits approchent 0 degré et les après-midis, 30 degrés. La moyenne est la même, mais il vous faut un manteau d’hiver et un t-shirt la deuxième semaine.

Un seul nombre, la moyenne, cache la différence. Pour la voir, vous devez comparer toute la répartition des valeurs : combien de journées froides, chaudes et entre les deux. Cette répartition est la distribution.

La nouvelle région de Larkfield, east, est entrée en service le 1er septembre 2025. Nous avons inséré cette anomalie, mais c’est une bonne anomalie : un changement normal qui dure. Les clients de la région east achètent de plus petits paniers. Leur paiement médian est de 28,30 dollars, contre environ 45 dollars dans les anciennes régions. Dans la fenêtre examinée ci-dessous (du 15 septembre au 14 octobre 2025), environ un paiement sur neuf vient de east.

Les cartes de contrôle de ce module surveillent un nombre par jour, comme un taux ou une moyenne. Elles ne peuvent pas vous dire si la forme de la distribution des montants a changé, ni où. Mei, l’ingénieure de données, doit le savoir. Les détecteurs qui ont appris les montants « normaux » en août voient-ils encore le même genre de données en septembre? Pour répondre, nous comparons une fenêtre de référence (août 2025) à une fenêtre actuelle (du 15 septembre au 14 octobre 2025).

Pour chaque valeur, prenez la proportion de chaque échantillon qui lui est inférieure ou égale. C’est la distribution cumulative empirique : une ligne qui monte de 0 à 1. Le test de Kolmogorov-Smirnov (KS) mesure le plus grand écart vertical entre les deux lignes. Cet écart est la statistique KS. Le test donne aussi une valeur p : la probabilité d’un écart aussi grand si rien n’a changé.

Voici un petit exemple avec six montants par mois. C’est un cas construit. Avant de poursuivre, faites une prédiction : quel mois a les montants les plus élevés, et quel est le plus grand écart?

1 2 3 4 5 6
Le mois dernier (dollars) 10 20 30 40 50 60
Ce mois-ci (dollars) 15 25 35 45 55 95
  • Le mois dernier
  • Ce mois-ci
Les distributions cumulatives empiriques des six montants de chaque mois. Les deux lignes en escalier ne diffèrent jamais de plus d'une valeur sur six : la statistique KS est de 0,167.
Description textuelle du graphique

Le graphique montre deux lignes en escalier qui montent de 0 % à 100 %. La ligne pleine, le mois dernier, monte d’un sixième à 10, 20, 30, 40, 50 et 60 dollars. La ligne pointillée, ce mois-ci, monte d’un sixième à 15, 25, 35, 45, 55 et 95 dollars. Les deux lignes alternent : leur écart est soit 0, soit un sixième (16,7 %). De 60 à 95 dollars, le mois dernier est à 100 % et ce mois-ci à 83 %. La ligne pointillée attend la dernière valeur, 95.

Le carnet affiche les deux lignes et l’écart à chaque montant, puis le test :

KS statistic 0.167 (the largest gap), p-value 1.000
Wasserstein distance: 10.0 = the mean of [5, 5, 5, 5, 5, 35]

Le plus grand écart est d’une valeur sur six, soit 0,167. Avec six valeurs par mois, un écart aussi petit arrive souvent par hasard. La valeur p est donc de 1,000 : aucune preuve d’un changement. KS regarde seulement l’ordre des valeurs. Il ne voit pas à quelle distance 95 se trouve de 60.

La distance de Wasserstein répond à une autre question. En moyenne, de combien chaque valeur doit-elle se déplacer pour transformer un échantillon en l’autre? Elle utilise les unités des données, ici les dollars. Triez les deux échantillons et formez des paires : 10 avec 15, 20 avec 25, et ainsi de suite, puis 60 avec 95. Cinq valeurs se déplacent de 5 dollars, et une de 35. La moyenne est de 60 / 6 = 10 dollars. La distance de Wasserstein voit le gros paiement que KS a ignoré. Son autre nom, la « distance du terrassier », décrit l’idée : le travail pour donner à un tas de terre la forme d’un autre.

L’indice de stabilité de la population (PSI) vient du risque de crédit. Les banques l’utilisent chaque mois pour vérifier que les nouveaux demandeurs ressemblent encore à ceux utilisés pour entraîner leur modèle de score. Découpez la référence en classes. Comparez la proportion de chaque classe dans les deux fenêtres, puis additionnez (actuelle − référence) × ln(actuelle / référence). Chaque terme est positif ou nul. Les changements dans différentes classes ne s’annulent donc jamais.

Un petit exemple avec quatre classes (construit) :

Classe Proportion de référence Proportion actuelle (act − réf) × ln(act / réf)
moins de 20 dollars 25 % 20 % 0,0112
20 à 45 dollars 25 % 25 % 0
45 à 100 dollars 25 % 25 % 0
100 dollars et plus 25 % 30 % 0,0091
PSI 0,0203

Une règle pratique courante dit qu’un PSI inférieur à 0,1 signifie qu’il n’y a pas de changement réel. De 0,1 à 0,25, le changement est modéré. Au-dessus de 0,25, il est grand. Ces nombres sont des conventions issues de l’évaluation du crédit. Aucune théorie ne dit que 0,1 est la bonne limite pour vos données. Choisissez vos propres limites selon votre décision, et notez pourquoi.

La distance de Jensen-Shannon (JS) est une autre mesure sur les mêmes classes. Elle va de 0 (les mêmes proportions) à 1 (rien en commun). PSI est plus courant en entreprise. La distance JS a une plage fixe, ce qui facilite les comparaisons.

Le carnet compare août (56 553 paiements) à la période du 15 septembre au 14 octobre 2025 (53 276 paiements). Avant de lire la sortie, faites une prédiction : KS indiquera-t-il un « changement »? PSI dépassera-t-il 0,1?

n ref: 56553
n cur: 53276
KS statistic: 0.0345
KS p: 7.24e-29
Wasserstein: 10.25
PSI: 0.0068
JS distance: 0.0349
median ref: 45.12
median cur: 41.9

KS indique un « changement », avec une valeur p de 7,24e-29 : 28 zéros après la virgule. PSI est de 0,0068, bien en dessous de 0,1. La médiane est passée de 45,12 à 41,90 dollars. La distance de Wasserstein est de 10,25 dollars. Les gros paiements sont très éloignés en dollars. Un petit déplacement parmi eux ajoute donc beaucoup de dollars à cette distance. Quelle mesure a raison? Les deux. Le changement est réel, et il est petit.

PSI utilise dix classes, découpées aux déciles d’août. Chaque classe contient 10 % des paiements d’août. Voici la proportion de chaque classe dans la fenêtre actuelle :

Chaque colonne représente un dixième des paiements d'août, des plus petits (1, moins de 15,95 dollars) aux plus grands (10, plus de 309,85 dollars). Dans la fenêtre actuelle, les petites classes dépassent un peu 10 %, et les grandes sont un peu en dessous.
Description textuelle du graphique

Un diagramme avec dix colonnes, une pour chaque dixième des montants des paiements d’août, des plus petits (1) aux plus grands (10). En août, chaque colonne serait exactement à 10 %. Dans la fenêtre actuelle, les colonnes diminuent lentement de gauche à droite. Elles sont à 11,8 % dans la première classe, puis à 10,7 %, 10,6 %, 10,1 %, 9,9 %, 9,9 %, 9,5 %, 9,5 %, 9,0 % et 9,0 % dans la dernière. Les quatre premières colonnes dépassent un peu 10 %, et les six dernières sont un peu en dessous. Aucune colonne ne change de plus de 1,8 point.

Aucune classe ne change de plus de 1,8 point. La nouvelle région a ajouté de petits paiements, mais pas beaucoup. Le changement touche-t-il aussi les anciennes régions? Le carnet fait la même comparaison sans la région east :

without the east region: {'KS p': 0.0112, 'PSI': 0.0008, 'median cur': 44.36}
east region median amount: 28.295

Sans la région east, PSI est de 0,0008 : les anciens clients n’ont pas changé. Le changement vient de la nouvelle région, où les paniers sont plus petits.

Pour une catégorie, comme la région ou le type d’appareil, le test du khi-deux compare les effectifs de chaque catégorie dans les deux fenêtres. PSI utilise les proportions des catégories, comme pour les classes.

region: chi-square 6632.6, p 0, PSI 1.3018
coast east north south
August 0.228 0.000 0.445 0.326
after 0.202 0.111 0.400 0.287
device_type: chi-square 149.6, p 3.34e-33, PSI 0.0055
desktop mobile tablet
August 0.401 0.507 0.092
after 0.378 0.543 0.080

La répartition des régions a beaucoup changé : une nouvelle catégorie représente 11,1 % des paiements, et PSI est de 1,30. Ce changement est grand, et il est prévu. La répartition des appareils donne aussi une valeur p minuscule (3,34e-33), mais son PSI est de 0,0055. La proportion sur mobile est passée de 50,7 % à 54,3 %.

Pourquoi un grand échantillon indique toujours un « changement »

Section intitulée « Pourquoi un grand échantillon indique toujours un « changement » »

Voici le point central de cette leçon. Le carnet prend les deux mêmes fenêtres, mais seulement n paiements dans chacune, et répète cela 20 fois pour chaque n. Le changement est exactement le même dans chaque ligne. Seule la taille de l’échantillon augmente. Avant de lire le tableau, faites une prédiction : qu’arrive-t-il à la valeur p, et qu’arrive-t-il à PSI?

Paiements dans chaque fenêtre Valeur p de KS (médiane de 20 tirages) Statistique KS PSI
200 0,713 0,070 0,0732
1 000 0,315 0,043 0,0195
5 000 0,000149 0,044 0,0118
20 000 2,66e-12 0,037 0,0077
50 000 4,29e-26 0,034 0,0068

Avec 200 paiements, le test ne voit rien (p = 0,713). Avec 50 000, le même changement donne p = 4,29e-26. Une valeur p répond à une question : y a-t-il un changement, même minime? Avec assez de données, la réponse est presque toujours oui. Les données réelles ne restent presque jamais exactement les mêmes.

La statistique KS et PSI font autre chose. Ils se stabilisent près de l’ampleur réelle du changement : environ 0,034 et 0,007. Avec de petits échantillons, ils fluctuent et sont trop élevés : 0,0732 avec 200 paiements n’est que du bruit. Une mesure d’ampleur a donc aussi besoin d’assez de données. Quelques milliers de valeurs par fenêtre sont un bon début.

Comparez un mois sans changement inséré. Juillet contre août, à quatre tailles d’échantillon :

Paiements dans chaque fenêtre 200 1 000 5 000 mois complets (59 144 et 56 553)
Valeur p de KS 0,394 0,723 0,851 0,654

Quand rien n’a changé, la valeur p reste grande à chaque taille. Une valeur p minuscule avec un grand échantillon signifie donc : quelque chose a changé, peut-être très peu. Elle ne signifie pas : quelque chose d’important a changé.

Encore un exemple. L’heure des paiements, dans les deux mêmes fenêtres :

{'KS p': 6.97e-09, 'Wasserstein': 0.197, 'PSI': 0.0027}
payments came 12 minutes later on average, by the Wasserstein distance

La valeur p est de 6,97e-09. Selon la distance de Wasserstein, les paiements arrivent environ 12 minutes plus tard dans la journée. Aucun détecteur ni aucune personne n’a besoin d’agir pour 12 minutes.

Quel nombre répond donc à la question d’affaires? La question n’est jamais « y a-t-il un changement? ». C’est « le changement est-il assez grand pour agir? ». Mei pose deux questions :

  • Les détecteurs ont-ils besoin de nouvelles données de référence pour les montants? PSI est de 0,0068, bien en dessous des limites courantes. La distance de Wasserstein est de 10 dollars pour une médiane de 45. Non.
  • L’équipe doit-elle être informée de la nouvelle région? Le PSI des régions est de 1,30. Oui : notez-le comme un changement prévu, pour que personne ne passe une journée à en chercher la cause.

Une mesure d’ampleur, comme PSI, la statistique KS ou la distance de Wasserstein, répond à ces questions. Une valeur p n’y répond pas. Utilisez la valeur p seulement pour vérifier qu’une ampleur n’est pas que du bruit, avec de petits échantillons.

Données Test (y a-t-il un changement?) Ampleur (quelle taille?)
Un nombre, comme un montant KS Wasserstein (dans les unités des données), PSI, statistique KS
Une catégorie, comme une région khi-deux PSI, distance JS

Ces comparaisons coûtent presque rien : une ligne de SciPy chacune. Leur faiblesse est d’examiner une variable à la fois. Un changement dans la relation entre deux variables, comme de gros montants la nuit, reste caché. Les détecteurs des prochains modules examinent plusieurs variables ensemble.

  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet en haut de cette page.
  2. Exécutez les cellules de préparation. La cellule de données se termine par la ligne Ready: (prêt).
  3. Dans la section 1, écrivez votre prédiction pour les six montants. Exécutez ensuite la cellule. Vous voyez une statistique KS de 0.167 et une distance de Wasserstein de 10.0.
  4. Dans la section 2, exécutez la cellule PSI. Vous voyez PSI: 0.0203. Exécutez ensuite la cellule des fonctions utilitaires. Elle n’affiche rien.
  5. Dans la section 3, exécutez la cellule de données et celle des montants. Vous voyez KS p: 7.24e-29 (valeur p de KS) et PSI: 0.0068.
  6. Exécutez la cellule du graphique et celle sans la région east. Vous voyez un PSI de 0.0008.
  7. Dans la section 4, exécutez la cellule des catégories. Vous voyez un PSI des régions de 1.3018.
  8. Dans la section 5, écrivez votre prédiction, puis exécutez la cellule des tailles d’échantillon. La valeur p passe de 0.713 à 4.29e-26.
  9. Dans la section 6, exécutez la cellule de l’heure. Vous voyez 12 minutes.
  10. Dans la section 7, écrivez les trois réponses et exécutez chaque cellule de vérification. Chacune affiche Check passed (vérification réussie).

Changez une chose : les proportions actuelles de l’exemple à quatre classes. Elles sont maintenant de 10 %, 20 %, 30 % et 40 %, contre 25 % chacune. Avant de calculer, faites une prédiction : ce PSI dépasse-t-il 0,1? Dépasse-t-il 0,25? Dans le carnet, calculez-le et placez-le dans psi_tiny_2, arrondi à 4 décimales.

Afficher la réponse
bins2 = pd.DataFrame({"ref": [0.25, 0.25, 0.25, 0.25], "cur": [0.10, 0.20, 0.30, 0.40]})
psi_tiny_2 = round(float(((bins2.cur - bins2.ref) * np.log(bins2.cur / bins2.ref)).sum()), 4)
Check passed: psi_tiny_2 is 0.2282.

PSI est de 0,2282 : un changement modéré selon la règle pratique, près de la limite de 0,25. La première classe donne à elle seule (0,10 − 0,25) × ln(0,10 / 0,25) = 0,137. Une classe qui perd la majeure partie de sa proportion compte beaucoup, à cause du logarithme.

Erreur courante

Une alarme de dérive basée sur la valeur p

Symptôme : Tomás met en place une vérification quotidienne de dérive : « alarme quand la valeur p de KS est inférieure à 0,05 ». Après la nouvelle région, elle déclenche chaque jour pour les montants, l’heure et le type d’appareil. L’équipe cherche les causes pendant une semaine et ne trouve rien qu’elle puisse corriger.

{'KS p': 6.97e-09, 'Wasserstein': 0.197, 'PSI': 0.0027}

Cause : avec des dizaines de milliers de paiements, une valeur p est minuscule pour tout changement, même 12 minutes dans l’heure du paiement. La valeur p mesure la preuve que quelque chose a changé, pas l’ampleur du changement.

Correction : déclenchez l’alarme sur une mesure d’ampleur, comme PSI ou la distance de Wasserstein, avec une limite choisie selon votre décision. Utilisez la valeur p seulement pour vérifier qu’une ampleur n’est pas que du bruit quand les échantillons sont petits.

Conséquence pour le travail en IA : un système de surveillance de dérive basé sur les valeurs p de grands échantillons déclenche constamment des alarmes. Les équipes apprennent à l’ignorer. Elles manquent ensuite le grand changement qui exige une action, comme une nouvelle catégorie.

Vérifiez votre compréhension

Expliquez dans vos mots ce que mesurent la statistique KS, la distance de Wasserstein et le PSI. Quelle mesure utilise les unités des données?

Afficher la réponse

La statistique KS est le plus grand écart entre les deux distributions cumulatives. C’est la plus grande différence entre les proportions de valeurs inférieures ou égales à un montant donné. La distance de Wasserstein mesure le déplacement moyen nécessaire pour transformer un échantillon en l’autre. Elle utilise les unités des données : des dollars pour les montants de Larkfield. Le PSI compare les proportions des classes et additionne (actuelle − référence) × ln(actuelle / référence) pour toutes les classes. Les changements ne s’annulent donc jamais. Seule la distance de Wasserstein utilise les unités des données.

Vérifiez votre compréhension

Prédisez et expliquez : on teste le même petit changement des montants avec 200 paiements par fenêtre, puis avec 50 000. Qu'arrive-t-il à la valeur p du test KS et au PSI?

Afficher la réponse

La valeur p diminue vers 0 quand l’échantillon grandit. Pour le même changement, elle passe de 0,713 avec 200 paiements à 4,29e-26 avec 50 000. Un plus grand échantillon permet de détecter un plus petit changement. Avec assez de données, presque tous les changements deviennent « significatifs ». Le PSI se stabilise près de l’ampleur réelle du changement, soit 0,0068. Avec de petits échantillons, il fluctue et est trop élevé (0,0732 avec 200 paiements). La valeur p répond donc à « y a-t-il un changement? ». L’ampleur répond à « est-il assez grand pour agir? ».

Vérifiez votre compréhension

Après l'ajout de la nouvelle région, le test KS donne p = 7,24e-29 pour les montants. Le PSI de la région est de 1,30. Mei demande quoi faire dans chaque cas. Que conseillez-vous?

Afficher la réponse

Les montants ont changé, mais très peu : PSI de 0,0068 et distance de Wasserstein de 10 dollars. La médiane est passée de 45,12 à 41,90 dollars. Sans la région east, le PSI est de 0,0008. Les anciens clients n’ont donc pas changé. Aucune action n’est nécessaire pour les détecteurs de montants. La répartition par région a beaucoup changé (PSI de 1,30), car une nouvelle catégorie est apparue. Ce changement est prévu : notez-le pour que personne n’en cherche la cause. Incluez aussi la nouvelle région dans la prochaine fenêtre de référence.

Récapitulatif

  • Les tests KS et du khi-deux vérifient si deux fenêtres diffèrent. La distance de Wasserstein, le PSI, la statistique KS et la distance de Jensen-Shannon mesurent l’ampleur de la différence.
  • La nouvelle région a modifié les montants : p du test KS = 7,24e-29, mais PSI de 0,0068. La médiane est passée de 45,12 à 41,90 dollars. La répartition par région a beaucoup changé : PSI de 1,30.
  • Avec plus de données, la valeur p du même changement diminue vers 0 (0,713 avec 200 paiements, 4,29e-26 avec 50 000). Décidez selon l’ampleur du changement et une limite que vous avez choisie pour votre décision. Les limites de 0,1 et de 0,25 du PSI sont des conventions.

Vous pouvez maintenant tester une caractéristique pour détecter un changement. Mais Larkfield vérifie chaque jour huit caractéristiques des paiements, et chaque test peut produire une fausse alarme. Ensuite, vous vérifierez plusieurs caractéristiques à la fois, contrôlerez les fausses alarmes et déciderez quoi faire face à une dérive réelle.

Leçon suivante : Dérive dans de nombreuses variables, et quoi faire