Aller au contenu
English

Dérive dans de nombreuses variables, et quoi faire

  • Leçon 13
  • 35 min
  • Module 3 : Maîtrise statistique des procédés et dérive de distribution

Où nous en sommes

Nous pouvons tester la dérive d'une variable. Larkfield a beaucoup de variables. Tester chacune chaque jour produit des fausses alarmes par hasard. Dans cette leçon, nous contrôlons ces fausses alarmes et classons les dérives par ampleur. Nous distinguons aussi la dérive des entrées d'une baisse de performance du modèle.

Leçon 13 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelDérive dans de nombreuses variables, et quoi faire
Aperçu du cours

Ce que vous saurez faire

Vérifiez plusieurs variables chaque jour sans accumuler trop de fausses alarmes. Déterminez ce qu’une alarme de dérive signifie pour un détecteur. Huit tests quotidiens à une limite de 5 % produisent une fausse alarme environ un jour sur trois, même sans changement.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il applique Bonferroni et Benjamini-Hochberg à la main, puis effectue 248 tests sur un mois sans nouveauté. Il produit aussi un rapport de dérive par variable. Ensuite, il exécute le rapport chaque jour pendant six semaines. Ses cellules de préparation installent les paquets et téléchargent les paiements (environ 7 Mo). Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien. Le carnet s’exécute dans Colab, Kaggle ou VS Code.

Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1, NumPy 2.5.4 et SciPy 1.18.1. Colab et Kaggle n’ont pas été testés.

Un avertisseur de fumée qui se déclenche par erreur une fois par année est un bon avertisseur. Maintenant, placez-en un dans chacune des 100 chambres d’un hôtel. Chacun reste aussi bon. Mais ensemble, ils produisent une fausse alarme environ tous les trois ou quatre jours. Le responsable de nuit cesse vite de se déplacer à chaque alarme.

Aucun avertisseur n’est défectueux. Le problème est leur nombre. Chaque vérification a une faible probabilité de produire une fausse alarme. Ensemble, de nombreuses vérifications produisent beaucoup de fausses alarmes.

Larkfield vérifie huit variables des paiements chaque jour. Ce sont le montant, l’heure, le type d’appareil, la catégorie du commerçant, le type de compte, la région, le pays et la devise. Chaque vérification utilise un test de la dernière leçon, avec une limite de p < 0,05. À cette limite, un test indique « changement » par hasard dans 1 cas sur 20, même si rien n’a changé.

Le carnet compare chaque jour d’août à tout le mois de juillet : 31 jours × 8 variables = 248 tests. Sans changement, le hasard seul produit environ 5 % de 248, soit environ 12 tests sous 0,05. Avant de lire la sortie, faites une prédiction : combien en verrez-vous?

248 tests: p < 0.05 in 62, Bonferroni 33, FDR (BH) 45
feature
country 21
currency 19
merchant_category 5
hour 4
region 4
device_type 4
amount 3
account_type 2

62 tests sont sous 0,05, soit cinq fois plus que ce que le hasard expliquerait. Tant d’alarmes posent problème : personne ne peut vérifier 62 alarmes par mois. Mais elles ne sont pas toutes fausses non plus. La plupart concernent country (pays) et currency (devise). Lors d’une vague de paiements frauduleux insérés provenant de l’étranger, ces deux variables changent réellement. Un test ne peut pas distinguer une vague de fraude d’un changement de la normale. Il vous dit seulement que la journée est différente.

Deux méthodes contrôlent les fausses alarmes produites par de nombreux tests.

La correction de Bonferroni divise la limite par le nombre de tests. Avec 10 tests par jour, chaque test doit être sous 0,05 / 10 = 0,005. La probabilité d’avoir même une seule fausse alarme dans la journée reste alors sous 5 %. Cette méthode est simple et stricte. Elle manque aussi beaucoup de changements réels, car chaque test doit fournir des preuves très fortes.

La procédure de Benjamini-Hochberg (BH) contrôle le taux de fausses découvertes (FDR). Parmi les tests retenus comme indiquant un « changement », au plus 5 % sont faux en moyenne. Vous acceptez quelques fausses alarmes pour trouver davantage de changements réels. La procédure comporte trois étapes :

  1. Triez les valeurs p de la plus petite à la plus grande, puis numérotez-les : rang 1, 2, 3…
  2. Attribuez à chacune une limite de 0,05 × rang / nombre de tests.
  3. Trouvez le plus grand rang dont la valeur p est sous sa limite. Retenez ce test et tous les tests de rang inférieur.

Voici dix valeurs p d’une journée (exemple construit). Avant de lire les dernières colonnes, faites une prédiction : combien chaque méthode en retient-elle?

Variable p Rang p < 0,05 Bonferroni : p < 0,005 Limite BH Retenu par BH
A 0,001 1 oui oui 0,005 oui
B 0,008 2 oui non 0,010 oui
C 0,012 3 oui non 0,015 oui
D 0,030 4 oui non 0,020 non
E 0,041 5 oui non 0,025 non
F 0,120 6 non non 0,030 non
G à J 0,25 à 0,90 7 à 10 non non 0,035 à 0,050 non

La limite simple en retient 5, Bonferroni en retient 1 et BH en retient 3. C, à 0,012, est sous sa limite BH de 0,015. BH retient donc A, B et C. D, à 0,030, est au-dessus de sa limite de 0,020, comme tous les tests suivants.

  • Valeurs p triées
  • Limite BH
  • Limite de Bonferroni, 0,005
  • Limite simple, 0,05
Les dix valeurs p triées comparées à trois limites. BH retient tous les tests jusqu'au dernier point sous sa ligne croissante : les rangs 1 à 3. Bonferroni retient seulement le rang 1; la limite simple retient les rangs 1 à 5.
Description textuelle du graphique

Le graphique montre dix points représentant les valeurs p triées, de 0,001 au rang 1 à 0,120 au rang 6. Les points des rangs 7 à 10 (0,25 à 0,90) dépassent le haut du graphique. Trois lignes pointillées montrent les limites. La limite simple est horizontale à 0,05 : les cinq premiers points sont sous cette ligne. La limite de Bonferroni est horizontale à 0,005 : seul le premier point est sous cette ligne. La limite BH monte de 0,005 au rang 1 à 0,05 au rang 10. Les points des rangs 1, 2 et 3 sont sous cette ligne. Le point du rang 4 (0,030) est au-dessus.

Sur les 248 tests de Larkfield, Bonferroni en retient 33 et BH en retient 45. Les deux font mieux que 62. Mais les deux retiennent encore des dizaines de tests, car les échantillons sont grands, comme dans la dernière leçon.

Avec de grands échantillons, presque chaque variable est « significative ». Une correction des valeurs p ne suffit donc pas. La réponse de la dernière leçon s’applique ici aussi : classez les variables selon l’ampleur de leur changement. Le carnet construit un rapport de dérive à la main. Pour chaque variable, il donne le test, la valeur p, la décision BH et le PSI. Il donne aussi une étiquette d’ampleur : faible sous 0,1, modérée jusqu’à 0,25, forte au-dessus. Voici la fenêtre suivant la nouvelle région (du 15 septembre au 14 octobre 2025), comparée à août :

feature test p PSI BH size
region chi-square 0 1.3018 True large
country chi-square 1.12e-52 0.0123 True small
amount KS 7.24e-29 0.0068 True small
currency chi-square 3.64e-28 0.0064 True small
device_type chi-square 3.34e-33 0.0055 True small
hour KS 6.97e-09 0.0027 True small
account_type chi-square 1.54e-14 0.0022 True small
merchant_category chi-square 0.0418 0.0005 True small

BH retient les huit variables. Avec environ 55 000 paiements dans chaque fenêtre, chaque changement est « significatif ». Selon l’ampleur, un seul changement est fort : la répartition des régions.

Le PSI de chaque variable des paiements après la nouvelle région, par rapport à août. Un changement est fort (région, 1,30); le deuxième plus grand, celui du pays, est de 0,0123.
Description textuelle du graphique

Un graphique de huit colonnes, triées du plus grand PSI au plus petit. La colonne de la région est haute, à 1,3018. Les sept autres colonnes sont si courtes qu’elles semblent plates. Ce sont le pays à 0,0123, le montant à 0,0068, la devise à 0,0064, l’appareil à 0,0055, l’heure à 0,0027, le compte à 0,0022 et la catégorie à 0,0005.

Le rapport vous indique où regarder d’abord : la région. Le changement de région est prévu. Il faut donc une note, pas une enquête.

Le carnet exécute le rapport chaque jour du 1er septembre au 14 octobre 2025, par rapport à août :

44 days x 8 features = 352 checks
p < 0.05: 212; FDR (BH): 191; PSI 0.1 or more: 56
feature
region 41
country 13
currency 2

Selon les valeurs p, avec BH, 191 des 352 vérifications indiquent un « changement ». Selon l’ampleur, 56 vérifications ont un PSI de 0,1 ou plus. Parmi elles, 41 concernent la nouvelle région prévue, presque chaque jour. Avec le classement par ampleur, il reste 15 vérifications à examiner en six semaines, et non 191.

La variable du pays a dépassé un PSI de 0,1 pendant 13 jours. Que s’est-il passé ces jours-là? Le carnet répond avec le corrigé du cours. Le corrigé est emballé dans data/sealed-key.txt, et compare.planted_payments() le déballe. Vous pouvez le déballer vous-même : il sert à évaluer votre travail, pas à garder un secret.

payments abroad planted payments abroad
country PSI 0.1 or more
False 17.9 13.9
True 52.0 48.8

Les 13 jours de dérive du pays comptaient en moyenne 48,8 paiements frauduleux insérés provenant de l’étranger. Les autres jours en comptaient 13,9. La vérification de dérive a trouvé les jours des vagues de fraude. Elle n’a pas trouvé quels paiements étaient frauduleux : c’est le rôle d’un détecteur. Elle ne pouvait pas non plus distinguer la fraude d’un nouveau type de client normal. Seule une personne qui examine les données peut le faire.

Une alarme de dérive est donc une raison d’examiner les données, pas une preuve que quelque chose va mal. Elle peut signaler un changement prévu (la nouvelle région), un problème réel (une vague de fraude) ou un flux défectueux.

On dit souvent « le modèle a dérivé » pour trois choses différentes. Elles ont des causes et des solutions différentes.

  • Dérive des entrées : les données reçues sont différentes. La répartition des régions de Larkfield a changé avec la nouvelle région. Les tests de cette leçon la mesurent.
  • Dérive des prédictions : les sorties du détecteur ont changé. Ses scores changent, ou le nombre quotidien de paiements au-dessus de son seuil augmente ou diminue.
  • Baisse de performance : le détecteur fait moins bien son travail. Moins de ses alertes sont de vraies fraudes, ou davantage de fraudes passent inaperçues. Seules les étiquettes permettent de le voir, et elles arrivent tard : une rétrofacturation peut prendre des semaines.
Un parcours de haut en bas. Dérive des entrées : les données sont différentes, par exemple la nouvelle région avec un PSI de région de 1,30. Une question : les scores du détecteur ou le nombre d'alertes par jour ont-ils changé? Si non : notez le changement et continuez la surveillance. Si oui : dérive des prédictions, les scores ont changé. Une deuxième question : les résultats sont-ils moins bons, selon les alertes révisées et les fraudes manquées? Si non : la normale a changé et le détecteur s'adapte, donc mettez à jour la fenêtre de référence. Si oui : baisse de performance, donc réentraînez ou corrigez le détecteur.
La dérive des entrées justifie une vérification des sorties du détecteur. Un changement des sorties justifie une vérification de ses résultats. Seuls des résultats moins bons justifient un réentraînement ou une correction.
Description textuelle du diagramme

Le diagramme commence en haut par la dérive des entrées : les données sont différentes, comme avec la nouvelle région (PSI de région de 1,30). Une flèche mène à une question : les scores du détecteur ou le nombre d’alertes par jour ont-ils changé? Sinon, vous notez le changement et continuez la surveillance. S’ils ont changé, c’est une dérive des prédictions. Une deuxième question suit : les résultats sont-ils moins bons? Vous le mesurez avec les alertes révisées et les fraudes manquées. Si les résultats ne sont pas moins bons, la normale a changé et le détecteur s’adapte. Vous mettez donc à jour la fenêtre de référence. Si les résultats sont moins bons, la performance du détecteur a baissé. Vous le réentraînez ou le corrigez.

Chaque étape vers le bas du diagramme demande plus de preuves et plus de temps. La dérive des entrées est visible dès le premier jour. La dérive des prédictions est visible le même jour, si vous consignez les scores. La baisse de performance est visible seulement quand les étiquettes arrivent. Le cours MLOps et LLMOps : exploiter l’IA en production explique ces trois phénomènes dans Dérive des données et dérive conceptuelle. Il explique comment travailler avec les étiquettes tardives dans Étiquettes tardives.

Ce que vous trouvez Exemple Que faire
Un changement prévu des entrées la nouvelle région, PSI de région de 1,30 Notez-le. Ajoutez les nouvelles données à la prochaine fenêtre de référence.
Un changement fort et imprévu une variable qui tombe à zéro après une mise en production Vérifiez d’abord le flux de données : un flux défectueux est la cause la plus fréquente.
Une vague sur quelques jours dérive du pays les jours de fraude Examinez les paiements de ces jours. C’est peut-être ce que vos détecteurs doivent trouver.
Des résultats moins bons moins de vraies fraudes parmi les alertes révisées Réentraînez sur une fenêtre de référence récente et vérifiée, ou corrigez les variables.

Des outils à code source ouvert créent ce type de rapport de dérive par variable : Evidently et NannyML. NannyML peut aussi estimer la performance d’un modèle avant l’arrivée des étiquettes. Nous ne les avons pas exécutés ici. Evidently ajoute beaucoup de paquets et ne fonctionnait pas avec la version de pandas de ce cours. Le rapport de cette leçon compte environ 30 lignes de pandas et SciPy. Vous pouvez expliquer chacun de ses nombres.

Exercice guidé : le rapport de dérive dans le carnet

Section intitulée « Exercice guidé : le rapport de dérive dans le carnet »
  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. La cellule des données se termine par la ligne Ready: (prêt).
  3. Dans la section 1, écrivez votre prédiction pour les dix valeurs p. Exécutez ensuite la cellule. BH en retient 3.
  4. Exécutez la cellule des fonctions auxiliaires et celle des données. Vous voyez les paiements de juillet et d’août.
  5. Dans la section 2, écrivez votre prédiction, puis exécutez les 248 tests. Vous voyez 62, 33 et 45.
  6. Dans la section 3, exécutez le rapport. region (région) arrive en premier, avec un PSI élevé.
  7. Dans la section 4, exécutez le rapport quotidien. Vous voyez 191 vérifications retenues par BH et 56 avec un PSI de 0,1 ou plus.
  8. Dans la section 5, exécutez la cellule du corrigé. Vous voyez 48.8 paiements insérés provenant de l’étranger les jours de dérive du pays.
  9. Dans la section 6, écrivez les trois réponses et exécutez chaque cellule de vérification. Chacune affiche Check passed (vérification réussie).

À vous de jouer : un taux de fausses découvertes moins strict

Section intitulée « À vous de jouer : un taux de fausses découvertes moins strict »

Changez une seule chose : le taux de fausses découvertes q. Avec q = 0,10, vous acceptez que jusqu’à 10 % des tests retenus soient faux. Avant de calculer, faites une prédiction : combien des dix valeurs p de la section 1 BH retient-il maintenant? Dans le carnet, utilisez la limite 0,10 × rang / 10 et placez le nombre dans bh_10.

Afficher la réponse
bh_10 = int((tiny["rank"] <= tiny["rank"][tiny.p <= 0.10 * tiny["rank"] / m].max()).sum())
Check passed: bh_10 is 5.

BH retient maintenant 5 tests : A à E. Les limites doublent (0,01, 0,02, 0,03, 0,04, 0,05…). D (0,030, limite 0,04) et E (0,041, limite 0,05) sont donc sous leurs limites. Un q moins strict trouve plus de changements et accepte plus de faux changements. Choisissez q, comme toutes les limites de ce module, selon le coût d’une fausse alarme et d’un cas manqué.

Erreur courante

Réentraîner à chaque alarme de dérive

Symptôme : Tomás veut relier le rapport de dérive à la tâche d’entraînement. « Quand une variable dérive, réentraîner le détecteur sur les 30 derniers jours. » C’est un cas construit : nous ne l’avons pas exécuté. Avec le rapport quotidien ci-dessus, le détecteur serait réentraîné presque chaque jour des six semaines.

Cause : une alarme de dérive indique que les entrées ont changé, pas que le détecteur est devenu moins bon. Une partie de la dérive venait de la nouvelle région prévue, que le détecteur peut bien gérer. Une autre partie venait des vagues de fraude. Les jours de dérive du pays comptaient en moyenne 48,8 paiements frauduleux insérés provenant de l’étranger. Un réentraînement sur ces jours enseignerait au détecteur que la fraude provenant de l’étranger est normale.

Diagnostic : suivez le diagramme. Les scores ou le nombre d’alertes par jour ont-ils changé? Les résultats révisés sont-ils moins bons? Sans réponse à la deuxième question, vous ne savez pas encore si le réentraînement aide.

Correction : réentraînez sur une fenêtre de référence vérifiée par une personne, après une baisse de performance ou un changement prévu et durable. Excluez-en les jours d’incidents connus. Consignez chaque réentraînement et sa raison.

Conséquence pour le travail en IA : un détecteur réentraîné à chaque changement apprend ses propres lacunes. Il accepte les anomalies qu’il devrait trouver. Les limites de contrôle recalculées chaque jour, dans Cartes de contrôle : cette variation est-elle normale?, faisaient la même erreur.

Vérifiez votre compréhension

Expliquez dans vos mots pourquoi 248 tests avec un seuil de 0,05 donnent des alarmes même sans changement. Quelle est la différence entre Bonferroni et Benjamini-Hochberg?

Afficher la réponse

Sans changement, chaque test indique « changement » par hasard dans environ 1 cas sur 20. Ainsi, 248 tests donnent environ 12 fausses alarmes dues au seul hasard. Bonferroni divise le seuil par le nombre de tests (0,05 / 248). Même une seule fausse alarme dans l’ensemble devient alors peu probable. Cette méthode est stricte et manque beaucoup de changements réels. Benjamini-Hochberg contrôle la proportion de fausses alarmes parmi les tests retenus (le taux de fausses découvertes). Cette méthode trie les valeurs p. Elle retient tous les tests jusqu’au rang le plus élevé qui respecte le seuil de 0,05 × rang / nombre de tests. Elle retient plus de tests que Bonferroni : 45 contre 33 sur les 248 tests de Larkfield.

Vérifiez votre compréhension

Après l'ajout de la nouvelle région, votre rapport de dérive retient les huit variables avec BH. Les valeurs p vont de 0,0418 à 0. Que regardez-vous plutôt, et qu'est-ce que cela vous apprend ici?

Afficher la réponse

Avec environ 55 000 paiements par fenêtre, chaque variable est « significative ». Les valeurs p ne permettent donc aucun classement. Regardez la taille de chaque changement, mesurée par le PSI. Seule la région présente un changement important (1,30). Le pays vient ensuite, à 0,0123, et les autres valeurs sont inférieures à 0,007. Il y a donc un seul changement à expliquer : la nouvelle région prévue. Notez-le et ajoutez la nouvelle région à la prochaine fenêtre de référence.

Vérifiez votre compréhension

Omar demande : les entrées ont dérivé, alors le détecteur se trompe-t-il maintenant? Expliquez la dérive des entrées, la dérive des prédictions et la baisse de performance. Quelles preuves faut-il pour chacune?

Afficher la réponse

La dérive des entrées signifie que les données sont différentes. Vous la constatez dès le premier jour avec des tests comme le PSI. La dérive des prédictions signifie que les scores du détecteur ou le nombre d’alertes par jour ont changé. Vous la constatez si vous consignez les scores. Une baisse de performance signifie que le détecteur fait moins bien son travail. Ses alertes contiennent moins de fraudes réelles, ou il manque plus de fraudes. Vous ne le constatez qu’avec les étiquettes, qui arrivent tard. La dérive des entrées ne prouve pas à elle seule que le détecteur se trompe. Elle justifie de vérifier ses sorties, puis ses résultats.

Récapitulatif

  • De nombreux tests donnent des fausses alarmes par hasard : 62 tests sur 248 sont sous 0,05. Le hasard seul en donne environ 12. Bonferroni en a retenu 33, et Benjamini-Hochberg (taux de fausses découvertes) en a retenu 45.
  • Avec de grands échantillons, classez la dérive selon sa taille. En six semaines, 191 vérifications ont indiqué « changement » selon la valeur p. Avec un PSI de 0,1 ou plus, 56 l’ont indiqué. Parmi ces 56 vérifications, 41 concernaient la région prévue.
  • Une alarme de dérive justifie un examen. La dérive du pays a permis de repérer les jours contenant les vagues de fraudes insérées.
  • La dérive des entrées, la dérive des prédictions et la baisse de performance sont trois choses différentes. Seule une baisse de performance, mesurée avec des étiquettes, justifie un réentraînement.

Vous pouvez maintenant vérifier de nombreuses variables et décider ce que signifie une alarme de dérive. Mais les auditeurs vérifient aussi les montants eux-mêmes : leurs premiers chiffres et combien se trouvent juste sous une limite. Ensuite, vous testerez la loi de Benford et les autres vérifications d’affaires. Vous verrez aussi dans quels cas elles ne s’appliquent pas.

Leçon suivante : Loi de Benford et autres vérifications d'affaires