Dérive dans de nombreuses variables, et quoi faire
- Leçon 13
- 35 min
- Module 3 : Maîtrise statistique des procédés et dérive de distribution
Où nous en sommes
Nous pouvons tester la dérive d'une variable. Larkfield a beaucoup de variables. Tester chacune chaque jour produit des fausses alarmes par hasard. Dans cette leçon, nous contrôlons ces fausses alarmes et classons les dérives par ampleur. Nous distinguons aussi la dérive des entrées d'une baisse de performance du modèle.
Leçon 13 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelDérive dans de nombreuses variables, et quoi faire
1. Ce que « inhabituel » veut dire
2. Des références de base simples et difficiles à battre
3. Maîtrise statistique des procédés et dérive de distribution
- Cartes de contrôle : cette variation est-elle normale?
- Règles pour les motifs, et le prix de chaque règle
- Cartes pour les taux et les dénombrements
- Petits décalages durables : CUSUM et EWMA
- La distribution a-t-elle changé?
- Dérive dans de nombreuses variables, et quoi faire
- Loi de Benford et autres vérifications d'affaires
4. Distance, densité et isolement
5. Les anomalies dans le temps
6. Méthodes profondes et plongements
7. Évaluer avec peu d'étiquettes
8. Apprendre des réviseurs
9. Exploiter un détecteur en production
Ce que vous saurez faire
Vérifiez plusieurs variables chaque jour sans accumuler trop de fausses alarmes. Déterminez ce qu’une alarme de dérive signifie pour un détecteur. Huit tests quotidiens à une limite de 5 % produisent une fausse alarme environ un jour sur trois, même sans changement.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il applique Bonferroni et Benjamini-Hochberg à la main, puis effectue 248 tests sur un mois sans nouveauté. Il produit aussi un rapport de dérive par variable. Ensuite, il exécute le rapport chaque jour pendant six semaines. Ses cellules de préparation installent les paquets et téléchargent les paiements (environ 7 Mo). Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le test KS, le test du khi-deux et le PSI. Pourquoi un grand échantillon rend tout changement « significatif », dans La distribution a-t-elle changé?.
- La table des paiements, dans Découvrir les données de Larkfield. Cette leçon nomme les huit variables qu’elle vérifie.
Ce qu’il vous faut sur votre ordinateur
Rien. Le carnet s’exécute dans Colab, Kaggle ou VS Code.
Testé avec Python 3.12.13 dans Jupyter sur macOS, avec pandas 3.1.1, NumPy 2.5.4 et SciPy 1.18.1. Colab et Kaggle n’ont pas été testés.
Un hôtel avec cent avertisseurs de fumée
Section intitulée « Un hôtel avec cent avertisseurs de fumée »Un avertisseur de fumée qui se déclenche par erreur une fois par année est un bon avertisseur. Maintenant, placez-en un dans chacune des 100 chambres d’un hôtel. Chacun reste aussi bon. Mais ensemble, ils produisent une fausse alarme environ tous les trois ou quatre jours. Le responsable de nuit cesse vite de se déplacer à chaque alarme.
Aucun avertisseur n’est défectueux. Le problème est leur nombre. Chaque vérification a une faible probabilité de produire une fausse alarme. Ensemble, de nombreuses vérifications produisent beaucoup de fausses alarmes.
Le problème : huit variables, chaque jour
Section intitulée « Le problème : huit variables, chaque jour »Larkfield vérifie huit variables des paiements chaque jour. Ce sont le montant, l’heure, le type d’appareil, la catégorie du commerçant, le type de compte, la région, le pays et la devise. Chaque vérification utilise un test de la dernière leçon, avec une limite de p < 0,05. À cette limite, un test indique « changement » par hasard dans 1 cas sur 20, même si rien n’a changé.
Le carnet compare chaque jour d’août à tout le mois de juillet : 31 jours × 8 variables = 248 tests. Sans changement, le hasard seul produit environ 5 % de 248, soit environ 12 tests sous 0,05. Avant de lire la sortie, faites une prédiction : combien en verrez-vous?
248 tests: p < 0.05 in 62, Bonferroni 33, FDR (BH) 45featurecountry 21currency 19merchant_category 5hour 4region 4device_type 4amount 3account_type 262 tests sont sous 0,05, soit cinq fois plus que ce que le hasard expliquerait. Tant d’alarmes posent problème : personne ne peut vérifier 62 alarmes par mois. Mais elles ne sont pas toutes fausses non plus. La plupart concernent country (pays) et currency (devise). Lors d’une vague de paiements frauduleux insérés provenant de l’étranger, ces deux variables changent réellement. Un test ne peut pas distinguer une vague de fraude d’un changement de la normale. Il vous dit seulement que la journée est différente.
Bonferroni et le taux de fausses découvertes
Section intitulée « Bonferroni et le taux de fausses découvertes »Deux méthodes contrôlent les fausses alarmes produites par de nombreux tests.
La correction de Bonferroni divise la limite par le nombre de tests. Avec 10 tests par jour, chaque test doit être sous 0,05 / 10 = 0,005. La probabilité d’avoir même une seule fausse alarme dans la journée reste alors sous 5 %. Cette méthode est simple et stricte. Elle manque aussi beaucoup de changements réels, car chaque test doit fournir des preuves très fortes.
La procédure de Benjamini-Hochberg (BH) contrôle le taux de fausses découvertes (FDR). Parmi les tests retenus comme indiquant un « changement », au plus 5 % sont faux en moyenne. Vous acceptez quelques fausses alarmes pour trouver davantage de changements réels. La procédure comporte trois étapes :
- Triez les valeurs p de la plus petite à la plus grande, puis numérotez-les : rang 1, 2, 3…
- Attribuez à chacune une limite de 0,05 × rang / nombre de tests.
- Trouvez le plus grand rang dont la valeur p est sous sa limite. Retenez ce test et tous les tests de rang inférieur.
Dix valeurs p à la main
Section intitulée « Dix valeurs p à la main »Voici dix valeurs p d’une journée (exemple construit). Avant de lire les dernières colonnes, faites une prédiction : combien chaque méthode en retient-elle?
| Variable | p | Rang | p < 0,05 | Bonferroni : p < 0,005 | Limite BH | Retenu par BH |
|---|---|---|---|---|---|---|
| A | 0,001 | 1 | oui | oui | 0,005 | oui |
| B | 0,008 | 2 | oui | non | 0,010 | oui |
| C | 0,012 | 3 | oui | non | 0,015 | oui |
| D | 0,030 | 4 | oui | non | 0,020 | non |
| E | 0,041 | 5 | oui | non | 0,025 | non |
| F | 0,120 | 6 | non | non | 0,030 | non |
| G à J | 0,25 à 0,90 | 7 à 10 | non | non | 0,035 à 0,050 | non |
La limite simple en retient 5, Bonferroni en retient 1 et BH en retient 3. C, à 0,012, est sous sa limite BH de 0,015. BH retient donc A, B et C. D, à 0,030, est au-dessus de sa limite de 0,020, comme tous les tests suivants.
- Valeurs p triées
- Limite BH
- Limite de Bonferroni, 0,005
- Limite simple, 0,05
Description textuelle du graphique
Le graphique montre dix points représentant les valeurs p triées, de 0,001 au rang 1 à 0,120 au rang 6. Les points des rangs 7 à 10 (0,25 à 0,90) dépassent le haut du graphique. Trois lignes pointillées montrent les limites. La limite simple est horizontale à 0,05 : les cinq premiers points sont sous cette ligne. La limite de Bonferroni est horizontale à 0,005 : seul le premier point est sous cette ligne. La limite BH monte de 0,005 au rang 1 à 0,05 au rang 10. Les points des rangs 1, 2 et 3 sont sous cette ligne. Le point du rang 4 (0,030) est au-dessus.
Sur les 248 tests de Larkfield, Bonferroni en retient 33 et BH en retient 45. Les deux font mieux que 62. Mais les deux retiennent encore des dizaines de tests, car les échantillons sont grands, comme dans la dernière leçon.
Classer les dérives par ampleur
Section intitulée « Classer les dérives par ampleur »Avec de grands échantillons, presque chaque variable est « significative ». Une correction des valeurs p ne suffit donc pas. La réponse de la dernière leçon s’applique ici aussi : classez les variables selon l’ampleur de leur changement. Le carnet construit un rapport de dérive à la main. Pour chaque variable, il donne le test, la valeur p, la décision BH et le PSI. Il donne aussi une étiquette d’ampleur : faible sous 0,1, modérée jusqu’à 0,25, forte au-dessus. Voici la fenêtre suivant la nouvelle région (du 15 septembre au 14 octobre 2025), comparée à août :
feature test p PSI BH size region chi-square 0 1.3018 True large country chi-square 1.12e-52 0.0123 True small amount KS 7.24e-29 0.0068 True small currency chi-square 3.64e-28 0.0064 True small device_type chi-square 3.34e-33 0.0055 True small hour KS 6.97e-09 0.0027 True small account_type chi-square 1.54e-14 0.0022 True smallmerchant_category chi-square 0.0418 0.0005 True smallBH retient les huit variables. Avec environ 55 000 paiements dans chaque fenêtre, chaque changement est « significatif ». Selon l’ampleur, un seul changement est fort : la répartition des régions.
Description textuelle du graphique
Un graphique de huit colonnes, triées du plus grand PSI au plus petit. La colonne de la région est haute, à 1,3018. Les sept autres colonnes sont si courtes qu’elles semblent plates. Ce sont le pays à 0,0123, le montant à 0,0068, la devise à 0,0064, l’appareil à 0,0055, l’heure à 0,0027, le compte à 0,0022 et la catégorie à 0,0005.
Le rapport vous indique où regarder d’abord : la région. Le changement de région est prévu. Il faut donc une note, pas une enquête.
Chaque jour pendant six semaines
Section intitulée « Chaque jour pendant six semaines »Le carnet exécute le rapport chaque jour du 1er septembre au 14 octobre 2025, par rapport à août :
44 days x 8 features = 352 checksp < 0.05: 212; FDR (BH): 191; PSI 0.1 or more: 56featureregion 41country 13currency 2Selon les valeurs p, avec BH, 191 des 352 vérifications indiquent un « changement ». Selon l’ampleur, 56 vérifications ont un PSI de 0,1 ou plus. Parmi elles, 41 concernent la nouvelle région prévue, presque chaque jour. Avec le classement par ampleur, il reste 15 vérifications à examiner en six semaines, et non 191.
La dérive est une raison d’examiner les données
Section intitulée « La dérive est une raison d’examiner les données »La variable du pays a dépassé un PSI de 0,1 pendant 13 jours. Que s’est-il passé ces jours-là? Le carnet répond avec le corrigé du cours. Le corrigé est emballé dans data/sealed-key.txt, et compare.planted_payments() le déballe. Vous pouvez le déballer vous-même : il sert à évaluer votre travail, pas à garder un secret.
payments abroad planted payments abroadcountry PSI 0.1 or moreFalse 17.9 13.9True 52.0 48.8Les 13 jours de dérive du pays comptaient en moyenne 48,8 paiements frauduleux insérés provenant de l’étranger. Les autres jours en comptaient 13,9. La vérification de dérive a trouvé les jours des vagues de fraude. Elle n’a pas trouvé quels paiements étaient frauduleux : c’est le rôle d’un détecteur. Elle ne pouvait pas non plus distinguer la fraude d’un nouveau type de client normal. Seule une personne qui examine les données peut le faire.
Une alarme de dérive est donc une raison d’examiner les données, pas une preuve que quelque chose va mal. Elle peut signaler un changement prévu (la nouvelle région), un problème réel (une vague de fraude) ou un flux défectueux.
Trois choses différentes appelées « dérive »
Section intitulée « Trois choses différentes appelées « dérive » »On dit souvent « le modèle a dérivé » pour trois choses différentes. Elles ont des causes et des solutions différentes.
- Dérive des entrées : les données reçues sont différentes. La répartition des régions de Larkfield a changé avec la nouvelle région. Les tests de cette leçon la mesurent.
- Dérive des prédictions : les sorties du détecteur ont changé. Ses scores changent, ou le nombre quotidien de paiements au-dessus de son seuil augmente ou diminue.
- Baisse de performance : le détecteur fait moins bien son travail. Moins de ses alertes sont de vraies fraudes, ou davantage de fraudes passent inaperçues. Seules les étiquettes permettent de le voir, et elles arrivent tard : une rétrofacturation peut prendre des semaines.
Description textuelle du diagramme
Le diagramme commence en haut par la dérive des entrées : les données sont différentes, comme avec la nouvelle région (PSI de région de 1,30). Une flèche mène à une question : les scores du détecteur ou le nombre d’alertes par jour ont-ils changé? Sinon, vous notez le changement et continuez la surveillance. S’ils ont changé, c’est une dérive des prédictions. Une deuxième question suit : les résultats sont-ils moins bons? Vous le mesurez avec les alertes révisées et les fraudes manquées. Si les résultats ne sont pas moins bons, la normale a changé et le détecteur s’adapte. Vous mettez donc à jour la fenêtre de référence. Si les résultats sont moins bons, la performance du détecteur a baissé. Vous le réentraînez ou le corrigez.
Chaque étape vers le bas du diagramme demande plus de preuves et plus de temps. La dérive des entrées est visible dès le premier jour. La dérive des prédictions est visible le même jour, si vous consignez les scores. La baisse de performance est visible seulement quand les étiquettes arrivent. Le cours MLOps et LLMOps : exploiter l’IA en production explique ces trois phénomènes dans Dérive des données et dérive conceptuelle. Il explique comment travailler avec les étiquettes tardives dans Étiquettes tardives.
Que faire après une alarme de dérive
Section intitulée « Que faire après une alarme de dérive »| Ce que vous trouvez | Exemple | Que faire |
|---|---|---|
| Un changement prévu des entrées | la nouvelle région, PSI de région de 1,30 | Notez-le. Ajoutez les nouvelles données à la prochaine fenêtre de référence. |
| Un changement fort et imprévu | une variable qui tombe à zéro après une mise en production | Vérifiez d’abord le flux de données : un flux défectueux est la cause la plus fréquente. |
| Une vague sur quelques jours | dérive du pays les jours de fraude | Examinez les paiements de ces jours. C’est peut-être ce que vos détecteurs doivent trouver. |
| Des résultats moins bons | moins de vraies fraudes parmi les alertes révisées | Réentraînez sur une fenêtre de référence récente et vérifiée, ou corrigez les variables. |
Des outils qui créent le rapport pour vous
Section intitulée « Des outils qui créent le rapport pour vous »Des outils à code source ouvert créent ce type de rapport de dérive par variable : Evidently et NannyML. NannyML peut aussi estimer la performance d’un modèle avant l’arrivée des étiquettes. Nous ne les avons pas exécutés ici. Evidently ajoute beaucoup de paquets et ne fonctionnait pas avec la version de pandas de ce cours. Le rapport de cette leçon compte environ 30 lignes de pandas et SciPy. Vous pouvez expliquer chacun de ses nombres.
Exercice guidé : le rapport de dérive dans le carnet
Section intitulée « Exercice guidé : le rapport de dérive dans le carnet »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La cellule des données se termine par la ligne
Ready:(prêt). - Dans la section 1, écrivez votre prédiction pour les dix valeurs p. Exécutez ensuite la cellule. BH en retient 3.
- Exécutez la cellule des fonctions auxiliaires et celle des données. Vous voyez les paiements de juillet et d’août.
- Dans la section 2, écrivez votre prédiction, puis exécutez les 248 tests. Vous voyez
62,33et45. - Dans la section 3, exécutez le rapport.
region(région) arrive en premier, avec un PSI élevé. - Dans la section 4, exécutez le rapport quotidien. Vous voyez
191vérifications retenues par BH et56avec un PSI de 0,1 ou plus. - Dans la section 5, exécutez la cellule du corrigé. Vous voyez
48.8paiements insérés provenant de l’étranger les jours de dérive du pays. - Dans la section 6, écrivez les trois réponses et exécutez chaque cellule de vérification. Chacune affiche
Check passed(vérification réussie).
À vous de jouer : un taux de fausses découvertes moins strict
Section intitulée « À vous de jouer : un taux de fausses découvertes moins strict »Changez une seule chose : le taux de fausses découvertes q. Avec q = 0,10, vous acceptez que jusqu’à 10 % des tests retenus soient faux. Avant de calculer, faites une prédiction : combien des dix valeurs p de la section 1 BH retient-il maintenant? Dans le carnet, utilisez la limite 0,10 × rang / 10 et placez le nombre dans bh_10.
Afficher la réponse
bh_10 = int((tiny["rank"] <= tiny["rank"][tiny.p <= 0.10 * tiny["rank"] / m].max()).sum())Check passed: bh_10 is 5.BH retient maintenant 5 tests : A à E. Les limites doublent (0,01, 0,02, 0,03, 0,04, 0,05…). D (0,030, limite 0,04) et E (0,041, limite 0,05) sont donc sous leurs limites. Un q moins strict trouve plus de changements et accepte plus de faux changements. Choisissez q, comme toutes les limites de ce module, selon le coût d’une fausse alarme et d’un cas manqué.
Erreur courante
Réentraîner à chaque alarme de dérive
Symptôme : Tomás veut relier le rapport de dérive à la tâche d’entraînement. « Quand une variable dérive, réentraîner le détecteur sur les 30 derniers jours. » C’est un cas construit : nous ne l’avons pas exécuté. Avec le rapport quotidien ci-dessus, le détecteur serait réentraîné presque chaque jour des six semaines.
Cause : une alarme de dérive indique que les entrées ont changé, pas que le détecteur est devenu moins bon. Une partie de la dérive venait de la nouvelle région prévue, que le détecteur peut bien gérer. Une autre partie venait des vagues de fraude. Les jours de dérive du pays comptaient en moyenne 48,8 paiements frauduleux insérés provenant de l’étranger. Un réentraînement sur ces jours enseignerait au détecteur que la fraude provenant de l’étranger est normale.
Diagnostic : suivez le diagramme. Les scores ou le nombre d’alertes par jour ont-ils changé? Les résultats révisés sont-ils moins bons? Sans réponse à la deuxième question, vous ne savez pas encore si le réentraînement aide.
Correction : réentraînez sur une fenêtre de référence vérifiée par une personne, après une baisse de performance ou un changement prévu et durable. Excluez-en les jours d’incidents connus. Consignez chaque réentraînement et sa raison.
Conséquence pour le travail en IA : un détecteur réentraîné à chaque changement apprend ses propres lacunes. Il accepte les anomalies qu’il devrait trouver. Les limites de contrôle recalculées chaque jour, dans Cartes de contrôle : cette variation est-elle normale?, faisaient la même erreur.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Expliquez dans vos mots pourquoi 248 tests avec un seuil de 0,05 donnent des alarmes même sans changement. Quelle est la différence entre Bonferroni et Benjamini-Hochberg?
Afficher la réponse
Sans changement, chaque test indique « changement » par hasard dans environ 1 cas sur 20. Ainsi, 248 tests donnent environ 12 fausses alarmes dues au seul hasard. Bonferroni divise le seuil par le nombre de tests (0,05 / 248). Même une seule fausse alarme dans l’ensemble devient alors peu probable. Cette méthode est stricte et manque beaucoup de changements réels. Benjamini-Hochberg contrôle la proportion de fausses alarmes parmi les tests retenus (le taux de fausses découvertes). Cette méthode trie les valeurs p. Elle retient tous les tests jusqu’au rang le plus élevé qui respecte le seuil de 0,05 × rang / nombre de tests. Elle retient plus de tests que Bonferroni : 45 contre 33 sur les 248 tests de Larkfield.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Après l'ajout de la nouvelle région, votre rapport de dérive retient les huit variables avec BH. Les valeurs p vont de 0,0418 à 0. Que regardez-vous plutôt, et qu'est-ce que cela vous apprend ici?
Afficher la réponse
Avec environ 55 000 paiements par fenêtre, chaque variable est « significative ». Les valeurs p ne permettent donc aucun classement. Regardez la taille de chaque changement, mesurée par le PSI. Seule la région présente un changement important (1,30). Le pays vient ensuite, à 0,0123, et les autres valeurs sont inférieures à 0,007. Il y a donc un seul changement à expliquer : la nouvelle région prévue. Notez-le et ajoutez la nouvelle région à la prochaine fenêtre de référence.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Omar demande : les entrées ont dérivé, alors le détecteur se trompe-t-il maintenant? Expliquez la dérive des entrées, la dérive des prédictions et la baisse de performance. Quelles preuves faut-il pour chacune?
Afficher la réponse
La dérive des entrées signifie que les données sont différentes. Vous la constatez dès le premier jour avec des tests comme le PSI. La dérive des prédictions signifie que les scores du détecteur ou le nombre d’alertes par jour ont changé. Vous la constatez si vous consignez les scores. Une baisse de performance signifie que le détecteur fait moins bien son travail. Ses alertes contiennent moins de fraudes réelles, ou il manque plus de fraudes. Vous ne le constatez qu’avec les étiquettes, qui arrivent tard. La dérive des entrées ne prouve pas à elle seule que le détecteur se trompe. Elle justifie de vérifier ses sorties, puis ses résultats.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- De nombreux tests donnent des fausses alarmes par hasard : 62 tests sur 248 sont sous 0,05. Le hasard seul en donne environ 12. Bonferroni en a retenu 33, et Benjamini-Hochberg (taux de fausses découvertes) en a retenu 45.
- Avec de grands échantillons, classez la dérive selon sa taille. En six semaines, 191 vérifications ont indiqué « changement » selon la valeur p. Avec un PSI de 0,1 ou plus, 56 l’ont indiqué. Parmi ces 56 vérifications, 41 concernaient la région prévue.
- Une alarme de dérive justifie un examen. La dérive du pays a permis de repérer les jours contenant les vagues de fraudes insérées.
- La dérive des entrées, la dérive des prédictions et la baisse de performance sont trois choses différentes. Seule une baisse de performance, mesurée avec des étiquettes, justifie un réentraînement.
Vous pouvez maintenant vérifier de nombreuses variables et décider ce que signifie une alarme de dérive. Mais les auditeurs vérifient aussi les montants eux-mêmes : leurs premiers chiffres et combien se trouvent juste sous une limite. Ensuite, vous testerez la loi de Benford et les autres vérifications d’affaires. Vous verrez aussi dans quels cas elles ne s’appliquent pas.
Leçon suivante : Loi de Benford et autres vérifications d'affaires