Quand le « normal » change
- Leçon 37
- 40 min
- Module 9 : Exploiter un détecteur en production
Où nous en sommes
Notre tâche de détection s'exécute chaque jour avec une référence de base fixe. Puis un lancement de produit change durablement la normale, et la tâche inonde l'équipe d'alertes. Dans cette leçon, nous ajoutons des vérifications planifiées de la dérive et surveillons le taux d'alertes. Nous décidons aussi quand réentraîner et qui approuve un nouveau seuil.
Leçon 37 sur 38 · Détection d'anomalies : trouver ce qui est inhabituelQuand le « normal » change
1. Ce que « inhabituel » veut dire
2. Des références de base simples et difficiles à battre
3. Maîtrise statistique des procédés et dérive de distribution
- Cartes de contrôle : cette variation est-elle normale?
- Règles pour les motifs, et le prix de chaque règle
- Cartes pour les taux et les dénombrements
- Petits décalages durables : CUSUM et EWMA
- La distribution a-t-elle changé?
- Dérive dans de nombreuses variables, et quoi faire
- Loi de Benford et autres vérifications d'affaires
4. Distance, densité et isolement
5. Les anomalies dans le temps
6. Méthodes profondes et plongements
7. Évaluer avec peu d'étiquettes
8. Apprendre des réviseurs
9. Exploiter un détecteur en production
Ce que vous saurez faire
Repérez les changements de la « normale » et réagissez sans inonder l’équipe. Vous vérifiez la dérive à intervalles réguliers et surveillez la pression des alertes. Puis vous réentraînez sur une nouvelle fenêtre, et la personne responsable des alertes l’approuve.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La tâche de détection, ses deux exécutions d’une journée et la réexécution, dans Du score à l’alerte. Cette leçon continue dans le même dossier.
- Le PSI, l’indice de stabilité de la population, dans La distribution a-t-elle changé?.
- La dérive des entrées, la dérive des prédictions et la baisse des résultats, dans Dérive dans de nombreuses variables.
Ce qu’il vous faut sur votre ordinateur
Le dossier de projet detection-job de la dernière leçon, avec son environnement virtuel actif, son modèle et ses alertes d’octobre. Testé sur macOS avec Python 3.12.13. Les commandes PowerShell n’ont pas été exécutées.
Un nouveau bureau à côté
Section intitulée « Un nouveau bureau à côté »Imaginez une propriétaire de café. Depuis des années, elle connaît sa clientèle : les mêmes trente personnes chaque matin. Une personne inconnue attire son attention. Un jour, une personne inconnue a pris un sac sur une chaise. Elle surveille donc les inconnus. Puis un grand bureau ouvre à côté. Le lundi, quatre-vingts nouvelles personnes entrent. Elles sont toutes honnêtes et reviendront chaque jour. Si elle considère chaque nouvelle personne comme un danger, elle passe toute sa matinée à surveiller. Elle manque alors le seul vrai voleur.
Que devrait-elle faire? Elle devrait constater que le changement est réel et durable, puis apprendre à connaître les nouvelles personnes. Et quelqu’un, la propriétaire elle-même, décide quand le « nouveau » devient « normal ».
Le problème : le lancement de l’application inonde la tâche
Section intitulée « Le problème : le lancement de l’application inonde la tâche »Larkfield a lancé son application le 15 octobre 2025. Environ 60 % des clients ont commencé à payer dans l’application, sur un téléphone jamais utilisé auparavant dans la boutique. Vous l’avez vu dans Types d’anomalies. En moyenne, 3,89 % des paiements utilisaient un nouvel appareil durant le mois précédant le lancement. Le mois suivant, cette part était de 20,68 %. Puis elle a diminué lentement jusqu’à environ 5 % à la fin novembre, les téléphones devenant des appareils connus.
Le modèle de la tâche a appris la normale du 2 août au 30 septembre, avant l’application. Pour ce modèle, un « nouvel appareil » était rare et indiquait fortement une carte volée. Après le lancement, des milliers de clients honnêtes ont un nouvel appareil.
La tâche peut choisir ses alertes de deux façons. Le paramètre DETECT_POLICY en choisit une :
budget(budget, par défaut) : chaque jour, les 50 groupes d’alertes les plus inhabituels.fixed(fixe) : chaque groupe d’alertes au-dessus d’un seuil fixe. Ce score donnait 50 alertes par jour pendant les jours d’entraînement. Beaucoup de premières tâches utilisent ce seuil, parce qu’il est simple.
Nous avons réexécuté octobre et novembre avec les deux politiques et le même modèle, entraîné jusqu’au 30 septembre :
- Seuil fixe, ancien modèle
- Seuil fixe, modèle réentraîné
- Budget : les 50 premiers
Description textuelle du graphique
Un graphique linéaire avec un point par jour du 1er octobre au 30 novembre 2025, et de 0 à 160 alertes quotidiennes. La ligne du budget reste à 50, sauf le 14 octobre, où elle est à 49. Avant le lancement, la ligne du seuil fixe avec l’ancien modèle varie entre 25 et 58 alertes par jour. Sa moyenne du 1er au 14 octobre est de 45,4. Dès le 15 octobre, jour du lancement de l’application, elle monte entre 70 et 151. Sa moyenne du 15 octobre au 14 novembre est de 108,6. Son maximum est le 2 novembre, avec 151 alertes. Elle reste élevée jusqu’à la fin novembre, entre 55 et 129. Une troisième ligne commence le 8 novembre : le seuil fixe avec le modèle réentraîné jusqu’au 7 novembre. Elle varie entre 29 et 58 alertes par jour, pour une moyenne de 44,5. L’exception est le Vendredi fou, le 28 novembre, avec 101 alertes.
Avec le seuil fixe, les alertes font plus que doubler : de 45,4 par jour avant le lancement à 108,6 après. Le pire jour, 151 alertes arrivent. Et les alertes supplémentaires ne sont pas de la fraude. La part des alertes contenant une fraude insérée est passée de 0,079 à 0,033.
La politique de budget semble fonctionner : 50 alertes chaque jour. La précision de ses alertes a à peine changé, passant de 0,072 à 0,070. Mais le budget cache le changement. Il en envoie toujours 50, donc personne ne voit dans ce nombre que la normale a changé. La tâche a besoin d’un signal qui montre la pression derrière le budget.
L’idée : trois signaux à intervalles réguliers
Section intitulée « L’idée : trois signaux à intervalles réguliers »Un détecteur apprend la normale à partir d’une fenêtre d’entraînement : une période fixe, ici de 60 jours. Quand la normale change, la fenêtre devient désuète. Les alertes seules ne permettent pas à la tâche de le savoir. Elle surveille donc trois signaux :
Description textuelle du diagramme
Le diagramme présente deux groupes à gauche. Le premier intervient chaque jour, après l’exécution. Il contient deux signaux. Le premier est les entrées : le PSI de chaque variable sur les 7 derniers jours, comparé aux jours d’entraînement. Le second est la pression : le nombre quotidien de clients ayant un paiement au-dessus du seuil d’entraînement. Les deux mènent au verdict, une question : la pression dépassait-elle le double du budget sur 3 des 7 derniers jours? Sinon, garder le modèle et examiner toute variable dont le PSI atteint 0,25 ou plus. Si oui, réentraîner sur les 60 derniers jours. Après le réentraînement, une personne approuve : Sofia approuve le nouveau modèle. Le second groupe intervient chaque semaine. Il contient le troisième signal, les résultats : la part des alertes révisées qui sont réelles. Il va à la personne qui approuve.
- Les entrées. Pour chaque variable, la tâche compare les 7 derniers jours aux jours d’entraînement. Elle utilise le PSI du module 3, avec ses limites habituelles. Sous 0,1, il n’y a pas de changement réel; au-dessus de 0,25, le changement est important. Ces limites sont des conventions, pas des lois.
- La pression. Chaque jour, la tâche compte les clients ayant un paiement au-dessus du seuil d’entraînement. Pendant les jours d’entraînement, ce nombre était d’environ 50 par jour, soit le budget. Il correspond à peu près au nombre d’alertes que le seuil fixe enverrait. Avec la politique de budget, il montre ce que le budget cache.
- Les résultats. La part des alertes révisées qui sont réelles. Cela exige des révisions, donc ce signal arrive chaque semaine, dans le rapport de la prochaine leçon.
Le verdict de la tâche utilise les deux premiers signaux. Supposons que la pression dépasse le double du budget (100) sur au moins 3 des 7 derniers jours. Alors la normale a changé, et la tâche demande un réentraînement. Si seule une variable a changé et que la pression est normale, elle indique « examiner le changement ». C’est la démarche de Dérive dans de nombreuses variables. La dérive des entrées seule justifie un examen, et un changement des sorties justifie une vérification des résultats. Ici, le budget cache les résultats, et les révisions n’arrivent qu’une fois par semaine. La tâche traite donc une hausse durable de la pression comme le résultat.
L’exemple détaillé : PSI d’une variable 0/1
Section intitulée « L’exemple détaillé : PSI d’une variable 0/1 »new_device vaut 1 pour un paiement sur un appareil nouveau pour le client, sinon 0. Pour une variable 0/1, le PSI de la tâche compare deux proportions. Voici un exemple construit avec des nombres ronds : 4 % de nouveaux appareils pendant l’entraînement, 25 % la dernière semaine.
| Jours d’entraînement | 7 derniers jours | actuelle − référence | ln(actuelle / référence) | Terme | |
|---|---|---|---|---|---|
| Nouvel appareil (1) | 0,04 | 0,25 | +0,21 | ln(6,25) = 1,833 | 0,385 |
| Appareil connu (0) | 0,96 | 0,75 | −0,21 | ln(0,781) = −0,247 | 0,052 |
| PSI | 0,437 |
Chaque terme est (actuelle − référence) × ln(actuelle / référence). Les deux termes sont positifs, donc ils s’additionnent : 0,437, bien au-dessus de 0,25. La vérification réelle du 31 octobre a trouvé 0,472. Dans l’ancienne fenêtre d’entraînement, en moyenne, 3,64 % des paiements quotidiens utilisaient un nouvel appareil. Durant les 7 derniers jours d’octobre, cette part était de 25,42 %.
La vérification de la dérive chez Larkfield
Section intitulée « La vérification de la dérive chez Larkfield »Exécutez-la maintenant. D’abord pour la veille du lancement, puis pour la fin octobre.
-
Dans votre dossier de projet, vérifiez le 14 octobre, la veille du lancement :
Fenêtre de terminal python -m detect drift --day 2025-10-14Model iforest-2025-08-02-2025-09-30. PSI of the last 7 days against the training days:feature psilog_amount_vs_usual 0.011new_country 0.006new_device 0.006log_minutes_since_last 0.019payments_last_hour 0.000device_payments_last_hour 0.000night 0.001is_business 0.002amount 0.007Customers above the training threshold per day: 52, 50, 44, 57, 91, 42, 137No drift that matters: keep the model. -
Vérifiez le 31 octobre, après deux semaines d’utilisation de l’application :
Fenêtre de terminal python -m detect drift --day 2025-10-31Model iforest-2025-08-02-2025-09-30. PSI of the last 7 days against the training days:feature psilog_amount_vs_usual 0.012new_country 0.000new_device 0.472log_minutes_since_last 0.033...Customers above the training threshold per day: 182, 156, 145, 125, 115, 118, 129Normal has moved: on 7 of the last 7 days, more than twice the budget scored above the training threshold. Drift (PSI 0.25 or more): new_device. Retrain on recent days, then ask the fraud lead to approve the new model.
Le 14 octobre, chaque PSI est inférieur à 0,02. La pression était de 137 ce jour-là, mais sur un seul jour sur sept. Le verdict est donc « garder le modèle ». Une journée chargée ne signifie pas que la normale a changé. (Le 14 octobre, quelques tests de cartes importants ont rempli les 200 premiers paiements. Il n’existait donc que 49 groupes, et le budget en a envoyé 49.)
Le 31 octobre, une variable a changé : new_device, avec un PSI de 0,472. Et la pression dépassait 100 sur les 7 jours, allant de 115 à 182. Le verdict demande un réentraînement et nomme la variable. Les autres variables n’ont pas changé : les clients paient toujours les mêmes montants, aux mêmes heures, depuis les mêmes pays.
Description textuelle du graphique
Un graphique à colonnes avec quatre colonnes sur un axe allant de 0 à 0,5. Le 14 octobre, avec l’ancien modèle, le PSI de new_device est de 0,006. Le 31 octobre, avec l’ancien modèle, il est de 0,472, bien au-dessus de la limite de changement important de 0,25. Le 14 novembre, avec le modèle réentraîné jusqu’au 7 novembre, il est de 0,002. Le 30 novembre, avec le même modèle réentraîné, il est de 0,058, sous la limite de 0,1.
Réentraîner, et qui l’approuve
Section intitulée « Réentraîner, et qui l’approuve »Le verdict demande un réentraînement, mais la tâche ne se réentraîne pas seule. Deux questions viennent d’abord.
Quelle fenêtre? La nouvelle fenêtre doit contenir assez de la nouvelle normale. Le 31 octobre, les 60 derniers jours contiennent seulement 17 jours d’utilisation de l’application. Priya attend une semaine de plus. Elle entraîne sur les 60 jours du 9 septembre au 7 novembre, avec 24 jours d’utilisation de l’application. En moyenne, 11,44 % des paiements quotidiens de cette fenêtre utilisaient un nouvel appareil. Une fenêtre ne doit pas non plus contenir un incident que vous ne voulez pas faire apprendre au modèle. La leçon Dérive dans de nombreuses variables du module 3 montrait ce risque : les vagues de fraude peuvent aussi dériver.
Qui approuve? Un modèle réentraîné change ce que l’équipe de Sofia voit chaque jour. Sofia, responsable des alertes, l’approuve donc. Le verdict indique « demander l’approbation de la responsable de la fraude ». Priya lui apporte trois mesures : la pression avant et après, les alertes quotidiennes avec le seuil fixe et la part des alertes réelles. Le cours MLOps présente l’étape complète de mise en production, avec tests et limites, dans Barrières d’évaluation. Il montre comment choisir entre le réentraînement et d’autres corrections dans Réentraîner ou réviser.
-
Réentraînez sur les 60 jours se terminant le 7 novembre :
Fenêtre de terminal python -m detect train --until 2025-11-07Trained iforest-2025-09-09-2025-11-07 on 106,654 payments (2025-09-09 to 2025-11-07). Saved to state/model.pkl. -
Réexécutez le 15 octobre avec le nouveau modèle. Les alertes de cette journée ont déjà été envoyées :
Fenêtre de terminal python -m detect run --day 2025-10-152025-10-15: 1,710 payments, 41 customers above the training threshold, 114 alert groups, 0 snoozed. Sent 9 new alerts to alerts/2025-10-15.jsonl; 41 already sent. -
Vérifiez la dérive avec le nouveau modèle et réexécutez une semaine :
Fenêtre de terminal python -m detect drift --day 2025-11-14python -m detect replay --from 2025-11-08 --to 2025-11-14La vérification de la dérive se termine par
No drift that matters: keep the model.(Aucune dérive importante : garder le modèle.) La pression varie entre 32 et 56 par jour. La réexécution se termine parSent 350 alerts in 7 days (50.0 a day, budget 50, policy budget).(350 alertes envoyées en 7 jours, soit 50,0 par jour, avec un budget de 50 et la politique de budget.)
L’étape 2 montre le registre en action. Le nouveau modèle a placé 41 des mêmes groupes dans ses 50 premiers, et la tâche ne les a pas renvoyés. Il a trouvé 9 autres groupes et les a envoyés. Aucune alerte n’a été envoyée deux fois. Le 15 octobre compte maintenant 59 alertes, au-dessus du budget. Le changement de la section À vous de jouer de la dernière leçon compte donc ici aussi. En pratique, une équipe ne réexécute pas les anciennes journées avec un nouveau modèle, sauf pour le tester.
Le seuil fixe après le réentraînement
Section intitulée « Le seuil fixe après le réentraînement »La politique fixe montre l’effet le plus clairement. Exécutez-la dans ses propres dossiers, pour ne pas mélanger ses alertes avec celles du budget. Les paramètres DETECT_STATE et DETECT_ALERTS choisissent les dossiers :
export DETECT_POLICY=fixed DETECT_STATE=state-fixed DETECT_ALERTS=alerts-fixedpython -m detect train --until 2025-09-30python -m detect replay --from 2025-10-01 --to 2025-10-31python -m detect train --until 2025-11-07python -m detect replay --from 2025-11-08 --to 2025-11-30unset DETECT_POLICY DETECT_STATE DETECT_ALERTS$env:DETECT_POLICY = "fixed"; $env:DETECT_STATE = "state-fixed"; $env:DETECT_ALERTS = "alerts-fixed"python -m detect train --until 2025-09-30python -m detect replay --from 2025-10-01 --to 2025-10-31python -m detect train --until 2025-11-07python -m detect replay --from 2025-11-08 --to 2025-11-30Remove-Item Env:DETECT_POLICY, Env:DETECT_STATE, Env:DETECT_ALERTSLes dernières lignes des deux réexécutions :
Sent 2571 alerts in 31 days (82.9 a day, budget 50, policy fixed).Sent 1024 alerts in 23 days (44.5 a day, budget 50, policy fixed).En octobre, l’ancien modèle avec le seuil fixe a envoyé en moyenne 82,9 alertes par jour. C’est environ 33 de plus que les 50 prévues. Après le lancement, il en envoyait plus de 100 par jour. À partir du 8 novembre, le modèle réentraîné en envoyait 44,5 par jour, près des 50 prévues pour le seuil. Les mesures du cours montrent la même chose pour la politique de budget. Du 8 au 30 novembre, la pression était de 100,2 clients par jour avec l’ancien modèle. Elle était de 52,3 avec le modèle réentraîné. Le signal de pression a donc de nouveau un sens.
Les alertes se sont-elles améliorées? Un peu, avec le seuil fixe. Du 8 au 30 novembre, la part des alertes réelles était de 0,030 avec l’ancien modèle et de 0,058 avec le modèle réentraîné. Avec le budget, elle a à peine changé (0,050 et 0,051). Le budget a protégé l’équipe de l’avalanche d’alertes. Le réentraînement a rendu au seuil et à la pression leur sens réel. Les deux comptent.
Regardez le Vendredi fou dans le graphique : même le seuil fixe réentraîné a envoyé 101 alertes le 28 novembre. Il y avait 5 216 paiements ce jour-là. Avec un seuil fixe, le nombre d’alertes augmente toujours avec le trafic. C’est une raison de plus de garder le budget pour l’équipe.
La normale continue de changer
Section intitulée « La normale continue de changer »La vague de l’application n’a pas duré. La part des nouveaux appareils est redescendue à environ 5 % à la fin novembre. Chaque téléphone utilisant l’application n’est nouveau qu’une seule fois. Le modèle réentraîné a appris sur une fenêtre contenant 11,44 % de nouveaux appareils. Durant les 7 derniers jours de novembre, la moyenne était de 6,49 %.
Description textuelle du graphique
Un graphique linéaire avec un point par jour du 1er octobre au 30 novembre 2025, sur un axe de 0 à 35 %. Du 1er au 13 octobre, la part des paiements sur un nouvel appareil varie entre 1,8 % et 5,5 %. Elle est de 7,6 % le 14 octobre et de 10,6 % le 15 octobre, jour du lancement de l’application. Elle reste entre 19 % et 30,3 % du 16 octobre à la fin octobre. Son maximum, 30,3 %, est atteint le 21 octobre. En novembre, elle diminue lentement : environ 19 % la première semaine, 14 % la deuxième et 11 % la troisième. Durant les cinq derniers jours, elle varie entre 4,7 % et 6,2 %.
La vérification de la dérive s’exécute donc de nouveau le 30 novembre, cette fois avec le modèle réentraîné comme référence :
new_device 0.058...Customers above the training threshold per day: 81, 37, 42, 53, 100, 58, 52No drift that matters: keep the model.Le PSI est de 0,058 : un petit retour en arrière, sous 0,1. La pression est normale, sauf le Vendredi fou, où elle atteint 100. Le modèle reste donc en place. La fenêtre changera de nouveau au prochain réentraînement. Beaucoup d’équipes réentraînent selon un calendrier, par exemple une fois par mois. Elles gardent la vérification de la dérive comme protection entre deux réentraînements.
Les points de rupture qui exigent une nouvelle référence de base
Section intitulée « Les points de rupture qui exigent une nouvelle référence de base »Le lancement est un point de rupture : un jour où la normale passe à un nouveau niveau et y reste. Vous avez découvert les points de rupture dans Points de rupture. Certains sont planifiés, comme un lancement, une nouvelle région ou un nouveau mode de paiement. D’autres arrivent sans avertissement, comme une nouvelle version de l’application d’un partenaire.
Pour les points de rupture planifiés, n’attendez pas la vérification de la dérive. Inscrivez-les dans un calendrier partagé des changements, comme l’équipe produit de Larkfield aurait pu le faire pour le 15 octobre. Les responsables de la tâche peuvent alors prévoir une date de réentraînement avant le lancement. Pour les changements imprévus, la vérification planifiée de la dérive sert de protection. Le cours MLOps et LLMOps : exploiter l’IA en production présente une leçon complète sur ce sujet, Dérive des données et dérive conceptuelle.
À vous de jouer : le bon jour pour réentraîner
Section intitulée « À vous de jouer : le bon jour pour réentraîner »Vérifiez le 21 octobre, une semaine après le lancement, avec l’ancien modèle. Votre dossier de projet contient maintenant le modèle réentraîné. Entraînez donc l’ancien de nouveau dans un troisième dossier, state-old. Avant de lancer la vérification, faites une prédiction : le verdict sera-t-il « retrain » (réentraîner)? Puis répondez : pourquoi pourrait-il être trop tôt pour réentraîner ce jour-là?
Afficher la réponse
Sur macOS ou Linux, exécutez DETECT_STATE=state-old python -m detect train --until 2025-09-30, puis DETECT_STATE=state-old python -m detect drift --day 2025-10-21. Dans PowerShell, définissez d’abord $env:DETECT_STATE = "state-old", puis supprimez cette variable après. La vérification se termine ainsi :
Customers above the training threshold per day: 76, 159, 106, 158, 123, 146, 136Normal has moved: on 6 of the last 7 days, more than twice the budget scored above the training threshold. Drift (PSI 0.25 or more): new_device. Retrain on recent days, then ask the fraud lead to approve the new model.Le PSI de new_device est déjà de 0,393, et le verdict est « retrain ». Mais une fenêtre de 60 jours se terminant le 21 octobre ne contient que 7 jours d’utilisation de l’application. Le modèle apprendrait la nouvelle normale à partir d’une seule semaine, pendant la montée la plus rapide de la vague. Attendez que la fenêtre contienne quelques semaines du nouveau comportement, ou entraînez le modèle sur une fenêtre plus courte. Dites à Sofia quelle option vous avez choisie et pourquoi.
Erreur courante
Le budget cache un changement de la normale
Symptôme : après le lancement, la tâche envoie 50 alertes chaque jour, comme prévu. Sofia ne remarque rien dans le nombre d’alertes. Mais chaque semaine, son équipe trouve moins de fraudes parmi les alertes, et plus de clients honnêtes avec un nouveau téléphone.
Cause : le budget remplit toujours les 50 places. Quand la normale change, des paiements honnêtes entrent parmi les 50 premiers, et le nombre d’alertes reste le même. La pression derrière le budget est passée de 54,9 à 119,6 clients par jour au-dessus du seuil d’entraînement. Personne ne la surveillait.
Solution : lancez la vérification de dérive chaque jour après l’exécution, et indiquez la pression à côté des alertes. Quand le verdict indique « retrain », réentraînez le modèle sur une fenêtre contenant assez de données de la nouvelle normale. Faites approuver le nouveau modèle par la responsable des alertes.
Conséquence pour le travail en IA : un nombre d’alertes stable donne l’impression que le détecteur fonctionne bien. Sans signal derrière le budget, un changement de la normale peut rester caché pendant des semaines, alors que les alertes se dégradent.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Après le lancement de l'application, le seuil fixe produisait 108,6 alertes par jour et le budget, 50. Quelle politique convient mieux à l'équipe de Sofia, et que cache-t-elle?
Afficher la réponse
Le budget convient mieux à l’équipe. Il maintient le travail à 50 alertes par jour, tandis que le seuil fixe en a produit jusqu’à 151 en une journée. Mais le budget cache le changement de la normale. Le nombre d’alertes est resté à 50. La pression derrière ce nombre est passée de 54,9 à 119,6 clients par jour au-dessus du seuil d’entraînement. La tâche doit donc indiquer la pression et vérifier la dérive, sinon personne ne voit le changement.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Calculez le PSI d'une variable 0/1 valant 1 pour 5 % des paiements d'entraînement et 20 % des paiements de la dernière semaine. Est-ce un grand changement?
Afficher la réponse
Les valeurs 1 : (0,20 − 0,05) × ln(0,20 / 0,05) = 0,15 × ln(4) = 0,15 × 1,386 = 0,208. Les valeurs 0 : (0,80 − 0,95) × ln(0,80 / 0,95) = −0,15 × (−0,172) = 0,026. PSI = 0,208 + 0,026 = 0,234. C’est juste sous 0,25, soit un changement modéré selon la convention habituelle. Ces limites sont des conventions : la pression, le deuxième signal, compte aussi.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le 31 octobre, la vérification de dérive indique « retrain ». Tomás veut une tâche qui réentraîne automatiquement le modèle chaque fois, sans intervention humaine. Donnez deux raisons de ne pas le faire.
Afficher la réponse
Premièrement, la fenêtre compte. Le 31 octobre, les 60 derniers jours ne contiennent que 17 jours d’utilisation de l’application. Une fenêtre peut aussi contenir une poussée de fraude que le modèle ne doit pas apprendre. Une personne choisit la fenêtre. Deuxièmement, un nouveau modèle change ce que l’équipe de Sofia voit chaque jour. La responsable des alertes doit donc l’approuver. Elle compare la pression, les alertes par jour et la proportion d’alertes réelles, avant et après. Il faut aussi vérifier un modèle réentraîné avant sa mise en production, comme aux barrières d’évaluation du cours de MLOps.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Après le lancement de l’application, le seuil fixe est passé de 45,4 à 108,6 alertes par jour. Le budget est resté à 50 et a caché le changement.
- La tâche vérifie trois signaux : les entrées (PSI par variable) et la pression (clients au-dessus du seuil d’entraînement). Chaque semaine, elle ajoute les résultats (alertes révisées qui sont réelles).
- Le 31 octobre,
new_deviceavait un PSI de 0,472 et la pression était de 115 à 182 par jour : le verdict était « retrain ». Les 60 jours se terminant le 7 novembre ont ramené la pression à 52,3 et le seuil fixe à 44,5 alertes par jour. - Une personne choisit la fenêtre et approuve le nouveau modèle. Les points de rupture prévus vont dans un calendrier; la vérification de dérive détecte les autres. La normale continue de changer : la proportion de nouveaux appareils est redescendue à environ 5 % à la fin de novembre.
La tâche respecte maintenant le budget et détecte les changements de la normale. Mais 50 alertes par jour peuvent encore être trop nombreuses pour les lire avec soin. Vous examinerez ensuite la fatigue d’alerte : limites de fréquence, règles de report, procédure d’intervention et révision hebdomadaire.
Leçon suivante : Fatigue d'alerte et responsabilité