La dérive et les nouveaux sujets
- Leçon 36
- 40 min
- Module 9 : Exploiter le routeur en production
Où nous en sommes
Notre service de routage fonctionne et consigne ses décisions dans un journal. Le monde évolue : Omar lance un nouveau produit, et une grève des services de livraison remplit la boîte de réception. Dans cette leçon, nous surveillons les parts des étiquettes, la confiance et le taux de révision. Nous trouvons aussi un nouveau sujet dans les messages incertains.
Leçon 36 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitLa dérive et les nouveaux sujets
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Repérez les changements dans la boîte de réception avant que les clients les remarquent. Vous surveillez trois signaux qui ne nécessitent aucune étiquette : la part de chaque destination, la confiance et la part des messages incertains. Puis, avec des preuves, vous déterminez si le monde a changé ou si le modèle fonctionne mal. Vous trouvez aussi un nouveau sujet dans les messages incertains.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le service de routage, le modèle
v1et ses zones, vus dans Un service de routage. Cette leçon se poursuit dans le même dossier de projet. - Les messages de validation et leur part de messages incertains, vus dans Décider, faire réviser ou transférer à une personne. Cette leçon explique le PSI, l’indice de stabilité de la population, depuis le début. La distribution a-t-elle changé?, dans le cours sur la détection d’anomalies, l’utilise sur d’autres données (facultatif).
Ce qu’il vous faut sur votre ordinateur
Le dossier de projet larkroute de la dernière leçon, avec son environnement actif et le modèle v1 comme modèle courant. Les données du mois de lancement sont déjà dans data/launch_month.csv. Testé sur macOS avec Python 3.12.13, pandas 3.1.1 et scikit-learn 1.9.1. Les commandes sont les mêmes dans PowerShell, mais nous ne les avons pas exécutées dans cet environnement.
Deux changements au bureau de poste
Section intitulée « Deux changements au bureau de poste »Repensez au comptoir de tri. Un mois de décembre, le bureau de poste reçoit deux fois plus de colis que d’habitude. Le travail de la commis change beaucoup : le casier des colis se remplit chaque heure. Mais ses règles restent bonnes. Chaque colis va dans le casier des colis, comme prévu. Le monde a changé, mais le tri fonctionne toujours.
Le même mois, un nouveau quartier résidentiel ouvre à la périphérie de la ville. Ses rues ne figurent pas dans son guide de règles. Elle ne sait pas où mettre ces lettres, alors elles s’accumulent dans le casier du superviseur. Cette fois, il manque quelque chose dans le guide.
Au comptoir, les deux changements donnent la même impression : « quelque chose est différent ». Mais ils demandent des réponses opposées. Pour les colis, elle a besoin d’aide supplémentaire au casier, pas de nouvelles règles. Pour le nouveau quartier, elle a besoin de nouvelles règles. Le superviseur doit distinguer les deux situations, et la seule façon est d’examiner les lettres.
Le problème : un modèle ne dit jamais « je ne connais pas ça »
Section intitulée « Le problème : un modèle ne dit jamais « je ne connais pas ça » »En février 2026, Larkfield a vécu les deux changements en un mois. Le mois de lancement compte 2 000 messages, du 2 février au 1er mars. Omar a lancé un nouveau produit, le Grow Hub : un jardin intérieur avec un contrôleur Wi-Fi et des capteurs de sol. Dès le 9 février, les clients ont écrit au sujet de sa configuration. Puis, la semaine du 16 février, une grève des services de livraison a retardé les colis.
Ces événements sont construits : nous les avons insérés dans la boîte de réception synthétique pour nous exercer. Les données contiennent aussi une vérité cachée, soit la bonne destination pour chaque message du mois de lancement. Elle existe uniquement parce que la boîte de réception est simulée; un vrai centre d’assistance ne l’a pas. Cette leçon l’utilise à la fin pour vérifier nos conclusions. Pendant le mois, Larkfield voit seulement ce que vous voyez.
Le modèle v1 a sept destinations. Aucune ne convient à une question sur la configuration du Grow Hub. Un modèle ne peut pas dire « c’est nouveau ». Il doit choisir une des destinations qu’il connaît. La vérité cachée montre ce qu’il a fait des 167 messages sur la configuration du Grow Hub :
Description textuelle du graphique
Un graphique à quatre colonnes montre les 167 messages sur la configuration du Grow Hub et la destination choisie par le modèle v1. Product 79, returns_refunds 31, account 19, et les quatre autres destinations ensemble 38 : billing 15, delivery 14, orders 7 et needs_person 2. Les colonnes diminuent de gauche à droite.
Aucun message d’erreur n’est apparu. Chacun de ces messages a reçu une destination et une valeur de confiance. La plupart (77,8 %) étaient incertains et sont donc allés dans la file de révision de Chloé. Les autres sont allés directement à la mauvaise équipe.
Et l’exactitude ne peut pas vous avertir. Pour mesurer l’exactitude, vous devez connaître la bonne destination de chaque message. En utilisation réelle, personne n’étiquette les messages à mesure qu’ils arrivent.
L’idée : surveiller ce qui est visible sans étiquettes
Section intitulée « L’idée : surveiller ce qui est visible sans étiquettes »Même sans étiquettes, le journal du service montre trois choses chaque semaine :
- La part de chaque destination. Si 20 % des messages vont habituellement à delivery, et que cette part atteint soudainement 47 %, quelque chose a changé.
- La confiance moyenne. Si le modèle est moins certain en moyenne, les messages ressemblent peut-être moins à ceux de son apprentissage.
- La part des messages incertains. C’est la part des messages dans la zone de révision ou de transfert à une personne. Pour les messages de validation, elle était de 9,8 %.
Une dérive désigne un changement entre les données que le modèle rencontre et celles dont il a appris. Un changement dans les parts des destinations est une dérive des prédictions : les réponses du modèle changent. La dérive invite à examiner la situation, mais ne donne pas de verdict. Elle ne dit pas si le modèle se trompe.
Un nombre pour dire « les parts ont changé » : le PSI
Section intitulée « Un nombre pour dire « les parts ont changé » : le PSI »Pour surveiller les sept parts des destinations à la fois, le projet résume leurs changements en un nombre : le PSI, ou indice de stabilité de la population. Pour chaque destination, il soustrait l’ancienne part de la nouvelle. Il multiplie cette différence par le logarithme naturel du rapport entre la nouvelle part et l’ancienne. Puis il additionne les termes. Les grands changements dans les deux sens ajoutent beaucoup, et les petits changements n’ajoutent presque rien.
Voici un exemple construit avec trois groupes de destinations. Les anciennes parts viennent d’une semaine normale, et les nouvelles, d’une semaine chargée :
| Destination | Ancienne part | Nouvelle part | Nouvelle − ancienne | ln(nouvelle / ancienne) | Terme |
|---|---|---|---|---|---|
| delivery | 0,20 | 0,47 | +0,27 | +0,854 | 0,231 |
| product | 0,15 | 0,13 | −0,02 | −0,143 | 0,003 |
| toutes les autres | 0,65 | 0,40 | −0,25 | −0,486 | 0,121 |
| PSI | 0,355 |
Chaque terme est positif, car les deux facteurs ont toujours le même signe. Une règle pratique courante indique qu’un PSI inférieur à 0,10 signifie qu’il n’y a pas de changement réel. De 0,10 à 0,25, le changement est modéré; au-dessus de 0,25, il est important. Ces limites sont des conventions, pas des lois.
La vérification de dérive du projet
Section intitulée « La vérification de dérive du projet »route drift réexécute le mois de lancement avec le modèle courant, une semaine à la fois. Il compare chaque semaine aux messages de validation. Il déclenche une alarme pour une semaine si l’une de ces deux conditions est remplie :
- le PSI des parts des destinations atteint 0,10 ou plus, ou
- la part des messages incertains atteint au moins 1,5 fois celle de validation (9,8 % × 1,5 = 14,7 %).
Une alarme ne réentraîne rien. Elle dit : « Lisez un échantillon de messages avant de réentraîner le modèle. »
Exécuter la vérification de dérive
Section intitulée « Exécuter la vérification de dérive »-
Dans le dossier
larkroute, avec l’environnement actif, exécutez la vérification de dérive :Fenêtre de terminal route driftModel v1; validation: unsure (review or person) 9.8%. Launch month, by week:week messages delivery product account mean_conf unsure psi2026-02-02 533 0.206 0.152 0.109 0.911 0.111 0.0162026-02-09 477 0.199 0.193 0.111 0.873 0.170 0.0252026-02-16 510 0.469 0.129 0.080 0.875 0.125 0.2842026-02-23 480 0.144 0.231 0.106 0.844 0.208 0.083ALARM week of 2026-02-09: unsure messages 17%. Read a sample of messages before you retrain.ALARM week of 2026-02-16: route shares moved (PSI 0.28). Read a sample of messages before you retrain.ALARM week of 2026-02-23: unsure messages 21%. Read a sample of messages before you retrain. -
Lisez le tableau une colonne à la fois.
delivery(livraison),product(produit) etaccount(compte) sont les parts de trois destinations.mean_confest la confiance moyenne,unsurela part des messages incertains etpsile PSI par rapport aux données de validation.
Le graphique montre les deux colonnes qui ont déclenché les alarmes :
- Incertains (révision ou personne)
- Delivery (prédite)
- Validation : incertains 9,8 %
- Alarme : incertains 14,7 %
Description textuelle du graphique
Le graphique présente quatre semaines sur l’axe horizontal : les 2, 9, 16 et 23 février. La part des messages incertains est de 11,1 %, 17,0 %, 12,5 % et 20,8 %. Une ligne pointillée à 9,8 % montre la part de validation, et une autre à 14,7 % montre le seuil d’alarme. La part des messages incertains dépasse la ligne d’alarme pendant les deuxième et quatrième semaines. La part prédite de delivery est de 20,6 %, 19,9 %, 46,9 % et 14,4 %. Elle fait plus que doubler pendant la troisième semaine, celle de la grève. Cette semaine-là, la part des messages incertains est de 12,5 %, sous la ligne d’alarme.
Description textuelle du graphique
Un graphique comporte quatre colonnes, une par semaine. Le PSI est de 0,016 la semaine du 2 février et de 0,025 la semaine du 9 février. Il est de 0,284 la semaine du 16 février et de 0,083 la semaine du 23 février. Seule la troisième colonne dépasse le seuil d’alarme de 0,10. Elle apparaît dans une couleur différente.
Les trois alarmes racontent deux histoires différentes :
- La semaine du 16 février : les parts des destinations ont changé (PSI de 0,284), car la part de delivery a plus que doublé. Mais le modèle reste certain : sa part de messages incertains, 12,5 %, est inférieure à celle de la semaine précédente.
- Les semaines du 9 et du 23 février : les parts des destinations ont à peine changé (PSI de 0,025 et 0,083). Mais la part des messages incertains est passée à 17,0 % et à 20,8 %. La confiance moyenne est passée de 0,911 à 0,873 et à 0,844. Le modèle rencontre davantage de messages qu’il ne sait pas où envoyer.
Le monde a-t-il changé, ou le modèle fonctionne-t-il mal?
Section intitulée « Le monde a-t-il changé, ou le modèle fonctionne-t-il mal? »Une alarme pose une question : faut-il changer le modèle? Pour répondre, une personne doit lire les messages. Le diagramme montre la décision :
Description textuelle du diagramme
Le diagramme commence par une alarme. Soit les parts des destinations ont changé, avec un PSI de 0,10 ou plus, soit la part des messages incertains atteint 1,5 fois celle de validation. L’étape suivante consiste à lire et à étiqueter un échantillon des messages de cette semaine. Puis vient une première question : les messages correspondent-ils aux destinations existantes? Sinon, c’est un nouveau sujet : regrouper les messages incertains, nommer le sujet et ajouter une étiquette. L’exemple est la configuration du Grow Hub. S’ils correspondent, une deuxième question suit : le modèle donne-t-il encore les bonnes réponses sur l’échantillon étiqueté? Si oui, le monde a changé : garder le modèle et informer l’équipe. L’exemple est la grève des services de livraison. Sinon, le modèle se trompe sur ces messages : en étiqueter davantage, réentraîner et vérifier le nouveau modèle avant la mise en production.
La semaine de grève : lire et vérifier un échantillon
Section intitulée « La semaine de grève : lire et vérifier un échantillon »Chloé a étiqueté 250 messages du mois de lancement, environ 60 par semaine : data/launch_labels_sample.csv. Parmi eux, 80 concernent le Grow Hub. Elle leur a attribué devices (appareils), une destination qui n’existe pas encore. Vous pouvez comparer v1 à ses étiquettes, semaine par semaine. Créez le fichier week_check.py dans le dossier larkroute :
"""Check model v1 against Chloé's labels, week by week, and print three delivery messages of the strike week."""import pandas as pd
from larkroute import data, model_storefrom larkroute.drift import route_messages
model, card = model_store.load("v1")stream = route_messages(model, card, data.launch_month())labels = pd.read_csv(data.data_dir() / "launch_labels_sample.csv")checked = stream.merge(labels, on="message_id")checked["week"] = pd.to_datetime(checked["created_at"]).dt.to_period("W-SUN").dt.start_time.dt.dateold = checked[checked["route"] != "devices"] # only the routes that v1 knowsweeks = checked.groupby("week")print(pd.DataFrame({ "labelled": weeks.size(), "delivery_label": weeks["route"].apply(lambda r: (r == "delivery").mean()).round(3), "delivery_predicted": weeks["predicted"].apply(lambda p: (p == "delivery").mean()).round(3), "old_routes": old.groupby("week").size(), "right_on_old_routes": old.groupby("week").apply(lambda g: (g["predicted"] == g["route"]).mean()).round(3),}).to_string())strike = stream[(stream["created_at"] >= "2026-02-16") & (stream["created_at"] < "2026-02-23")]for text in strike[strike["predicted"] == "delivery"]["text"].head(3): print("-", " ".join(text.split())[:110])route_messages() est la fonction utilisée par route drift : elle ajoute à chaque message la destination prédite, la confiance et la zone. Exécutez le fichier :
python week_check.py labelled delivery_label delivery_predicted old_routes right_on_old_routesweek2026-02-02 47 0.191 0.191 47 0.9572026-02-09 71 0.141 0.155 37 1.0002026-02-16 60 0.400 0.417 43 0.9302026-02-23 72 0.083 0.097 43 0.953- Could you please check the status of order LK-781053? It was due on Jan 28, but it has not arrived. My payment- Bonjour, Ma commande LK-917032 devait arriver le 15/01, mais je ne l’ai toujours pas reçue. Pourriez-vous véri- Tracking for LK-310229 hasn’t moved in 3 days. Have my solar lights been lost? MorganRassemblez maintenant les preuves pour la semaine de grève :
- Les messages correspondent à une destination existante. Les messages de l’échantillon sont des questions ordinaires sur des colis en retard. Chloé a étiqueté 40,0 % de l’échantillon de la semaine comme delivery; le modèle a indiqué 41,7 %.
- Le modèle donne encore les bonnes réponses. Pour les destinations qu’il connaît, il a eu raison sur une proportion de
0.930des messages étiquetés de la semaine : 40 sur 43. Avec seulement 43 messages, une ou deux erreurs font beaucoup varier ce nombre. Ainsi,0.930est proche des valeurs0.957et0.953des autres semaines. - Le modèle reste certain. La part des messages incertains cette semaine-là était de 12,5 %, sous le seuil d’alarme.
- Un événement extérieur l’explique. Grace sait qu’une grève des services de livraison a retardé les colis cette semaine-là.
Le monde a donc changé, mais le modèle fonctionne toujours. Davantage de clients ont écrit au sujet de colis en retard, et le modèle les a envoyés à delivery, comme prévu. La bonne réponse n’est pas un nouveau modèle. Il faut davantage d’agents dans l’équipe de livraison cette semaine-là, et peut-être un avis sur le site Web concernant la grève.
La vérité cachée le confirme. Cette semaine-là, 46,3 % des messages concernaient réellement la livraison, et le modèle a indiqué 46,9 %. Pour les anciennes destinations, il a eu raison sur une proportion de 0.953 des 510 messages. Rappelez-vous que seule une boîte de réception simulée permet cette vérification.
Trouver le nouveau sujet dans les messages incertains
Section intitulée « Trouver le nouveau sujet dans les messages incertains »Les semaines du 9 et du 23 février présentent une autre situation : davantage de messages que le modèle ne sait pas où envoyer. Si beaucoup concernent le même nouveau sujet, c’est un nouveau sujet : un type de message sans destination pour l’instant. Pour le trouver, vous devez regrouper les messages incertains selon leur contenu.
Regrouper les messages aux mots semblables
Section intitulée « Regrouper les messages aux mots semblables »Le regroupement (clustering) rassemble des éléments qui se ressemblent, sans utiliser d’étiquettes. Le projet utilise la méthode des k-moyennes (k-moyennes) sur les valeurs TF-IDF des messages. Vous choisissez k, le nombre de groupes. Les k-moyennes commencent avec k centres et placent chaque message dans le groupe du centre le plus proche. Puis la méthode déplace chaque centre au milieu de son groupe et recommence jusqu’à ce que les groupes restent stables. Pour chaque groupe, le projet affiche sa taille et ses six mots principaux. Ce sont les mots ayant les poids les plus élevés au centre du groupe.
Imaginez trois courts messages et k = 2 : « Grow Hub light blinking orange », « the orange light keeps blinking » et « where is my parcel ». Les deux premiers partagent « light », « blinking » et « orange ». Leurs valeurs TF-IDF sont donc proches, et ils finissent dans le même groupe. La question sur le colis ne partage aucun mot avec eux et finit donc dans l’autre groupe. Les mots principaux du premier groupe seraient leurs mots communs : « blinking », « light » et « orange ».
Les k-moyennes créent toujours exactement k groupes, même quand les données contiennent moins de sujets réels. La méthode trouve des groupes de mots, pas des significations. Une personne doit donc lire chaque groupe et dire ce qu’il représente.
-
Regroupez les messages incertains depuis le 9 février, le premier jour des messages sur le Grow Hub :
Fenêtre de terminal route drift --topics245 unsure messages since 2026-02-09, in 6 groups:group messages top_words5 73 order, lk, larkfield, really, hello, mentioned2 66 je, est, vous, la, le, bonjour4 37 orange, fi, wi, light, blinking, keeps0 27 update, firmware, schedule, watering, stopped, grow1 23 offline, soil, app, right, sensor, says3 19 pair, second, sensor, grow, explain, helloMessages of the largest group: M-200580, M-200582, M-200584, M-200615, M-200620 -
Créez le fichier
read_groups.pydans le dossierlarkroute. Il affiche deux messages de chaque groupe :"""Print two unsure messages from each group, so that a person can read them."""from larkroute import data, model_storefrom larkroute.drift import route_messages, topicsmodel, card = model_store.load()stream = route_messages(model, card, data.launch_month())unsure = stream[(stream["zone"] != "decide") & (stream["created_at"] >= "2026-02-09")]table, groups = topics(unsure["text"], k=6)for g in table["group"]:print(f"--- group {g}")for text in unsure["text"][groups == g].head(2):print(" ", " ".join(text.split())[:110]) -
Exécutez-le :
Fenêtre de terminal python read_groups.py--- group 5i’m a journalist writing about delivery problems and need someone to call me today, please—this is really frusHi, I’m a journalist writing about delivery problems. I’m not sure if you can arrange a call, but could someon--- group 2Bonjour, je vous ai écrit au sujet de la commande LK-328749 : le produit planter est arrivé brisé. Pouvez-vousBonjour, je suis vraiment déçue : personne ne répond après trois courriels et deux clavardages. Je veux parler--- group 4Hi, my Grow Hub won’t connect to my Wi-Fi, and the light keeps blinking orange. I’m getting frustrated becauseHi @Larkfield, it’s still doing the same thing as in my last email—the orange light keeps blinking 😕--- group 0@Larkfield, since the firmware update, my Grow Hub has stopped watering on schedule. Could you please advise hDear Larkfield, Since the firmware update, the Grow Hub has stopped watering according to its schedule. Could--- group 1Could you please help check this? The Larkfield app says the soil sensor is offline, even though it is right bhi, the app says my soil sensor is offline. It’s right next to the hub, though, so I’m not sure what’s gone wr--- group 3Hello, how do I pair a second sensor with the Grow Hub? Thank you, MorganHi, how do I pair a second sensor with the Grow Hub? Thanks, Riley
Chloé lit les groupes avec Omar :
- Les groupes 4, 0, 1 et 3 concernent tous le Grow Hub. Le groupe 4 concerne le voyant Wi-Fi qui clignote en orange (37 messages). Le groupe 0 concerne la programmation qui s’est arrêtée après une mise à jour du micrologiciel (27). Le groupe 1 concerne un capteur de sol qui apparaît hors ligne (23), et le groupe 3, l’appairage d’un deuxième capteur (19).
- Le groupe 5 n’est pas un sujet. Il contient des messages difficiles pour d’autres raisons, comme des suivis vagues (« as I mentioned ») et un journaliste qui demande un appel. Ses mots principaux sont des mots courants.
- Le groupe 2 contient les messages en français. Les k-moyennes les ont rassemblés parce qu’ils partagent des mots français comme « je » et « vous », pas un sujet.
La vérité cachée concorde : chaque message des groupes 0, 1, 3 et 4 concerne la configuration du Grow Hub. Dans le groupe 2, cette part est de 28,8 %, et dans le groupe 5, de 6,8 %. Le nouveau sujet est donc la configuration du Grow Hub, avec quatre types de problèmes. Omar et Grace s’entendent sur une nouvelle destination, devices, et une petite équipe qui connaît le produit. La prochaine leçon ajoute cette destination au modèle.
Le regroupement est une façon de trouver des messages inhabituels. Texte et journaux inhabituels avec les plongements, dans le cours sur la détection d’anomalies, en présente d’autres, comme les distances dans un espace de plongement.
À vous de jouer : plus de groupes
Section intitulée « À vous de jouer : plus de groupes »Le groupe 2 contient des messages en français, dont 28,8 % portent sur le Grow Hub. Exécutez l’étape de regroupement par sujet avec 8 groupes plutôt que 6. Avant de l’exécuter, faites une prédiction : qu’arrive-t-il au groupe français? Les quatre groupes Grow Hub restent-ils?
route drift --topics --k 8Afficher la réponse
245 unsure messages since 2026-02-09, in 8 groups: group messages top_words 0 73 order, lk, larkfield, really, hello, mentioned 2 50 je, est, la, le, vous, ai 1 27 update, firmware, schedule, watering, stopped, grow 4 25 light, blinking, orange, keeps, fi, wi 3 23 offline, soil, app, right, sensor, says 7 19 pair, second, sensor, grow, explain, hello 5 16 deuxième, comment, capteur, au, associer, vous 6 12 clignote, voyant, se, pas, le, neMessages of the largest group: M-200580, M-200582, M-200584, M-200615, M-200620Les quatre groupes anglais Grow Hub restent (27, 25, 23 et 19 messages). Le groupe français passe de 66 à 50 messages. Deux nouveaux groupes français apparaissent. Le groupe 5 porte sur « comment associer un deuxième capteur », et le groupe 6 sur « le voyant clignote ». Le groupe du voyant orange passe de 37 à 25 messages, car ses messages français sont passés au groupe 6. Les clients francophones ont donc les mêmes problèmes avec le Grow Hub. La nouvelle destination a aussi besoin d’exemples en français.
Avec --k 4, l’inverse se produit : les messages de jumelage rejoignent les suivis dans un grand groupe de 115 messages. Moins de groupes cachent les petits sujets. Il n’y a pas de bonne valeur de k. Essayez deux ou trois valeurs et lisez les groupes chaque fois.
Quand surveiller la dérive et à quel coût
Section intitulée « Quand surveiller la dérive et à quel coût »Vérifiez la dérive à intervalles réguliers, par exemple chaque lundi pour la semaine précédente. C’est peu coûteux : route drift a pris environ 1,5 seconde sur le portable de test pour 2 000 messages. Cette vérification n’a pas besoin d’étiquettes, donc elle fonctionne dès le premier jour.
La partie coûteuse, c’est la personne qui lit. Chaque alarme demande une personne qui lit un échantillon et prend une décision. Attribuez un responsable aux alarmes (ici, Chloé avec Grace), sinon les gens apprendront à les ignorer.
Connaissez les limites. Une fenêtre hebdomadaire d’environ 500 messages est petite : les proportions varient au hasard d’une semaine à l’autre. Le PSI indique que les proportions ont changé, pas pourquoi. Les vérifications de dérive trouvent de nouveaux sujets seulement si leurs messages sont incertains ou modifient les proportions. L’échantillon étiqueté est votre seule mesure directe de l’exactitude. Continuez donc à étiqueter quelques messages chaque semaine.
Ne réentraînez pas automatiquement le modèle quand une alarme se déclenche. Pendant la semaine de grève, un nouveau modèle n’aurait rien appris d’utile : l’ancien avait raison.
Erreur courante
Le plus grand groupe n'est pas le nouveau sujet
Symptôme : Tomás exécute route drift --topics, voit que le groupe 5 est le plus grand (73 messages) et propose une destination « suivis ». Il ne lit pas les messages. Chloé constate que cette destination rassemblerait des messages vagues sur les commandes, la livraison, les remboursements et une demande journalistique.
Cause : La méthode des k-moyennes crée toujours k groupes. Son plus grand groupe contient souvent des messages qui partagent des mots courants (« order », « hello », « mentioned »), pas un sujet. Ses mots principaux décrivent les mots, pas le sens. Seulement 6,8 % des messages du groupe 5 portent sur le Grow Hub. Les autres appartiennent à des destinations qui existent déjà.
Solution : lisez quelques messages de chaque groupe. Laissez une personne nommer chaque groupe, ou dire « ce n’est pas un sujet ». Ici, les quatre petits groupes formaient le vrai sujet. Vérifiez votre interprétation avec un échantillon étiqueté quand vous en avez un.
Conséquence dans le travail en IA : une destination créée à partir d’un groupe mal interprété éloigne les messages des équipes capables d’y répondre. Elle enseigne aussi au prochain modèle une étiquette qui ne veut rien dire. Le regroupement (clustering) trouve des candidats; les personnes décident de ce qu’ils représentent.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Vérification de fin : la proportion de messages sur la livraison est passée d'environ 20 % à 46,9 % la semaine du 16 février. Est-ce une dérive du modèle ou un changement réel dans le monde? Donnez vos preuves.
Afficher la réponse
C’est un changement réel dans le monde : une grève des livreurs a retardé les colis, et plus de clients ont écrit à ce sujet. Les preuves :
- Les messages correspondent à une destination existante. Les messages de l’échantillon sont des questions ordinaires sur des colis en retard.
- Dans l’échantillon étiqueté de Chloé, la proportion de messages sur la livraison était de 40,0 %, contre 41,7 % selon le modèle.
- Le modèle avait encore raison pour les destinations qu’il connaît. Il a correctement classé une proportion de 0,930 des messages étiquetés de la semaine (40 sur 43), comme les autres semaines.
- Le modèle restait confiant : la proportion de messages incertains était de 12,5 %, sous le seuil d’alarme de 14,7 %. Seul le PSI (0,284) a déclenché l’alarme.
Dans cette boîte de réception simulée, la vérité cachée le confirme. La proportion réelle de messages sur la livraison était de 46,3 %, contre une prédiction de 46,9 %. L’exactitude pour les anciennes destinations était de 0,953. La solution est d’ajouter des agents pour la livraison cette semaine-là, pas de créer un nouveau modèle.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Faites une prédiction : une semaine affiche un PSI de 0,02 et une proportion de messages incertains de 21 %. Qu'est-il probablement arrivé, et que faites-vous d'abord?
Afficher la réponse
Les proportions par destination ont à peine changé, mais le modèle est incertain beaucoup plus souvent qu’en validation (9,8 %). Cela ressemble à des messages que le modèle ne sait pas placer : un nouveau sujet ou une nouvelle formulation d’un ancien. C’est le profil des semaines du 9 et du 23 février. Lisez d’abord un échantillon des messages incertains, par exemple avec route drift --topics et read_groups.py. Décidez ensuite avec Chloé de ce que représentent les groupes. Ne réentraînez pas le modèle avant de le savoir.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Calculez le PSI de deux destinations dont les proportions passent de 0,50 et 0,50 à 0,60 et 0,40. Est-ce un grand changement selon la règle pratique?
Afficher la réponse
- Première destination : (0,60 − 0,50) × ln(0,60 / 0,50) = 0,10 × 0,182 = 0,018.
- Deuxième destination : (0,40 − 0,50) × ln(0,40 / 0,50) = −0,10 × −0,223 = 0,022.
- PSI = 0,018 + 0,022 = 0,040.
C’est sous 0,10, donc la règle pratique n’indique aucun changement réel. Pourtant, chaque proportion a changé de dix points.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un modèle ne dit jamais « c’est nouveau ».
v1a réparti les 167 messages de configuration du Grow Hub entre toutes les destinations. Il était incertain pour 77,8 % d’entre eux. - Sans étiquettes, surveillez trois signaux chaque semaine : les proportions par destination (résumées par le PSI), la confiance moyenne et la proportion de messages incertains.
route driftdéclenche une alarme à un PSI de 0,10 ou à une proportion de messages incertains de 14,7 % (1,5 × 9,8 %). - Une alarme signifie « lisez », pas « réentraînez ». Pendant la semaine de grève (PSI de 0,284), les messages correspondaient aux destinations. Le modèle avait raison sur un échantillon étiqueté et restait confiant : le monde avait changé.
- Pendant les semaines du 9 et du 23 février, la proportion de messages incertains a atteint 17,0 % et 20,8 %. k-moyennes a trouvé, parmi les 245 messages incertains, quatre groupes qui portent tous sur le Grow Hub. Une personne doit lire chaque groupe : les deux plus grands ne correspondaient pas au sujet.
Vous savez maintenant que Larkfield a besoin d’une nouvelle destination, devices. Ajouter une étiquette modifie le modèle, et un nouveau modèle peut briser ce qui fonctionnait. Ensuite, vous l’entraînerez avec les étiquettes de Chloé. Vous le mettrez en production seulement s’il réussit une vérification sur chaque tranche.
Leçon suivante : Ajouter une étiquette ou réentraîner en toute sécurité