Ajouter une étiquette ou réentraîner en toute sécurité
- Leçon 37
- 40 min
- Module 9 : Exploiter le routeur en production
Où nous en sommes
Nous avons trouvé un nouveau sujet sans étiquette. Ajouter une étiquette change le modèle, et un nouveau modèle peut briser ce qui fonctionnait. Dans cette leçon, nous versionnons les étiquettes et les données, puis comparons le nouveau modèle à l'ancien par tranche. Nous le mettons en production seulement s'il réussit les vérifications.
Leçon 37 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitAjouter une étiquette ou réentraîner en toute sécurité
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Ajoutez la nouvelle destination au modèle sans briser ce qui fonctionne. Vous entraînez une nouvelle version sur des étiquettes versionnées et la comparez au modèle actuel, tranche par tranche. Vous vérifiez la nouvelle destination sur des messages mis à part et la mettez en production seulement si elle réussit. Si elle échoue en service, vous revenez en arrière avec une seule commande.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le nouveau sujet, la configuration du Grow Hub, et les 250 messages de lancement étiquetés par Chloé, dans La dérive et les nouveaux sujets.
- Les versions du modèle, les versions des étiquettes et le service, dans Un service de routage.
- Les tranches : l’exactitude pour chaque langue, canal ou destination, dans Bayes naïf, régression logistique et SVM linéaire. Incertitude et sous-groupes, dans le cours sur l’évaluation, va plus loin.
Ce qu’il vous faut sur votre ordinateur
Le dossier de projet larkroute de la dernière leçon, avec son environnement actif et v1 comme modèle actuel. Testé sur macOS avec Python 3.12.13, pandas 3.1.1 et scikit-learn 1.9.1. Les commandes sont les mêmes dans PowerShell, mais nous ne les y avons pas exécutées.
Une nouvelle édition du guide
Section intitulée « Une nouvelle édition du guide »Pensez encore au bureau de poste. Le nouveau quartier résidentiel doit avoir ses rues dans le guide, alors le bureau imprime une deuxième édition. Avant que les commis au tri l’utilisent, la superviseure la teste. Elle prend une grosse pile d’anciennes lettres dont elle connaît les bons casiers. Chaque lettre est triée deux fois, une fois avec chaque édition.
Elle ne compte pas seulement le total des erreurs. Elle vérifie chaque quartier séparément, car une nouvelle page peut rendre le tri d’une ancienne rue moins clair. Elle trie aussi quelques lettres du nouveau quartier, qu’elle a mises à part pour le test. L’édition 2 arrive au comptoir seulement si chaque quartier reste aussi bon qu’avant et si les nouvelles rues sont trouvées. L’édition 1 reste sur l’étagère, au cas où un problème apparaîtrait plus tard.
Le nouveau guide porte un numéro d’édition, tout comme les listes qui ont servi à le créer. Si une lettre arrive dans la mauvaise rue le mois prochain, le registre indique quelle édition a servi au tri.
Le problème : un seul nombre cache ce qui a cessé de fonctionner
Section intitulée « Le problème : un seul nombre cache ce qui a cessé de fonctionner »Priya peut entraîner un modèle avec la nouvelle destination en quelques secondes. Le plus difficile est de savoir s’il est meilleur. Voici un vrai piège. Chloé a étiqueté 50 messages Grow Hub pour l’entraînement. Supposons qu’elle en ait étiqueté seulement 10. Priya entraîne deux candidats, un avec chaque ensemble d’étiquettes :
$ route train --version v2 --extra data/launch_labels_sample.csvSaved models/v2: 6150 messages, 8 routes, labels-441842bea4; validation accuracy 0.960; decide at 0.56, person below 0.00.$ route train --version try10 --extra devices_10.csvSaved models/try10: 6110 messages, 8 routes, labels-c8f05e2568; validation accuracy 0.960; decide at 0.56, person below 0.00.Les deux ont une exactitude de validation de 0,960, supérieure à celle de v1 (0,958). Selon ce nombre, ils sont identiques et semblent tous deux prêts. Mais les messages de validation datent d’avant le lancement : aucun ne concerne le Grow Hub. Ce nombre ne peut pas du tout évaluer la nouvelle destination. Plus loin dans cette leçon, la vérification avant mise en production révèle que try10 manque un message Grow Hub sur trois.
Le piège inverse existe aussi. Un nouveau modèle peut être meilleur dans l’ensemble et moins bon pour un groupe : messages français, réseaux sociaux ou destination des comptes, avec ses rares prises de contrôle. Un score global de 0,96 peut cacher une baisse de 0,95 à 0,90 pour 589 clients francophones.
L’idée : une vérification avant mise en production, tranche par tranche
Section intitulée « L’idée : une vérification avant mise en production, tranche par tranche »La réponse comporte quatre parties. Ensemble, elles forment la vérification avant mise en production, parfois appelée vérification de régression. Ce test vérifie qu’une nouvelle version n’a pas dégradé les résultats. (« Régression » signifie ici un recul, et non la méthode statistique.)
Description textuelle du diagramme
Le diagramme comporte trois groupes. Le premier crée un candidat. De nouvelles étiquettes arrivent : les 150 messages de lancement de Chloé pour l’entraînement, dont 50 sur les appareils. Priya entraîne un modèle sous un nouveau nom de version, v2, et v1 reste inchangé. Le deuxième groupe est la vérification avant mise en production, avec deux questions. Première question : aucune tranche ne baisse-t-elle de plus de 2 points? Les tranches sont les 7 destinations, les 2 langues et les 3 canaux. Si oui, deuxième question : la nouvelle destination est-elle trouvée dans ses 30 messages de vérification, avec un rappel de 0,80 ou plus? Si l’une des réponses est non, le résultat est NON MIS EN PRODUCTION, et le modèle actuel reste. Si les deux réponses sont oui, le troisième groupe commence. Le résultat est RELEASED (mis en production) : le modèle actuel est v2, et le précédent est v1. Redémarrez le service, et /health indique v2. Surveillez ensuite la vérification de dérive, avec une nouvelle référence. Une flèche pointillée mène à route release --rollback, qui revient à v1 si un problème apparaît.
- Versionnez les étiquettes et les données. Le candidat reçoit un nouveau nom de version, et
v1reste intact. Sa fiche consigne la version de ses étiquettes et l’empreinte de chaque identifiant de message et destination utilisés pour l’entraînement. Les étiquettes supplémentaires sont dans un fichier avec une somme de contrôle (launch_labels_sample.csv). Ainsi, n’importe qui peut entraîner le même modèle à nouveau. - Comparez par tranche. Une tranche est un groupe de messages de test qui partagent une valeur : une destination, une langue ou un canal. La vérification évalue le modèle actuel et le candidat (le nouveau modèle qui veut le remplacer) sur chaque tranche. Une tranche échoue si sa baisse dépasse la tolérance : ici, 2 points (0,02).
- Vérifiez chaque nouvelle destination sur des messages mis à part. Les données de test ne contiennent aucun message Grow Hub et ne peuvent donc pas évaluer la nouvelle destination. Les 250 étiquettes de Chloé sont réparties ainsi : 150 pour l’entraînement et 100 pour la vérification. La vérification exige un rappel d’au moins 0,80 sur les messages de vérification de la nouvelle destination. Le rappel est la part des messages de cette destination que le modèle trouve.
- Gardez un moyen de revenir en arrière. À la mise en production,
models/currentindique la nouvelle version, etmodels/previousindique l’ancienne.route release --rollbackrevient en arrière en une seule commande.
Exemple détaillé : une vérification par tranche
Section intitulée « Exemple détaillé : une vérification par tranche »Voici trois tranches, avec toutes les valeurs. Les deux premières lignes proviennent réellement de la vérification ci-dessous. La troisième est construite pour montrer un échec :
| Tranche | Messages | Actuel | Candidat | Changement | Règle | Résultat |
|---|---|---|---|---|---|---|
| route=product | 289 | 0,962 | 0,955 | −0,7 point | 0,955 ≥ 0,962 − 0,02 = 0,942 | ok |
| language=fr | 589 | 0,952 | 0,946 | −0,6 point | 0,946 ≥ 0,952 − 0,02 = 0,932 | ok |
| une tranche construite | 120 | 0,950 | 0,920 | −3,0 points | 0,920 < 0,950 − 0,02 = 0,930 | MOINS BON |
Les petites baisses sont permises, car une tranche de quelques centaines de messages varie sous l’effet du hasard. Un message sur 289 représente 0,35 point. Une tranche de moins de 30 messages est affichée, mais pas évaluée : un message représenterait plus de 3 points.
Entraîner et vérifier la nouvelle destination
Section intitulée « Entraîner et vérifier la nouvelle destination »-
Regardez les étiquettes de Chloé. Exécutez ceci dans le dossier
larkroute(la même commande fonctionne dans PowerShell) :Fenêtre de terminal python -c "import pandas as pd; print(pd.read_csv('data/launch_labels_sample.csv').groupby(['split', 'route']).size().unstack(0))"split check trainrouteaccount 6 13billing 11 12delivery 19 30devices 30 50needs_person 5 5orders 12 15product 9 13returns_refunds 8 12Il y a 150 étiquettes d’entraînement, dont 50
devices(appareils), et 100 étiquettes de vérification, dont 30devices. Chloé a aussi étiqueté les autres destinations. Le modèle apprend donc aussi à quoi ressemblent les anciennes destinations pendant le mois du lancement. -
Entraînez le candidat
v2sur les 6 000 messages d’entraînement et les 150 messages de lancement :Fenêtre de terminal route train --version v2 --extra data/launch_labels_sample.csvSaved models/v2: 6150 messages, 8 routes, labels-441842bea4; validation accuracy 0.960; decide at 0.56, person below 0.00.La version des étiquettes est passée de
labels-4bad2e4ef7àlabels-441842bea4, car les étiquettes ont changé. Le seuil de décision est passé de 0,58 à 0,56 :route trainle choisit à nouveau sur les données de validation pour chaque version. Sans--make-current, le service charge toujoursv1. -
Reproduisez le piège de la section sur le problème : un fichier d’étiquettes avec seulement 10 des 50 messages sur les appareils. Créez
fewer_devices.pydans le dossierlarkroute:"""Keep only the first N device messages of Chloé's training labels (the other labels stay)."""import sysimport pandas as pdn = int(sys.argv[1])labels = pd.read_csv("data/launch_labels_sample.csv")is_device = (labels["split"] == "train") & (labels["route"] == "devices")fewer = pd.concat([labels[~is_device], labels[is_device].head(n)])fewer.to_csv(f"devices_{n}.csv", index=False)print(f"devices_{n}.csv: {len(fewer)} labels, {n} of them devices for training") -
Exécutez-le avec 10, puis entraînez le candidat
try10:Fenêtre de terminal python fewer_devices.py 10route train --version try10 --extra devices_10.csvVous voyez
devices_10.csv: 210 labels, 10 of them devices for training(210 étiquettes, dont 10 sur les appareils pour l’entraînement), puis la ligneSaved models/try10: …(modèle enregistré) de la section sur le problème. -
Exécutez la vérification avant mise en production sur
try10:Fenêtre de terminal route release --candidate try10Current v1 against candidate try10 on the test messages (a slice fails if it drops more than 2%; slices under 30 messages are shown, not judged):slice messages current candidate resultroute=account 196 0.954 0.954 okroute=billing 266 0.962 0.955 okroute=delivery 461 0.957 0.957 okroute=needs_person 99 1.000 1.000 okroute=orders 285 0.965 0.965 okroute=product 289 0.962 0.962 okroute=returns_refunds 404 0.960 0.963 oklanguage=en 1411 0.966 0.967 oklanguage=fr 589 0.952 0.947 okchannel=chat 687 0.956 0.953 okchannel=email 898 0.969 0.970 okchannel=social 415 0.957 0.957 oknew route=devices (launch check) 30 - 0.667 WORSENOT RELEASED: 1 slice(s) got worse. The current model stays v1.Toutes les anciennes tranches sont bonnes. Mais la nouvelle destination ne trouve que 20 des 30 messages de vérification (0,667), sous le seuil de 0,80. La commande se termine avec un code d’erreur, donc un script qui l’exécute s’arrête aussi ici.
models/currentindique toujoursv1. -
Exécutez la vérification avant mise en production sur
v2:Fenêtre de terminal route release --candidate v2Current v1 against candidate v2 on the test messages (a slice fails if it drops more than 2%; slices under 30 messages are shown, not judged):slice messages current candidate resultroute=account 196 0.954 0.959 okroute=billing 266 0.962 0.959 okroute=delivery 461 0.957 0.957 okroute=needs_person 99 1.000 1.000 okroute=orders 285 0.965 0.961 okroute=product 289 0.962 0.955 okroute=returns_refunds 404 0.960 0.963 oklanguage=en 1411 0.966 0.967 oklanguage=fr 589 0.952 0.946 okchannel=chat 687 0.956 0.955 okchannel=email 898 0.969 0.969 okchannel=social 415 0.957 0.954 oknew route=devices (launch check) 30 - 0.900 okRELEASED: the current model is now v2. Restart the service to load it.Maintenant,
models/currentindiquev2, etmodels/previousindiquev1.
Lire la vérification de v2
Section intitulée « Lire la vérification de v2 »Aucune tranche n’a baissé au-delà de la tolérance : 0 sur 12. Six tranches ont baissé de moins d’un point. Les plus fortes baisses sont de 0,7 point pour route=product et de 0,6 point pour le français. Trois sont restées identiques, et trois se sont un peu améliorées, par exemple account (compte) (0,954 → 0,959). La nouvelle destination trouve 27 des 30 messages de vérification : un rappel de 0,900.
À quel point la nouvelle destination dépend-elle du travail de Chloé? Nous avons entraîné des candidats avec 5, 10, 20 et les 50 étiquettes d’appareils, puis exécuté la même vérification contre v1 :
Description textuelle du graphique
Un diagramme à colonnes avec quatre colonnes. La hauteur représente le rappel des appareils sur les 30 messages de vérification. Avec 5 étiquettes d’appareils pour l’entraînement, il est de 0,467. Avec 10 étiquettes, il est de 0,667. Avec 20 étiquettes, il est de 0,767, et avec 50 étiquettes, de 0,900. Seule la dernière colonne dépasse le seuil de mise en production de 0,80. Les trois premières sont d’une couleur différente.
Plus d’étiquettes pour la nouvelle destination aident beaucoup ici : le rappel passe de 0,467 à 0,900. Les anciennes tranches n’ont pas été touchées : elles ont réussi avec 5 étiquettes comme avec 50.
La vérité cachée permet une autre vérification, possible seulement avec une boîte de réception simulée. Sur les 167 messages de configuration du Grow Hub du mois du lancement, v2 obtient un rappel de 0,952 et une précision de 0,988 pour les appareils. Ces 167 messages comprennent les 50 utilisés pour entraîner v2, donc le rappel est un peu flatteur. Malgré cela, les 30 messages de vérification (0,900) n’ont pas surestimé la nouvelle destination. Dans un vrai projet, vous n’auriez pas ce nombre; les messages de vérification de Chloé sont la preuve.
Utiliser la nouvelle version et garder un moyen de revenir en arrière
Section intitulée « Utiliser la nouvelle version et garder un moyen de revenir en arrière »-
Redémarrez le service dans le premier terminal. Il charge le modèle actuel au démarrage :
Fenêtre de terminal route serve -
Dans le deuxième terminal, demandez son état de santé et envoyez le message Grow Hub de la première leçon (PowerShell : comme dans Un service de routage) :
Fenêtre de terminal curl -s http://127.0.0.1:8036/healthcurl -s http://127.0.0.1:8036/route -H 'content-type: application/json' \-d '{"message_id": "M-999007", "text": "My new Grow Hub keeps blinking orange and will not connect to the Wi-Fi.", "channel": "social"}'{"status":"ok","model_version":"v2","label_version":"labels-441842bea4","routes":["account","billing","delivery","devices","needs_person","orders","product","returns_refunds"]}{"message_id":"M-999007","route":"devices","zone":"decide","confidence":0.9962,"model_version":"v2","label_version":"labels-441842bea4"}Avec
v1, ce message allait en révision sousproduct(produit), avec une confiance de 0,4671. Maintenant, il va directement àdevices, avec 0,9962. La réponse indiquev2, donc le journal montre quel modèle a pris la décision pour chaque message. -
Arrêtez le service avec Ctrl+C. Exécutez la vérification de dérive, qui utilise maintenant
v2:Fenêtre de terminal route driftModel v2; validation: unsure (review or person) 10.0%. Launch month, by week:week messages delivery product account mean_conf unsure psi2026-02-02 533 0.206 0.152 0.113 0.914 0.101 0.0162026-02-09 477 0.191 0.140 0.094 0.919 0.092 0.8182026-02-16 510 0.461 0.096 0.075 0.904 0.069 0.8392026-02-23 480 0.138 0.154 0.092 0.903 0.096 1.085ALARM week of 2026-02-09: route shares moved (PSI 0.82). Read a sample of messages before you retrain.ALARM week of 2026-02-16: route shares moved (PSI 0.84). Read a sample of messages before you retrain.ALARM week of 2026-02-23: route shares moved (PSI 1.08). Read a sample of messages before you retrain. -
Exercez-vous à revenir en arrière. Revenez à
v1:Fenêtre de terminal route release --rollbackRolled back: the current model is v1.
Lisez attentivement le tableau de dérive de l’étape 3. D’abord, la bonne nouvelle : la part des messages incertains est redescendue à 9,2 %, 6,9 % et 9,6 % dans les trois dernières semaines, près de la validation. Les messages Grow Hub ne sont plus incertains. Mais le PSI a bondi à 0,82, 0,84 et 1,08. Pourquoi?
La vérification de dérive compare chaque semaine aux messages de validation, et la validation ne contient aucun message devices. La part de devices passe de presque 0 à environ 10 %. Dans la formule du PSI, le logarithme de « 10 % divisé par presque 0 » est très grand. Ces alarmes ne signifient donc pas qu’un nouveau changement est survenu. Elles signifient que la référence n’est plus à jour. Après l’ajout d’une destination, la vérification de dérive a besoin d’une nouvelle référence : un ensemble de messages qui comprend la nouvelle destination. Un échantillon étiqueté des semaines après le lancement conviendrait. D’ici là, lisez la part des messages incertains et la confiance moyenne, pas le PSI.
Le retour en arrière fonctionne parce que rien n’a été supprimé. route release --rollback échange les noms dans models/current et models/previous : maintenant, current indique v1 et previous indique v2. Un retour en arrière exige aussi un redémarrage du service, comme une mise en production.
À vous de jouer : 20 étiquettes d’appareils
Section intitulée « À vous de jouer : 20 étiquettes d’appareils »Vous utilisez de nouveau v1, après le retour en arrière. Créez un fichier d’étiquettes avec 20 messages sur les appareils, entraînez le candidat try20, puis exécutez la vérification avant mise en production contre v1. Avant de lancer la vérification, prédisez : réussira-t-il?
Afficher la réponse
python fewer_devices.py 20route train --version try20 --extra devices_20.csvroute release --candidate try20Les deux dernières lignes de la vérification :
new route=devices (launch check) 30 - 0.767 WORSENOT RELEASED: 1 slice(s) got worse. The current model stays v1.Il échoue : 23 des 30 messages de vérification sont trouvés (0,767), sous le seuil de 0,80. Toutes les anciennes tranches ont encore réussi. Le graphique ci-dessus montre la même chose : la nouvelle destination exige plus de 20 exemples ici. Remettez maintenant v2 en production pour que la suite du cours utilise la nouvelle destination :
route release --candidate v2La dernière ligne est RELEASED: the current model is now v2. Restart the service to load it. (mise en production effectuée : le modèle actuel est maintenant v2; redémarrez le service pour le charger). Votre dossier models/ garde toutes les versions entraînées : v1, v2, try10 et try20. Supprimez les dossiers try quand vous n’en avez plus besoin.
Quand utiliser une vérification avant mise en production, et son coût
Section intitulée « Quand utiliser une vérification avant mise en production, et son coût »Utilisez une vérification avant mise en production pour chaque nouveau modèle, pas seulement pour une nouvelle étiquette. Un réentraînement sur des données récentes, un nouveau seuil ou une nouvelle variable peuvent chacun dégrader une tranche. La vérification a pris quelques secondes ici, donc aucune raison de la sauter.
Le vrai coût, ce sont les étiquettes. La vérification de lancement exige des messages étiquetés de la nouvelle destination que le modèle n’a jamais utilisés pour l’entraînement. Et chaque tranche doit avoir assez de messages pour être évaluée. Chloé a étiqueté 250 messages de lancement. Le cours suppose que la révision d’un message par une personne coûte 1,50 $ US. Ses étiquettes coûtent donc environ 375 $ US de son temps. C’est peu comparé à une destination qui manque un message Grow Hub sur trois.
Connaissez ses limites. La tolérance de 2 points et le rappel de 0,80 sont des choix de Grace et Priya, pas des lois. Notez-les avec leurs raisons. La vérification lit les messages de test chaque fois. Cela convient à une barrière qui donne un résultat de réussite ou d’échec. Mais si vous entraînez vingt candidats et gardez celui qui obtient les meilleures tranches de test, les données de test deviennent des données de validation. Vérifications de régression, dans le cours sur l’évaluation, montre comment une équipe garde ses vérifications fiables au fil des mises en production. L’étude de cas Tester la régression d’une nouvelle version d’un classificateur, par sous-groupe y fait le même travail sur des données réelles.
Erreur courante
Mise en production selon l'exactitude de validation
Symptôme : ce cas est construit à partir des vrais nombres ci-dessus. Tomás compare les deux candidats selon leurs lignes d’entraînement. Les deux indiquent validation accuracy 0.960 (exactitude de validation de 0,960), mieux que v1 (0,958). Il fait de try10 le modèle actuel avec route train --version try10b --extra devices_10.csv --make-current, sans vérification avant mise en production. Une semaine plus tard, Chloé constate qu’un tiers des messages Grow Hub vont encore à product ou returns_refunds (retours et remboursements).
Cause : les messages de validation datent d’avant le lancement, donc aucun ne concerne le Grow Hub. Le score de validation ne peut pas évaluer la nouvelle destination. Le candidat avec 10 étiquettes d’appareils ne trouve que 0,667 des messages de vérification. Et --make-current a sauté la vérification qui l’aurait montré.
Solution : faites d’un candidat le modèle actuel seulement avec route release. La vérification évalue chaque ancienne tranche sur les messages de test et chaque nouvelle destination sur les messages de vérification mis à part. Si une équipe doit la sauter en urgence, elle doit noter pourquoi, puis l’exécuter après.
Conséquence dans le travail en IA : se fier à un seul bon résultat global explique souvent pourquoi un modèle qui a « réussi » échoue en service. Les preuves pour chaque tranche et chaque nouvelle classe permettent à l’équipe de faire confiance à une mise en production. Quand une mise en production échoue, ces mêmes preuves montrent quoi corriger.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Pourquoi l'exactitude de validation (0,960 pour try10 et v2) ne permet-elle pas de choisir le candidat à mettre en production? Quelles preuves la vérification avant mise en production utilise-t-elle plutôt?
Afficher la réponse
Les messages de validation datent d’avant le lancement. Aucun ne concerne donc le Grow Hub. Un score calculé sur ces messages ne peut pas évaluer la nouvelle destination. Les deux candidats obtiennent 0,960. La vérification avant mise en production utilise deux types de preuves. Pour les anciennes destinations, elle compare les deux modèles sur chaque tranche des messages de test, avec une tolérance de 2 points. Les tranches couvrent 7 destinations, 2 langues et 3 canaux. Pour chaque nouvelle destination, elle mesure le rappel sur des messages étiquetés gardés à part : 30 messages de vérification du Grow Hub. try10 a obtenu 0,667 et a échoué; v2 a obtenu 0,900 et a réussi.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : un candidat passe de 0,952 à 0,935 sur les messages en français (589 messages). Il passe de 0,940 à 0,900 sur une tranche de 20 messages. Toutes les autres tranches respectent la tolérance. Est-il mis en production? Expliquez le résultat de chaque tranche.
Afficher la réponse
Oui, il est mis en production. Le score en français baisse de 1,7 point. La limite est de 0,952 − 0,02 = 0,932. Le score de 0,935 dépasse cette limite, donc la tranche respecte la tolérance. Elle mérite quand même un suivi. Le score de la tranche de 20 messages baisse de 4 points. Mais elle contient moins de 30 messages. La vérification l’affiche donc sans la juger : un message sur 20 représente 5 points. Une personne devrait quand même lire les erreurs de cette petite tranche avant la mise en production.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Après la mise en production de v2, la dérive des destinations affiche un PSI de 0,82 à 1,08 chaque semaine. Mais la proportion de messages incertains revient près de 10 %. Le nouveau modèle fonctionne-t-il mal? Que changez-vous?
Afficher la réponse
Non. Le modèle achemine bien les messages du mois du lancement. La proportion de messages incertains est passée de 17,0 % et 20,8 % à 9,2 % et 9,6 %. Le PSI est élevé parce que la référence, soit les messages de validation, ne contient aucun message devices. La proportion d’une nouvelle destination est comparée à une proportion de référence presque nulle. Cela rend le logarithme dans la formule du PSI très grand. Remplacez la référence par un ensemble de messages qui comprend la nouvelle destination. Par exemple, utilisez un échantillon étiqueté des semaines suivant le lancement. D’ici là, surveillez la proportion de messages incertains et la confiance moyenne.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Versionnez les étiquettes et les données. Un candidat reçoit un nouveau nom (
v2), et l’ancienne version reste disponible. La version des étiquettes (labels-441842bea4) indique exactement quelles étiquettes il a apprises. - Comparez par tranche, pas avec un seul nombre.
v2était moins bon de plus de 2 points sur 0 des 12 tranches. L’exactitude de validation (0,960) ne permettait pas de distinguerv2detry10. - Vérifiez chaque nouvelle destination sur des messages gardés à part. Le rappel de
devicessur les 30 messages de vérification était de 0,900 pourv2. Il était de 0,767, 0,667 et 0,467 avec 20, 10 et 5 étiquettes, ce qui ne respectait pas le critère. Selon les vraies étiquettes cachées, disponibles seulement dans cette boîte de réception simulée,v2obtient un rappel de 0,952 et une précision de 0,988. - Mettez en production, redémarrez, surveillez et gardez un moyen de revenir en arrière.
route releaseactive le candidat seulement s’il réussit la vérification;--rollbackrétablit l’ancienne version en une commande. Après l’ajout d’une destination, donnez une nouvelle référence à la vérification de dérive.
Vous pouvez maintenant exécuter, surveiller et mettre à jour un routeur sur la boîte de réception synthétique de Larkfield. Mais cette boîte de réception est plus simple qu’une vraie : un modèle classique y atteint 0,962. Les études de cas qui suivent testent les mêmes méthodes sur de vrais messages, à commencer par 77 types de questions bancaires.
Leçon suivante : Router des questions bancaires