Aller au contenu
English

Ajouter une étiquette ou réentraîner en toute sécurité

  • Leçon 37
  • 40 min
  • Module 9 : Exploiter le routeur en production

Où nous en sommes

Nous avons trouvé un nouveau sujet sans étiquette. Ajouter une étiquette change le modèle, et un nouveau modèle peut briser ce qui fonctionnait. Dans cette leçon, nous versionnons les étiquettes et les données, puis comparons le nouveau modèle à l'ancien par tranche. Nous le mettons en production seulement s'il réussit les vérifications.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 37 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitAjouter une étiquette ou réentraîner en toute sécurité
Aperçu du cours

Ce que vous saurez faire

Ajoutez la nouvelle destination au modèle sans briser ce qui fonctionne. Vous entraînez une nouvelle version sur des étiquettes versionnées et la comparez au modèle actuel, tranche par tranche. Vous vérifiez la nouvelle destination sur des messages mis à part et la mettez en production seulement si elle réussit. Si elle échoue en service, vous revenez en arrière avec une seule commande.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Le dossier de projet larkroute de la dernière leçon, avec son environnement actif et v1 comme modèle actuel. Testé sur macOS avec Python 3.12.13, pandas 3.1.1 et scikit-learn 1.9.1. Les commandes sont les mêmes dans PowerShell, mais nous ne les y avons pas exécutées.

Pensez encore au bureau de poste. Le nouveau quartier résidentiel doit avoir ses rues dans le guide, alors le bureau imprime une deuxième édition. Avant que les commis au tri l’utilisent, la superviseure la teste. Elle prend une grosse pile d’anciennes lettres dont elle connaît les bons casiers. Chaque lettre est triée deux fois, une fois avec chaque édition.

Elle ne compte pas seulement le total des erreurs. Elle vérifie chaque quartier séparément, car une nouvelle page peut rendre le tri d’une ancienne rue moins clair. Elle trie aussi quelques lettres du nouveau quartier, qu’elle a mises à part pour le test. L’édition 2 arrive au comptoir seulement si chaque quartier reste aussi bon qu’avant et si les nouvelles rues sont trouvées. L’édition 1 reste sur l’étagère, au cas où un problème apparaîtrait plus tard.

Le nouveau guide porte un numéro d’édition, tout comme les listes qui ont servi à le créer. Si une lettre arrive dans la mauvaise rue le mois prochain, le registre indique quelle édition a servi au tri.

Le problème : un seul nombre cache ce qui a cessé de fonctionner

Section intitulée « Le problème : un seul nombre cache ce qui a cessé de fonctionner »

Priya peut entraîner un modèle avec la nouvelle destination en quelques secondes. Le plus difficile est de savoir s’il est meilleur. Voici un vrai piège. Chloé a étiqueté 50 messages Grow Hub pour l’entraînement. Supposons qu’elle en ait étiqueté seulement 10. Priya entraîne deux candidats, un avec chaque ensemble d’étiquettes :

$ route train --version v2 --extra data/launch_labels_sample.csv
Saved models/v2: 6150 messages, 8 routes, labels-441842bea4; validation accuracy 0.960; decide at 0.56, person below 0.00.
$ route train --version try10 --extra devices_10.csv
Saved models/try10: 6110 messages, 8 routes, labels-c8f05e2568; validation accuracy 0.960; decide at 0.56, person below 0.00.

Les deux ont une exactitude de validation de 0,960, supérieure à celle de v1 (0,958). Selon ce nombre, ils sont identiques et semblent tous deux prêts. Mais les messages de validation datent d’avant le lancement : aucun ne concerne le Grow Hub. Ce nombre ne peut pas du tout évaluer la nouvelle destination. Plus loin dans cette leçon, la vérification avant mise en production révèle que try10 manque un message Grow Hub sur trois.

Le piège inverse existe aussi. Un nouveau modèle peut être meilleur dans l’ensemble et moins bon pour un groupe : messages français, réseaux sociaux ou destination des comptes, avec ses rares prises de contrôle. Un score global de 0,96 peut cacher une baisse de 0,95 à 0,90 pour 589 clients francophones.

L’idée : une vérification avant mise en production, tranche par tranche

Section intitulée « L’idée : une vérification avant mise en production, tranche par tranche »

La réponse comporte quatre parties. Ensemble, elles forment la vérification avant mise en production, parfois appelée vérification de régression. Ce test vérifie qu’une nouvelle version n’a pas dégradé les résultats. (« Régression » signifie ici un recul, et non la méthode statistique.)

Trois groupes. Créer un candidat : nouvelles étiquettes, les 150 messages de lancement de Chloé pour l'entraînement, dont 50 sur les appareils; puis entraîner sous un nouveau nom, route train --version v2, et v1 reste inchangé. La vérification avant mise en production : première question, aucune tranche ne baisse de plus de 2 points, parmi 7 destinations, 2 langues et 3 canaux? Si oui, deuxième question : la nouvelle destination est-elle trouvée dans ses 30 messages de vérification, avec un rappel de 0,80 ou plus? Si non à l'une des questions : NON MIS EN PRODUCTION, le modèle actuel reste. Si oui aux deux : l'utiliser. MIS EN PRODUCTION : actuel v2, précédent v1. Redémarrer le service, et /health indique v2. Surveiller la vérification de dérive avec une nouvelle référence. Une flèche pointillée, un problème : route release --rollback, retour à v1.
La liste de vérification avant mise en production. Un candidat reçoit un nouveau nom de version, réussit deux vérifications, puis devient le modèle actuel. L'ancienne version reste disponible, ce qui permet un retour en arrière en une seule commande.
Description textuelle du diagramme

Le diagramme comporte trois groupes. Le premier crée un candidat. De nouvelles étiquettes arrivent : les 150 messages de lancement de Chloé pour l’entraînement, dont 50 sur les appareils. Priya entraîne un modèle sous un nouveau nom de version, v2, et v1 reste inchangé. Le deuxième groupe est la vérification avant mise en production, avec deux questions. Première question : aucune tranche ne baisse-t-elle de plus de 2 points? Les tranches sont les 7 destinations, les 2 langues et les 3 canaux. Si oui, deuxième question : la nouvelle destination est-elle trouvée dans ses 30 messages de vérification, avec un rappel de 0,80 ou plus? Si l’une des réponses est non, le résultat est NON MIS EN PRODUCTION, et le modèle actuel reste. Si les deux réponses sont oui, le troisième groupe commence. Le résultat est RELEASED (mis en production) : le modèle actuel est v2, et le précédent est v1. Redémarrez le service, et /health indique v2. Surveillez ensuite la vérification de dérive, avec une nouvelle référence. Une flèche pointillée mène à route release --rollback, qui revient à v1 si un problème apparaît.

  1. Versionnez les étiquettes et les données. Le candidat reçoit un nouveau nom de version, et v1 reste intact. Sa fiche consigne la version de ses étiquettes et l’empreinte de chaque identifiant de message et destination utilisés pour l’entraînement. Les étiquettes supplémentaires sont dans un fichier avec une somme de contrôle (launch_labels_sample.csv). Ainsi, n’importe qui peut entraîner le même modèle à nouveau.
  2. Comparez par tranche. Une tranche est un groupe de messages de test qui partagent une valeur : une destination, une langue ou un canal. La vérification évalue le modèle actuel et le candidat (le nouveau modèle qui veut le remplacer) sur chaque tranche. Une tranche échoue si sa baisse dépasse la tolérance : ici, 2 points (0,02).
  3. Vérifiez chaque nouvelle destination sur des messages mis à part. Les données de test ne contiennent aucun message Grow Hub et ne peuvent donc pas évaluer la nouvelle destination. Les 250 étiquettes de Chloé sont réparties ainsi : 150 pour l’entraînement et 100 pour la vérification. La vérification exige un rappel d’au moins 0,80 sur les messages de vérification de la nouvelle destination. Le rappel est la part des messages de cette destination que le modèle trouve.
  4. Gardez un moyen de revenir en arrière. À la mise en production, models/current indique la nouvelle version, et models/previous indique l’ancienne. route release --rollback revient en arrière en une seule commande.

Voici trois tranches, avec toutes les valeurs. Les deux premières lignes proviennent réellement de la vérification ci-dessous. La troisième est construite pour montrer un échec :

Tranche Messages Actuel Candidat Changement Règle Résultat
route=product 289 0,962 0,955 −0,7 point 0,955 ≥ 0,962 − 0,02 = 0,942 ok
language=fr 589 0,952 0,946 −0,6 point 0,946 ≥ 0,952 − 0,02 = 0,932 ok
une tranche construite 120 0,950 0,920 −3,0 points 0,920 < 0,950 − 0,02 = 0,930 MOINS BON

Les petites baisses sont permises, car une tranche de quelques centaines de messages varie sous l’effet du hasard. Un message sur 289 représente 0,35 point. Une tranche de moins de 30 messages est affichée, mais pas évaluée : un message représenterait plus de 3 points.

  1. Regardez les étiquettes de Chloé. Exécutez ceci dans le dossier larkroute (la même commande fonctionne dans PowerShell) :

    Fenêtre de terminal
    python -c "import pandas as pd; print(pd.read_csv('data/launch_labels_sample.csv').groupby(['split', 'route']).size().unstack(0))"
    split check train
    route
    account 6 13
    billing 11 12
    delivery 19 30
    devices 30 50
    needs_person 5 5
    orders 12 15
    product 9 13
    returns_refunds 8 12

    Il y a 150 étiquettes d’entraînement, dont 50 devices (appareils), et 100 étiquettes de vérification, dont 30 devices. Chloé a aussi étiqueté les autres destinations. Le modèle apprend donc aussi à quoi ressemblent les anciennes destinations pendant le mois du lancement.

  2. Entraînez le candidat v2 sur les 6 000 messages d’entraînement et les 150 messages de lancement :

    Fenêtre de terminal
    route train --version v2 --extra data/launch_labels_sample.csv
    Saved models/v2: 6150 messages, 8 routes, labels-441842bea4; validation accuracy 0.960; decide at 0.56, person below 0.00.

    La version des étiquettes est passée de labels-4bad2e4ef7 à labels-441842bea4, car les étiquettes ont changé. Le seuil de décision est passé de 0,58 à 0,56 : route train le choisit à nouveau sur les données de validation pour chaque version. Sans --make-current, le service charge toujours v1.

  3. Reproduisez le piège de la section sur le problème : un fichier d’étiquettes avec seulement 10 des 50 messages sur les appareils. Créez fewer_devices.py dans le dossier larkroute :

    """Keep only the first N device messages of Chloé's training labels (the other labels stay)."""
    import sys
    import pandas as pd
    n = int(sys.argv[1])
    labels = pd.read_csv("data/launch_labels_sample.csv")
    is_device = (labels["split"] == "train") & (labels["route"] == "devices")
    fewer = pd.concat([labels[~is_device], labels[is_device].head(n)])
    fewer.to_csv(f"devices_{n}.csv", index=False)
    print(f"devices_{n}.csv: {len(fewer)} labels, {n} of them devices for training")
  4. Exécutez-le avec 10, puis entraînez le candidat try10 :

    Fenêtre de terminal
    python fewer_devices.py 10
    route train --version try10 --extra devices_10.csv

    Vous voyez devices_10.csv: 210 labels, 10 of them devices for training (210 étiquettes, dont 10 sur les appareils pour l’entraînement), puis la ligne Saved models/try10: … (modèle enregistré) de la section sur le problème.

  5. Exécutez la vérification avant mise en production sur try10 :

    Fenêtre de terminal
    route release --candidate try10
    Current v1 against candidate try10 on the test messages (a slice fails if it drops more than 2%; slices under 30 messages are shown, not judged):
    slice messages current candidate result
    route=account 196 0.954 0.954 ok
    route=billing 266 0.962 0.955 ok
    route=delivery 461 0.957 0.957 ok
    route=needs_person 99 1.000 1.000 ok
    route=orders 285 0.965 0.965 ok
    route=product 289 0.962 0.962 ok
    route=returns_refunds 404 0.960 0.963 ok
    language=en 1411 0.966 0.967 ok
    language=fr 589 0.952 0.947 ok
    channel=chat 687 0.956 0.953 ok
    channel=email 898 0.969 0.970 ok
    channel=social 415 0.957 0.957 ok
    new route=devices (launch check) 30 - 0.667 WORSE
    NOT RELEASED: 1 slice(s) got worse. The current model stays v1.

    Toutes les anciennes tranches sont bonnes. Mais la nouvelle destination ne trouve que 20 des 30 messages de vérification (0,667), sous le seuil de 0,80. La commande se termine avec un code d’erreur, donc un script qui l’exécute s’arrête aussi ici. models/current indique toujours v1.

  6. Exécutez la vérification avant mise en production sur v2 :

    Fenêtre de terminal
    route release --candidate v2
    Current v1 against candidate v2 on the test messages (a slice fails if it drops more than 2%; slices under 30 messages are shown, not judged):
    slice messages current candidate result
    route=account 196 0.954 0.959 ok
    route=billing 266 0.962 0.959 ok
    route=delivery 461 0.957 0.957 ok
    route=needs_person 99 1.000 1.000 ok
    route=orders 285 0.965 0.961 ok
    route=product 289 0.962 0.955 ok
    route=returns_refunds 404 0.960 0.963 ok
    language=en 1411 0.966 0.967 ok
    language=fr 589 0.952 0.946 ok
    channel=chat 687 0.956 0.955 ok
    channel=email 898 0.969 0.969 ok
    channel=social 415 0.957 0.954 ok
    new route=devices (launch check) 30 - 0.900 ok
    RELEASED: the current model is now v2. Restart the service to load it.

    Maintenant, models/current indique v2, et models/previous indique v1.

Aucune tranche n’a baissé au-delà de la tolérance : 0 sur 12. Six tranches ont baissé de moins d’un point. Les plus fortes baisses sont de 0,7 point pour route=product et de 0,6 point pour le français. Trois sont restées identiques, et trois se sont un peu améliorées, par exemple account (compte) (0,954 → 0,959). La nouvelle destination trouve 27 des 30 messages de vérification : un rappel de 0,900.

À quel point la nouvelle destination dépend-elle du travail de Chloé? Nous avons entraîné des candidats avec 5, 10, 20 et les 50 étiquettes d’appareils, puis exécuté la même vérification contre v1 :

La vérification du lancement exige un rappel de 0,80. Avec 5, 10 ou 20 étiquettes d'appareils pour l'entraînement, le candidat échoue; avec 50, il réussit avec 0,900. Toutes les anciennes tranches ont réussi dans les quatre exécutions.
Description textuelle du graphique

Un diagramme à colonnes avec quatre colonnes. La hauteur représente le rappel des appareils sur les 30 messages de vérification. Avec 5 étiquettes d’appareils pour l’entraînement, il est de 0,467. Avec 10 étiquettes, il est de 0,667. Avec 20 étiquettes, il est de 0,767, et avec 50 étiquettes, de 0,900. Seule la dernière colonne dépasse le seuil de mise en production de 0,80. Les trois premières sont d’une couleur différente.

Plus d’étiquettes pour la nouvelle destination aident beaucoup ici : le rappel passe de 0,467 à 0,900. Les anciennes tranches n’ont pas été touchées : elles ont réussi avec 5 étiquettes comme avec 50.

La vérité cachée permet une autre vérification, possible seulement avec une boîte de réception simulée. Sur les 167 messages de configuration du Grow Hub du mois du lancement, v2 obtient un rappel de 0,952 et une précision de 0,988 pour les appareils. Ces 167 messages comprennent les 50 utilisés pour entraîner v2, donc le rappel est un peu flatteur. Malgré cela, les 30 messages de vérification (0,900) n’ont pas surestimé la nouvelle destination. Dans un vrai projet, vous n’auriez pas ce nombre; les messages de vérification de Chloé sont la preuve.

Utiliser la nouvelle version et garder un moyen de revenir en arrière

Section intitulée « Utiliser la nouvelle version et garder un moyen de revenir en arrière »
  1. Redémarrez le service dans le premier terminal. Il charge le modèle actuel au démarrage :

    Fenêtre de terminal
    route serve
  2. Dans le deuxième terminal, demandez son état de santé et envoyez le message Grow Hub de la première leçon (PowerShell : comme dans Un service de routage) :

    Fenêtre de terminal
    curl -s http://127.0.0.1:8036/health
    curl -s http://127.0.0.1:8036/route -H 'content-type: application/json' \
    -d '{"message_id": "M-999007", "text": "My new Grow Hub keeps blinking orange and will not connect to the Wi-Fi.", "channel": "social"}'
    {"status":"ok","model_version":"v2","label_version":"labels-441842bea4","routes":["account","billing","delivery","devices","needs_person","orders","product","returns_refunds"]}
    {"message_id":"M-999007","route":"devices","zone":"decide","confidence":0.9962,"model_version":"v2","label_version":"labels-441842bea4"}

    Avec v1, ce message allait en révision sous product (produit), avec une confiance de 0,4671. Maintenant, il va directement à devices, avec 0,9962. La réponse indique v2, donc le journal montre quel modèle a pris la décision pour chaque message.

  3. Arrêtez le service avec Ctrl+C. Exécutez la vérification de dérive, qui utilise maintenant v2 :

    Fenêtre de terminal
    route drift
    Model v2; validation: unsure (review or person) 10.0%. Launch month, by week:
    week messages delivery product account mean_conf unsure psi
    2026-02-02 533 0.206 0.152 0.113 0.914 0.101 0.016
    2026-02-09 477 0.191 0.140 0.094 0.919 0.092 0.818
    2026-02-16 510 0.461 0.096 0.075 0.904 0.069 0.839
    2026-02-23 480 0.138 0.154 0.092 0.903 0.096 1.085
    ALARM week of 2026-02-09: route shares moved (PSI 0.82). Read a sample of messages before you retrain.
    ALARM week of 2026-02-16: route shares moved (PSI 0.84). Read a sample of messages before you retrain.
    ALARM week of 2026-02-23: route shares moved (PSI 1.08). Read a sample of messages before you retrain.
  4. Exercez-vous à revenir en arrière. Revenez à v1 :

    Fenêtre de terminal
    route release --rollback
    Rolled back: the current model is v1.

Lisez attentivement le tableau de dérive de l’étape 3. D’abord, la bonne nouvelle : la part des messages incertains est redescendue à 9,2 %, 6,9 % et 9,6 % dans les trois dernières semaines, près de la validation. Les messages Grow Hub ne sont plus incertains. Mais le PSI a bondi à 0,82, 0,84 et 1,08. Pourquoi?

La vérification de dérive compare chaque semaine aux messages de validation, et la validation ne contient aucun message devices. La part de devices passe de presque 0 à environ 10 %. Dans la formule du PSI, le logarithme de « 10 % divisé par presque 0 » est très grand. Ces alarmes ne signifient donc pas qu’un nouveau changement est survenu. Elles signifient que la référence n’est plus à jour. Après l’ajout d’une destination, la vérification de dérive a besoin d’une nouvelle référence : un ensemble de messages qui comprend la nouvelle destination. Un échantillon étiqueté des semaines après le lancement conviendrait. D’ici là, lisez la part des messages incertains et la confiance moyenne, pas le PSI.

Le retour en arrière fonctionne parce que rien n’a été supprimé. route release --rollback échange les noms dans models/current et models/previous : maintenant, current indique v1 et previous indique v2. Un retour en arrière exige aussi un redémarrage du service, comme une mise en production.

Vous utilisez de nouveau v1, après le retour en arrière. Créez un fichier d’étiquettes avec 20 messages sur les appareils, entraînez le candidat try20, puis exécutez la vérification avant mise en production contre v1. Avant de lancer la vérification, prédisez : réussira-t-il?

Afficher la réponse
Fenêtre de terminal
python fewer_devices.py 20
route train --version try20 --extra devices_20.csv
route release --candidate try20

Les deux dernières lignes de la vérification :

new route=devices (launch check) 30 - 0.767 WORSE
NOT RELEASED: 1 slice(s) got worse. The current model stays v1.

Il échoue : 23 des 30 messages de vérification sont trouvés (0,767), sous le seuil de 0,80. Toutes les anciennes tranches ont encore réussi. Le graphique ci-dessus montre la même chose : la nouvelle destination exige plus de 20 exemples ici. Remettez maintenant v2 en production pour que la suite du cours utilise la nouvelle destination :

Fenêtre de terminal
route release --candidate v2

La dernière ligne est RELEASED: the current model is now v2. Restart the service to load it. (mise en production effectuée : le modèle actuel est maintenant v2; redémarrez le service pour le charger). Votre dossier models/ garde toutes les versions entraînées : v1, v2, try10 et try20. Supprimez les dossiers try quand vous n’en avez plus besoin.

Quand utiliser une vérification avant mise en production, et son coût

Section intitulée « Quand utiliser une vérification avant mise en production, et son coût »

Utilisez une vérification avant mise en production pour chaque nouveau modèle, pas seulement pour une nouvelle étiquette. Un réentraînement sur des données récentes, un nouveau seuil ou une nouvelle variable peuvent chacun dégrader une tranche. La vérification a pris quelques secondes ici, donc aucune raison de la sauter.

Le vrai coût, ce sont les étiquettes. La vérification de lancement exige des messages étiquetés de la nouvelle destination que le modèle n’a jamais utilisés pour l’entraînement. Et chaque tranche doit avoir assez de messages pour être évaluée. Chloé a étiqueté 250 messages de lancement. Le cours suppose que la révision d’un message par une personne coûte 1,50 $ US. Ses étiquettes coûtent donc environ 375 $ US de son temps. C’est peu comparé à une destination qui manque un message Grow Hub sur trois.

Connaissez ses limites. La tolérance de 2 points et le rappel de 0,80 sont des choix de Grace et Priya, pas des lois. Notez-les avec leurs raisons. La vérification lit les messages de test chaque fois. Cela convient à une barrière qui donne un résultat de réussite ou d’échec. Mais si vous entraînez vingt candidats et gardez celui qui obtient les meilleures tranches de test, les données de test deviennent des données de validation. Vérifications de régression, dans le cours sur l’évaluation, montre comment une équipe garde ses vérifications fiables au fil des mises en production. L’étude de cas Tester la régression d’une nouvelle version d’un classificateur, par sous-groupe y fait le même travail sur des données réelles.

Erreur courante

Mise en production selon l'exactitude de validation

Symptôme : ce cas est construit à partir des vrais nombres ci-dessus. Tomás compare les deux candidats selon leurs lignes d’entraînement. Les deux indiquent validation accuracy 0.960 (exactitude de validation de 0,960), mieux que v1 (0,958). Il fait de try10 le modèle actuel avec route train --version try10b --extra devices_10.csv --make-current, sans vérification avant mise en production. Une semaine plus tard, Chloé constate qu’un tiers des messages Grow Hub vont encore à product ou returns_refunds (retours et remboursements).

Cause : les messages de validation datent d’avant le lancement, donc aucun ne concerne le Grow Hub. Le score de validation ne peut pas évaluer la nouvelle destination. Le candidat avec 10 étiquettes d’appareils ne trouve que 0,667 des messages de vérification. Et --make-current a sauté la vérification qui l’aurait montré.

Solution : faites d’un candidat le modèle actuel seulement avec route release. La vérification évalue chaque ancienne tranche sur les messages de test et chaque nouvelle destination sur les messages de vérification mis à part. Si une équipe doit la sauter en urgence, elle doit noter pourquoi, puis l’exécuter après.

Conséquence dans le travail en IA : se fier à un seul bon résultat global explique souvent pourquoi un modèle qui a « réussi » échoue en service. Les preuves pour chaque tranche et chaque nouvelle classe permettent à l’équipe de faire confiance à une mise en production. Quand une mise en production échoue, ces mêmes preuves montrent quoi corriger.

Vérifiez votre compréhension

Pourquoi l'exactitude de validation (0,960 pour try10 et v2) ne permet-elle pas de choisir le candidat à mettre en production? Quelles preuves la vérification avant mise en production utilise-t-elle plutôt?

Afficher la réponse

Les messages de validation datent d’avant le lancement. Aucun ne concerne donc le Grow Hub. Un score calculé sur ces messages ne peut pas évaluer la nouvelle destination. Les deux candidats obtiennent 0,960. La vérification avant mise en production utilise deux types de preuves. Pour les anciennes destinations, elle compare les deux modèles sur chaque tranche des messages de test, avec une tolérance de 2 points. Les tranches couvrent 7 destinations, 2 langues et 3 canaux. Pour chaque nouvelle destination, elle mesure le rappel sur des messages étiquetés gardés à part : 30 messages de vérification du Grow Hub. try10 a obtenu 0,667 et a échoué; v2 a obtenu 0,900 et a réussi.

Vérifiez votre compréhension

Prédisez : un candidat passe de 0,952 à 0,935 sur les messages en français (589 messages). Il passe de 0,940 à 0,900 sur une tranche de 20 messages. Toutes les autres tranches respectent la tolérance. Est-il mis en production? Expliquez le résultat de chaque tranche.

Afficher la réponse

Oui, il est mis en production. Le score en français baisse de 1,7 point. La limite est de 0,952 − 0,02 = 0,932. Le score de 0,935 dépasse cette limite, donc la tranche respecte la tolérance. Elle mérite quand même un suivi. Le score de la tranche de 20 messages baisse de 4 points. Mais elle contient moins de 30 messages. La vérification l’affiche donc sans la juger : un message sur 20 représente 5 points. Une personne devrait quand même lire les erreurs de cette petite tranche avant la mise en production.

Vérifiez votre compréhension

Après la mise en production de v2, la dérive des destinations affiche un PSI de 0,82 à 1,08 chaque semaine. Mais la proportion de messages incertains revient près de 10 %. Le nouveau modèle fonctionne-t-il mal? Que changez-vous?

Afficher la réponse

Non. Le modèle achemine bien les messages du mois du lancement. La proportion de messages incertains est passée de 17,0 % et 20,8 % à 9,2 % et 9,6 %. Le PSI est élevé parce que la référence, soit les messages de validation, ne contient aucun message devices. La proportion d’une nouvelle destination est comparée à une proportion de référence presque nulle. Cela rend le logarithme dans la formule du PSI très grand. Remplacez la référence par un ensemble de messages qui comprend la nouvelle destination. Par exemple, utilisez un échantillon étiqueté des semaines suivant le lancement. D’ici là, surveillez la proportion de messages incertains et la confiance moyenne.

Récapitulatif

  • Versionnez les étiquettes et les données. Un candidat reçoit un nouveau nom (v2), et l’ancienne version reste disponible. La version des étiquettes (labels-441842bea4) indique exactement quelles étiquettes il a apprises.
  • Comparez par tranche, pas avec un seul nombre. v2 était moins bon de plus de 2 points sur 0 des 12 tranches. L’exactitude de validation (0,960) ne permettait pas de distinguer v2 de try10.
  • Vérifiez chaque nouvelle destination sur des messages gardés à part. Le rappel de devices sur les 30 messages de vérification était de 0,900 pour v2. Il était de 0,767, 0,667 et 0,467 avec 20, 10 et 5 étiquettes, ce qui ne respectait pas le critère. Selon les vraies étiquettes cachées, disponibles seulement dans cette boîte de réception simulée, v2 obtient un rappel de 0,952 et une précision de 0,988.
  • Mettez en production, redémarrez, surveillez et gardez un moyen de revenir en arrière. route release active le candidat seulement s’il réussit la vérification; --rollback rétablit l’ancienne version en une commande. Après l’ajout d’une destination, donnez une nouvelle référence à la vérification de dérive.

Vous pouvez maintenant exécuter, surveiller et mettre à jour un routeur sur la boîte de réception synthétique de Larkfield. Mais cette boîte de réception est plus simple qu’une vraie : un modèle classique y atteint 0,962. Les études de cas qui suivent testent les mêmes méthodes sur de vrais messages, à commencer par 77 types de questions bancaires.

Leçon suivante : Router des questions bancaires