Travail final
- Après les études de cas
- environ 3 h
Où nous en sommes
Chaque module a ajouté un élément et l'a essayé séparément : les étiquettes, les méthodes, les coûts, la cascade, les zones et le service. Dans ce travail, vous les utilisez tous ensemble. Larkfield ajoute un canal de place de marché et deux nouveaux produits. Vous livrez le système de routage pour le prochain trimestre.
Ce que vous saurez faire
Appliquez tout le cours à un nouveau trimestre chez Larkfield. Vous étiquetez les messages et chiffrez les erreurs, comparez les méthodes dans un test équitable et choisissez un routeur avec ses zones. Vous l’exécutez comme service, surveillez la dérive en avril et ajoutez un nouveau sujet de façon sûre. Ensuite, vous présentez votre décision à Grace et Omar, avec son coût et ses limites.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les modules 1 à 9. Chaque partie ci-dessous nomme les leçons qu’elle utilise. Les leçons sur les LLM du module 5 sont facultatives ici.
- Le certificat demande aussi au moins une étude de cas du module 10. Pour voir d’abord les mêmes étapes sur des données réelles, ouvrez Router des questions bancaires.
Ce qu’il vous faut sur votre ordinateur
- Python 3.12, un terminal et un carnet (notebook) Jupyter si vous le souhaitez. Les parties 1 à 3 conviennent bien à un carnet. Les parties 4 et 5 nécessitent le projet et un terminal.
- Le dépôt des exercices du cours avec le dossier
C36, comme dans Découvrir la boîte de réception. Exécutezgit -C nextia-learning-labs pullpour obtenir le dossierC36/final. - L’instantané du projet
C36/snapshots/end-of-m09: la commanderouteavec le service, la vérification de dérive et la vérification avant mise en production. - Environ 300 Mo d’espace disque pour l’environnement virtuel, et environ 500 Mo de plus pour le modèle de plongement du module 4. Aucun compte, aucune clé ni aucuns frais. Une ligne LLM est facultative et nécessite votre propre clé.
Testé sur macOS (puce Apple), avec Python 3.12.13, pandas 3.1.1 et scikit-learn 1.9.1. Nous avons écrit les commandes Windows (PowerShell), mais nous ne les avons pas exécutées.
La situation : un nouveau canal et deux nouveaux produits
Section intitulée « La situation : un nouveau canal et deux nouveaux produits »En mars, Larkfield commence à vendre sur une place de marché en ligne. Les clients écrivent maintenant aussi depuis cette plateforme : environ 3 messages sur 10. Deux produits sont nouveaux. Le Patio heater est en vente à partir de mars. Le Robot mower R2 sera en vente le 6 avril. Le Grow Hub, arrivé pendant le mois de lancement du module 9, a sa propre destination, devices, pour les questions de configuration des produits intelligents.
Grace, la responsable du soutien, écrit à Priya :
« J’ai besoin du routeur pour le prochain trimestre. Mon équipe peut lire au maximum 1 message sur 10. Je veux que les autres arrivent à la bonne équipe, et je veux savoir ce que les erreurs nous coûtent. Dites-moi aussi ce que vous ferez à l’arrivée du prochain produit. »
Omar, responsable du lancement de la tondeuse, ajoute : « Les questions sur la tondeuse ne doivent pas attendre dans la mauvaise file d’attente. » Tomás demande : « Pourquoi ne pas envoyer chaque message à un LLM? » Votre réponse à chacun doit s’appuyer sur des preuves.
Nous, l’équipe du cours, avons créé les données avec le même générateur que la boîte de réception du cours. Nous connaissons les bonnes destinations des messages d’avril. Nous ne vous les donnons pas : le dossier des exercices ne contient aucun corrigé. Vous trouvez les problèmes d’avril avec les méthodes du cours. Les données sont synthétiques, comme tous les messages de Larkfield.
Les coûts et les limites
Section intitulée « Les coûts et les limites »Utilisez le tableau des coûts du cours sans modification pour pouvoir comparer vos chiffres à ceux des autres apprenants. Ce sont des hypothèses, les mêmes que dans Le coût de chaque erreur :
| Hypothèse | Valeur ($ US par message) |
|---|---|
| Une révision par une personne | 1,50 |
| Un message dans la mauvaise file | 4 |
| Un message urgent dans la mauvaise file | 20 |
| Une prise de contrôle de compte non détectée | 200 |
Un message needs_person envoyé à une équipe |
40 |
| Un message destiné à une équipe envoyé à une personne expérimentée | 2 |
| Tout transférer à une personne (Larkfield avant le routeur) | 1 500 par 1 000 messages |
| La limite de révision de Grace | les zones de révision et de transfert à une personne réunies : au maximum 10 % des messages |
| Le volume | environ 1 300 messages par mois (avril : 1 120 messages en 26 jours, environ 43 par jour) |
Si vous voulez essayer un deuxième tableau des coûts, ajoutez-le en supplément et expliquez pourquoi. Gardez le premier comme résultat principal.
Les données
Section intitulée « Les données »Les données se trouvent dans C36/final/data/ du dépôt des exercices : trois fichiers et une liste de leurs sommes de contrôle. Une somme de contrôle est un long nombre calculé à partir des octets d’un fichier. Si un octet change, la somme de contrôle change.
| Fichier | Lignes | Une ligne | Colonnes |
|---|---|---|---|
messages.csv (334 Ko) |
1 280 | un message de mars 2026, avec ses étiquettes | message_id, created_at, channel, language, text, route, topic, priority, routes, split, synthetic |
double_labelled.csv (3 Ko) |
100 | un message d’entraînement de mars, étiqueté par Chloé et par Grace | message_id, label_chloe, label_grace |
stream.csv (238 Ko) |
1 120 | un message du 1er au 26 avril 2026, sans étiquettes | message_id, created_at, channel, language, text, synthetic |
Le sens des colonnes :
route: l’équipe qui doit agir en premier, ouneeds_person(besoin d’une personne). Il y a huit destinations : les sept du cours etdevices(appareils).topic: le type de demande dans la destination, par exemplegrow_hub_setupouaccount_takeover.priorityvauturgent(urgent),normal(normal) oulow(faible).routes: une destination, ou deux séparées par|quand un message demande deux choses. La première est l’étiquette.channel:email(courriel),chat(clavardage),social(réseaux sociaux) ou, nouveauté,marketplace(place de marché).language:en(anglais) oufr(français).split:train(entraînement, 768),validation(validation, 256) outest(test, 256).
Vous utilisez aussi les données du cours, dans C36/data/ : les 6 000 messages d’entraînement de l’historique, le guide et le tableau des coûts. Voici mars par destination. Regardez les petites destinations avant de lire les scores :
Description textuelle du graphique
Un diagramme à colonnes avec huit colonnes, une par destination, de la plus grande à la plus petite. Livraison 280, retours et remboursements 245, produit 171, commandes 168, facturation 159, compte 118, appareils 83 et needs_person 56. Les appareils et needs_person ont leurs propres couleurs. La destination compte comprend seulement 10 prises de contrôle de compte : 6 dans l’entraînement, 3 dans la validation et 1 dans le test.
Un seul message de test concerne une prise de contrôle de compte. Un rappel de 1,0 sur les données de test signifie donc « un message a été correctement classé », pas « toutes les prises de contrôle sont détectées ». Précisez-le chaque fois que vous citez ce résultat.
Préparer le dossier
Section intitulée « Préparer le dossier »-
Copiez le projet terminé dans un nouveau dossier,
routing-q2, et installez-le :Fenêtre de terminal cp -R nextia-learning-labs/C36/snapshots/end-of-m09 routing-q2cd routing-q2python3.12 -m venv .venvsource .venv/bin/activatepip install -r requirements.txtpython get_data.pyFenêtre de terminal Copy-Item -Recurse nextia-learning-labs\C36\snapshots\end-of-m09 routing-q2cd routing-q2py -3.12 -m venv .venv.venv\Scripts\Activate.ps1pip install -r requirements.txtpython get_data.pyget_data.pyplace les données du cours dansdata/. Les 42 tests du projet les utilisent. -
Enregistrez ce script sous le nom
make_data.pydansrouting-q2. Il vérifie les sommes de contrôle, puis crée un dossier de données pour le trimestre,q2-data/. Les modèles apprennent à partir des 6 000 messages d’entraînement du cours et des 768 de mars. La validation et le test utilisent seulement mars, car le trimestre ressemble à mars, pas à l’année dernière.import hashlibimport shutilimport sysfrom pathlib import Pathimport pandas as pdlabs = Path(sys.argv[1])final = labs / "final" / "data"for line in (final / "SHA256SUMS").read_text().splitlines():digest, name = line.split()ok = hashlib.sha256((final / name).read_bytes()).hexdigest() == digestprint("OK " if ok else "BAD", name)if not ok:raise SystemExit("A file is not the published one: download it again.")history = pd.read_csv(labs / "data" / "messages.csv", keep_default_na=False, na_values=[""])march = pd.read_csv(final / "messages.csv", keep_default_na=False, na_values=[""])history = history[history["split"] == "train"]out = Path("q2-data")out.mkdir(exist_ok=True)messages = pd.concat([history, march], ignore_index=True)messages.to_csv(out / "messages.csv", index=False)shutil.copyfile(final / "stream.csv", out / "launch_month.csv")shutil.copyfile(final / "double_labelled.csv", out / "double_labelled.csv")print(messages.groupby("split").size().to_string())print(f"Wrote {out}/: {len(messages)} labelled messages, "f"{len(pd.read_csv(out / 'launch_month.csv'))} April messages to replay.")Le flux d’avril prend le nom
launch_month.csv. Ainsi,route driftréexécute avril sans modifier le code. -
Exécutez-le, puis indiquez à la commande
routed’utiliser le nouveau dossier :Fenêtre de terminal python make_data.py ../nextia-learning-labs/C36export LARKROUTE_DATA=q2-dataFenêtre de terminal python make_data.py ..\nextia-learning-labs\C36$env:LARKROUTE_DATA = "q2-data"Vous voyez :
OK double_labelled.csvOK messages.csvOK stream.csvsplittest 256train 6768validation 256Wrote q2-data/: 7280 labelled messages, 1120 April messages to replay.Exécutez chaque commande
routede ce travail dans le dossierrouting-q2, avecLARKROUTE_DATAdéfini. Exécutez les tests sans cette variable : ils vérifient les données du cours. N’exécutez pasroute resetpendant le travail : cette commande supprimemodels/.
Deux mois, quatre rôles
Section intitulée « Deux mois, quatre rôles »Ne choisissez jamais un réglage sur les messages qui servent à l’évaluer. Chaque partie des données a donc un rôle :
Description textuelle du diagramme
Le diagramme montre quatre cases dans l’ordre chronologique. Les trois premières sont dans un cadre nommé « Mars : 1 280 messages avec étiquettes ». Case 1, entraînement, 768 messages : avec les 6 000 du cours, ils servent à l’apprentissage des modèles. Case 2, validation, 256 messages : tous les choix, la méthode, les seuils et les zones. Case 3, test, 256 messages : utilisés une seule fois, après avoir figé les choix. Une flèche mène à la case 4, dans un cadre nommé « Avril : la réexécution ». Du 1er au 26 avril, 1 120 messages sans étiquettes : vous les routez et surveillez la dérive. Le Robot mower R2 sera en vente le 6 avril.
Partie 1 : étiquettes et coûts
Section intitulée « Partie 1 : étiquettes et coûts »Utilise Concevoir les étiquettes, Guide d’étiquetage, Mesurer l’accord et Le coût de chaque erreur.
Rédigez LABELS.md, une ou deux pages :
- Exécutez
route agreement. Notez l’accord et le kappa de Cohen sur les 100 messages à double étiquetage. Comparez-les aux 800 messages du cours (87,9 %, kappa de 0,854). - Nommez les deux destinations où Chloé et Grace sont le plus souvent en désaccord. Donnez les nombres à côté des taux : sur 100 messages, une destination peut n’en compter que quelques-uns.
- Lisez cinq messages où elles sont en désaccord. Pour chacun, indiquez quelle règle du guide tranche, ou qu’aucune règle ne le permet.
- Ajoutez deux règles au guide pour le trimestre. La première concerne
devices: ce qui compte comme question de configuration, et ce qui va plutôt àproductoureturns_refunds. La deuxième concerne la place de marché : le canal change-t-il la destination? Donnez un exemple de message pour chaque règle. - Copiez le tableau des coûts ci-dessus. En dessous, expliquez en deux phrases quelle erreur coûte le plus à Larkfield ce trimestre, et pourquoi l’exactitude seule ne la révèle pas.
Partie 2 : la comparaison
Section intitulée « Partie 2 : la comparaison »Utilise Règles par mots-clés et expressions régulières, Bayes naïf, régression logistique et SVM linéaire, Plongements de phrases pour la classification, Régler finement un petit encodeur sur CPU, Classification zéro exemple sans LLM, Ce que coûte le gain d’exactitude et Coût par 1 000 messages.
Les lignes
Section intitulée « Les lignes »Comparez deux références de base et au moins quatre familles de méthodes. Entraînez-les sur les mêmes messages et évaluez-les avec le même tableau des coûts :
| Famille | Lignes |
|---|---|
| Références de base | « tout transférer à une personne » (le coût de Larkfield avant le routeur), et le modèle le plus simple auquel vous faites confiance, par exemple TF-IDF + régression logistique |
| Règles | « règles ou personne » |
| Classique | TF-IDF avec régression logistique, SVM linéaire ou Bayes naïf |
| Plongements ou encodeur | plongements figés + régression logistique, ou petit encodeur réglé finement sur CPU |
| Zéro exemple ou LLM | GLiClass ou NLI avec une phrase par destination (sans étiquettes), ou un LLM avec votre propre clé (facultatif) |
Les lignes du projet s’exécutent avec une seule commande. Les autres nécessitent quelques lignes de votre propre code. Dans un carnet, évaluez-les avec larkroute.metrics.score(). Ou ajoutez-les au projet comme dans Des modèles de décision spécialisés : ajouter un nouveau modèle comme ligne supplémentaire. Pour un modèle zéro exemple, écrivez aussi une phrase pour devices, par exemple « configurer un appareil intelligent, son application ou son Wi-Fi ».
Une procédure pour chaque ligne
Section intitulée « Une procédure pour chaque ligne »- Répondez d’abord à une question : de quels messages les modèles devraient-ils apprendre? Entraînez TF-IDF + régression logistique trois fois : sur les 768 messages de mars seulement, sur les 6 000 du cours seulement, et sur les deux ensembles. Évaluez chaque modèle sur les données de validation. Gardez le meilleur pour la suite du travail, et justifiez ce choix en une phrase.
- Évaluez chaque ligne sur les données de validation :
route compare --split validation --methods "…"pour les méthodes du projet, votre code pour les autres. Choisissez tous les réglages sur ces données (par exempleCde la régression logistique sur les plongements). - Notez ces colonnes pour chaque ligne :
- l’exactitude et le F1 macro sur les huit destinations;
- le rappel de
deviceset deneeds_person; - l’exactitude sur la place de marché, sur les autres canaux, en anglais et en français;
- le coût des erreurs par 1 000 messages, le coût d’exécution par 1 000 messages, le total et les millisecondes par message.
- Figez vos choix. Évaluez ensuite chaque ligne sur les données de test une seule fois, et notez les mêmes colonnes à côté de celles de validation.
- Expliquez la différence entre validation et test pour les deux lignes les moins coûteuses. Sur 256 messages, un message urgent dans la mauvaise file ajoute 20 ÷ 256 × 1 000 = 78,1 $ US par 1 000 messages. Une prise de contrôle non détectée ajoute 781,3 $ US.
- Pour votre meilleure ligne, notez le rappel de chaque destination sur les données de test. Ajoutez l’exactitude de chaque canal et de chaque langue. Placez le nombre de messages à côté de chaque taux.
Placez les résultats dans comparison.csv, avec une ligne par méthode et par ensemble de données. Ne triez pas par exactitude : triez par coût total par 1 000 messages.
Partie 3 : choisir le routeur et ses zones
Section intitulée « Partie 3 : choisir le routeur et ses zones »Utilise La confiance est-elle vraie?, Décider, faire réviser ou transférer à une personne, Les cascades et Le déséquilibre et les classes rares.
- Choisissez une méthode, ou une cascade de deux méthodes. Justifiez ce choix en trois à cinq phrases : coût total, charge de révision, vitesse et facilité à gagner la confiance de l’équipe de Grace.
- Vérifiez sa confiance sur les données de validation : le tableau de fiabilité et l’ECE (erreur d’étalonnage attendue). Un seuil appliqué à une confiance mal étalonnée déplace les mauvais messages.
- Choisissez les zones de décision automatique, de révision et de transfert à une personne sur les données de validation. Les deux dernières zones réunies doivent rester à 10 % au maximum. Pour TF-IDF + régression logistique,
route zones --review-max 0.10le fait. Pour une autre méthode, utilisezlarkroute.zones.choose(). - Présentez les zones une seule fois sur les données de test : part dans chaque zone, erreurs dans la zone de décision automatique et coût par 1 000 messages. Comparez ce coût à celui de la même méthode sans zones.
- Convertissez les parts en charge de travail. Notez le nombre de messages par jour pour l’équipe de Grace, sur environ 43 messages par jour. Notez le coût par mois, sur environ 1 300 messages.
- Exécutez le même choix avec une limite de 5 % et de 20 %. Dites si la limite impose une contrainte : le seuil choisi change-t-il?
Partie 4 : le service
Section intitulée « Partie 4 : le service »Utilise Un service de routage.
-
Entraînez la première version et faites-en la version courante :
Fenêtre de terminal route train --version v1 --make-currentroute trainentraîne TF-IDF + régression logistique et choisit ses zones sur les données de validation. Si vous avez choisi une autre méthode dans la partie 3, modifiez la ligne du modèle danslarkroute/commands/train.py. Précisez-le dans le rapport. -
Démarrez le service avec
route serve. Dans un deuxième terminal, interrogez/health, puis envoyez un message de la place de marché (PowerShell :Invoke-RestMethod, comme dans la leçon sur le service) :Fenêtre de terminal curl -s http://127.0.0.1:8036/healthcurl -s http://127.0.0.1:8036/route -H 'content-type: application/json' \-d '{"message_id": "Q-100001", "text": "My order LK-123456 from the marketplace has not arrived.", "channel": "marketplace"}' -
Envoyez un texte vide et vérifiez que la réponse est HTTP 422.
-
Arrêtez le service (Ctrl+C). Exécutez les tests sans
LARKROUTE_DATA:python -m pytest -qdoit afficher42 passed(42 tests réussis). Ajoutez votre propre test pour un élément que vous avez modifié, et exécutez-les de nouveau.
Partie 5 : avril
Section intitulée « Partie 5 : avril »Utilise La dérive et les nouveaux sujets, Quand vous avez peu d’étiquettes, Peu d’étiquettes avec des plongements et Ajouter une étiquette ou réentraîner en toute sécurité.
Trouver ce qui a changé
Section intitulée « Trouver ce qui a changé »- Exécutez
route drift. Notez le tableau hebdomadaire et les alarmes. Pour chaque alarme, indiquez ce qui a changé : les proportions des destinations (PSI), la proportion de messages incertains, ou les deux. - Exécutez
route drift --topics --since 2026-04-06. Lisez les messages de chaque groupe. Nommez chaque groupe en quelques mots. Indiquez quels groupes représentent un nouveau sujet et lesquels n’en représentent pas. Si deux sujets partagent un groupe, essayez--k 8. - Décidez, preuves à l’appui, si le nouveau sujet exige une nouvelle destination ou appartient à une destination existante. Utilisez la règle de votre guide de la partie 1.
- Trouvez où le modèle actuel envoie les messages du nouveau sujet, et dans quelles zones. Un message dans la zone de décision d’une mauvaise file d’attente coûte plus cher qu’un message en révision.
Quelques étiquettes, puis une mise en production sûre
Section intitulée « Quelques étiquettes, puis une mise en production sûre »- Choisissez des messages d’avril à étiqueter. Prenez les messages depuis le 6 avril qui contiennent les mots du nouveau sujet. Ajoutez un échantillon aléatoire d’environ 60 autres messages d’avril. Ainsi, le modèle n’apprendra pas qu’« avril signifie le nouveau produit ».
- Étiquetez-les vous-même avec votre guide, comme le ferait Chloé, dans un fichier
my_april_labels.csvcontenant les colonnesmessage_id, route, split. Pour les messages du 20 avril et après, mettezsplit=check(vérification). Pour les messages précédents, utiliseztrain(entraînement). Gardez au moins 20 messages du nouveau sujet danscheck. - Entraînez un candidat :
route train --version v2 --extra my_april_labels.csv. Sans--make-current, le service charge toujoursv1. - Vérifiez le candidat sur les messages
check, qu’il n’a pas utilisés pour apprendre. Comparezv1etv2: le rappel et la précision de la destination qui reçoit le nouveau sujet. Fixez le seuil avant de regarder les résultats, par exemple un rappel de 0,80. - Exécutez
route release --candidate v2. Lisez chaque tranche. Notez quelles tranches sont trop petites pour permettre un jugement. - Si les deux vérifications réussissent, redémarrez le service et vérifiez
/health. Si l’une échoue, le modèle actuel restev1: étiquetez plus de messages et réessayez. Notez chaque essai.
Partie 6 : la décision
Section intitulée « Partie 6 : la décision »Utilise Ce que coûte le gain d’exactitude, Les cascades : quand utiliser une cascade, et ce qu’elle coûte et Apprendre des corrections.
Rédigez DECISION.md, une page destinée à Grace et Omar, qui ne programment pas. Elle doit indiquer :
- Le routeur pour le trimestre : la méthode, les zones et la version du modèle.
- Son coût par 1 000 messages et par mois, comparé à « tout transférer à une personne ». Donnez le résultat de test et le résultat de validation, et expliquez leur différence.
- Le travail de l’équipe de Grace : les messages par jour en révision et ceux transférés à une personne expérimentée.
- Ce qui s’est passé en avril : vos découvertes, vos changements et les preuves que le changement est sûr.
- Une réponse à Tomás, avec des chiffres : qu’ajouterait un LLM, et quel serait son coût en temps et en vie privée?
- Ce que le routeur ne peut pas faire. Donnez au moins un point faible avec un chiffre, par exemple une destination, une langue ou un canal.
- Quand réexaminer le système : les alarmes que vous surveillez, qui les lit et ce qui se passe au prochain produit.
Ce qu’il faut remettre
Section intitulée « Ce qu’il faut remettre »Description textuelle du diagramme
Le diagramme montre six cases, en deux rangées de trois. Une flèche relie les rangées. 1, Étiquettes et coûts : accord sur 100 messages, guide et tableau des coûts. 2, Comparaison : deux références de base et quatre familles, sur la validation, puis sur le test une seule fois. 3, Le choix : une méthode ou une cascade, ses zones et la charge de révision. 4, Le service : v1 fonctionne et les tests réussissent. 5, Avril : la dérive, le nouveau sujet, quelques étiquettes et v2 en production. 6, La décision : le coût par mois, les limites et les prochaines étapes.
routing-q2/ LABELS.md Part 1 REPORT.md Parts 2 to 5, with the commands that make every number comparison.csv Part 2 my_april_labels.csv Part 5 make_data.py and every script or notebook that you used models/ v1, v2 and their cards (models/current names the version in use) tests/ with your own test DECISION.md Part 6 requirements.txt exact versionsREPORT.md contient ces sections :
# Routing for the next quarter: report
## Data checks (checksums, rows, splits, the small routes)## Labels and agreement (Part 1, short; the full text is in LABELS.md)## Which messages to learn from (Part 2, step 1)## Comparison (Part 2: validation and test, sorted by total cost, slices with counts)## The router and its zones (Part 3: reason, calibration, zones on validation, test once, work a day)## The service (Part 4: commands and outputs, tests)## April (Part 5: drift table, topics, labels, checks of v2, release)## Labels and limits (which numbers are measured, constructed or assumed)Vérifier votre travail
Section intitulée « Vérifier votre travail »Un réviseur note chaque élément démontré, partiellement démontré ou pas encore démontré, avec une raison concrète. Sans réviseur, utilisez le tableau pour évaluer votre propre travail, ou demandez à un collègue. Chaque élément vaut des points : tous s’il est démontré, la moitié s’il est partiellement démontré, aucun sinon. Les points montrent les parties les plus faibles de votre travail. Mais le cours est terminé seulement quand les six éléments sont démontrés : 100 points. Vous pouvez améliorer un élément et le soumettre à nouveau.
| Élément requis | Points | Démontré quand | Partiellement démontré, par exemple | Pas encore démontré, par exemple |
|---|---|---|---|---|
| 1. Étiquettes et coûts (Mesurer l’accord) | 10 | L’accord et le kappa sur les 100 messages, les deux destinations les plus faibles avec leurs nombres de messages, cinq désaccords expliqués, une règle pour devices et une pour la place de marché, et le tableau des coûts qui nomme l’erreur la plus coûteuse. |
Aucun nombre de messages à côté des taux. | Aucun guide pour la nouvelle destination ou le nouveau canal. |
| 2. Comparaison (modules 3 à 5) | 25 | Les deux références de base et quatre familles, entraînées sur les mêmes messages, choisies sur la validation, testées une seule fois, avec les colonnes ci-dessus, triées par coût total. La question sur l’entraînement reçoit une réponse chiffrée. La différence entre validation et test est expliquée. | Une famille est évaluée sur d’autres messages, ou avec un autre tableau des coûts. | Aucune référence de base simple. Ou un réglage choisi sur les données de test. |
| 3. Le routeur et ses zones (module 8) | 20 | Une raison autre que l’exactitude, l’étalonnage vérifié, les zones choisies sur la validation sous la limite de 10 %, un seul test, et le travail par jour et le coût par mois. | Aucune vérification de l’étalonnage, ou aucun travail par jour. | Zones choisies sur les données de test. Ou une charge de révision supérieure à la limite. |
| 4. Le service (module 9) | 10 | v1 fonctionne, répond à un message de la place de marché avec sa zone et ses versions, refuse un texte vide, et les tests réussissent avec un test de votre création. |
Les tests réussissent, mais aucun test de votre création. | Le service ne fonctionne pas en suivant les instructions du rapport. |
| 5. Avril (modules 2 et 9) | 20 | La dérive trouvée avec le tableau hebdomadaire et les sujets, le nouveau sujet nommé et placé, quelques étiquettes avec une séparation temporelle, le nouveau sujet vérifié sur des messages non utilisés pour l’apprentissage, la vérification avant mise en production lue tranche par tranche, et v2 activé seulement après les deux vérifications. |
La vérification du nouveau sujet utilise des messages dont v2 a appris. |
Aucune vérification du nouveau sujet. Ou v2 activé sans vérification avant mise en production. |
| 6. La décision (tous les modules) | 15 | Une page en mots simples : le routeur, son coût par mois comparé au transfert de tout à une personne, le travail par jour, avril, une réponse chiffrée à Tomás, un point faible chiffré et quand réexaminer le système. | Les limites sont générales, sans chiffre. | Aucun coût. Ou une affirmation que le routeur convient à chaque message. |
Non accepté, peu importe le reste du travail (l’élément est « pas encore démontré ») :
- Une méthode choisie uniquement selon l’exactitude, sans coût par 1 000 messages. (Éléments 2 et 3.)
- Un seuil ou une méthode choisis sur les données de test, ou modifiés après avoir vu les résultats de test. (Éléments 2 et 3.)
- Une comparaison sans référence de base simple. (Élément 2.)
- Un nouveau modèle mis en production sans vérifier ce qu’il a ajouté sur des messages non utilisés pour son apprentissage. (Élément 5.)
À quoi ressemble un bon travail
Section intitulée « À quoi ressemble un bon travail »Un bon système de routage est honnête avant d’être impressionnant. Il possède trois qualités.
- Des mesures honnêtes selon les coûts du cours. Le coût par 1 000 messages, la charge de révision et le rappel des petites destinations, chacun avec son nombre de messages. Les hypothèses figurent à côté, et chaque chiffre porte une étiquette : mesuré, construit ou supposé.
- Une référence de base simple dans la comparaison. TF-IDF + régression logistique s’entraîne en quelques secondes. Si un modèle plus gros ne coûte pas moins cher, le rapport le dit et conserve le modèle simple.
- Une décision avec son coût. « Nous routons avec ce modèle et ces zones. Cela coûte environ ce montant par mois, contre ce montant pour une personne qui lit tout. L’équipe de Grace lit environ ce nombre de messages par jour. Le système est faible ici. Nous le réexaminons quand cette alarme se déclenche. »
Afficher nos résultats pour vérifier votre méthode
Ouvrez ceci seulement après avoir obtenu vos propres chiffres. Nous avons réalisé le travail une fois, uniquement à partir des données publiques, avec les étapes ci-dessus. Si vos choix diffèrent, vos chiffres diffèrent. Comparez alors la méthode, pas les chiffres. Nous avons étiqueté nous-mêmes les messages d’avril, en les lisant, comme vous.
- Accord : 82,0 % sur les 100 messages, kappa de Cohen de 0,787 : inférieur au 0,854 du cours. Les destinations les plus faibles sont
returns_refundsetbilling(24 messages chacune, avec un désaccord pour environ la moitié). La paire la plus fréquente concerne un remboursement ou un montant facturé, comme dans le cours. - Quels messages utiliser pour apprendre (TF-IDF + régression logistique, coût par 1 000 sur la validation) : mars seulement, 2 062,5 $ US; les 6 000 du cours seulement, 539,1 $ US; les deux, 171,9 $ US. Les 6 000 ne contenaient aucun message
devices, donc le modèle n’en a trouvé aucun. Mars seul contient trop peu de messages.
Description textuelle du graphique
Un diagramme à colonnes avec trois colonnes : le coût par 1 000 messages de validation de TF-IDF avec régression logistique, entraîné sur trois ensembles. Mars seulement, 768 messages : 2 062,5 $ US. L’historique du cours seulement, 6 000 messages : 539,1 $ US. Les deux : 171,9 $ US, dans une autre couleur. Sur les données de test, l’ordre est le même : 1 367,2, 859,4 et 296,9 $ US.
-
Comparaison (entraînement sur les deux; validation, puis test une seule fois; coût total par 1 000) :
Méthode Validation Test Exactitude sur le test TF-IDF mots seulement + LR 125,0 281,2 0,945 TF-IDF + SVM linéaire 140,6 273,4 0,945 TF-IDF + régression logistique 171,9 296,9 0,941 règles fortes + régression logistique 250,0 453,1 0,910 TF-IDF + Bayes naïf 328,1 210,9 0,945 plongements (embeddings) MiniLM-L12 + LR 593,8 382,8 0,938 tout transférer à une personne 1 500,0 1 500,0 0 règles ou une personne 1 658,2 2 279,3 0,477 GLiClass zéro exemple (zero-shot, sans étiquettes) 4 007,8 4 562,5 0,535 La famille TF-IDF est la moins chère, comme dans le cours. Bayes naïf est la ligne TF-IDF la plus chère sur la validation et la moins chère sur le test. Sur 256 messages, quelques erreurs urgentes de plus ou de moins inversent l’ordre. Voilà pourquoi vous choisissez sur la validation et testez une seule fois. Sur le test, le français est plus faible que l’anglais pour le modèle choisi (0,899 sur 69 messages contre 0,957 sur 187). La place de marché est proche des autres canaux (0,933 sur 75 messages). GLiClass trouve 11 des 15 messages sur les appareils sans aucune étiquette. Mais il coûte plus cher qu’une personne qui lit tout.
-
Zones (révision et transfert à une personne au plus à 10 %, choisies sur la validation) : TF-IDF + régression logistique décide à 0,49 ou plus. Validation : décision pour 94,1 %, coût de 132,8 $ US par 1 000. Test : décision pour 92,6 %, révision pour 2,7 %, personne pour 4,7 %, coût de 259,8 $ US. Le SVM linéaire décide à 0,69 : 113,3 $ US sur la validation et 238,3 $ US sur le test, avec 8,6 % en révision. La limite de 10 % ne contraint pas la régression logistique : 5 %, 15 % et 20 % donnent presque les mêmes seuils. Sa zone de transfert à une personne contient les messages que le modèle envoie à
needs_person. -
Le service :
v1a appris à partir de 6 768 messages et 8 destinations, avec une exactitude de validation de 0,957. Les 42 tests réussissent. -
Dérive en avril (
v1; proportion de messages incertains sur la validation de 5,9 %) : la proportion de messages incertains est de 8 %, 11,4 %, 13,8 % et 11,5 % par semaine, avec une alarme dans les trois dernières semaines. Le PSI des proportions des destinations reste sous 0,06 : les proportions bougent à peine. Le nouveau sujet se cache dans d’autres files. Parmi 113 messages incertains depuis le 6 avril, 4 des 6 groupes concernent la tondeuse : la station de recharge, le fil périphérique (en anglais et en français) et l’horaire de tonte. -
Où les messages sur la tondeuse sont allés : nous avons trouvé 104 messages depuis le 6 avril contenant les mots de la tondeuse.
v1les a envoyés àreturns_refunds(36),product(27),delivery(17),billing(13) et d’autres destinations, jamais àdevices. Parmi eux, 42 étaient dans la zone de décision. Nous avons lu et étiqueté 164 messages : 84 des 104 sont des questions de configuration, donc ils appartiennent àdevices. Les autres concernent des retours, des commandes, des livraisons, un montant facturé, une prise de contrôle ou une menace juridique qui mentionnent une tondeuse. -
La mise en production :
v2a appris à partir de 6 882 messages (dont 114 des nôtres). Sur nos 50 messages de vérification à partir du 20 avril, le rappel dedevicesest passé de 0,000 à 0,962 (25 sur 26), avec une précision de 0,893.route releasea réussi : aucune tranche ne s’est dégradée. Mais trois tranches de destinations ont moins de 30 messages : account 21, devices 15 et needs_person 12. La vérification les affiche sans les juger.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
Le routeur n'a jamais appris la nouvelle destination
Symptôme : les messages de mars concernant des appareils vont vers product ou returns_refunds, et le rappel de devices est de 0.
Cause : le modèle a appris uniquement à partir des 6 000 messages du cours. Aucun de ces messages n’a la destination devices.
Solution : utilisez l’historique et les messages de mars ensemble pour l’entraînement. Vérifiez que chaque destination des données de test figure dans les données d’entraînement avant de calculer les scores.
Erreur courante
La ligne la moins coûteuse change entre la validation et le test
Symptôme : la méthode la moins coûteuse en validation n’est pas la moins coûteuse au test, et vous voulez changer votre choix.
Cause : 256 messages, c’est peu. Un seul message urgent dans la mauvaise file d’attente ajoute 78,1 $ US par 1 000 messages. Quatre de ces messages changent l’ordre des lignes.
Solution : gardez le choix fait en validation. Présentez les deux chiffres, expliquez la différence et indiquez sur combien de messages elle repose.
Erreur courante
Aucune alarme sur les proportions des destinations, donc aucune dérive
Symptôme : le PSI (indice de stabilité de la population) reste faible en avril, et le rapport indique « aucune dérive ».
Cause : le nouveau sujet change peu les proportions des destinations. Ses messages se répartissent entre cinq anciennes files.
Solution : surveillez aussi la proportion de messages incertains et lisez ces messages par groupe. Un nouveau sujet se manifeste souvent d’abord par davantage de messages incertains, et non par de nouvelles proportions.
Erreur courante
La mise en production passe les vérifications, mais le nouveau sujet n'a jamais été vérifié
Symptôme : route release affiche RELEASED (mis en production), et le rapport indique que le problème de la tondeuse est réglé.
Cause : devices existait déjà dans v1. La vérification avant mise en production n’a donc détecté aucune nouvelle destination. Elle a vérifié seulement les anciennes tranches de mars.
Solution : vérifiez vous-même le nouveau sujet avant la mise en production. Utilisez des messages d’avril étiquetés dont le modèle candidat n’a pas appris.
Erreur courante
Tous les messages d'avril sont étiquetés comme le nouveau sujet
Symptôme : après la nouvelle version, des messages ordinaires d’avril, comme un retour de tondeuse, vont vers devices.
Cause : les étiquettes provenaient uniquement des mots du nouveau sujet, et toutes ont reçu la nouvelle destination.
Solution : lisez chaque message avant de l’étiqueter : un retour de tondeuse reste un retour. Ajoutez un échantillon aléatoire d’autres messages d’avril pour que le modèle voie aussi les anciennes destinations en avril.
Récapitulatif
Vous pouvez maintenant transformer une boîte de réception qui évolue en un routeur auquel une équipe peut faire confiance. Vous rédigez un guide, mesurez l’accord et attribuez un coût à chaque erreur. Vous comparez des méthodes dans un même test équitable, avec une référence de base simple, et choisissez selon le coût. Vous définissez des zones qui respectent la limite de l’équipe et faites fonctionner le routeur comme un service. Vous trouvez un nouveau sujet sans étiquettes et l’ajoutez avec quelques étiquettes. Vous le mettez en production seulement après avoir vérifié ce qui a changé. Vous expliquez aussi aux responsables ce que coûte le routeur et ce qu’il ne peut pas faire. Pour poursuivre, Évaluer et tester les systèmes d’IA approfondit les jeux de données, les tranches et les vérifications de régression. Créer des applications fiables avec les API de LLM développe les requêtes et les sorties structurées d’un routeur fondé sur un LLM.