Aller au contenu
English

Travail final

  • Après les études de cas
  • environ 3 h

Où nous en sommes

Chaque module a ajouté un élément et l'a essayé séparément : les étiquettes, les méthodes, les coûts, la cascade, les zones et le service. Dans ce travail, vous les utilisez tous ensemble. Larkfield ajoute un canal de place de marché et deux nouveaux produits. Vous livrez le système de routage pour le prochain trimestre.

Ce que vous saurez faire

Appliquez tout le cours à un nouveau trimestre chez Larkfield. Vous étiquetez les messages et chiffrez les erreurs, comparez les méthodes dans un test équitable et choisissez un routeur avec ses zones. Vous l’exécutez comme service, surveillez la dérive en avril et ajoutez un nouveau sujet de façon sûre. Ensuite, vous présentez votre décision à Grace et Omar, avec son coût et ses limites.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 180 minutes

Ce que vous devez savoir

  • Les modules 1 à 9. Chaque partie ci-dessous nomme les leçons qu’elle utilise. Les leçons sur les LLM du module 5 sont facultatives ici.
  • Le certificat demande aussi au moins une étude de cas du module 10. Pour voir d’abord les mêmes étapes sur des données réelles, ouvrez Router des questions bancaires.

Ce qu’il vous faut sur votre ordinateur

  • Python 3.12, un terminal et un carnet (notebook) Jupyter si vous le souhaitez. Les parties 1 à 3 conviennent bien à un carnet. Les parties 4 et 5 nécessitent le projet et un terminal.
  • Le dépôt des exercices du cours avec le dossier C36, comme dans Découvrir la boîte de réception. Exécutez git -C nextia-learning-labs pull pour obtenir le dossier C36/final.
  • L’instantané du projet C36/snapshots/end-of-m09 : la commande route avec le service, la vérification de dérive et la vérification avant mise en production.
  • Environ 300 Mo d’espace disque pour l’environnement virtuel, et environ 500 Mo de plus pour le modèle de plongement du module 4. Aucun compte, aucune clé ni aucuns frais. Une ligne LLM est facultative et nécessite votre propre clé.

Testé sur macOS (puce Apple), avec Python 3.12.13, pandas 3.1.1 et scikit-learn 1.9.1. Nous avons écrit les commandes Windows (PowerShell), mais nous ne les avons pas exécutées.

La situation : un nouveau canal et deux nouveaux produits

Section intitulée « La situation : un nouveau canal et deux nouveaux produits »

En mars, Larkfield commence à vendre sur une place de marché en ligne. Les clients écrivent maintenant aussi depuis cette plateforme : environ 3 messages sur 10. Deux produits sont nouveaux. Le Patio heater est en vente à partir de mars. Le Robot mower R2 sera en vente le 6 avril. Le Grow Hub, arrivé pendant le mois de lancement du module 9, a sa propre destination, devices, pour les questions de configuration des produits intelligents.

Grace, la responsable du soutien, écrit à Priya :

« J’ai besoin du routeur pour le prochain trimestre. Mon équipe peut lire au maximum 1 message sur 10. Je veux que les autres arrivent à la bonne équipe, et je veux savoir ce que les erreurs nous coûtent. Dites-moi aussi ce que vous ferez à l’arrivée du prochain produit. »

Omar, responsable du lancement de la tondeuse, ajoute : « Les questions sur la tondeuse ne doivent pas attendre dans la mauvaise file d’attente. » Tomás demande : « Pourquoi ne pas envoyer chaque message à un LLM? » Votre réponse à chacun doit s’appuyer sur des preuves.

Nous, l’équipe du cours, avons créé les données avec le même générateur que la boîte de réception du cours. Nous connaissons les bonnes destinations des messages d’avril. Nous ne vous les donnons pas : le dossier des exercices ne contient aucun corrigé. Vous trouvez les problèmes d’avril avec les méthodes du cours. Les données sont synthétiques, comme tous les messages de Larkfield.

Utilisez le tableau des coûts du cours sans modification pour pouvoir comparer vos chiffres à ceux des autres apprenants. Ce sont des hypothèses, les mêmes que dans Le coût de chaque erreur :

Hypothèse Valeur ($ US par message)
Une révision par une personne 1,50
Un message dans la mauvaise file 4
Un message urgent dans la mauvaise file 20
Une prise de contrôle de compte non détectée 200
Un message needs_person envoyé à une équipe 40
Un message destiné à une équipe envoyé à une personne expérimentée 2
Tout transférer à une personne (Larkfield avant le routeur) 1 500 par 1 000 messages
La limite de révision de Grace les zones de révision et de transfert à une personne réunies : au maximum 10 % des messages
Le volume environ 1 300 messages par mois (avril : 1 120 messages en 26 jours, environ 43 par jour)

Si vous voulez essayer un deuxième tableau des coûts, ajoutez-le en supplément et expliquez pourquoi. Gardez le premier comme résultat principal.

Les données se trouvent dans C36/final/data/ du dépôt des exercices : trois fichiers et une liste de leurs sommes de contrôle. Une somme de contrôle est un long nombre calculé à partir des octets d’un fichier. Si un octet change, la somme de contrôle change.

Fichier Lignes Une ligne Colonnes
messages.csv (334 Ko) 1 280 un message de mars 2026, avec ses étiquettes message_id, created_at, channel, language, text, route, topic, priority, routes, split, synthetic
double_labelled.csv (3 Ko) 100 un message d’entraînement de mars, étiqueté par Chloé et par Grace message_id, label_chloe, label_grace
stream.csv (238 Ko) 1 120 un message du 1er au 26 avril 2026, sans étiquettes message_id, created_at, channel, language, text, synthetic

Le sens des colonnes :

  • route : l’équipe qui doit agir en premier, ou needs_person (besoin d’une personne). Il y a huit destinations : les sept du cours et devices (appareils).
  • topic : le type de demande dans la destination, par exemple grow_hub_setup ou account_takeover. priority vaut urgent (urgent), normal (normal) ou low (faible).
  • routes : une destination, ou deux séparées par | quand un message demande deux choses. La première est l’étiquette.
  • channel : email (courriel), chat (clavardage), social (réseaux sociaux) ou, nouveauté, marketplace (place de marché). language : en (anglais) ou fr (français).
  • split : train (entraînement, 768), validation (validation, 256) ou test (test, 256).

Vous utilisez aussi les données du cours, dans C36/data/ : les 6 000 messages d’entraînement de l’historique, le guide et le tableau des coûts. Voici mars par destination. Regardez les petites destinations avant de lire les scores :

Les 1 280 messages de mars par destination : livraison (LIV), retours et remboursements (RET), produit (PRO), commandes (COM), facturation (FAC), compte (CPT), appareils (APP) et needs_person (PER). Les données de test contiennent environ un cinquième de chaque destination : 15 messages pour les appareils et 12 pour needs_person. Un seul message fait donc varier leur rappel de 7 à 8 points.
Description textuelle du graphique

Un diagramme à colonnes avec huit colonnes, une par destination, de la plus grande à la plus petite. Livraison 280, retours et remboursements 245, produit 171, commandes 168, facturation 159, compte 118, appareils 83 et needs_person 56. Les appareils et needs_person ont leurs propres couleurs. La destination compte comprend seulement 10 prises de contrôle de compte : 6 dans l’entraînement, 3 dans la validation et 1 dans le test.

Un seul message de test concerne une prise de contrôle de compte. Un rappel de 1,0 sur les données de test signifie donc « un message a été correctement classé », pas « toutes les prises de contrôle sont détectées ». Précisez-le chaque fois que vous citez ce résultat.

  1. Copiez le projet terminé dans un nouveau dossier, routing-q2, et installez-le :

    Fenêtre de terminal
    cp -R nextia-learning-labs/C36/snapshots/end-of-m09 routing-q2
    cd routing-q2
    python3.12 -m venv .venv
    source .venv/bin/activate
    pip install -r requirements.txt
    python get_data.py

    get_data.py place les données du cours dans data/. Les 42 tests du projet les utilisent.

  2. Enregistrez ce script sous le nom make_data.py dans routing-q2. Il vérifie les sommes de contrôle, puis crée un dossier de données pour le trimestre, q2-data/. Les modèles apprennent à partir des 6 000 messages d’entraînement du cours et des 768 de mars. La validation et le test utilisent seulement mars, car le trimestre ressemble à mars, pas à l’année dernière.

    import hashlib
    import shutil
    import sys
    from pathlib import Path
    import pandas as pd
    labs = Path(sys.argv[1])
    final = labs / "final" / "data"
    for line in (final / "SHA256SUMS").read_text().splitlines():
    digest, name = line.split()
    ok = hashlib.sha256((final / name).read_bytes()).hexdigest() == digest
    print("OK " if ok else "BAD", name)
    if not ok:
    raise SystemExit("A file is not the published one: download it again.")
    history = pd.read_csv(labs / "data" / "messages.csv", keep_default_na=False, na_values=[""])
    march = pd.read_csv(final / "messages.csv", keep_default_na=False, na_values=[""])
    history = history[history["split"] == "train"]
    out = Path("q2-data")
    out.mkdir(exist_ok=True)
    messages = pd.concat([history, march], ignore_index=True)
    messages.to_csv(out / "messages.csv", index=False)
    shutil.copyfile(final / "stream.csv", out / "launch_month.csv")
    shutil.copyfile(final / "double_labelled.csv", out / "double_labelled.csv")
    print(messages.groupby("split").size().to_string())
    print(f"Wrote {out}/: {len(messages)} labelled messages, "
    f"{len(pd.read_csv(out / 'launch_month.csv'))} April messages to replay.")

    Le flux d’avril prend le nom launch_month.csv. Ainsi, route drift réexécute avril sans modifier le code.

  3. Exécutez-le, puis indiquez à la commande route d’utiliser le nouveau dossier :

    Fenêtre de terminal
    python make_data.py ../nextia-learning-labs/C36
    export LARKROUTE_DATA=q2-data

    Vous voyez :

    OK double_labelled.csv
    OK messages.csv
    OK stream.csv
    split
    test 256
    train 6768
    validation 256
    Wrote q2-data/: 7280 labelled messages, 1120 April messages to replay.

    Exécutez chaque commande route de ce travail dans le dossier routing-q2, avec LARKROUTE_DATA défini. Exécutez les tests sans cette variable : ils vérifient les données du cours. N’exécutez pas route reset pendant le travail : cette commande supprime models/.

Ne choisissez jamais un réglage sur les messages qui servent à l’évaluer. Chaque partie des données a donc un rôle :

Quatre cases dans l'ordre chronologique. Dans un cadre, mars, 1 280 messages avec étiquettes : entraînement, 768, avec les 6 000 du cours, les modèles apprennent. Validation, 256, tous les choix : méthode, seuils, zones. Test, 256, utilisé une seule fois, après avoir figé les choix. Puis un deuxième cadre, avril, la réexécution : du 1er au 26 avril, 1 120 messages, sans étiquettes : les router, surveiller la dérive, le Robot mower R2 à partir du 6 avril.
Mars sert à entraîner, choisir et tester. Avril est la réexécution, sans étiquettes : vous trouvez ses problèmes vous-même.
Description textuelle du diagramme

Le diagramme montre quatre cases dans l’ordre chronologique. Les trois premières sont dans un cadre nommé « Mars : 1 280 messages avec étiquettes ». Case 1, entraînement, 768 messages : avec les 6 000 du cours, ils servent à l’apprentissage des modèles. Case 2, validation, 256 messages : tous les choix, la méthode, les seuils et les zones. Case 3, test, 256 messages : utilisés une seule fois, après avoir figé les choix. Une flèche mène à la case 4, dans un cadre nommé « Avril : la réexécution ». Du 1er au 26 avril, 1 120 messages sans étiquettes : vous les routez et surveillez la dérive. Le Robot mower R2 sera en vente le 6 avril.

Utilise Concevoir les étiquettes, Guide d’étiquetage, Mesurer l’accord et Le coût de chaque erreur.

Rédigez LABELS.md, une ou deux pages :

  1. Exécutez route agreement. Notez l’accord et le kappa de Cohen sur les 100 messages à double étiquetage. Comparez-les aux 800 messages du cours (87,9 %, kappa de 0,854).
  2. Nommez les deux destinations où Chloé et Grace sont le plus souvent en désaccord. Donnez les nombres à côté des taux : sur 100 messages, une destination peut n’en compter que quelques-uns.
  3. Lisez cinq messages où elles sont en désaccord. Pour chacun, indiquez quelle règle du guide tranche, ou qu’aucune règle ne le permet.
  4. Ajoutez deux règles au guide pour le trimestre. La première concerne devices : ce qui compte comme question de configuration, et ce qui va plutôt à product ou returns_refunds. La deuxième concerne la place de marché : le canal change-t-il la destination? Donnez un exemple de message pour chaque règle.
  5. Copiez le tableau des coûts ci-dessus. En dessous, expliquez en deux phrases quelle erreur coûte le plus à Larkfield ce trimestre, et pourquoi l’exactitude seule ne la révèle pas.

Utilise Règles par mots-clés et expressions régulières, Bayes naïf, régression logistique et SVM linéaire, Plongements de phrases pour la classification, Régler finement un petit encodeur sur CPU, Classification zéro exemple sans LLM, Ce que coûte le gain d’exactitude et Coût par 1 000 messages.

Comparez deux références de base et au moins quatre familles de méthodes. Entraînez-les sur les mêmes messages et évaluez-les avec le même tableau des coûts :

Famille Lignes
Références de base « tout transférer à une personne » (le coût de Larkfield avant le routeur), et le modèle le plus simple auquel vous faites confiance, par exemple TF-IDF + régression logistique
Règles « règles ou personne »
Classique TF-IDF avec régression logistique, SVM linéaire ou Bayes naïf
Plongements ou encodeur plongements figés + régression logistique, ou petit encodeur réglé finement sur CPU
Zéro exemple ou LLM GLiClass ou NLI avec une phrase par destination (sans étiquettes), ou un LLM avec votre propre clé (facultatif)

Les lignes du projet s’exécutent avec une seule commande. Les autres nécessitent quelques lignes de votre propre code. Dans un carnet, évaluez-les avec larkroute.metrics.score(). Ou ajoutez-les au projet comme dans Des modèles de décision spécialisés : ajouter un nouveau modèle comme ligne supplémentaire. Pour un modèle zéro exemple, écrivez aussi une phrase pour devices, par exemple « configurer un appareil intelligent, son application ou son Wi-Fi ».

  1. Répondez d’abord à une question : de quels messages les modèles devraient-ils apprendre? Entraînez TF-IDF + régression logistique trois fois : sur les 768 messages de mars seulement, sur les 6 000 du cours seulement, et sur les deux ensembles. Évaluez chaque modèle sur les données de validation. Gardez le meilleur pour la suite du travail, et justifiez ce choix en une phrase.
  2. Évaluez chaque ligne sur les données de validation : route compare --split validation --methods "…" pour les méthodes du projet, votre code pour les autres. Choisissez tous les réglages sur ces données (par exemple C de la régression logistique sur les plongements).
  3. Notez ces colonnes pour chaque ligne :
    • l’exactitude et le F1 macro sur les huit destinations;
    • le rappel de devices et de needs_person;
    • l’exactitude sur la place de marché, sur les autres canaux, en anglais et en français;
    • le coût des erreurs par 1 000 messages, le coût d’exécution par 1 000 messages, le total et les millisecondes par message.
  4. Figez vos choix. Évaluez ensuite chaque ligne sur les données de test une seule fois, et notez les mêmes colonnes à côté de celles de validation.
  5. Expliquez la différence entre validation et test pour les deux lignes les moins coûteuses. Sur 256 messages, un message urgent dans la mauvaise file ajoute 20 ÷ 256 × 1 000 = 78,1 $ US par 1 000 messages. Une prise de contrôle non détectée ajoute 781,3 $ US.
  6. Pour votre meilleure ligne, notez le rappel de chaque destination sur les données de test. Ajoutez l’exactitude de chaque canal et de chaque langue. Placez le nombre de messages à côté de chaque taux.

Placez les résultats dans comparison.csv, avec une ligne par méthode et par ensemble de données. Ne triez pas par exactitude : triez par coût total par 1 000 messages.

Utilise La confiance est-elle vraie?, Décider, faire réviser ou transférer à une personne, Les cascades et Le déséquilibre et les classes rares.

  1. Choisissez une méthode, ou une cascade de deux méthodes. Justifiez ce choix en trois à cinq phrases : coût total, charge de révision, vitesse et facilité à gagner la confiance de l’équipe de Grace.
  2. Vérifiez sa confiance sur les données de validation : le tableau de fiabilité et l’ECE (erreur d’étalonnage attendue). Un seuil appliqué à une confiance mal étalonnée déplace les mauvais messages.
  3. Choisissez les zones de décision automatique, de révision et de transfert à une personne sur les données de validation. Les deux dernières zones réunies doivent rester à 10 % au maximum. Pour TF-IDF + régression logistique, route zones --review-max 0.10 le fait. Pour une autre méthode, utilisez larkroute.zones.choose().
  4. Présentez les zones une seule fois sur les données de test : part dans chaque zone, erreurs dans la zone de décision automatique et coût par 1 000 messages. Comparez ce coût à celui de la même méthode sans zones.
  5. Convertissez les parts en charge de travail. Notez le nombre de messages par jour pour l’équipe de Grace, sur environ 43 messages par jour. Notez le coût par mois, sur environ 1 300 messages.
  6. Exécutez le même choix avec une limite de 5 % et de 20 %. Dites si la limite impose une contrainte : le seuil choisi change-t-il?

Utilise Un service de routage.

  1. Entraînez la première version et faites-en la version courante :

    Fenêtre de terminal
    route train --version v1 --make-current

    route train entraîne TF-IDF + régression logistique et choisit ses zones sur les données de validation. Si vous avez choisi une autre méthode dans la partie 3, modifiez la ligne du modèle dans larkroute/commands/train.py. Précisez-le dans le rapport.

  2. Démarrez le service avec route serve. Dans un deuxième terminal, interrogez /health, puis envoyez un message de la place de marché (PowerShell : Invoke-RestMethod, comme dans la leçon sur le service) :

    Fenêtre de terminal
    curl -s http://127.0.0.1:8036/health
    curl -s http://127.0.0.1:8036/route -H 'content-type: application/json' \
    -d '{"message_id": "Q-100001", "text": "My order LK-123456 from the marketplace has not arrived.", "channel": "marketplace"}'
  3. Envoyez un texte vide et vérifiez que la réponse est HTTP 422.

  4. Arrêtez le service (Ctrl+C). Exécutez les tests sans LARKROUTE_DATA : python -m pytest -q doit afficher 42 passed (42 tests réussis). Ajoutez votre propre test pour un élément que vous avez modifié, et exécutez-les de nouveau.

Utilise La dérive et les nouveaux sujets, Quand vous avez peu d’étiquettes, Peu d’étiquettes avec des plongements et Ajouter une étiquette ou réentraîner en toute sécurité.

  1. Exécutez route drift. Notez le tableau hebdomadaire et les alarmes. Pour chaque alarme, indiquez ce qui a changé : les proportions des destinations (PSI), la proportion de messages incertains, ou les deux.
  2. Exécutez route drift --topics --since 2026-04-06. Lisez les messages de chaque groupe. Nommez chaque groupe en quelques mots. Indiquez quels groupes représentent un nouveau sujet et lesquels n’en représentent pas. Si deux sujets partagent un groupe, essayez --k 8.
  3. Décidez, preuves à l’appui, si le nouveau sujet exige une nouvelle destination ou appartient à une destination existante. Utilisez la règle de votre guide de la partie 1.
  4. Trouvez où le modèle actuel envoie les messages du nouveau sujet, et dans quelles zones. Un message dans la zone de décision d’une mauvaise file d’attente coûte plus cher qu’un message en révision.

Quelques étiquettes, puis une mise en production sûre

Section intitulée « Quelques étiquettes, puis une mise en production sûre »
  1. Choisissez des messages d’avril à étiqueter. Prenez les messages depuis le 6 avril qui contiennent les mots du nouveau sujet. Ajoutez un échantillon aléatoire d’environ 60 autres messages d’avril. Ainsi, le modèle n’apprendra pas qu’« avril signifie le nouveau produit ».
  2. Étiquetez-les vous-même avec votre guide, comme le ferait Chloé, dans un fichier my_april_labels.csv contenant les colonnes message_id, route, split. Pour les messages du 20 avril et après, mettez split = check (vérification). Pour les messages précédents, utilisez train (entraînement). Gardez au moins 20 messages du nouveau sujet dans check.
  3. Entraînez un candidat : route train --version v2 --extra my_april_labels.csv. Sans --make-current, le service charge toujours v1.
  4. Vérifiez le candidat sur les messages check, qu’il n’a pas utilisés pour apprendre. Comparez v1 et v2 : le rappel et la précision de la destination qui reçoit le nouveau sujet. Fixez le seuil avant de regarder les résultats, par exemple un rappel de 0,80.
  5. Exécutez route release --candidate v2. Lisez chaque tranche. Notez quelles tranches sont trop petites pour permettre un jugement.
  6. Si les deux vérifications réussissent, redémarrez le service et vérifiez /health. Si l’une échoue, le modèle actuel reste v1 : étiquetez plus de messages et réessayez. Notez chaque essai.

Utilise Ce que coûte le gain d’exactitude, Les cascades : quand utiliser une cascade, et ce qu’elle coûte et Apprendre des corrections.

Rédigez DECISION.md, une page destinée à Grace et Omar, qui ne programment pas. Elle doit indiquer :

  1. Le routeur pour le trimestre : la méthode, les zones et la version du modèle.
  2. Son coût par 1 000 messages et par mois, comparé à « tout transférer à une personne ». Donnez le résultat de test et le résultat de validation, et expliquez leur différence.
  3. Le travail de l’équipe de Grace : les messages par jour en révision et ceux transférés à une personne expérimentée.
  4. Ce qui s’est passé en avril : vos découvertes, vos changements et les preuves que le changement est sûr.
  5. Une réponse à Tomás, avec des chiffres : qu’ajouterait un LLM, et quel serait son coût en temps et en vie privée?
  6. Ce que le routeur ne peut pas faire. Donnez au moins un point faible avec un chiffre, par exemple une destination, une langue ou un canal.
  7. Quand réexaminer le système : les alarmes que vous surveillez, qui les lit et ce qui se passe au prochain produit.
Six cases en deux rangées de trois. 1. Étiquettes et coûts : accord sur 100 messages, guide, tableau des coûts. 2. Comparaison : 2 références de base, 4 familles, validation, puis test une seule fois. 3. Le choix : méthode ou cascade, zones, charge de révision. 4. Le service : v1 fonctionne, les tests réussissent. 5. Avril : dérive, nouveau sujet, quelques étiquettes, v2 en production. 6. La décision : coût par mois, limites, prochaines étapes.
Le système de routage, dans l'ordre où vous le construisez. Chaque partie utilise la précédente.
Description textuelle du diagramme

Le diagramme montre six cases, en deux rangées de trois. Une flèche relie les rangées. 1, Étiquettes et coûts : accord sur 100 messages, guide et tableau des coûts. 2, Comparaison : deux références de base et quatre familles, sur la validation, puis sur le test une seule fois. 3, Le choix : une méthode ou une cascade, ses zones et la charge de révision. 4, Le service : v1 fonctionne et les tests réussissent. 5, Avril : la dérive, le nouveau sujet, quelques étiquettes et v2 en production. 6, La décision : le coût par mois, les limites et les prochaines étapes.

routing-q2/
LABELS.md Part 1
REPORT.md Parts 2 to 5, with the commands that make every number
comparison.csv Part 2
my_april_labels.csv Part 5
make_data.py and every script or notebook that you used
models/ v1, v2 and their cards (models/current names the version in use)
tests/ with your own test
DECISION.md Part 6
requirements.txt exact versions

REPORT.md contient ces sections :

# Routing for the next quarter: report
## Data checks (checksums, rows, splits, the small routes)
## Labels and agreement (Part 1, short; the full text is in LABELS.md)
## Which messages to learn from (Part 2, step 1)
## Comparison (Part 2: validation and test, sorted by total cost, slices with counts)
## The router and its zones (Part 3: reason, calibration, zones on validation, test once, work a day)
## The service (Part 4: commands and outputs, tests)
## April (Part 5: drift table, topics, labels, checks of v2, release)
## Labels and limits (which numbers are measured, constructed or assumed)

Un réviseur note chaque élément démontré, partiellement démontré ou pas encore démontré, avec une raison concrète. Sans réviseur, utilisez le tableau pour évaluer votre propre travail, ou demandez à un collègue. Chaque élément vaut des points : tous s’il est démontré, la moitié s’il est partiellement démontré, aucun sinon. Les points montrent les parties les plus faibles de votre travail. Mais le cours est terminé seulement quand les six éléments sont démontrés : 100 points. Vous pouvez améliorer un élément et le soumettre à nouveau.

Élément requis Points Démontré quand Partiellement démontré, par exemple Pas encore démontré, par exemple
1. Étiquettes et coûts (Mesurer l’accord) 10 L’accord et le kappa sur les 100 messages, les deux destinations les plus faibles avec leurs nombres de messages, cinq désaccords expliqués, une règle pour devices et une pour la place de marché, et le tableau des coûts qui nomme l’erreur la plus coûteuse. Aucun nombre de messages à côté des taux. Aucun guide pour la nouvelle destination ou le nouveau canal.
2. Comparaison (modules 3 à 5) 25 Les deux références de base et quatre familles, entraînées sur les mêmes messages, choisies sur la validation, testées une seule fois, avec les colonnes ci-dessus, triées par coût total. La question sur l’entraînement reçoit une réponse chiffrée. La différence entre validation et test est expliquée. Une famille est évaluée sur d’autres messages, ou avec un autre tableau des coûts. Aucune référence de base simple. Ou un réglage choisi sur les données de test.
3. Le routeur et ses zones (module 8) 20 Une raison autre que l’exactitude, l’étalonnage vérifié, les zones choisies sur la validation sous la limite de 10 %, un seul test, et le travail par jour et le coût par mois. Aucune vérification de l’étalonnage, ou aucun travail par jour. Zones choisies sur les données de test. Ou une charge de révision supérieure à la limite.
4. Le service (module 9) 10 v1 fonctionne, répond à un message de la place de marché avec sa zone et ses versions, refuse un texte vide, et les tests réussissent avec un test de votre création. Les tests réussissent, mais aucun test de votre création. Le service ne fonctionne pas en suivant les instructions du rapport.
5. Avril (modules 2 et 9) 20 La dérive trouvée avec le tableau hebdomadaire et les sujets, le nouveau sujet nommé et placé, quelques étiquettes avec une séparation temporelle, le nouveau sujet vérifié sur des messages non utilisés pour l’apprentissage, la vérification avant mise en production lue tranche par tranche, et v2 activé seulement après les deux vérifications. La vérification du nouveau sujet utilise des messages dont v2 a appris. Aucune vérification du nouveau sujet. Ou v2 activé sans vérification avant mise en production.
6. La décision (tous les modules) 15 Une page en mots simples : le routeur, son coût par mois comparé au transfert de tout à une personne, le travail par jour, avril, une réponse chiffrée à Tomás, un point faible chiffré et quand réexaminer le système. Les limites sont générales, sans chiffre. Aucun coût. Ou une affirmation que le routeur convient à chaque message.

Non accepté, peu importe le reste du travail (l’élément est « pas encore démontré ») :

  • Une méthode choisie uniquement selon l’exactitude, sans coût par 1 000 messages. (Éléments 2 et 3.)
  • Un seuil ou une méthode choisis sur les données de test, ou modifiés après avoir vu les résultats de test. (Éléments 2 et 3.)
  • Une comparaison sans référence de base simple. (Élément 2.)
  • Un nouveau modèle mis en production sans vérifier ce qu’il a ajouté sur des messages non utilisés pour son apprentissage. (Élément 5.)

Un bon système de routage est honnête avant d’être impressionnant. Il possède trois qualités.

  • Des mesures honnêtes selon les coûts du cours. Le coût par 1 000 messages, la charge de révision et le rappel des petites destinations, chacun avec son nombre de messages. Les hypothèses figurent à côté, et chaque chiffre porte une étiquette : mesuré, construit ou supposé.
  • Une référence de base simple dans la comparaison. TF-IDF + régression logistique s’entraîne en quelques secondes. Si un modèle plus gros ne coûte pas moins cher, le rapport le dit et conserve le modèle simple.
  • Une décision avec son coût. « Nous routons avec ce modèle et ces zones. Cela coûte environ ce montant par mois, contre ce montant pour une personne qui lit tout. L’équipe de Grace lit environ ce nombre de messages par jour. Le système est faible ici. Nous le réexaminons quand cette alarme se déclenche. »
Afficher nos résultats pour vérifier votre méthode

Ouvrez ceci seulement après avoir obtenu vos propres chiffres. Nous avons réalisé le travail une fois, uniquement à partir des données publiques, avec les étapes ci-dessus. Si vos choix diffèrent, vos chiffres diffèrent. Comparez alors la méthode, pas les chiffres. Nous avons étiqueté nous-mêmes les messages d’avril, en les lisant, comme vous.

  • Accord : 82,0 % sur les 100 messages, kappa de Cohen de 0,787 : inférieur au 0,854 du cours. Les destinations les plus faibles sont returns_refunds et billing (24 messages chacune, avec un désaccord pour environ la moitié). La paire la plus fréquente concerne un remboursement ou un montant facturé, comme dans le cours.
  • Quels messages utiliser pour apprendre (TF-IDF + régression logistique, coût par 1 000 sur la validation) : mars seulement, 2 062,5 $ US; les 6 000 du cours seulement, 539,1 $ US; les deux, 171,9 $ US. Les 6 000 ne contenaient aucun message devices, donc le modèle n’en a trouvé aucun. Mars seul contient trop peu de messages.
Le même modèle, entraîné sur trois ensembles de messages. Les deux ensembles réunis coûtent de loin le moins cher : les anciens messages apportent le volume, et mars apporte la nouvelle destination et le nouveau canal.
Description textuelle du graphique

Un diagramme à colonnes avec trois colonnes : le coût par 1 000 messages de validation de TF-IDF avec régression logistique, entraîné sur trois ensembles. Mars seulement, 768 messages : 2 062,5 $ US. L’historique du cours seulement, 6 000 messages : 539,1 $ US. Les deux : 171,9 $ US, dans une autre couleur. Sur les données de test, l’ordre est le même : 1 367,2, 859,4 et 296,9 $ US.

  • Comparaison (entraînement sur les deux; validation, puis test une seule fois; coût total par 1 000) :

    Méthode Validation Test Exactitude sur le test
    TF-IDF mots seulement + LR 125,0 281,2 0,945
    TF-IDF + SVM linéaire 140,6 273,4 0,945
    TF-IDF + régression logistique 171,9 296,9 0,941
    règles fortes + régression logistique 250,0 453,1 0,910
    TF-IDF + Bayes naïf 328,1 210,9 0,945
    plongements (embeddings) MiniLM-L12 + LR 593,8 382,8 0,938
    tout transférer à une personne 1 500,0 1 500,0 0
    règles ou une personne 1 658,2 2 279,3 0,477
    GLiClass zéro exemple (zero-shot, sans étiquettes) 4 007,8 4 562,5 0,535

    La famille TF-IDF est la moins chère, comme dans le cours. Bayes naïf est la ligne TF-IDF la plus chère sur la validation et la moins chère sur le test. Sur 256 messages, quelques erreurs urgentes de plus ou de moins inversent l’ordre. Voilà pourquoi vous choisissez sur la validation et testez une seule fois. Sur le test, le français est plus faible que l’anglais pour le modèle choisi (0,899 sur 69 messages contre 0,957 sur 187). La place de marché est proche des autres canaux (0,933 sur 75 messages). GLiClass trouve 11 des 15 messages sur les appareils sans aucune étiquette. Mais il coûte plus cher qu’une personne qui lit tout.

  • Zones (révision et transfert à une personne au plus à 10 %, choisies sur la validation) : TF-IDF + régression logistique décide à 0,49 ou plus. Validation : décision pour 94,1 %, coût de 132,8 $ US par 1 000. Test : décision pour 92,6 %, révision pour 2,7 %, personne pour 4,7 %, coût de 259,8 $ US. Le SVM linéaire décide à 0,69 : 113,3 $ US sur la validation et 238,3 $ US sur le test, avec 8,6 % en révision. La limite de 10 % ne contraint pas la régression logistique : 5 %, 15 % et 20 % donnent presque les mêmes seuils. Sa zone de transfert à une personne contient les messages que le modèle envoie à needs_person.

  • Le service : v1 a appris à partir de 6 768 messages et 8 destinations, avec une exactitude de validation de 0,957. Les 42 tests réussissent.

  • Dérive en avril (v1; proportion de messages incertains sur la validation de 5,9 %) : la proportion de messages incertains est de 8 %, 11,4 %, 13,8 % et 11,5 % par semaine, avec une alarme dans les trois dernières semaines. Le PSI des proportions des destinations reste sous 0,06 : les proportions bougent à peine. Le nouveau sujet se cache dans d’autres files. Parmi 113 messages incertains depuis le 6 avril, 4 des 6 groupes concernent la tondeuse : la station de recharge, le fil périphérique (en anglais et en français) et l’horaire de tonte.

  • Où les messages sur la tondeuse sont allés : nous avons trouvé 104 messages depuis le 6 avril contenant les mots de la tondeuse. v1 les a envoyés à returns_refunds (36), product (27), delivery (17), billing (13) et d’autres destinations, jamais à devices. Parmi eux, 42 étaient dans la zone de décision. Nous avons lu et étiqueté 164 messages : 84 des 104 sont des questions de configuration, donc ils appartiennent à devices. Les autres concernent des retours, des commandes, des livraisons, un montant facturé, une prise de contrôle ou une menace juridique qui mentionnent une tondeuse.

  • La mise en production : v2 a appris à partir de 6 882 messages (dont 114 des nôtres). Sur nos 50 messages de vérification à partir du 20 avril, le rappel de devices est passé de 0,000 à 0,962 (25 sur 26), avec une précision de 0,893. route release a réussi : aucune tranche ne s’est dégradée. Mais trois tranches de destinations ont moins de 30 messages : account 21, devices 15 et needs_person 12. La vérification les affiche sans les juger.

Erreur courante

Le routeur n'a jamais appris la nouvelle destination

Symptôme : les messages de mars concernant des appareils vont vers product ou returns_refunds, et le rappel de devices est de 0.

Cause : le modèle a appris uniquement à partir des 6 000 messages du cours. Aucun de ces messages n’a la destination devices.

Solution : utilisez l’historique et les messages de mars ensemble pour l’entraînement. Vérifiez que chaque destination des données de test figure dans les données d’entraînement avant de calculer les scores.

Erreur courante

La ligne la moins coûteuse change entre la validation et le test

Symptôme : la méthode la moins coûteuse en validation n’est pas la moins coûteuse au test, et vous voulez changer votre choix.

Cause : 256 messages, c’est peu. Un seul message urgent dans la mauvaise file d’attente ajoute 78,1 $ US par 1 000 messages. Quatre de ces messages changent l’ordre des lignes.

Solution : gardez le choix fait en validation. Présentez les deux chiffres, expliquez la différence et indiquez sur combien de messages elle repose.

Erreur courante

Aucune alarme sur les proportions des destinations, donc aucune dérive

Symptôme : le PSI (indice de stabilité de la population) reste faible en avril, et le rapport indique « aucune dérive ».

Cause : le nouveau sujet change peu les proportions des destinations. Ses messages se répartissent entre cinq anciennes files.

Solution : surveillez aussi la proportion de messages incertains et lisez ces messages par groupe. Un nouveau sujet se manifeste souvent d’abord par davantage de messages incertains, et non par de nouvelles proportions.

Erreur courante

La mise en production passe les vérifications, mais le nouveau sujet n'a jamais été vérifié

Symptôme : route release affiche RELEASED (mis en production), et le rapport indique que le problème de la tondeuse est réglé.

Cause : devices existait déjà dans v1. La vérification avant mise en production n’a donc détecté aucune nouvelle destination. Elle a vérifié seulement les anciennes tranches de mars.

Solution : vérifiez vous-même le nouveau sujet avant la mise en production. Utilisez des messages d’avril étiquetés dont le modèle candidat n’a pas appris.

Erreur courante

Tous les messages d'avril sont étiquetés comme le nouveau sujet

Symptôme : après la nouvelle version, des messages ordinaires d’avril, comme un retour de tondeuse, vont vers devices.

Cause : les étiquettes provenaient uniquement des mots du nouveau sujet, et toutes ont reçu la nouvelle destination.

Solution : lisez chaque message avant de l’étiqueter : un retour de tondeuse reste un retour. Ajoutez un échantillon aléatoire d’autres messages d’avril pour que le modèle voie aussi les anciennes destinations en avril.

Récapitulatif

Vous pouvez maintenant transformer une boîte de réception qui évolue en un routeur auquel une équipe peut faire confiance. Vous rédigez un guide, mesurez l’accord et attribuez un coût à chaque erreur. Vous comparez des méthodes dans un même test équitable, avec une référence de base simple, et choisissez selon le coût. Vous définissez des zones qui respectent la limite de l’équipe et faites fonctionner le routeur comme un service. Vous trouvez un nouveau sujet sans étiquettes et l’ajoutez avec quelques étiquettes. Vous le mettez en production seulement après avoir vérifié ce qui a changé. Vous expliquez aussi aux responsables ce que coûte le routeur et ce qu’il ne peut pas faire. Pour poursuivre, Évaluer et tester les systèmes d’IA approfondit les jeux de données, les tranches et les vérifications de régression. Créer des applications fiables avec les API de LLM développe les requêtes et les sorties structurées d’un routeur fondé sur un LLM.