Découvrir la boîte de réception
- Leçon 4
- 35 min
- Module 1 : Le problème du routage et son coût
Où nous en sommes
Nous avons des étiquettes et un coût pour chaque erreur, sur papier. Nous n'avons pas encore ouvert les données. Dans cette leçon, nous préparons le projet et lisons la boîte de réception de Larkfield et son guide d'étiquetage. Nous lançons la première comparaison et apprenons à tout réinitialiser.
Leçon 4 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitDécouvrir la boîte de réception
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Ouvrez la boîte de réception de Larkfield, vérifiez votre installation et lancez vous-même la première comparaison du cours. Chaque module suivant compare ses méthodes sur ces mêmes messages, avec ces mêmes coûts.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il lit la boîte de réception, le tableau des coûts et la première comparaison. Ses cellules de préparation installent pandas, scikit-learn et matplotlib et téléchargent les données (environ 9 Mo). Aucune installation locale n’est donc nécessaire. Environ 20 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les sept destinations, les sujets et la priorité, présentés dans Concevoir les étiquettes.
- Le tableau des coûts et le coût par 1 000 messages, présentés dans Le coût de chaque erreur.
- Comment exécuter une cellule dans un carnet et lire un tableau pandas. Apprentissage automatique : du problème à un modèle fiable utilise les deux dès ses premières leçons.
Ce qu’il vous faut sur votre ordinateur
- L’option carnet (recommandée pour cette leçon) : un navigateur et un compte Google gratuit pour Colab, ou un compte Kaggle gratuit.
- L’option projet (nécessaire à partir du module 2) : Python 3.12, un terminal et Git ou un navigateur pour télécharger un fichier ZIP. Les étapes se trouvent dans Le projet sur votre ordinateur, ci-dessous.
Testé sur macOS (Apple silicon) avec Python 3.12.13, pandas 3.1.1 et scikit-learn 1.9.1, dans Jupyter et dans le terminal. Les commandes Windows, Linux, Colab et Kaggle n’ont pas été testées.
Le premier matin dans la salle du courrier
Section intitulée « Le premier matin dans la salle du courrier »Une nouvelle employée arrive au bureau de poste. Avant qu’elle trie une seule lettre, un collègue lui fait visiter les lieux. Combien de lettres arrivent chaque jour? Quels casiers sont pleins, et lesquels sont presque vides? Où se trouve la feuille des règles de tri? Et comment le gestionnaire compte-t-il ses erreurs à la fin de la semaine?
Tout cela n’est pas du tri. Mais une employée qui saute ces étapes trie au hasard, et personne ne peut dire si elle travaille bien. Cette leçon est votre premier matin. Vous comptez les messages, lisez les règles et lancez le tableau des résultats utilisé dans chaque module.
Ouvrez le carnet et préparez l’environnement
Section intitulée « Ouvrez le carnet et préparez l’environnement »- Ouvrez le carnet à partir de l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez la première cellule de préparation. Elle installe les paquets et affiche
pandas 3.1.1etscikit-learn 1.9.1. - Si vous voyez d’autres versions, redémarrez le noyau, puis exécutez la cellule de nouveau.
- Exécutez la deuxième cellule de préparation. Elle télécharge la boîte de réception dans un dossier
larkfield-inbox/data, avec le module utilitaire du cours,routing.py, et vérifie chaque fichier. - Vérifiez sa dernière ligne :
Ready: 10000 messages (6000 train, 2000 validation, 2000 test), all synthetic.(prêt : 10 000 messages, dont 6 000 d’entraînement, 2 000 de validation et 2 000 de test, tous synthétiques). - Exécutez la cellule des utilitaires. Elle charge les messages dans
messages,train,validationettest, et le module utilitaire sous le nomrt. Elle n’affiche rien.
La préparation vérifie chaque fichier avec une somme de contrôle : une courte empreinte du fichier. Si un seul octet est incorrect, l’empreinte change et la cellule s’arrête avec wrong checksum (somme de contrôle incorrecte). Supprimez alors le dossier larkfield-inbox et exécutez la cellule de nouveau. Si elle affiche Could not download (téléchargement impossible), vérifiez votre connexion Internet. Dans Kaggle, activez aussi Internet dans les paramètres du carnet.
Le contenu de la boîte de réception
Section intitulée « Le contenu de la boîte de réception »Chaque ligne de messages.csv est un message qu’un client a envoyé à Larkfield. Voici les colonnes les plus utilisées dans le cours :
| Colonne | Contenu | Exemple |
|---|---|---|
text |
Ce que le client a écrit | “hi, about the cushion set I sent back weeks ago…” |
channel, language |
email (courriel), chat (clavardage) ou social (réseaux sociaux); en (anglais) ou fr (français) |
chat, en |
route |
L’étiquette : l’équipe qui doit agir en premier, ou needs_person (besoin d’une personne) |
returns_refunds |
topic, priority |
Les deuxième et troisième questions | refund_status, normal |
routes |
Une ou deux demandes, séparées par ` | ` |
split |
train (entraînement), validation ou test |
train |
La section 1 du carnet vous demande de prédire les destinations la plus fréquente et la moins fréquente, puis les compte :
print(len(messages), "messages from", messages["created_at"].min()[:10], "to", messages["created_at"].max()[:10])print(messages["route"].value_counts().to_string())10000 messages from 2025-09-01 to 2026-01-31routedelivery 2318returns_refunds 2015product 1440orders 1428billing 1329account 979needs_person 491L’historique couvre cinq mois, soit environ 65 messages par jour. La répartition reste fixe pour tout le cours : 6 000 messages pour l’entraînement, 2 000 pour la validation et 2 000 pour le test. Chaque destination et chaque langue occupent la même proportion dans les trois parties.
Description textuelle du diagramme
Un graphique à barres horizontales avec une barre par destination, de la plus fréquente à la moins fréquente. Chaque barre comporte une partie anglaise et une partie française. Livraison : 2 318 messages, 1 643 en anglais et 675 en français. Retours et remboursements : 2 015, dont 1 430 et 585. Produit : 1 440, dont 1 018 et 422. Commandes : 1 428, dont 1 006 et 422. Facturation : 1 329, dont 958 et 371. Compte : 979, dont 683 et 296. Needs_person : 491, dont 333 et 158. Environ 3 messages sur 10 sont en français dans chaque destination. Le graphique couvre 10 000 messages du 1 septembre 2025 au 31 janvier 2026.
- Langue
- Canal
Description textuelle du graphique
Un graphique à colonnes en deux groupes, sur un axe de 0 à 8 000 messages. Langue : 7 071 messages en anglais et 2 929 en français. Canal : 4 538 par courriel, 3 438 par clavardage et 2 024 sur les réseaux sociaux. La longueur médiane des messages est de 28 mots : 33 par courriel, 25 par clavardage et 24 sur les réseaux sociaux.
La section 3 compte les autres étiquettes. Chaque destination a 4 sujets, sauf needs_person, qui en a 3 : 27 sujets au total. Dans les données d’entraînement, 3 955 messages sont normal (normaux), 1 028 urgent (urgents) et 1 017 low (de faible priorité). Seulement 44 messages d’entraînement concernent des prises de contrôle de compte, le sujet rare et coûteux.
Lisez le guide
Section intitulée « Lisez le guide »Les étiquettes viennent de personnes qui ont suivi des règles écrites. Ces règles se trouvent dans data/guidelines.md, que Chloé, une agente de soutien bilingue, a rédigé pour les annotateurs. Ouvrez-le dans le panneau des fichiers du carnet, ou sur GitHub. Il comporte trois parties :
- La règle qui passe avant toutes les autres : étiquetez la demande, pas les mots. Si un client demande deux choses, étiquetez la demande principale : généralement la première, ou la plus urgente.
- Une règle et un exemple pour chaque destination. Par exemple,
deliverycouvre un colis en retard, perdu ou « indiqué comme livré, mais non reçu ». - Les cas difficiles entre deux destinations. Un remboursement après un retour relève de
returns_refunds; des frais incorrects relèvent debilling. Un article arrivé endommagé relève dereturns_refunds; un article brisé après des semaines d’utilisation relève deproduct(garantie).
Lisez les cas difficiles avant le module 2. C’est là que des personnes attentives sont en désaccord, et donc que les modèles le sont aussi.
Cette boîte de réception est plus facile qu’une vraie
Section intitulée « Cette boîte de réception est plus facile qu’une vraie »Avant de voir un score, sachez ceci sur les données. La boîte de réception de Larkfield est plus facile qu’une vraie boîte de soutien, et le cours le dit volontairement.
Voici pourquoi. Un programme a construit chaque message à partir d’un des 27 gabarits de sujets. Il y a ajouté des faits, comme un numéro de commande et un nom de produit. Puis un seul petit modèle de langage a réécrit chaque brouillon dans les mots d’un client, avec styles, tons et fautes de frappe. La formulation varie, mais elle vient d’un seul auteur et de 27 structures. Les mêmes mots reviennent donc sans cesse, et un modèle simple les trouve facilement. Sur cette boîte de réception, un modèle classique sans apprentissage profond, TF-IDF avec régression logistique, achemine correctement 0,962 des messages de test. La première version des données donnait 0,993. Deux cycles de formulations plus difficiles ont seulement ramené ce résultat à 0,962.
Ainsi, quand le cours cite un score, il dit « sur cette boîte de réception » ou « ici ». Ne le prenez pas comme le résultat d’une méthode sur de vrais messages. La fiche du jeu de données, data/dataset-card.md, dit la même chose sous Limitations (limites). Les études de cas à la fin du cours utilisent de vraies données publiques. Elles comprennent des questions bancaires de clients et des demandes qu’un robot conversationnel ne peut pas traiter. Les scores y sont plus bas et les écarts entre les méthodes, plus grands.
La boîte de réception présente tout de même de réelles difficultés par endroits. Nous avons inséré volontairement des messages difficiles, et c’est là que les méthodes diffèrent :
Description textuelle du diagramme
Le graphique comporte cinq barres horizontales. Son titre indique : messages difficiles, 3 660 sur 10 000, soit 36,6 %. La première barre, en gris, montre les messages simples, sans ces difficultés : 6 340, soit 63,4 %. Viennent ensuite les quatre catégories difficiles. Messages vagues, comme “see my last email” : 1 266, soit 12,7 %. Messages avec deux demandes : 1 255, soit 12,6 %. Messages à la limite des règles, qui utilisent les mots d’une autre équipe, comme une question sur un produit mentionnant un retour : 960, soit 9,6 %. Sarcasme : 179, soit 1,8 %.
Un message vague renvoie à un message précédent au lieu de préciser sa demande. Le message d’ouverture de la première leçon, “see my last email, maybe it got missed”, en est un. Un message à la limite des règles utilise les mots d’une autre équipe, comme la question sur un produit mentionnant un retour. Ce sont les messages à lire quand deux méthodes sont en désaccord.
Le tableau des coûts dans le code
Section intitulée « Le tableau des coûts dans le code »La section 4 du carnet charge le tableau des coûts et chiffre deux erreurs avec l’utilitaire rt.message_cost(label, predicted, priority, topic) :
costs = rt.load_costs()for name, dollars in costs.items(): print(f"{name:30} {dollars:8.2f} dollars")print(rt.message_cost("returns_refunds", "product", "normal", "refund_status"))print(rt.message_cost("account", "billing", "urgent", "account_takeover"))review 1.50 dollarswrong_queue 4.00 dollarswrong_queue_urgent 20.00 dollarsmissed_account_takeover 200.00 dollarsneeds_person_sent_to_team 40.00 dollarsteam_message_sent_to_person 2.00 dollars4.0200.0La première erreur chiffrée est celle du message d’ouverture : une question sur un remboursement dans la file de l’équipe produit, 4 $ US. La deuxième est une prise de contrôle de compte dans la file de facturation, 200 $ US. L’utilitaire suit la règle étape par étape de la dernière leçon.
La première comparaison
Section intitulée « La première comparaison »La section 5 lance la première comparaison du cours sur les 2 000 messages de test. Elle comporte trois lignes :
- Tout transférer à une personne : Larkfield aujourd’hui.
- Règles ou personne : les règles par mots-clés du projet décident lorsqu’une règle correspond, et une personne lit le reste.
- TF-IDF + régression logistique : un premier modèle, entraîné sur les 6 000 messages d’entraînement. Le module 3 explique son fonctionnement. Pour l’instant, c’est un modèle qui apprend quels mots vont avec quelle destination.
Faites d’abord une prédiction : quelle ligne a le coût total le plus bas par 1 000 messages? Est-ce aussi la plus exacte? La cellule se termine par rt.show(rows), qui affiche ce tableau :
| method | accuracy | macro_f1 | takeover_recall | needs_person_recall | accuracy_en | accuracy_fr | mistakes_per_1000 | run_per_1000 | total_per_1000 | ms_per_message | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | TF-IDF + logistic regression | 0.962 | 0.965 | 0.917 | 1.000 | 0.966 | 0.952 | 296.0 | 0.0 | 296.0 | None |
| 1 | everything to a person | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 1500.0 | 0.0 | 1500.0 | None |
| 2 | rules or a person | 0.555 | 0.625 | 0.833 | 0.818 | 0.577 | 0.503 | 1757.8 | 0.0 | 1757.8 | None |
Voici le tableau de comparaison du cours, dans sa première forme. Lisez les colonnes de gauche à droite :
accuracy(exactitude) : la proportion de messages envoyés à la bonne destination. Une révision ne compte pas comme une bonne destination.macro_f1(F1 macro) : un score qui donne le même poids à chaque destination. Les petites destinations comptent donc autant quedelivery(livraison). Le cours d’apprentissage automatique explique le score F1.takeover_recall(rappel des prises de contrôle de compte) : la proportion des 12 prises de contrôle de compte du test qui atteignent l’équipe des comptes.0.917correspond à 11 sur 12.needs_person_recall(rappel des messages ayant besoin d’une personne) : la proportion des 99 messagesneeds_personqui atteignent une personne.accuracy_en,accuracy_fr(exactitude en anglais et en français) : l’exactitude en anglais et en français.mistakes_per_1000,run_per_1000,total_per_1000(erreurs, exécution et total par 1 000) : le coût des erreurs et des révisions, le coût d’exécution et leur somme, par 1 000 messages.ms_per_message(millisecondes par message) : le temps pour acheminer un message. Le carnet ne chronomètre pas les méthodes, alors il afficheNone(aucune valeur).
Sur cette boîte de réception, le modèle coûte 296 $ US par 1 000 messages, environ un cinquième du coût actuel de Larkfield. Les règles coûtent plus cher qu’une personne, comme la dernière leçon l’a montré. Les messages français sont un peu plus difficiles pour le modèle que les messages anglais : 0,952 contre 0,966.
À vous de jouer : les messages français
Section intitulée « À vous de jouer : les messages français »La section 6 vous demande de compter les messages de test français que le modèle envoie à la mauvaise destination. Mettez le nombre dans wrong_fr. Utilisez model.predict(...) sur les messages de test français et comparez le résultat à leur route. Exécutez ensuite la cellule de vérification.
Afficher la réponse
fr = test[test["language"] == "fr"]wrong_fr = int((model.predict(fr["text"]) != fr["route"]).sum())print(wrong_fr, "of", len(fr))28 of 589La cellule de vérification affiche Check passed: wrong_fr is 28. (vérification réussie : wrong_fr vaut 28). Cela donne 561 bonnes destinations sur 589, soit le 0.952 de la colonne accuracy_fr.
Erreur courante
L'exactitude sans le coût
Symptôme : Tomás lit le tableau et dit : « Le modèle a raison pour 96 % des messages. Mettons-le en production. » La section 7 du carnet regroupe les 76 messages de test mal acheminés par étiquette et additionne leurs coûts :
count sumrouteaccount 9 232.0returns_refunds 16 96.0delivery 20 76.0billing 10 72.0product 11 60.0orders 10 56.0Cause : les 9 messages account (compte) mal acheminés coûtent 232 $ US, soit 39 % des 592 $ US de l’ensemble des erreurs. La majeure partie vient d’une prise de contrôle de compte dans la file de facturation. Les 20 messages delivery mal acheminés, plus de deux fois plus nombreux, coûtent seulement 76 $ US. « 96 % de bonnes destinations » ne dit rien sur les 4 % de mauvaises destinations.
Solution : lisez le coût par destination, pas seulement l’exactitude. Le module 7 augmente volontairement le rappel des prises de contrôle de compte. Le module 8 transfère les cas incertains à une personne.
Conséquence dans le travail en IA : un routeur « exact à 96 % » peut quand même laisser passer ses erreurs les plus coûteuses. L’équipe les découvre par un client en colère, pas par le rapport.
Le projet sur votre ordinateur
Section intitulée « Le projet sur votre ordinateur »À partir du module 2, vous travaillez aussi dans le projet du cours, larkroute. Ce petit paquet Python comprend une commande, route, qui exécute la même comparaison sur votre ordinateur. Le carnet Jupyter vous a présenté les données. Le projet vous donne un outil que vous modifiez au fil des modules.
Le projet se trouve dans le dépôt des exercices du cours, dans C36/snapshots/. Chaque instantané est une copie du projet à un moment du cours. Vous partez de l’instantané start.
-
Ouvrez un terminal et allez dans le dossier où vous gardez vos projets, par exemple
~/projects. -
Récupérez le dépôt des exercices avec Git :
Fenêtre de terminal git clone https://github.com/Nextia-Intelligence/nextia-learning-labs.gitSans Git, téléchargez le fichier ZIP du dépôt et décompressez-le ici. Son dossier s’appelle alors
nextia-learning-labs-main: utilisez ce nom à l’étape suivante. -
Copiez l’instantané
startdans un nouveau dossierlarkroute, puis ouvrez ce dossier dans le terminal. Sur macOS et Linux :Fenêtre de terminal cp -R nextia-learning-labs/C36/snapshots/start larkroutecd larkrouteSur Windows (PowerShell) :
Fenêtre de terminal Copy-Item -Recurse nextia-learning-labs\C36\snapshots\start larkroutecd larkroute -
Créez un environnement virtuel et activez-le. Sur macOS et Linux :
Fenêtre de terminal python3.12 -m venv .venvsource .venv/bin/activateSur Windows (PowerShell) :
Fenêtre de terminal py -3.12 -m venv .venv.venv\Scripts\Activate.ps1 -
Installez les paquets aux versions fixées et le projet lui-même :
Fenêtre de terminal pip install -r requirements.txt -
Téléchargez les données dans
data/. La commande est la même sur tous les systèmes :Fenêtre de terminal python get_data.pyVous voyez
Ready: 35 files in data/, every checksum is right.(Prêt : 35 fichiers dans data/, toutes les sommes de contrôle sont correctes.) -
Exécutez les tests. Vous voyez
10 passed(10 tests réussis).Fenêtre de terminal python -m pytest -q
Un environnement virtuel est un dossier (.venv) qui contient ses propres paquets Python. Ainsi, les versions de ce projet ne changent pas les autres projets. Quand il est actif, votre invite commence par (.venv). Activez-le de nouveau dans chaque nouveau terminal.
Exécutez maintenant les deux premières commandes :
route info10000 messages (6000 train, 2000 test, 2000 validation), from 2025-09-01 to 2026-01-31. All synthetic.Routes: delivery 2318, returns_refunds 2015, product 1440, orders 1428, billing 1329, account 979, needs_person 491Languages: en 7071, fr 2929 | Channels: email 4538, chat 3438, social 2024route compare --quickScoring 3 methods on the test messages (trained on the reviewed labels)... everything to a person: done rules or a person: done TF-IDF + logistic regression: done method accuracy macro-F1 takeover needs person EN FR mistakes $/1k run $/1k total $/1k ms/msgTF-IDF + logistic regression 0.962 0.965 0.917 1.000 0.966 0.952 296.0 0.0 296.0 0.14 everything to a person 0.000 0.000 0.000 0.000 0.000 0.000 1500.0 0.0 1500.0 0.00 rules or a person 0.555 0.625 0.833 0.818 0.577 0.503 1757.8 0.0 1757.8 0.03Ce sont les trois lignes du carnet Jupyter. Le projet les classe de la moins chère à la plus chère. Ici, l’exécution a pris environ 6 secondes. La dernière colonne, les millisecondes par message, dépend de votre ordinateur. Votre valeur sera donc différente. Tous les autres nombres doivent être identiques. « Entraîné sur les étiquettes révisées » désigne les étiquettes dans messages.csv. Le module 2 présente un ensemble plus bruité.
Changez une chose : le prix d’une révision
Section intitulée « Changez une chose : le prix d’une révision »Le tableau des coûts se trouve dans le fichier config/costs.json. Avant de le modifier, faites une prédiction : si une révision coûte 1,00 $ US plutôt que 1,50 $ US, quelles lignes changent?
- Ouvrez
config/costs.jsondans votre éditeur. - Remplacez la ligne
"review": 1.5,par"review": 1.0,et enregistrez le fichier. - Exécutez de nouveau
route compare --quick.
TF-IDF + logistic regression 0.962 0.965 0.917 1.000 0.966 0.952 296.0 0.0 296.0 0.17 everything to a person 0.000 0.000 0.000 0.000 0.000 0.000 1000.0 0.0 1000.0 0.00 rules or a person 0.555 0.625 0.833 0.818 0.577 0.503 1639.5 0.0 1639.5 0.04Les deux lignes qui font appel à une personne coûtent moins cher. Tout transférer à une personne coûte maintenant 1 000 $ US, et les règles coûtent 1 639,5 $ US. La ligne du modèle ne change pas, car il décide pour chaque message et n’en envoie aucun en révision. Une révision moins chère rend la révision plus intéressante. Le module 8 utilise exactement ce compromis.
Réinitialisation
Section intitulée « Réinitialisation »route reset ramène le projet à son état initial : il supprime ce que les commandes ont écrit (models/, runs/, queue/). Il restaure les fichiers de configuration et vérifie les données.
route resetReset: removed nothing; config restored: costs.json; data: all files are right.Le projet a restauré votre fichier costs.json modifié. Exécutez cette commande chaque fois que vous ne savez plus dans quel état se trouve le projet. Elle supprime seulement ces trois dossiers. Gardez donc vos propres fichiers ailleurs.
Erreur courante
Un fichier de données manquant ou modifié
Symptôme : route info s’arrête avec cette ligne :
These data files are missing or changed: messages.csv. Run: route resetCause : quelqu’un a supprimé, déplacé ou modifié à la main un fichier dans data/. Sa somme de contrôle ne correspond donc plus. Les commandes qui le lisent donneraient des nombres que personne d’autre ne pourrait comparer.
Solution : exécutez route reset. La commande télécharge chaque fichier manquant ou modifié, puis les vérifie de nouveau. La première ligne de sa sortie est celle de get_data.py : Ready: 35 files in data/, every checksum is right. Si vous voyez Could not download (téléchargement impossible), vérifiez votre connexion Internet et relancez la commande.
Conséquence pour le travail en IA : un tableau de comparaison a du sens seulement si chaque ligne utilise les mêmes données. Une somme de contrôle permet de le vérifier à peu de frais.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Pourquoi le cours précise-t-il « sur cette boîte de réception » quand il cite un score comme 0,962? Qu'est-ce qui rend la boîte de réception de Larkfield plus facile qu'une vraie?
Afficher la réponse
Un petit modèle de langage a écrit tous les messages à partir de 27 gabarits de sujets. Les formulations varient, mais les mêmes mots reviennent sans cesse. Même un simple modèle TF-IDF achemine donc correctement 0,962 des messages de test. Une vraie boîte de réception reçoit des messages de nombreuses personnes, avec de nouveaux sujets et un langage moins soigné. La même méthode y obtient donc un score plus faible. La fiche du jeu de données le précise dans ses limites. Les études de cas utilisent des données publiques réelles, où les scores sont plus faibles.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Dans route compare --quick, « règles ou personne » a une exactitude de 0,555 et « tout transférer à une personne » a une exactitude de 0. Prédisez ce qui arrive aux deux lignes si une révision coûte 1,00 $ US plutôt que 1,50 $ US. Expliquez pourquoi la ligne TF-IDF ne change pas.
Afficher la réponse
Les deux lignes coûtent moins cher, car elles transfèrent toutes deux des messages à une personne. Tout transférer à une personne passe de 1 500 $ US à 1 000 $ US par 1 000 messages. Les règles ou une personne passent de 1 757,8 $ US à 1 639,5 $ US. Les exactitudes ne changent pas, car une révision ne compte jamais comme une destination correcte. La ligne TF-IDF reste à 296 $ US, car le modèle décide pour chaque message et n’en envoie aucun en révision.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vous avez modifié config/costs.json et supprimé data/messages.csv par erreur. Quelle commande unique restaure le projet, et que fait-elle?
Afficher la réponse
route reset. Elle supprime ce que les commandes ont écrit (models/, runs/, queue/) et restaure les fichiers de configuration du cours, comme costs.json. Ensuite, elle télécharge chaque fichier de données manquant ou dont la somme de contrôle est incorrecte. Elle affiche ses actions, par exemple config restored: costs.json; data: all files are right. (configuration restaurée : costs.json; données : tous les fichiers sont corrects).
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- La boîte de réception contient 10 000 messages de septembre 2025 à janvier 2026 : 6 000 pour l’entraînement, 2 000 pour la validation et 2 000 pour le test. Ils sont en anglais (7 071) et en français (2 929), par courriel, clavardage et réseaux sociaux.
- Les destinations n’ont pas la même taille :
delivery2 318,needs_person491. Seulement 44 messages d’entraînement concernent des prises de contrôle de comptes. - Cette boîte de réception est plus facile qu’une vraie : un modèle a écrit tous les messages à partir de 27 gabarits. Dites « sur cette boîte de réception » quand vous citez un score. Les cas difficiles insérés représentent 36,6 % des messages.
- Première comparaison, sur les messages de test : TF-IDF + régression logistique 0,962 et 296 $ US par 1 000 messages. Tout transférer à une personne coûte 1 500 $ US; les règles ou une personne obtiennent 0,555 et coûtent 1 757,8 $ US.
- Le projet
larkrouteexécute cette comparaison avecroute compare --quick.config/costs.jsoncontient les coûts, etroute resetrestaure tout.
Vous pouvez maintenant ouvrir les données et exécuter le tableau des scores. Mais tous les scores jusqu’ici font confiance aux étiquettes dans messages.csv. Des personnes écrivent ces étiquettes, et elles ne sont pas toujours d’accord. Ensuite, dans le module 2, vous lisez attentivement le guide d’étiquetage et écrivez une règle pour chaque cas difficile.
Leçon suivante : Guide d'étiquetage