Aller au contenu
English

Découvrir la boîte de réception

  • Leçon 4
  • 35 min
  • Module 1 : Le problème du routage et son coût

Où nous en sommes

Nous avons des étiquettes et un coût pour chaque erreur, sur papier. Nous n'avons pas encore ouvert les données. Dans cette leçon, nous préparons le projet et lisons la boîte de réception de Larkfield et son guide d'étiquetage. Nous lançons la première comparaison et apprenons à tout réinitialiser.

Leçon 4 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitDécouvrir la boîte de réception
Aperçu du cours

Ce que vous saurez faire

Ouvrez la boîte de réception de Larkfield, vérifiez votre installation et lancez vous-même la première comparaison du cours. Chaque module suivant compare ses méthodes sur ces mêmes messages, avec ces mêmes coûts.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il lit la boîte de réception, le tableau des coûts et la première comparaison. Ses cellules de préparation installent pandas, scikit-learn et matplotlib et téléchargent les données (environ 9 Mo). Aucune installation locale n’est donc nécessaire. Environ 20 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • L’option carnet (recommandée pour cette leçon) : un navigateur et un compte Google gratuit pour Colab, ou un compte Kaggle gratuit.
  • L’option projet (nécessaire à partir du module 2) : Python 3.12, un terminal et Git ou un navigateur pour télécharger un fichier ZIP. Les étapes se trouvent dans Le projet sur votre ordinateur, ci-dessous.

Testé sur macOS (Apple silicon) avec Python 3.12.13, pandas 3.1.1 et scikit-learn 1.9.1, dans Jupyter et dans le terminal. Les commandes Windows, Linux, Colab et Kaggle n’ont pas été testées.

Une nouvelle employée arrive au bureau de poste. Avant qu’elle trie une seule lettre, un collègue lui fait visiter les lieux. Combien de lettres arrivent chaque jour? Quels casiers sont pleins, et lesquels sont presque vides? Où se trouve la feuille des règles de tri? Et comment le gestionnaire compte-t-il ses erreurs à la fin de la semaine?

Tout cela n’est pas du tri. Mais une employée qui saute ces étapes trie au hasard, et personne ne peut dire si elle travaille bien. Cette leçon est votre premier matin. Vous comptez les messages, lisez les règles et lancez le tableau des résultats utilisé dans chaque module.

  1. Ouvrez le carnet à partir de l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez la première cellule de préparation. Elle installe les paquets et affiche pandas 3.1.1 et scikit-learn 1.9.1.
  3. Si vous voyez d’autres versions, redémarrez le noyau, puis exécutez la cellule de nouveau.
  4. Exécutez la deuxième cellule de préparation. Elle télécharge la boîte de réception dans un dossier larkfield-inbox/data, avec le module utilitaire du cours, routing.py, et vérifie chaque fichier.
  5. Vérifiez sa dernière ligne : Ready: 10000 messages (6000 train, 2000 validation, 2000 test), all synthetic. (prêt : 10 000 messages, dont 6 000 d’entraînement, 2 000 de validation et 2 000 de test, tous synthétiques).
  6. Exécutez la cellule des utilitaires. Elle charge les messages dans messages, train, validation et test, et le module utilitaire sous le nom rt. Elle n’affiche rien.

La préparation vérifie chaque fichier avec une somme de contrôle : une courte empreinte du fichier. Si un seul octet est incorrect, l’empreinte change et la cellule s’arrête avec wrong checksum (somme de contrôle incorrecte). Supprimez alors le dossier larkfield-inbox et exécutez la cellule de nouveau. Si elle affiche Could not download (téléchargement impossible), vérifiez votre connexion Internet. Dans Kaggle, activez aussi Internet dans les paramètres du carnet.

Chaque ligne de messages.csv est un message qu’un client a envoyé à Larkfield. Voici les colonnes les plus utilisées dans le cours :

Colonne Contenu Exemple
text Ce que le client a écrit “hi, about the cushion set I sent back weeks ago…”
channel, language email (courriel), chat (clavardage) ou social (réseaux sociaux); en (anglais) ou fr (français) chat, en
route L’étiquette : l’équipe qui doit agir en premier, ou needs_person (besoin d’une personne) returns_refunds
topic, priority Les deuxième et troisième questions refund_status, normal
routes Une ou deux demandes, séparées par ` `
split train (entraînement), validation ou test train

La section 1 du carnet vous demande de prédire les destinations la plus fréquente et la moins fréquente, puis les compte :

print(len(messages), "messages from", messages["created_at"].min()[:10], "to", messages["created_at"].max()[:10])
print(messages["route"].value_counts().to_string())
10000 messages from 2025-09-01 to 2026-01-31
route
delivery 2318
returns_refunds 2015
product 1440
orders 1428
billing 1329
account 979
needs_person 491

L’historique couvre cinq mois, soit environ 65 messages par jour. La répartition reste fixe pour tout le cours : 6 000 messages pour l’entraînement, 2 000 pour la validation et 2 000 pour le test. Chaque destination et chaque langue occupent la même proportion dans les trois parties.

Un graphique à barres horizontales des messages par destination, chaque barre divisée entre anglais et français. delivery 2 318 (1 643 en anglais, 675 en français); returns_refunds 2 015 (1 430 et 585); product 1 440 (1 018 et 422); orders 1 428 (1 006 et 422); billing 1 329 (958 et 371); account 979 (683 et 296); needs_person 491 (333 et 158). 10 000 messages du 1 septembre 2025 au 31 janvier 2026.
Messages par destination dans l'historique, en anglais et en français. La destination la plus fréquente compte presque cinq fois plus de messages que needs_person.
Description textuelle du diagramme

Un graphique à barres horizontales avec une barre par destination, de la plus fréquente à la moins fréquente. Chaque barre comporte une partie anglaise et une partie française. Livraison : 2 318 messages, 1 643 en anglais et 675 en français. Retours et remboursements : 2 015, dont 1 430 et 585. Produit : 1 440, dont 1 018 et 422. Commandes : 1 428, dont 1 006 et 422. Facturation : 1 329, dont 958 et 371. Compte : 979, dont 683 et 296. Needs_person : 491, dont 333 et 158. Environ 3 messages sur 10 sont en français dans chaque destination. Le graphique couvre 10 000 messages du 1 septembre 2025 au 31 janvier 2026.

  • Langue
  • Canal
Les 10 000 messages de l'historique par langue et par canal. Chaque message a une langue et un canal.
Description textuelle du graphique

Un graphique à colonnes en deux groupes, sur un axe de 0 à 8 000 messages. Langue : 7 071 messages en anglais et 2 929 en français. Canal : 4 538 par courriel, 3 438 par clavardage et 2 024 sur les réseaux sociaux. La longueur médiane des messages est de 28 mots : 33 par courriel, 25 par clavardage et 24 sur les réseaux sociaux.

La section 3 compte les autres étiquettes. Chaque destination a 4 sujets, sauf needs_person, qui en a 3 : 27 sujets au total. Dans les données d’entraînement, 3 955 messages sont normal (normaux), 1 028 urgent (urgents) et 1 017 low (de faible priorité). Seulement 44 messages d’entraînement concernent des prises de contrôle de compte, le sujet rare et coûteux.

Les étiquettes viennent de personnes qui ont suivi des règles écrites. Ces règles se trouvent dans data/guidelines.md, que Chloé, une agente de soutien bilingue, a rédigé pour les annotateurs. Ouvrez-le dans le panneau des fichiers du carnet, ou sur GitHub. Il comporte trois parties :

  • La règle qui passe avant toutes les autres : étiquetez la demande, pas les mots. Si un client demande deux choses, étiquetez la demande principale : généralement la première, ou la plus urgente.
  • Une règle et un exemple pour chaque destination. Par exemple, delivery couvre un colis en retard, perdu ou « indiqué comme livré, mais non reçu ».
  • Les cas difficiles entre deux destinations. Un remboursement après un retour relève de returns_refunds; des frais incorrects relèvent de billing. Un article arrivé endommagé relève de returns_refunds; un article brisé après des semaines d’utilisation relève de product (garantie).

Lisez les cas difficiles avant le module 2. C’est là que des personnes attentives sont en désaccord, et donc que les modèles le sont aussi.

Cette boîte de réception est plus facile qu’une vraie

Section intitulée « Cette boîte de réception est plus facile qu’une vraie »

Avant de voir un score, sachez ceci sur les données. La boîte de réception de Larkfield est plus facile qu’une vraie boîte de soutien, et le cours le dit volontairement.

Voici pourquoi. Un programme a construit chaque message à partir d’un des 27 gabarits de sujets. Il y a ajouté des faits, comme un numéro de commande et un nom de produit. Puis un seul petit modèle de langage a réécrit chaque brouillon dans les mots d’un client, avec styles, tons et fautes de frappe. La formulation varie, mais elle vient d’un seul auteur et de 27 structures. Les mêmes mots reviennent donc sans cesse, et un modèle simple les trouve facilement. Sur cette boîte de réception, un modèle classique sans apprentissage profond, TF-IDF avec régression logistique, achemine correctement 0,962 des messages de test. La première version des données donnait 0,993. Deux cycles de formulations plus difficiles ont seulement ramené ce résultat à 0,962.

Ainsi, quand le cours cite un score, il dit « sur cette boîte de réception » ou « ici ». Ne le prenez pas comme le résultat d’une méthode sur de vrais messages. La fiche du jeu de données, data/dataset-card.md, dit la même chose sous Limitations (limites). Les études de cas à la fin du cours utilisent de vraies données publiques. Elles comprennent des questions bancaires de clients et des demandes qu’un robot conversationnel ne peut pas traiter. Les scores y sont plus bas et les écarts entre les méthodes, plus grands.

La boîte de réception présente tout de même de réelles difficultés par endroits. Nous avons inséré volontairement des messages difficiles, et c’est là que les méthodes diffèrent :

Un graphique à barres horizontales. Messages difficiles : 3 660 sur 10 000 (36,6 %). Messages simples, sans ces difficultés : 6 340 (63,4 %). Vagues : 1 266 (12,7 %). Deux demandes : 1 255 (12,6 %). À la limite des règles : 960 (9,6 %). Sarcasme : 179 (1,8 %).
Messages difficiles dans l'historique : 36,6 % des 10 000 messages sont vagues, contiennent deux demandes, sont à la limite des règles ou utilisent le sarcasme. Chaque message appartient à au plus une de ces catégories.
Description textuelle du diagramme

Le graphique comporte cinq barres horizontales. Son titre indique : messages difficiles, 3 660 sur 10 000, soit 36,6 %. La première barre, en gris, montre les messages simples, sans ces difficultés : 6 340, soit 63,4 %. Viennent ensuite les quatre catégories difficiles. Messages vagues, comme “see my last email” : 1 266, soit 12,7 %. Messages avec deux demandes : 1 255, soit 12,6 %. Messages à la limite des règles, qui utilisent les mots d’une autre équipe, comme une question sur un produit mentionnant un retour : 960, soit 9,6 %. Sarcasme : 179, soit 1,8 %.

Un message vague renvoie à un message précédent au lieu de préciser sa demande. Le message d’ouverture de la première leçon, “see my last email, maybe it got missed”, en est un. Un message à la limite des règles utilise les mots d’une autre équipe, comme la question sur un produit mentionnant un retour. Ce sont les messages à lire quand deux méthodes sont en désaccord.

La section 4 du carnet charge le tableau des coûts et chiffre deux erreurs avec l’utilitaire rt.message_cost(label, predicted, priority, topic) :

costs = rt.load_costs()
for name, dollars in costs.items():
print(f"{name:30} {dollars:8.2f} dollars")
print(rt.message_cost("returns_refunds", "product", "normal", "refund_status"))
print(rt.message_cost("account", "billing", "urgent", "account_takeover"))
review 1.50 dollars
wrong_queue 4.00 dollars
wrong_queue_urgent 20.00 dollars
missed_account_takeover 200.00 dollars
needs_person_sent_to_team 40.00 dollars
team_message_sent_to_person 2.00 dollars
4.0
200.0

La première erreur chiffrée est celle du message d’ouverture : une question sur un remboursement dans la file de l’équipe produit, 4 $ US. La deuxième est une prise de contrôle de compte dans la file de facturation, 200 $ US. L’utilitaire suit la règle étape par étape de la dernière leçon.

La section 5 lance la première comparaison du cours sur les 2 000 messages de test. Elle comporte trois lignes :

  1. Tout transférer à une personne : Larkfield aujourd’hui.
  2. Règles ou personne : les règles par mots-clés du projet décident lorsqu’une règle correspond, et une personne lit le reste.
  3. TF-IDF + régression logistique : un premier modèle, entraîné sur les 6 000 messages d’entraînement. Le module 3 explique son fonctionnement. Pour l’instant, c’est un modèle qui apprend quels mots vont avec quelle destination.

Faites d’abord une prédiction : quelle ligne a le coût total le plus bas par 1 000 messages? Est-ce aussi la plus exacte? La cellule se termine par rt.show(rows), qui affiche ce tableau :

method accuracy macro_f1 takeover_recall needs_person_recall accuracy_en accuracy_fr mistakes_per_1000 run_per_1000 total_per_1000 ms_per_message
0 TF-IDF + logistic regression 0.962 0.965 0.917 1.000 0.966 0.952 296.0 0.0 296.0 None
1 everything to a person 0.000 0.000 0.000 0.000 0.000 0.000 1500.0 0.0 1500.0 None
2 rules or a person 0.555 0.625 0.833 0.818 0.577 0.503 1757.8 0.0 1757.8 None

Voici le tableau de comparaison du cours, dans sa première forme. Lisez les colonnes de gauche à droite :

  • accuracy (exactitude) : la proportion de messages envoyés à la bonne destination. Une révision ne compte pas comme une bonne destination.
  • macro_f1 (F1 macro) : un score qui donne le même poids à chaque destination. Les petites destinations comptent donc autant que delivery (livraison). Le cours d’apprentissage automatique explique le score F1.
  • takeover_recall (rappel des prises de contrôle de compte) : la proportion des 12 prises de contrôle de compte du test qui atteignent l’équipe des comptes. 0.917 correspond à 11 sur 12.
  • needs_person_recall (rappel des messages ayant besoin d’une personne) : la proportion des 99 messages needs_person qui atteignent une personne.
  • accuracy_en, accuracy_fr (exactitude en anglais et en français) : l’exactitude en anglais et en français.
  • mistakes_per_1000, run_per_1000, total_per_1000 (erreurs, exécution et total par 1 000) : le coût des erreurs et des révisions, le coût d’exécution et leur somme, par 1 000 messages.
  • ms_per_message (millisecondes par message) : le temps pour acheminer un message. Le carnet ne chronomètre pas les méthodes, alors il affiche None (aucune valeur).

Sur cette boîte de réception, le modèle coûte 296 $ US par 1 000 messages, environ un cinquième du coût actuel de Larkfield. Les règles coûtent plus cher qu’une personne, comme la dernière leçon l’a montré. Les messages français sont un peu plus difficiles pour le modèle que les messages anglais : 0,952 contre 0,966.

La section 6 vous demande de compter les messages de test français que le modèle envoie à la mauvaise destination. Mettez le nombre dans wrong_fr. Utilisez model.predict(...) sur les messages de test français et comparez le résultat à leur route. Exécutez ensuite la cellule de vérification.

Afficher la réponse
fr = test[test["language"] == "fr"]
wrong_fr = int((model.predict(fr["text"]) != fr["route"]).sum())
print(wrong_fr, "of", len(fr))
28 of 589

La cellule de vérification affiche Check passed: wrong_fr is 28. (vérification réussie : wrong_fr vaut 28). Cela donne 561 bonnes destinations sur 589, soit le 0.952 de la colonne accuracy_fr.

Erreur courante

L'exactitude sans le coût

Symptôme : Tomás lit le tableau et dit : « Le modèle a raison pour 96 % des messages. Mettons-le en production. » La section 7 du carnet regroupe les 76 messages de test mal acheminés par étiquette et additionne leurs coûts :

count sum
route
account 9 232.0
returns_refunds 16 96.0
delivery 20 76.0
billing 10 72.0
product 11 60.0
orders 10 56.0

Cause : les 9 messages account (compte) mal acheminés coûtent 232 $ US, soit 39 % des 592 $ US de l’ensemble des erreurs. La majeure partie vient d’une prise de contrôle de compte dans la file de facturation. Les 20 messages delivery mal acheminés, plus de deux fois plus nombreux, coûtent seulement 76 $ US. « 96 % de bonnes destinations » ne dit rien sur les 4 % de mauvaises destinations.

Solution : lisez le coût par destination, pas seulement l’exactitude. Le module 7 augmente volontairement le rappel des prises de contrôle de compte. Le module 8 transfère les cas incertains à une personne.

Conséquence dans le travail en IA : un routeur « exact à 96 % » peut quand même laisser passer ses erreurs les plus coûteuses. L’équipe les découvre par un client en colère, pas par le rapport.

À partir du module 2, vous travaillez aussi dans le projet du cours, larkroute. Ce petit paquet Python comprend une commande, route, qui exécute la même comparaison sur votre ordinateur. Le carnet Jupyter vous a présenté les données. Le projet vous donne un outil que vous modifiez au fil des modules.

Le projet se trouve dans le dépôt des exercices du cours, dans C36/snapshots/. Chaque instantané est une copie du projet à un moment du cours. Vous partez de l’instantané start.

  1. Ouvrez un terminal et allez dans le dossier où vous gardez vos projets, par exemple ~/projects.

  2. Récupérez le dépôt des exercices avec Git :

    Fenêtre de terminal
    git clone https://github.com/Nextia-Intelligence/nextia-learning-labs.git

    Sans Git, téléchargez le fichier ZIP du dépôt et décompressez-le ici. Son dossier s’appelle alors nextia-learning-labs-main : utilisez ce nom à l’étape suivante.

  3. Copiez l’instantané start dans un nouveau dossier larkroute, puis ouvrez ce dossier dans le terminal. Sur macOS et Linux :

    Fenêtre de terminal
    cp -R nextia-learning-labs/C36/snapshots/start larkroute
    cd larkroute

    Sur Windows (PowerShell) :

    Fenêtre de terminal
    Copy-Item -Recurse nextia-learning-labs\C36\snapshots\start larkroute
    cd larkroute
  4. Créez un environnement virtuel et activez-le. Sur macOS et Linux :

    Fenêtre de terminal
    python3.12 -m venv .venv
    source .venv/bin/activate

    Sur Windows (PowerShell) :

    Fenêtre de terminal
    py -3.12 -m venv .venv
    .venv\Scripts\Activate.ps1
  5. Installez les paquets aux versions fixées et le projet lui-même :

    Fenêtre de terminal
    pip install -r requirements.txt
  6. Téléchargez les données dans data/. La commande est la même sur tous les systèmes :

    Fenêtre de terminal
    python get_data.py

    Vous voyez Ready: 35 files in data/, every checksum is right. (Prêt : 35 fichiers dans data/, toutes les sommes de contrôle sont correctes.)

  7. Exécutez les tests. Vous voyez 10 passed (10 tests réussis).

    Fenêtre de terminal
    python -m pytest -q

Un environnement virtuel est un dossier (.venv) qui contient ses propres paquets Python. Ainsi, les versions de ce projet ne changent pas les autres projets. Quand il est actif, votre invite commence par (.venv). Activez-le de nouveau dans chaque nouveau terminal.

Exécutez maintenant les deux premières commandes :

Fenêtre de terminal
route info
10000 messages (6000 train, 2000 test, 2000 validation), from 2025-09-01 to 2026-01-31. All synthetic.
Routes: delivery 2318, returns_refunds 2015, product 1440, orders 1428, billing 1329, account 979, needs_person 491
Languages: en 7071, fr 2929 | Channels: email 4538, chat 3438, social 2024
Fenêtre de terminal
route compare --quick
Scoring 3 methods on the test messages (trained on the reviewed labels)...
everything to a person: done
rules or a person: done
TF-IDF + logistic regression: done
method accuracy macro-F1 takeover needs person EN FR mistakes $/1k run $/1k total $/1k ms/msg
TF-IDF + logistic regression 0.962 0.965 0.917 1.000 0.966 0.952 296.0 0.0 296.0 0.14
everything to a person 0.000 0.000 0.000 0.000 0.000 0.000 1500.0 0.0 1500.0 0.00
rules or a person 0.555 0.625 0.833 0.818 0.577 0.503 1757.8 0.0 1757.8 0.03

Ce sont les trois lignes du carnet Jupyter. Le projet les classe de la moins chère à la plus chère. Ici, l’exécution a pris environ 6 secondes. La dernière colonne, les millisecondes par message, dépend de votre ordinateur. Votre valeur sera donc différente. Tous les autres nombres doivent être identiques. « Entraîné sur les étiquettes révisées » désigne les étiquettes dans messages.csv. Le module 2 présente un ensemble plus bruité.

Le tableau des coûts se trouve dans le fichier config/costs.json. Avant de le modifier, faites une prédiction : si une révision coûte 1,00 $ US plutôt que 1,50 $ US, quelles lignes changent?

  1. Ouvrez config/costs.json dans votre éditeur.
  2. Remplacez la ligne "review": 1.5, par "review": 1.0, et enregistrez le fichier.
  3. Exécutez de nouveau route compare --quick.
TF-IDF + logistic regression 0.962 0.965 0.917 1.000 0.966 0.952 296.0 0.0 296.0 0.17
everything to a person 0.000 0.000 0.000 0.000 0.000 0.000 1000.0 0.0 1000.0 0.00
rules or a person 0.555 0.625 0.833 0.818 0.577 0.503 1639.5 0.0 1639.5 0.04

Les deux lignes qui font appel à une personne coûtent moins cher. Tout transférer à une personne coûte maintenant 1 000 $ US, et les règles coûtent 1 639,5 $ US. La ligne du modèle ne change pas, car il décide pour chaque message et n’en envoie aucun en révision. Une révision moins chère rend la révision plus intéressante. Le module 8 utilise exactement ce compromis.

route reset ramène le projet à son état initial : il supprime ce que les commandes ont écrit (models/, runs/, queue/). Il restaure les fichiers de configuration et vérifie les données.

Fenêtre de terminal
route reset
Reset: removed nothing; config restored: costs.json; data: all files are right.

Le projet a restauré votre fichier costs.json modifié. Exécutez cette commande chaque fois que vous ne savez plus dans quel état se trouve le projet. Elle supprime seulement ces trois dossiers. Gardez donc vos propres fichiers ailleurs.

Erreur courante

Un fichier de données manquant ou modifié

Symptôme : route info s’arrête avec cette ligne :

These data files are missing or changed: messages.csv. Run: route reset

Cause : quelqu’un a supprimé, déplacé ou modifié à la main un fichier dans data/. Sa somme de contrôle ne correspond donc plus. Les commandes qui le lisent donneraient des nombres que personne d’autre ne pourrait comparer.

Solution : exécutez route reset. La commande télécharge chaque fichier manquant ou modifié, puis les vérifie de nouveau. La première ligne de sa sortie est celle de get_data.py : Ready: 35 files in data/, every checksum is right. Si vous voyez Could not download (téléchargement impossible), vérifiez votre connexion Internet et relancez la commande.

Conséquence pour le travail en IA : un tableau de comparaison a du sens seulement si chaque ligne utilise les mêmes données. Une somme de contrôle permet de le vérifier à peu de frais.

Vérifiez votre compréhension

Pourquoi le cours précise-t-il « sur cette boîte de réception » quand il cite un score comme 0,962? Qu'est-ce qui rend la boîte de réception de Larkfield plus facile qu'une vraie?

Afficher la réponse

Un petit modèle de langage a écrit tous les messages à partir de 27 gabarits de sujets. Les formulations varient, mais les mêmes mots reviennent sans cesse. Même un simple modèle TF-IDF achemine donc correctement 0,962 des messages de test. Une vraie boîte de réception reçoit des messages de nombreuses personnes, avec de nouveaux sujets et un langage moins soigné. La même méthode y obtient donc un score plus faible. La fiche du jeu de données le précise dans ses limites. Les études de cas utilisent des données publiques réelles, où les scores sont plus faibles.

Vérifiez votre compréhension

Dans route compare --quick, « règles ou personne » a une exactitude de 0,555 et « tout transférer à une personne » a une exactitude de 0. Prédisez ce qui arrive aux deux lignes si une révision coûte 1,00 $ US plutôt que 1,50 $ US. Expliquez pourquoi la ligne TF-IDF ne change pas.

Afficher la réponse

Les deux lignes coûtent moins cher, car elles transfèrent toutes deux des messages à une personne. Tout transférer à une personne passe de 1 500 $ US à 1 000 $ US par 1 000 messages. Les règles ou une personne passent de 1 757,8 $ US à 1 639,5 $ US. Les exactitudes ne changent pas, car une révision ne compte jamais comme une destination correcte. La ligne TF-IDF reste à 296 $ US, car le modèle décide pour chaque message et n’en envoie aucun en révision.

Vérifiez votre compréhension

Vous avez modifié config/costs.json et supprimé data/messages.csv par erreur. Quelle commande unique restaure le projet, et que fait-elle?

Afficher la réponse

route reset. Elle supprime ce que les commandes ont écrit (models/, runs/, queue/) et restaure les fichiers de configuration du cours, comme costs.json. Ensuite, elle télécharge chaque fichier de données manquant ou dont la somme de contrôle est incorrecte. Elle affiche ses actions, par exemple config restored: costs.json; data: all files are right. (configuration restaurée : costs.json; données : tous les fichiers sont corrects).

Récapitulatif

  • La boîte de réception contient 10 000 messages de septembre 2025 à janvier 2026 : 6 000 pour l’entraînement, 2 000 pour la validation et 2 000 pour le test. Ils sont en anglais (7 071) et en français (2 929), par courriel, clavardage et réseaux sociaux.
  • Les destinations n’ont pas la même taille : delivery 2 318, needs_person 491. Seulement 44 messages d’entraînement concernent des prises de contrôle de comptes.
  • Cette boîte de réception est plus facile qu’une vraie : un modèle a écrit tous les messages à partir de 27 gabarits. Dites « sur cette boîte de réception » quand vous citez un score. Les cas difficiles insérés représentent 36,6 % des messages.
  • Première comparaison, sur les messages de test : TF-IDF + régression logistique 0,962 et 296 $ US par 1 000 messages. Tout transférer à une personne coûte 1 500 $ US; les règles ou une personne obtiennent 0,555 et coûtent 1 757,8 $ US.
  • Le projet larkroute exécute cette comparaison avec route compare --quick. config/costs.json contient les coûts, et route reset restaure tout.

Vous pouvez maintenant ouvrir les données et exécuter le tableau des scores. Mais tous les scores jusqu’ici font confiance aux étiquettes dans messages.csv. Des personnes écrivent ces étiquettes, et elles ne sont pas toujours d’accord. Ensuite, dans le module 2, vous lisez attentivement le guide d’étiquetage et écrivez une règle pour chaque cas difficile.

Leçon suivante : Guide d'étiquetage