Aller au contenu
English

Un message dans la mauvaise file

  • Leçon 1
  • 25 min
  • Module 1 : Le problème du routage et son coût

Où nous en sommes

Dans le cours d'apprentissage automatique, nous avons prédit si un billet de soutien serait transféré à un niveau supérieur. Nous utilisions un tableau de nombres. La boîte de réception du soutien de Larkfield pose une autre question : quelle équipe doit lire ce message? Dans cette leçon, nous suivons une demande de remboursement envoyée à la mauvaise file. Nous voyons ce que chaque jour de retard a coûté.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 1 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitUn message dans la mauvaise file
Aperçu du cours

Ce que vous saurez faire

Découvrez pourquoi trier les messages de soutien est un problème d’affaires qui a un coût, pas seulement un problème de texte. Un message dans la mauvaise file coûte du travail, du temps et parfois un client.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 25 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien. Cette leçon ne contient pas de code. Vous ouvrirez les données dans Découvrir la boîte de réception, la dernière leçon de ce module.

Imaginez un petit bureau de poste tôt le matin. Une commis se tient devant un mur de casiers. Chaque casier correspond à une camionnette de livraison, et chaque camionnette dessert une partie de la ville. La commis prend une lettre, lit l’adresse et dépose la lettre dans le bon casier. Elle répète ce geste des centaines de fois avant le départ des camionnettes.

Supposons maintenant qu’elle dépose une lettre dans le mauvais casier. Rien ne se brise. La lettre part dans la mauvaise camionnette. Le chauffeur voit l’adresse, ne peut pas livrer la lettre et la rapporte le soir. Demain, elle repartira dans la bonne camionnette. La lettre arrive avec un jour de retard, et deux personnes y ont consacré du temps.

La plupart des lettres sont faciles à trier : l’adresse est claire. D’autres ne le sont pas. L’écriture est mauvaise, ou le nom de rue existe dans deux parties de la ville. Un bon bureau de poste réserve un petit bureau à ces lettres. Une personne plus expérimentée les lit d’abord et décide.

Gardez cette image en tête. Une boîte de réception de soutien fonctionne de la même façon. Le reste de ce cours construit l’équivalent de la commis qui trie.

Larkfield est une boutique en ligne de produits pour la maison et le jardin au Canada. Vous la connaissez peut-être grâce à d’autres cours. Ses clients écrivent au soutien par courriel, par clavardage et sur les réseaux sociaux, en anglais ou en français. Dans les données de ce cours, la boîte de réception reçoit environ 65 messages par jour. Dans ce cours, chaque message de Larkfield est synthétique : nous avons créé les données pour le cours. Elles ne contiennent aucune personne réelle.

Le jeudi 29 janvier 2026, à 16 h 54, une cliente a écrit ceci par clavardage :

hi, about the cushion set I sent back weeks ago… could you check what’s happening with that? see my last email, maybe it got missed.

C’est le message M-109856 dans les données du cours. La cliente a retourné un ensemble de coussins et veut savoir où en est son remboursement. La bonne équipe est donc l’équipe des retours et remboursements. Mais l’ancien système de Larkfield a placé le message dans la file d’attente de l’équipe produit. Une file d’attente est la liste des messages auxquels une équipe doit répondre, du plus ancien au plus récent.

Voici la suite. Les données indiquent la file; les jours font partie d’une histoire que nous avons inventée pour illustrer le coût.

Ce qui s'est passé (une histoire) : jeudi à 16 h 54, la cliente pose une question sur son remboursement par clavardage. Une flèche mène à la file de l'équipe produit, où le message attend trois jours. Une flèche mène à dimanche : une agente de l'équipe produit le lit, reconnaît une question de remboursement et le transfère en 2 minutes. Une flèche mène à la file de l'équipe des retours : une réponse arrive lundi, mais la cliente est déjà partie. Une flèche pointillée, qui montre ce qui devrait se passer, relie directement la première boîte à la bonne file. L'équipe des retours lit le message vendredi et répond. Une note indique que le tableau des coûts compte 4 $ US pour un message dans la mauvaise file. Cela représente environ 2 minutes de travail et un jour d'attente de plus, en moyenne. Cette histoire présente un cas défavorable.
Le parcours du message M-109856. La mauvaise file est réelle : c'est celle de l'ancien système dans les données. Les jours font partie d'une histoire. Le tableau des coûts attribue un coût moyen de 4 $ US à une mauvaise file.
Description textuelle du diagramme

Le schéma comporte deux rangées. La rangée du haut, « Ce qui s’est passé (une histoire) », contient quatre boîtes reliées par des flèches. Première boîte : jeudi à 16 h 54, la cliente pose une question sur son remboursement par clavardage. Deuxième boîte, avec une bordure épaisse : la file de l’équipe produit, où le message attend trois jours. Troisième boîte : dimanche, une agente de l’équipe produit le lit et reconnaît une question de remboursement. Elle le transfère à l’équipe des retours en 2 minutes. Quatrième boîte, avec une bordure épaisse : la file de l’équipe des retours. Une réponse arrive lundi, alors que la cliente est déjà partie. La rangée du bas, « Ce qui devrait se passer », comporte une flèche pointillée reliant la première boîte à la bonne file. Là, l’équipe des retours lit le message vendredi et répond. Une note sous le schéma indique que le tableau des coûts du cours compte 4 $ US pour un message dans la mauvaise file. Cela représente environ 2 minutes de travail et un jour d’attente de plus, en moyenne. Cette histoire présente un cas défavorable.

Qui traite le message, et combien coûte chaque intervention

Section intitulée « Qui traite le message, et combien coûte chaque intervention »

Comptez les personnes. La cliente écrit une fois et attend. Une agente de l’équipe produit ouvre le message, le lit et voit qu’il ne concerne pas son équipe. Elle le transfère. Une agente des retours le lit à nouveau et répond. Le travail d’une personne est devenu celui de deux personnes. La cliente a attendu quatre jours pour une réponse que la bonne équipe pouvait donner dès le lendemain.

Chaque étape a un coût :

  • La lecture supplémentaire. L’agente de l’équipe produit a consacré environ 2 minutes à un message auquel son équipe ne peut pas répondre.
  • L’attente supplémentaire. Le message a perdu au moins une journée dans une file où personne ne pouvait aider.
  • La cliente. Dans notre histoire, elle a demandé à sa banque de récupérer l’argent et n’achète plus chez Larkfield. C’est la partie la plus coûteuse et la plus difficile à chiffrer.

Grace, responsable du soutien chez Larkfield, dirige les six équipes. Priya est la scientifique des données qui construit les classificateurs de ce cours. Grace et Priya ont convenu d’un montant pour un message dans la mauvaise file : 4 $ US. Il couvre environ 2 minutes de travail et un jour d’attente de plus, en moyenne. C’est une hypothèse : une valeur choisie et justifiée pour le cours, pas une mesure. La plupart des messages dans la mauvaise file coûtent peu. Certains, comme dans notre histoire, font perdre un client. La moyenne cache cet écart. Le cours attribue donc aussi un coût distinct, plus élevé, aux erreurs plus coûteuses. La leçon Le coût de chaque erreur les présente toutes.

Relisez le message. Il nomme un produit, « the cushion set » (l’ensemble de coussins). Il ne dit pas « refund » (remboursement) ni « return » (retour). Il dit « sent back » (renvoyé). Une personne qui cherche des noms de produits y voit une question sur un produit. Une personne qui se demande « que veut la cliente que nous fassions? » y voit une question sur un remboursement.

C’est la première règle du guide d’étiquetage de Larkfield : étiquetez la demande, pas les mots. Dans les données de l’ancien système, 12 messages d’entraînement de l’équipe des retours se sont retrouvés dans la file produit. C’est le cas de celui-ci. La règle semble simple. Une grande partie du cours porte sur la difficulté de la suivre pour chaque message.

La boîte de réception de Larkfield comporte sept casiers, appelés destinations. Six correspondent à des équipes. Le septième est le petit bureau du bureau de poste : une personne doit d’abord lire le message.

Un nouveau message arrive par courriel, clavardage ou réseau social, en anglais ou en français. Il entre dans une boîte : triez-le, quelle équipe doit agir en premier? De là, des flèches mènent à sept casiers : orders, modifier ou annuler une commande avant son expédition; delivery, où est mon colis; returns_refunds, un retour, un article endommagé, un remboursement après un retour; billing, un montant facturé incorrect, une facture, un code promotionnel; product, une question sur un produit ou sa garantie; account, connexion, renseignements personnels, quelqu'un d'autre dans mon compte; needs_person, une personne lit d'abord : sécurité, question juridique, gestionnaire. Le casier needs_person a une bordure épaisse. Une note indique : 6 équipes et 1 destination pour une personne.
Les sept destinations de la boîte de réception de Larkfield : six équipes, et needs_person pour les messages qu'une personne doit lire d'abord.
Description textuelle du diagramme

À gauche, un nouveau message arrive par courriel, clavardage ou réseau social, en anglais ou en français. Une flèche mène à une boîte qui demande : quelle équipe doit agir en premier? De cette boîte, sept flèches mènent à sept casiers. Commandes : modifier ou annuler une commande avant son expédition. Livraison : où est mon colis? Retours et remboursements : un retour, un article endommagé ou un remboursement après un retour. Facturation : un montant facturé incorrect, une facture ou un code promotionnel. Produit : une question sur un produit ou sa garantie. Compte : connexion, renseignements personnels ou quelqu’un d’autre dans mon compte. Le dernier casier, needs_person, a une bordure épaisse. Une personne lit ces messages d’abord : un problème de sécurité, une menace juridique ou une demande pour parler à un gestionnaire. Une note sous la boîte de tri indique : 6 équipes et 1 destination pour une personne.

Les noms des destinations dans les données sont orders, delivery, returns_refunds, billing, product, account et needs_person. La dernière est particulière. Un message dont la demande principale concerne un enfant blessé ou un avocat ne doit pas recevoir une réponse standard d’équipe. Il est d’abord envoyé à une personne expérimentée.

Trier les messages par destination est de la classification de textes. Un modèle lit un texte et lui attribue une étiquette parmi une liste fixe. Le cours d’apprentissage automatique classait des billets à partir d’un tableau de nombres. Ici, l’entrée est le texte écrit par un client, dans deux langues, avec des fautes de frappe et des histoires. Quand l’étiquette décide où le texte sera envoyé, nous appelons cette tâche le routage, et le modèle un routeur.

Aujourd’hui, Larkfield ne fait pas confiance à un programme pour trier. Une personne lit d’abord chaque nouveau message et le transfère à une équipe. Cela fonctionne, et cela coûte de l’argent. Grace estime le coût d’une telle lecture à 1,50 $ US. Ce montant paie environ 1 minute de travail d’un agent à 28 $ US l’heure. Larkfield paie son personnel en dollars canadiens, mais le cours donne tous les coûts en dollars américains, comme les prix des modèles. Le message attend aussi quelques heures avant d’atteindre son équipe. C’est également une hypothèse.

Un petit calcul montre l’ampleur du coût :

Messages Coût
Un message lu par une personne 1 1,50 $ US
Une journée chez Larkfield environ 65 environ 98 $ US
Par 1 000 messages 1 000 1 500 $ US

Le cours donne toujours les coûts par 1 000 messages. Vous pouvez ainsi comparer des méthodes testées sur des nombres de messages différents. Le coût de 1 500 $ US par 1 000 messages correspond à la ligne « tout transférer à une personne ». C’est le prix de Larkfield aujourd’hui, et chaque méthode de ce cours doit faire mieux.

La personne qui lit fait aussi des erreurs, comme l’a montré l’ancienne file. Dans le coût de « tout transférer à une personne », le cours considère chaque lecture comme correcte. Cela présente Larkfield aujourd’hui sous un jour un peu plus favorable que la réalité. Le module 2 mesure à quelle fréquence deux personnes attentives sont en désaccord.

Tomás, ingénieur en IA chez Larkfield, a tout de suite une idée : « Envoyons chaque message à un grand modèle de langage. Laissons-le choisir l’équipe. » Un grand modèle de langage (LLM) est un modèle entraîné sur une énorme quantité de texte. Il lit une requête et écrit une réponse. Grace pose une autre question : « Quand il se trompe, combien cela me coûte-t-il? » Omar, le gestionnaire de produit, en ajoute une troisième : « Et quand nous lançons un nouveau produit qu’aucune équipe n’a vu? »

Ces trois questions sont légitimes, et le cours répond à chacune avec des nombres. Vous construisez un routeur qui :

  • envoie la plupart des messages directement à la bonne équipe;
  • transfère volontairement les cas incertains à une personne;
  • ne donne jamais de réponse standard d’équipe à un message qui nécessite une personne;
  • coûte moins par 1 000 messages qu’une personne qui lit tout.

Vous comparez plusieurs types de routeurs avec les mêmes messages et les mêmes coûts. Ils vont des règles par mots-clés et des modèles classiques aux modèles de plongement, à un petit modèle réglé finement et aux grands modèles de langage. Chacun ajoute une ligne à un même tableau comparatif. La ligne la moins chère gagne, pas la méthode la plus connue.

Un routeur est un système que des personnes doivent construire, tester et surveiller. Il n’en vaut pas toujours la peine :

  • Peu de messages. Avec 20 messages par jour, une personne peut tout lire en une demi-heure. Un routeur économise trop peu pour couvrir le travail qu’il demande.
  • Chaque message nécessite une personne. Une équipe juridique qui doit lire chaque lettre ne gagne rien avec un routeur.
  • Les équipes changent chaque mois. Un routeur apprend à partir d’étiquettes passées. Si les étiquettes changent souvent, il est toujours dépassé.

Larkfield reçoit environ 65 messages par jour, compte six équipes stables et connaît le coût de chaque erreur. C’est un bon cas pour un routeur.

Erreur courante

Un mot-clé qui semble évident

Symptôme : Tomás écrit une règle rapide : « Si un message contient refund ou return, envoyez-le à returns_refunds. » Il l’essaie sur quelques messages, et elle semble correcte.

Cause : la cliente de M-109856 a écrit « sent back », pas « return ». La règle ne détecte rien, donc son message nécessite encore une personne. La règle échoue aussi dans l’autre sens. Un client demande : « If I buy the hammock and don’t like the colour, can I return it? » Il demande s’il peut retourner le hamac si la couleur ne lui plaît pas, mais il n’a encore rien acheté. Le guide indique qu’il s’agit d’une question sur un produit. Dans les messages de test du cours, 36 des 144 questions sur les produits mentionnent un retour ou un remboursement. Les règles par mots-clés du cours en envoient 32 à returns_refunds.

Solution : étiquetez la demande, pas les mots. Une règle peut aider quand un mot signifie toujours la même chose. C’est le cas d’un numéro de commande ou de « charged twice » (facturé deux fois). Le module 3 mesure où les règles aident et où elles échouent.

Conséquence dans le travail en IA : une règle essayée sur cinq messages semble parfaite. Sur des milliers, elle envoie des groupes entiers de messages à la mauvaise équipe. Personne ne le remarque avant que les clients se plaignent.

La boîte de réception de Larkfield vous permet d’apprendre chaque méthode avec un ensemble de messages familier. Le travail réel présente d’autres données et d’autres pièges. Le cours se termine par des études de cas sur des jeux de données publics réels. Chacune part des données brutes pour arriver à une recommandation.

Études de cas de ce cours

À la fin du cours, vous appliquez ce que vous avez appris à un projet réaliste, des données jusqu’à la recommandation. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.

  • Router des questions bancairesComparez TF-IDF, des plongements, un petit encodeur réglé finement et un LLM rejoué sur 77 intentions bancaires fines, et construisez une cascade avec une cible de coût.
  • Trouver ce que le robot ne sait pas traiterDétectez les demandes hors champ et transférez-les à une personne, sur un jeu de données d'intentions avec un ensemble hors champ, et mesurez combien de mauvaises réponses automatiques cela évite.
  • Trier des demandes avec peu d'étiquettesCommencez avec 20 étiquettes par intention sur de vraies demandes ouvertes en anglais et en français, ajoutez des étiquettes par apprentissage actif et par étiquetage assisté par LLM avec révision, et montrez la courbe d'apprentissage et le coût de l'étiquetage.
  • Étiqueter des articles scientifiques avec beaucoup d'étiquettesFacultatif : donnez au résumé de chaque article toutes les étiquettes de sujet qui conviennent, avec un modèle et un seuil par étiquette, et présentez les résultats par étiquette.

Lisez la liste comme une carte du parcours du cours. Les études de cas utilisent le cours entier. La plupart des apprenants les commencent donc après le module 9.

Vérifiez votre compréhension

Le message M-109856 dit « the cushion set I sent back weeks ago … could you check what’s happening with that? » Quelle destination convient, et pourquoi l'ancien système s'est-il trompé?

Afficher la réponse

La bonne destination est returns_refunds. Le client a retourné un article et demande où en est son remboursement. L’équipe des retours doit donc agir. Le message nomme un produit (« the cushion set ») sans utiliser les mots « refund » ou « return ». Une personne ou un programme qui examine les mots, plutôt que la demande, y voit une question sur un produit. Le guide de Larkfield dit : étiquetez la demande, pas les mots.

Vérifiez votre compréhension

Larkfield reçoit environ 65 messages par jour. Une personne lit d'abord chacun d'eux, au coût de 1,50 $ US. Quel est le coût par jour et par 1 000 messages? Pourquoi le cours donne-t-il les coûts par 1 000 messages?

Afficher la réponse

Environ 65 × 1,50 = 98 $ US par jour, et 1 000 × 1,50 = 1 500 $ US par 1 000 messages. Le coût par 1 000 messages ne dépend pas du nombre de messages utilisés dans un test. Vous pouvez donc comparer deux méthodes, même si l’une a été testée sur 2 000 messages et l’autre sur 130. Le montant de 1 500 $ US par 1 000 correspond à la ligne « tout transférer à une personne ». C’est le coût actuel de Larkfield, que chaque routeur doit réduire.

Vérifiez votre compréhension

Donnez une situation où créer un routeur automatique ne vaut pas la peine, et expliquez pourquoi.

Afficher la réponse

N’importe laquelle de ces situations convient. Très peu de messages : une personne lit 20 messages par jour en une demi-heure. Un routeur fait donc économiser trop peu. Une personne doit de toute façon lire chaque message, par exemple des lettres juridiques. Ou les équipes et les étiquettes changent si souvent qu’un routeur entraîné sur les anciennes étiquettes est toujours dépassé. Un routeur a aussi un coût : des personnes doivent le créer, le tester et le surveiller.

Récapitulatif

  • Le routage est une classification de textes qui a une conséquence : l’étiquette détermine quelle équipe lit le message. Larkfield a sept destinations : six équipes et needs_person.
  • Le message M-109856 portait sur un remboursement. L’ancien système l’a placé dans la file d’attente de l’équipe des produits. Dans le tableau des coûts du cours, un message dans la mauvaise file coûte 4 $ US (une hypothèse). Cela représente environ 2 minutes de travail et un jour de plus, en moyenne.
  • Étiquetez la demande, pas les mots. Le message disait « sent back », pas « refund ».
  • Larkfield aujourd’hui : une personne lit d’abord chaque message, au coût de 1,50 $ US chacun. Cela représente 1 500 $ US par 1 000 messages. Chaque routeur du cours doit coûter moins cher que cette ligne.
  • Une règle par mots-clés testée sur quelques messages semble parfaite, mais échoue sur des groupes entiers de messages.

Vous pouvez maintenant expliquer ce qu’une erreur de routage coûte à Larkfield. Mais « quelle équipe? » n’est qu’une des questions à poser sur un message. Il a aussi un sujet, une priorité et une langue. Ensuite, vous concevez les étiquettes et vous décidez quelles questions auront leur propre étiquette.

Leçon suivante : Concevoir les étiquettes