Aller au contenu
English

Résumés et suivis

  • Leçon 20
  • 35 min
  • Module 6 : De la transcription à la décision

Où nous en sommes

Nous pouvons maintenant attribuer un motif à chaque appel. Grace veut aussi savoir ce que l'agent a promis et ce qui se passe ensuite. Dans cette leçon, nous créons un résumé structuré et le vérifions à partir de la transcription, car un résumé peut affirmer des choses qui n'ont pas été dites pendant l'appel.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 20 sur 36 · IA de la parole : transcrire, comprendre et parlerRésumés et suivis
Aperçu du cours

Ce que vous saurez faire

Transformez chaque appel en fiche d’appel : motif, court résumé, promesse de l’agent, prochaine étape et avis d’enregistrement. Vérifiez ensuite chaque fiche avant que quelqu’un agisse : sa forme, chaque champ par rapport à l’appel, puis la promesse par rapport au système de commandes de Larkfield.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet lit les fiches enregistrées des 50 appels de validation et compare chaque champ aux étiquettes. Il vérifie ensuite les promesses dans le système de commandes, avec les transcriptions exactes et celles de Whisper. Il montre aussi un test qui masque un problème. Aucun téléchargement de modèle, compte ou clé n’est nécessaire. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Seulement le carnet. Cette leçon n’ajoute aucun fichier au projet.

Testé sur macOS avec Python 3.12.13, dans Jupyter.

Pensez encore à l’agente du centre d’appels. Après chaque appel, elle écrit une courte note dans le dossier du client : « Banc non reçu. Promesse : le transporteur appellera. Prochaine étape : demander au transporteur. » Demain, un collègue lit la note et agit en conséquence. Personne ne réécoute l’appel.

La note n’est utile que si elle est vraie. Si elle promet quelque chose qui n’a pas été promis pendant l’appel, le collègue ne fait pas ce qu’il faut. Si l’agente a fait une promesse erronée, la note la répète, et l’erreur continue son chemin.

Le problème : une fiche fidèle, une promesse erronée

Section intitulée « Le problème : une fiche fidèle, une promesse erronée »

Écoutez l’appel C-0161. Une appelante demande des nouvelles d’un banc de jardin qui n’est pas arrivé. L’agent consulte la commande.

Appel C-0161, de 15,9 à 24,7 secondes, audio téléphonique (8 kHz). L’agent est une voix synthétique : Piper, entraîné sur le corpus LibriTTS-R (locuteur 5401). Tous les appels de Larkfield sont synthétiques : des voix de synthèse vocale ouvertes lisent des scripts que nous avons écrits.

Transcription. Agent : « Thank you. That’s order 260 026. Our system says it was delivered on the eighteenth of April. I will ask the courier to call you before tomorrow’s delivery. »

Avez-vous entendu le problème? La commande a été livrée il y a plusieurs semaines. Pourtant, l’agent promet un appel avant « la livraison de demain ». C’est une erreur dans nos propres scripts : l’agent fait cette promesse même quand la commande a été livrée. Nous l’avons gardée, car c’est exactement le genre d’erreur que la vérification d’une fiche doit détecter.

Le LLM a rédigé cette fiche pour l’appel :

{
"reason": "order_status",
"summary": "The customer called because their Harbor bench had not arrived. The system showed the order as delivered on April 18.",
"promise": "I will ask the courier to call you before tomorrow's delivery.",
"next_step": "courier_call",
"recording_notice": true,
"follow_up_needed": true
}

La fiche est fidèle : chaque champ rapporte ce qui a été dit pendant l’appel. Et pourtant, elle est erronée pour Larkfield. Demain, quelqu’un demande à un transporteur d’appeler au sujet d’un banc déjà livré. L’appelante ne sait toujours pas où est son banc. Grace appelle cela un suivi manqué. Le cours suppose qu’un suivi manqué coûte 25 $ US.

Une fiche d’appel est un résumé avec des champs fixes : un programme peut la lire et acheminer le travail. C’est la même sortie structurée que dans la dernière leçon; nous utilisons maintenant chaque champ. Chaque champ doit être vérifié avant que quelqu’un agisse. Il existe trois types de vérification, du moins coûteux au plus coûteux :

  1. La forme. Tous les champs sont présents. Le motif et la prochaine étape proviennent des listes autorisées. L’avis vaut true (vrai) ou false (faux). Un champ manquant ou un nouveau mot, comme "reason": "delivery", ferait échouer le programme qui lit la fiche.
  2. L’appel. Chaque champ correspond à ce qui a été dit. La promesse reprend-elle les mots de l’agent? La prochaine étape est-elle celle qu’exige la promesse? Pendant la création du système, nous mesurons cette correspondance avec les étiquettes. En production, nous comparons la fiche à la transcription.
  3. Les systèmes d’affaires. Chaque champ correspond à ce que Larkfield sait. La commande existe-t-elle? La promesse correspond-elle à l’état de la commande? Un LLM qui lit seulement la transcription ne peut pas le savoir.

Le cours Créer des applications fiables avec les API de LLM appelle les deuxième et troisième types « Valider le sens » : une réponse bien formée peut quand même être erronée.

La transcription de l'appel C-0161 est transmise au LLM, qui rédige une fiche d'appel : motif order_status, résumé, promesse que le transporteur appellera avant la livraison de demain, prochaine étape courier_call, avis d'enregistrement true, suivi nécessaire true. Trois vérifications lisent la fiche. Vérification 1, la forme : tous les champs sont présents et les valeurs proviennent des listes. Vérification 2, l'appel : la promesse reprend les mots de l'agent, oui. Vérification 3, le système de commandes : la commande 260026 est livrée, mais la prochaine étape est courier_call. La fiche est donc signalée à une personne.
Un appel transformé en fiche, et les trois vérifications. Seul le système de commandes sait que la promesse est erronée.
Description textuelle du diagramme

À gauche se trouve la transcription de l’appel C-0161. Le banc de l’appelante n’est pas arrivé, et son numéro de commande est 260026. L’agent dit que la commande a été livrée le 18 avril. Il promet ensuite que le transporteur appellera avant la livraison de demain. Une flèche mène au LLM, qui donne une réponse en JSON. Vient ensuite la fiche d’appel avec six champs. Le motif est order_status. Le résumé dit que le banc n’est pas arrivé et que le système l’indique comme livré. La promesse est un appel du transporteur, la prochaine étape est courier_call, et les champs d’avis et de suivi valent true. Trois vérifications lisent la fiche. Vérification 1, la forme : tous les champs sont présents et les valeurs proviennent des listes. Vérification 2, l’appel : la promesse reprend les mots de l’agent, donc elle réussit. Vérification 3, le système de commandes : la commande 260026 est livrée, mais la prochaine étape est courier_call. La fiche est donc signalée à une personne.

Les vérifications 1 et 2 réussissent, car la fiche reproduit bien l’appel. Seule la vérification 3 voit que l’appel lui-même contenait une erreur.

Priya compare chaque champ des fiches enregistrées aux étiquettes des 60 appels de test. Une promesse en texte libre compte comme correcte si elle ressemble assez aux mots de l’agent. La similarité se mesure lettre par lettre, de 0 (aucune ressemblance) à 1 (texte identique). Une valeur d’au moins 0,6 compte comme une correspondance. La prochaine leçon explique ce type de similarité en détail.

  • À partir de la transcription exacte
  • À partir de la transcription de Whisper small
Chaque champ des fiches d'appel enregistrées de chat-small comparé aux étiquettes des 60 appels de test synthétiques de Larkfield. Quatre champs correspondent pour tous les appels; la promesse correspond dans 83 % et 78 % des cas.
Description textuelle du graphique

Un graphique à colonnes avec dix colonnes, deux par champ, sur un axe de 0 à 100 %. Le nom du champ est sous la première colonne de chaque paire. Motif : 100 % avec la transcription exacte et 100 % avec celle de Whisper small. Prochaine étape : 100 % et 100 %. Suivi nécessaire : 100 % et 100 %. Avis d’enregistrement : 100 % et 100 %. Promesse : 83 % avec la transcription exacte (50 sur 60) et 78 % avec celle de Whisper small (47 sur 60).

La vérification de la forme n’a trouvé aucun problème dans les 220 fiches (110 appels, deux transcriptions chacun). Le motif, la prochaine étape, le suivi et l’avis correspondent aux étiquettes pour tous les appels de test. Rappelez-vous la dernière leçon : les appels synthétiques de Larkfield sont faciles. Seule la promesse est sous 100 %.

Le LLM invente-t-il des promesses? Priya répartit les résultats par langue :

Appels Promesses correspondantes (transcription exacte) Promesses correspondantes (Whisper small)
34 appels de test en anglais 34 sur 34 34 sur 34
26 appels de test en français 16 sur 26 13 sur 26

Tous les échecs concernent un appel en français. Elle en lit un, l’appel C-0033 (validation) :

Texte
L’agent a dit Je vous envoie le guide d’installation avec des images par courriel aujourd’hui.
La fiche dit I’ll send you the installation guide with pictures by email today.
Similarité 0,43

Le sens est le même. Le modèle a traduit la promesse en anglais. La requête (prompt) demandait un résumé en anglais et une promesse « dans les mots de l’agent ». Le modèle a suivi la première partie. La vérification comparait les lettres; elle a donc trouvé une différence réelle : la langue. Elle n’a pas trouvé de promesse inventée. Sur les 110 appels de validation et de test, les transcriptions exactes donnent 22 promesses signalées. Priya lit les 22 : chacune est la promesse de l’agent en français, traduite en anglais.

Voilà le résultat honnête d’une vérification : elle signale une fiche, et une personne détermine pourquoi. Deux corrections sont possibles. Demandez au modèle de rédiger la promesse dans la langue de l’appel, puis enregistrez les réponses de nouveau. Ou comparez le sens plutôt que les lettres, par exemple avec un deuxième appel au LLM. Les deux options ont un coût. Comptez donc d’abord la fréquence du problème.

Passons à la troisième vérification. Elle lit le numéro de commande dans la transcription avec le lecteur de numéros de commande du projet, présenté au module 4. Ce lecteur vérifie aussi le chiffre de contrôle. Elle recherche le numéro dans le système de commandes. Elle signale une fiche qui promet un appel du transporteur pour une commande déjà livrée. Voici le code du carnet :

def order_check(answer, text, language):
"""'flag' when the record promises a courier call for an order that the system says was delivered."""
number, problem = find_order_number(text, language)
if problem or number not in orders:
return f"no order to check ({problem or 'not in the system'})"
if orders[number]["status"] == "delivered" and answer.get("next_step") == "courier_call":
return "flag"
return "ok"

Avec les transcriptions exactes des 110 appels de validation et de test, elle signale 9 appels :

flagged from the exact transcripts: ['C-0003', 'C-0073', 'C-0265', 'C-0064', 'C-0068', 'C-0074', 'C-0161', 'C-0194', 'C-0288']

Ce sont tous les appels avec une promesse erronée, et aucun autre. Le LLM lui-même n’en a signalé aucun : dans les neuf fiches, la prochaine étape est courier_call (appel du transporteur). La fiche a copié la promesse sans la remettre en question.

En production, il n’y a pas de transcription exacte. La vérification doit lire la transcription de Whisper small. Elle ne signale que 6 des 9 appels :

flagged from Whisper small: ['C-0003', 'C-0073', 'C-0265', 'C-0064', 'C-0194', 'C-0288']
C-0068 said: 540369 Whisper small: ('1540369', 'too long') -> no order to check (too long)
C-0074 said: 149849 Whisper small: ('49849', 'too short') -> no order to check (too short)
C-0161 said: 260026 Whisper small: ('26026', 'too short') -> no order to check (too short)
Cinq cases en chaîne. L'appelante dit : It's 260026. Whisper small écrit : It's 26026, un chiffre perdu. La vérification du numéro de commande trouve 5 chiffres : c'est trop court, donc aucune commande ne peut être recherchée. La vérification du système de commandes ne peut pas s'exécuter. La promesse erronée, un appel du transporteur pour une commande livrée, reste dans la fiche.
Comment un chiffre mal entendu dans l'appel C-0161 laisse passer une promesse erronée. Chaque étape fonctionne comme prévu; l'erreur passe d'une étape à l'autre.
Description textuelle du diagramme

Cinq cases de gauche à droite, reliées par des flèches. D’abord, l’appelante dit « It’s 260026. » Ensuite, Whisper small écrit « It’s 26026 » : un chiffre est perdu. Puis, la vérification du numéro de commande ne trouve que 5 chiffres. Le numéro est trop court, donc aucune commande ne peut être recherchée. Quatrièmement, la vérification du système de commandes ne peut pas s’exécuter. Enfin, la promesse erronée, un appel du transporteur pour une commande livrée, reste dans la fiche.

C’est la chaîne d’erreurs du module : un mot mal entendu devient une décision erronée deux étapes plus tard. Whisper small a manqué 8 des 52 numéros de commande dans les appels de test (Les erreurs qui comptent). Ici, ces erreurs désactivent une vérification. Le WER de l’appel entier a à peine changé.

Les corrections sont peu coûteuses :

  • Ne traitez jamais « aucune commande à vérifier » comme « tout est correct ». Envoyez ces fiches à une personne ou à une deuxième vérification.
  • Obtenez le numéro de commande autrement. Le serveur vocal interactif (SVI, IVR) du module 7 demande aux appelants de le saisir au clavier. Le chiffre de contrôle détecte alors la plupart des erreurs de saisie.

Grace dispose de 60 minutes de révision par un chef d’équipe par jour, à 0,75 $ US la minute (hypothèses du cours). Supposons que vérifier une fiche signalée prend 2 minutes (notre hypothèse). Sur les 110 appels de validation et de test, la vérification des commandes a signalé 9 fiches. Cela représente 18 minutes de révision, soit 13,50 $ US. Un suivi manqué coûte 25 $ US. Chaque signalement qui trouve un vrai problème est donc rentable. Les signalements de promesses en français sont différents : 22 des 110 appels, tous des traductions sans danger. Corrigez-les dans la requête, plutôt qu’en y consacrant des minutes de révision.

Erreur courante

Vous testez une vérification avec les étiquettes plutôt qu'avec la transcription

Symptôme : dans votre test, la vérification des commandes détecte toutes les promesses erronées. En production, elle en manque certaines.

Cause : votre test lisait le numéro de commande dans les étiquettes, parce que c’était plus facile. Le carnet le montre : avec les numéros de commande des étiquettes, la vérification signale 9 appels sur 9. Avec les transcriptions de Whisper, elle en signale 6 sur 9. En production, seule la transcription de Whisper est disponible.

Correction : testez chaque vérification avec la même entrée qu’en production : la transcription reconnue, avec ses erreurs.

Erreur courante

Le programme qui lit la fiche plante sur un nouveau mot

Symptôme : un jour, le code d’acheminement échoue avec une KeyError (erreur de clé), ou n’envoie les appels à personne.

Cause : le LLM a écrit un motif ou une prochaine étape hors liste, ou a omis un champ. Le cours demandait du JSON (mode JSON), pas un schéma fixe; rien ne l’en empêchait donc. Dans cet ensemble, les 220 fiches avaient la bonne forme. Cela ne garantit pas la forme des 220 prochaines.

Correction : vérifiez d’abord la forme de chaque fiche, comme dans la vérification 1. Renvoyez une fiche mal formée au modèle une fois, puis à une personne. Le cours Créer des applications fiables avec les API de LLM montre cette étape.

Utilisez une fiche d’appel produite par un LLM quand des personnes agissent sur des appels que personne n’a le temps de réécouter : suivis, rappels, remboursements. Une seule réponse donne le motif, le résumé, la promesse et la prochaine étape. Pour les appels de Larkfield, cela coûte environ 0,13 à 0,15 $ US pour 1 000 appels. Ce coût a été enregistré au tarif du déploiement; les prix changent.

Ne laissez pas la fiche déclencher une action seule. Une fiche reproduit l’appel, erreurs comprises. Vérifiez sa forme, comparez-la à l’appel, puis vérifiez-la dans les systèmes qui connaissent les faits. Envoyez chaque signalement à une personne, ainsi que toute fiche qu’une vérification n’a pas pu tester.

Vérifiez votre compréhension

Tomás dit : « La fiche du LLM pour C-0161 reprend mot pour mot ce que l'agent a dit. Elle est donc correcte. » Que lui dites-vous?

Afficher la réponse

La fiche est fidèle, mais fidèle ne veut pas dire correct. L’agent a dit que la commande était livrée. Puis, il a promis un appel du transporteur avant la livraison du lendemain. C’est une promesse erronée et une erreur dans nos propres scripts. La fiche l’a copiée, avec courier_call comme prochaine étape. Seule une vérification dans le système de commandes peut la signaler. Ce système sait que la commande 260026 est livrée. Sur les 110 appels de validation et de test, cette vérification a signalé 9 fiches de ce type. Le LLM n’en a signalé aucune.

Vérifiez votre compréhension

Faites une prédiction : sur les transcriptions de Whisper small, la promesse correspond aux étiquettes dans 78 % des appels de test. Cela veut-il dire que le LLM a inventé une promesse dans 22 % des appels?

Afficher la réponse

Non. Chaque écart concerne un appel en français. Les promesses en anglais correspondent dans les 34 appels sur 34. Le modèle a traduit les promesses françaises en anglais. Une comparaison lettre par lettre leur donne donc un faible score (C-0033 : similarité de 0,43, avec le même sens). La vérification a trouvé une différence de langue, pas une promesse inventée. Lisez les fiches signalées avant de décider ce que le nombre signifie.

Vérifiez votre compréhension

Vérification pratique : dans le carnet Jupyter, lancez la vérification du système de commandes sur les transcriptions de Whisper small. Combien des 9 promesses erronées signale-t-elle, et qu'est-ce qui la bloque pour les autres?

Afficher la réponse

Elle en signale 6 sur 9. Pour C-0068, C-0074 et C-0161, Whisper small a ajouté ou perdu un chiffre du numéro de commande (« 1540369 », « 49849 », « 26026 »). Le numéro n’a pas la bonne longueur. La vérification ne trouve donc aucune commande à consulter et ne peut pas s’exécuter. Ici, un numéro de commande mal reconnu est l’erreur de transcription qui rend le plus souvent la fiche d’appel inutilisable. Les corrections les moins coûteuses : envoyez à une personne chaque fiche « aucune commande à vérifier », et faites saisir le numéro de commande au clavier.

Récapitulatif

  • Une fiche d’appel est un résumé avec des champs fixes (motif, résumé, promesse, prochaine étape, avis d’enregistrement, suivi). Un LLM la rédige en JSON.
  • Vérifiez chaque fiche de trois façons : sa forme, chaque champ par rapport à l’appel, et les faits dans les systèmes d’affaires.
  • Sur les 60 appels de test synthétiques de Larkfield, quatre champs correspondent aux étiquettes pour chaque appel. La promesse correspond dans 83 % des cas (transcriptions exactes) et 78 % des cas (Whisper small). Chaque écart est une promesse française que le modèle a écrite en anglais.
  • Une fiche peut être fidèle et erronée. La vérification du système de commandes a signalé 9 promesses d’appel du transporteur pour des commandes livrées, copiées par le LLM.
  • Sur les transcriptions de Whisper, la vérification n’en a signalé que 6 sur 9. Un numéro de commande mal reconnu l’a empêchée de fonctionner. Ne traitez jamais « aucune commande à vérifier » comme « tout est correct ».

La fiche contient aussi un champ pour l’avis d’enregistrement. Les règles de Larkfield l’exigent dans chaque appel. Il mérite donc une meilleure vérification qu’un oui ou un non du LLM. Ensuite, nous cherchons l’avis dans la transcription, par correspondance exacte et approximative, ainsi que dans l’audio lui-même.

Leçon suivante : Phrases de conformité et détection de mots-clés