Aller au contenu
English

Là où un menu ne suffit plus

  • Leçon 28
  • 30 min
  • Module 8 : Du serveur vocal à l'agent vocal

Où nous en sommes

Nos tests montrent quels appels le SVI traite et lesquels il transfère à une personne. Certains appelants demandent deux choses ou changent d'idée. Dans cette leçon, nous examinons ces appels, ce qu'un LLM pourrait ajouter et ce qu'il coûterait.

Leçon 28 sur 36 · IA de la parole : transcrire, comprendre et parlerLà où un menu ne suffit plus
Aperçu du cours

Ce que vous saurez faire

Repérez les appels qu’un menu téléphonique ne peut pas traiter. Décidez ce qu’un grand modèle de langage (LLM) pourrait y ajouter. Puis calculez son coût en temps d’attente, en argent et en erreurs que les appelants entendent.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien. Cette leçon examine des appels et des réponses enregistrés. Vous exécuterez du code dans la prochaine leçon.

Pensez à un formulaire imprimé dans un bureau de poste. Il comporte des cases : nom, adresse, poids du colis. Il fonctionne bien quand votre question correspond aux cases. Puis un client écrit « J’ai envoyé un colis la semaine passée, non, attendez, je veux en envoyer un nouveau ». Le formulaire n’a pas de case pour « non, attendez ». Un commis derrière le comptoir lit la phrase entière et la comprend.

Le menu téléphonique est le formulaire. Ses messages sont les cases : « dites suivi de commande, heures d’ouverture ou commencer un retour ». Le commis représente ce que Tomás, l’ingénieur en IA, veut : un agent vocal. C’est une ligne téléphonique où un LLM écoute les mots de l’appelant et décide quoi dire et quoi faire.

Tomás dit qu’un agent LLM est toujours meilleur qu’un menu. Omar, le gestionnaire de produit, est responsable du choix pour la ligne utilisée en dehors des heures d’ouverture. Il pose une meilleure question : pour quels appels le menu échoue-t-il, et un agent ferait-il mieux pour ces appels?

Dans le module 7, Amira a testé le SVI avec 60 appels de test enregistrés. Un appel de test réussit quand le SVI le termine comme il devrait. Pour certains appels, la bonne conclusion est une réponse, comme le suivi de commande. Pour d’autres, c’est un transfert à une personne, par exemple quand l’appelant le demande.

Le SVI a réussi 39 des 60 appels. (Un test plus strict vérifie aussi la raison de chaque transfert et compte 33 réussites. Ce module utilise la première règle pour les deux conceptions.) Sur les 60 appels, son taux de rétention (containment) était de 35 % : il a donné la réponse sans personne. Il a transféré 63 % des appels à une personne. Le graphique montre les réussites pour chaque type d’appel de test. Ces chiffres concernent les appels synthétiques de Larkfield, comme tous les chiffres de cette leçon.

Barres horizontales, une pour chacun des 13 types d'appels de test, classées selon la proportion de réussites. Tous réussis : retour par la parole 6 sur 6, heures par la parole 6 sur 6, suivi de commande au clavier 6 sur 6, demande imprécise 4 sur 4, demande une personne 3 sur 3, appuie encore sur 0 3 sur 3, heures au clavier 3 sur 3. Certains réussis : appelant silencieux 2 sur 3, ligne bruyante puis clavier 2 sur 4, mauvais numéro puis correction 1 sur 3, numéro avec pause 1 sur 4, suivi de commande par la parole 2 sur 12. Aucun réussi : changement d'idée 0 sur 3.
Le SVI sur ses 60 appels de test enregistrés (Whisper base, attente de fin de tour de 0,8 seconde), réussites par type. Il réussit chaque appel au clavier et chaque demande orale simple. Il échoue quand l'appelant dit plus qu'un élément du menu.
Description textuelle du diagramme

Chaque barre représente un type d’appel de test. La partie bleue indique la proportion que le SVI a réussie, et le texte donne le nombre. Sept types réussissent chaque appel : retour par la parole, heures d’ouverture par la parole ou au clavier, suivi de commande au clavier, demande imprécise, demande d’une personne et nouvel appui sur 0. Les types du bas échouent le plus souvent. Quand l’appelant change d’idée, 0 appel sur 3 réussit. Quand il demande le suivi de commande à voix haute, 2 appels sur 12 réussissent. Quand il dit le numéro avec une pause, 1 appel sur 4 réussit. Quand il dit un mauvais numéro puis le corrige, 1 appel sur 3 réussit.

Le SVI a échoué à 21 des 60 appels, et 15 de ces 21 appels sont en français. Chaque appel échoué s’arrête à une étape du menu. Il s’arrête à la question sur la langue dans 5 appels, au menu dans 9, et au numéro de commande dans 6. Dans un appel, l’appelant ne dit rien et le SVI raccroche.

Regardez ce que Whisper base a écrit dans certains de ces appels :

Appel Ce que l’appelant a dit Ce que Whisper base a écrit Là où l’appel s’est arrêté
I-056 « Où est ma commande? » « Le matemain. » le menu
I-011 « Français. » « Prowa C. » la question sur la langue
I-003 « 522912 » « Two two nine one two. » le numéro de commande
I-006 « Where is my order? » « Where’s my order? » le menu

Les trois premiers appels échouent à la reconnaissance : le système de reconnaissance a entendu les mauvais mots. Le dernier appel est différent. Whisper base a bien entendu l’appelant, mais « Where’s my order? » ne fait pas partie des phrases du menu. C’est un échec de compréhension : les mots sont justes, mais le menu ne peut pas les utiliser.

Dans nos appels de test, la plupart des échecs concernent la reconnaissance, et la plupart sont en français. La leçon Accents, bruit et deux langues l’a mesuré. Whisper base a un taux d’erreur sur les mots (WER) de 23,8 % sur les appels de test français. Il est de 5,2 % sur les appels anglais. Les échecs de compréhension sont moins nombreux, mais un menu ne peut pas du tout les corriger. Ils arrivent quand un appelant reformule sa demande, change d’idée ou ne sait pas quoi demander.

Voici l’appelant de l’appel de test I-076. Le SVI a demandé « How can I help? » (« Comment puis-je vous aider? »).

Appel de test I-076, deuxième tour de parole de l’appelant, qualité téléphonique (8 kHz, ligne fixe). Une voix synthétique : Piper, entraînée sur le corpus VCTK. Transcription : « My neighbour said I should call you about the garden thing. »

Et voici un appelant francophone, dans l’appel de test I-045, qui change d’idée au milieu de sa phrase.

Appel de test I-045, deuxième tour de parole de l’appelant, qualité téléphonique (8 kHz, ligne mobile). Une voix synthétique : Kokoro (voix ff_siwis), entraînée à partir du corpus français SIWIS. Transcription : « Je veux faire un retour… non, suivre ma commande. »

Une personne du centre d’assistance de Larkfield traite les deux demandes en quelques secondes. Le premier appelant a une question sur un produit, et l’agent du centre d’assistance lui demande lequel. Le deuxième veut le suivi de commande, et l’agent ignore le mot « retour ».

L’idée : laisser un modèle choisir la prochaine étape

Section intitulée « L’idée : laisser un modèle choisir la prochaine étape »

Un menu comporte une liste fixe d’étapes. Amira a écrit chaque message et chaque étape suivante. Un agent vocal fonctionne autrement :

  • Il pose une question ouverte : « Comment puis-je vous aider? »
  • Un LLM lit les mots de l’appelant et tout ce qui a été dit jusque-là dans l’appel.
  • Le LLM choisit la prochaine étape. Il peut répondre, poser une question ou appeler un outil.

Un outil est une fonction que le programme permet au LLM d’appeler. L’agent de Larkfield a quatre outils : chercher une commande, commencer un retour, transférer l’appelant à une personne et terminer l’appel. Le LLM ne modifie pas lui-même le système de commandes. Il demande un appel d’outil, et le programme l’exécute. Le cours Agents d’IA et orchestration des flux de travail enseigne les outils en détail : Contrats d’outils et Limites d’approbation.

Deux flux côte à côte. SVI (menu) : un message fixe mène à une question (les mots correspondent-ils à un élément du menu?). Oui mène à une prochaine étape fixe écrite par Amira. Non, deux fois, mène à une personne. Agent vocal : une question ouverte mène au LLM, qui lit les mots et l'appel jusqu'à ce point. Le LLM choisit la prochaine étape : répondre ou demander dans ses propres mots, appeler le système de commandes comme outil, ou appeler l'outil de transfert à une personne.
Le menu décide selon des règles fixes qu'une personne a écrites. L'agent laisse le LLM choisir la prochaine étape, et le programme exécute les outils qu'il demande.
Description textuelle du diagramme

À gauche se trouve le SVI. Il dit un message fixe, puis vérifie si les mots de l’appelant correspondent à un élément du menu. S’ils correspondent, il exécute la prochaine étape fixe qu’Amira a écrite. Si les mots ne correspondent pas deux fois, il transfère l’appel à une personne. À droite se trouve l’agent vocal. Il pose une question ouverte. Le LLM lit les mots de l’appelant et l’appel jusque-là, puis choisit une de trois actions. Il peut répondre ou demander dans ses propres mots. Il peut appeler le système de commandes comme outil. Ou il peut appeler l’outil qui transfère l’appel à une personne.

L’agent ajoute donc deux choses. Il comprend les phrases qui ne figurent pas au menu. Et il peut enchaîner les étapes librement : confirmer un numéro, le chercher et répondre à une deuxième question dans le même appel.

Exemple détaillé : le même appelant, deux conceptions

Section intitulée « Exemple détaillé : le même appelant, deux conceptions »

L’équipe du cours a exécuté un agent vocal sur les mêmes 60 appels de test enregistrés. Il utilisait le modèle hébergé chat-small sur Azure, avec les quatre outils. Chaque réponse a été enregistrée une fois. Vous réécoutez les enregistrements, donc vous n’avez besoin d’aucune clé. Voici encore l’appel de test I-045, tour par tour. La colonne de gauche montre ce que Whisper base a écrit à partir de l’audio de l’appelant.

Appelant (tel que reconnu) Réponse de l’agent (enregistrée)
[l’appelant a appuyé sur 2 au clavier] « Sorry, I didn’t understand. How can I help? Vous pouvez aussi parler en français. »
« Je veux faire un retour non suivre ma commande. » « Bien sûr. Pour commencer un retour, dites-moi votre numéro de commande. »
« 189 710. » « Votre numéro de commande est le 1 8 9, 7 1 0. Est-ce bien cela ? »
« Oui c’est ça ! » (appelle l’outil chercher la commande 189710 : aucune commande correspondante)
« Je ne trouve pas de commande sous ce numéro. Voulez-vous vérifier le numéro ou parler à une personne ? »

Lisez lentement. Trois choses ont mal tourné, et chacune nous apprend quelque chose :

  1. L’appui au clavier. L’appelant enregistré a appuyé sur 2 pour choisir le français, car le message d’accueil du SVI le demande. L’agent n’a jamais proposé de menu au clavier. La touche ne signifiait donc rien pour lui. La réexécution est injuste envers l’agent ici.
  2. Le changement d’idée. L’appelant a dit « non, suivre ma commande ». L’agent a répondu « pour commencer un retour, dites-moi votre numéro de commande ». Le menu n’a pas compris cette phrase non plus, mais il a seulement répété sa question. L’agent a choisi la mauvaise tâche et l’a dite à voix haute.
  3. Le numéro de commande. L’appelant a dit 187971. Whisper base a écrit « 189 710 ». L’agent a relu le mauvais numéro, et l’appelant enregistré a dit « oui ». Le système de commandes n’a trouvé aucune commande correspondante, donc rien de grave n’est arrivé.

La réexécution a une autre limite. L’appelant enregistré ne peut pas réagir. Dans un vrai appel, il dirait « non, j’ai dit suivre ma commande ». Ici, la prochaine réplique enregistrée joue, peu importe ce que l’agent a dit. La réexécution est donc injuste envers les deux conceptions : le SVI du module 7 et l’agent ici.

Un agent n’est pas gratuit. Omar note trois coûts avant que quelqu’un le construise.

L’agent ajoute une étape que le menu n’a pas : le LLM doit écrire chaque réponse. Les messages du menu sont préparés à l’avance. Sur les appels enregistrés, l’attente médiane entre « l’appelant cesse de parler » et « le premier son en retour » était de 2,10 secondes. Aucun tour de parole de l’appelant n’avait une attente inférieure à une seconde. La prochaine leçon décompose cette attente.

Le LLM facture chaque mot qu’il lit et écrit. Les 60 appels de test enregistrés ont coûté 0,011 $ US au total, soit environ deux centièmes de cent par appel. C’est minime par rapport aux 4,00 $ US pour une personne. Le coût qui compte est celui des personnes. Chaque appel que l’agent transfère coûte encore 4,00 $ US. Les prix changent : consultez la page actuelle du modèle que vous utilisez.

Un menu peut seulement dire ce qu’Amira a écrit. Un agent écrit de nouvelles phrases. La requête système lui demandait de lire les numéros de commande chiffre par chiffre. Dans l’appel de test I-054, il a plutôt dit « six hundred three, one hundred thirty-seven » (« six cent trois, cent trente-sept »). Dans l’appel I-045, il a dit « pour commencer un retour » à un appelant qui voulait le suivi de commande. On peut corriger une mauvaise phrase écrite avant que quelqu’un la lise. Dans un appel téléphonique, une mauvaise phrase est entendue immédiatement.

SVI (menu) Agent vocal
Comprend les mots du menu et le clavier des phrases libres
Dit seulement les messages qu’Amira a écrits de nouvelles phrases chaque fois
Attend après l’appelant (médiane) aucune étape LLM 2,10 secondes sur les appels enregistrés
Coût du LLM par appel aucun environ 0,0002 $ US (60 appels : 0,011 $ US)
Peut agir incorrectement oui : 2 mauvaises actions sur 60 appels (dans la réexécution enregistrée du premier dialogue.py; aucune avec le SVI actuel) oui, par ses outils

Les coûts des personnes et des erreurs sont des hypothèses (tableau des coûts de Grace). Les temps et les mots du LLM proviennent de réponses enregistrées de chat-small.

Essayez un agent là où le menu échoue parce que les appelants disent plus qu’un élément du menu : changement d’idée, deux questions, demande imprécise. Nos 60 appels de test n’ont aucun appelant qui pose deux questions. Ajoutez de tels appels aux données de test avant de juger un agent sur ce point.

Ne vous attendez pas à ce qu’un agent corrige les erreurs de reconnaissance. Pour le type « suivi de commande, parole », l’agent a réussi 2 appels sur 12, comme le SVI. Les deux utilisaient Whisper base, et les deux ont entendu les mauvais chiffres. Un meilleur système de reconnaissance, ou le clavier pour le numéro, corrige cela. Pas un LLM.

Et gardez le menu là où il fonctionne. Les appels au clavier, les heures d’ouverture et les retours simples réussissent chaque fois avec le SVI. Un agent y ajoute de l’attente et de nouvelles possibilités d’erreurs, sans rien apporter.

Erreur courante

Juger l'agent sur un seul bon appel

Symptôme : Tomás fait écouter un appel enregistré de l’agent pendant une réunion. L’appelant dit quelque chose de vague, et l’agent transfère poliment l’appel à une personne. Tout le monde convient que l’agent « comprend les gens ». Personne ne demande comment l’agent se débrouille sur les 59 autres appels.

Cause : un appel est une anecdote. Les réponses de l’agent changent avec chaque formulation. Certains types d’appels se passent bien (demande imprécise : 4 sur 4 transférés correctement). D’autres se passent mal (numéro de commande au clavier : 0 sur 6, car l’agent n’a jamais proposé le clavier).

Correction : jugez l’agent sur les mêmes appels de test enregistrés que le SVI, avec les mêmes règles de réussite. Présentez le résultat pour chaque type d’appel. Le graphique ci-dessus le fait pour le SVI, et Les modèles parole-parole et l’évaluation le fait pour les deux.

Conséquence dans le travail en IA : une démonstration choisit son meilleur exemple. Des données de test montrent la moyenne et les pires cas. Une décision basée sur une démonstration mène à une mise en production avec des échecs que personne n’a mesurés.

Utilisez le tableau ci-dessous : d’autres appels de test échoués du SVI, avec les transcriptions enregistrées de Whisper base. Aucun code n’est nécessaire.

Appel Type Ce que l’appelant a dit Ce que Whisper base a écrit
I-008 suivi de commande, parole « Français. » « We are so enough. »
I-010 suivi de commande, parole « 303362 » « Three, both three, three. »
I-046 changement d’idée « Je veux faire un retour… non, suivre ma commande. » « Un retour à quelqu’un. »
I-047 changement d’idée « Je veux faire un retour… non, suivre ma commande. » « Je veux faire un retournant. Five-rena commande. »
I-055 mauvais numéro, puis correction « Je veux suivre ma commande. » « Je suis vraiment commande. »
  1. Pour chaque appel, comparez les deux textes.
  2. Classez l’appel comme reconnaissance si les mots ont été mal entendus. Classez-le comme compréhension si les mots étaient justes, mais que le menu ne pouvait pas les utiliser.
  3. Pour chaque appel, écrivez ce qui aiderait le plus : un meilleur système de reconnaissance, le clavier ou un LLM.
  4. Comparez vos réponses avec la réponse ci-dessous.
Afficher la réponse

Les cinq sont des échecs de reconnaissance. Dans chaque cas, le texte que Whisper base a écrit ne correspond pas à ce que l’appelant a dit.

  • I-008 et I-055 sont des demandes françaises transcrites avec d’autres mots. Un meilleur système de reconnaissance aide, ou le clavier : le SVI propose « appuyez sur 2 » pour le français et des touches pour le menu.
  • I-010 est un numéro de commande dit à voix haute. Le clavier aide le plus.
  • I-046 et I-047 sont le changement d’idée. Un LLM pourrait comprendre « un retour… non, suivre ma commande ». Mais ici, il ne reçoit jamais ces mots. I-046 a donné « Un retour à quelqu’un », donc le SVI a entendu « quelqu’un » et transféré l’appelant à une personne. Un LLM qui lit un mauvais texte fait aussi un mauvais choix.

Un agent LLM aide donc pour les échecs de compréhension, comme I-006 ci-dessus. Il n’aide pas pour les échecs de reconnaissance, qui représentent la plupart des échecs dans nos appels de test.

Lisez les réponses enregistrées de l’agent pour l’appel de test I-076, celui de l’appelant du premier extrait :

Appelant (tel que reconnu) Réponse de l’agent (enregistrée)
« End of. » « I’m sorry, I didn’t understand. Could you tell me what you need help with? »
« My neighbor said I should call you about the garden thing. » « Sorry, I’m not sure what you mean by ‘the garden thing.’ Are you calling about an order, a return, our opening hours, or would you like to speak to someone? »
« My neighbor said I should call you about the garden thing. » (appelle l’outil transférer à une personne : « Caller’s request is unclear after two attempts to clarify. »)

Avant de lire la réponse, décidez : l’agent a-t-il fait mieux que le SVI dans cet appel? Quel coût chaque conception a-t-elle entraîné?

Afficher la réponse

Les deux conceptions ont réussi : pour une demande imprécise, la bonne conclusion est un transfert à une personne. Les deux ont transféré l’appel après deux échecs. La règle du SVI se trouve dans son code. L’agent a suivi la même règle parce que sa requête système le demandait. Dans cet appel, l’agent a donc ajouté du temps d’attente et un coût de LLM, pour le même résultat. Sa deuxième question était meilleure : elle présentait les choix du menu de façon accueillante. La première ligne, « End of. », est le texte de Whisper base quand l’appelant dit « English » (anglais). C’est encore une erreur de reconnaissance.

Vérifiez votre compréhension

Le SVI a réussi 39 des 60 appels de test, mais son taux de rétention n'était que de 35 %. Comment est-ce possible?

Afficher la réponse

Un appel de test réussit quand il se termine comme prévu. Pour certains appels, la bonne conclusion est un transfert à une personne. C’est le cas si l’appelant le demande, appuie sur 0 ou fait une demande imprécise. Ces appels réussissent grâce au transfert, mais ne comptent pas dans la rétention. La rétention compte seulement les appels que le SVI termine lui-même, avec la réponse et sans personne : 21 sur 60, soit 35 %.

Vérifiez votre compréhension

Tomás dit : « Un agent LLM va régler les problèmes de nos appels de suivi de commande par la parole. » Que disent les appels enregistrés?

Afficher la réponse

Ils disent non. Pour le « suivi de commande par la parole », l’agent a réussi 2 appels sur 12, comme le SVI. Les deux utilisaient Whisper base et ont mal reconnu les chiffres. L’agent a même relu un mauvais numéro, et l’appelant enregistré a dit oui. Pour ce type de problème, la solution se trouve dans la reconnaissance : un meilleur système de reconnaissance, ou le clavier pour le numéro. Un LLM aide quand les mots sont bien reconnus, mais ne correspondent pas au menu, comme un changement d’idée.

Vérifiez votre compréhension

Nommez trois coûts d'un agent vocal qu'un menu n'a pas, avec un chiffre tiré des appels enregistrés pour chacun.

Afficher la réponse

Temps d’attente : une médiane de 2,10 secondes entre « l’appelant cesse de parler » et « le premier son en retour ». Aucun tour de parole n’a pris moins d’une seconde. Argent : un coût de LLM de 0,011 $ US pour les 60 appels. C’est peu comparé aux 4,00 $ US par appel traité par une personne (une hypothèse). Erreurs dites à voix haute : l’agent a lu un numéro de commande comme « six hundred three, one hundred thirty-seven ». Pourtant, sa requête lui demandait de lire les chiffres un à un. Il a aussi proposé un retour à un appelant qui disait « non, suivre ma commande ».

Récapitulatif

  • Le SVI a réussi 39 des 60 appels de test enregistrés, avec une rétention de 35 %. Sur ses 21 échecs, 15 sont des appels en français. La plupart commencent par un mot que Whisper base a mal reconnu.
  • Certains échecs viennent de la reconnaissance (les mots ont été mal reconnus). D’autres viennent de la compréhension (les mots ne correspondent pas au menu). Un LLM aide seulement pour le deuxième type.
  • Un agent vocal pose une question ouverte et laisse un LLM choisir la prochaine étape. Le LLM peut répondre, poser une question ou appeler un outil, comme le système de commandes ou le transfert à une personne.
  • Pour les mêmes appels, l’agent enregistré attendait une médiane de 2,10 secondes avant son premier son. Il a aussi dit certaines erreurs à voix haute.
  • Les appelants de la réexécution ne peuvent pas réagir. La réexécution est donc injuste pour les deux conceptions. Évaluez les deux sur les mêmes appels, type par type.

Un agent peut comprendre les appels que le menu ne comprend pas. Mais chaque réponse arrive 2,10 secondes après que l’appelant cesse de parler. Ensuite, vous décomposerez cette attente, étape par étape, pour trouver où passe le temps.

Leçon suivante : Le pipeline de l'agent vocal