Aller au contenu
English

Les modèles parole-parole et l'évaluation

  • Leçon 31
  • 30 min
  • Module 8 : Du serveur vocal à l'agent vocal

Où nous en sommes

Nous avons construit un agent vocal avec des composants distincts et appris à régler ses temps d'attente. Les modèles plus récents reçoivent de la parole et produisent directement de la parole. Dans cette leçon, nous voyons ce qu'ils changent. Nous apprenons à évaluer un agent vocal dans son ensemble, plutôt qu'un composant à la fois.

Leçon 31 sur 36 · IA de la parole : transcrire, comprendre et parlerLes modèles parole-parole et l'évaluation
Aperçu du cours

Ce que vous saurez faire

Comprenez ce qu’un modèle parole-parole change dans un agent vocal, et ce qu’il complique. Puis évaluez tout agent vocal dans son ensemble, avec quelques mesures que Larkfield peut comparer d’une conception à l’autre.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien. Cette leçon examine les résultats enregistrés du SVI et de l’agent.

Imaginez une rencontre entre deux personnes qui parlent des langues différentes. Vous pouvez les aider de deux façons.

La première est une chaîne. Une personne prend en note ce que dit la première personne. Une autre traduit les notes. Une troisième lit la traduction à voix haute. C’est lent, et la voix qui lit ne transmet pas le ton de la première personne. Mais vous avez les notes et la traduction sur papier. Vous pouvez les vérifier après.

La seconde fait appel à un interprète qui écoute et parle en même temps. C’est rapide, et un bon interprète garde le ton : une blague reste une blague. Mais rien n’est sur papier. Si quelque chose tourne mal, vous ne pouvez pas vérifier ce qui a été entendu et dit.

L’agent vocal de ce module représente la chaîne. Dans le domaine de la parole, on l’appelle une cascade : reconnaissance, puis LLM, puis voix, l’un après l’autre. Les deux leçons précédentes ont mesuré ses limites sur les appels enregistrés de Larkfield :

  • Temps. Chaque étape attend la précédente. L’attente médiane était de 2,10 s, et le premier jeton du LLM prenait à lui seul environ 1 s.
  • Les erreurs se transmettent. Quand Whisper base a entendu « 189 710 » pour 187971, le LLM a relu le mauvais numéro, poliment et avec assurance.
  • Le ton se perd. Le LLM lit seulement du texte. Il ne peut pas entendre qu’un appelant semble fâché, incertain ou pressé.

Un modèle parole-parole (speech-to-speech) reçoit de l’audio et produit de l’audio, avec un seul modèle entre les deux. Il ressemble à l’interprète. Certains fournisseurs appellent ces modèles « realtime » (temps réel) ou « native audio » (audio natif). Certains peuvent aussi appeler des outils, comme le LLM de notre cascade.

Deux flux. Cascade, le pipeline de ce module : parole entrante, reconnaissance, texte que vous pouvez journaliser, vérifier et caviarder, LLM avec outils, texte, voix, parole sortante. Modèle parole-parole : parole entrante, un modèle qui entend les mots et le ton, appelle des outils et parle, parole sortante. Une ligne pointillée relie ce modèle au texte, seulement si le modèle en écrit aussi.
Une cascade conserve du texte entre ses étapes. Un modèle parole-parole passe de l'audio à l'audio et fournit du texte seulement s'il écrit aussi une transcription.
Description textuelle du diagramme

Un flux représente la cascade de ce module. La parole entre dans le système de reconnaissance, qui écrit du texte. Vous pouvez journaliser, vérifier et caviarder ce texte. Le LLM avec outils le lit et écrit une réponse sous forme de texte. La voix transforme ce texte en parole. L’autre flux représente un modèle parole-parole. La parole entre dans un seul modèle. Ce modèle entend les mots et le ton, peut appeler des outils et prononce la réponse. Une ligne pointillée montre que du texte sort seulement si le modèle écrit aussi une transcription.

Les fournisseurs font trois affirmations sur ces modèles. Ce sont des affirmations de fournisseurs : le cours n’a exécuté ni mesuré aucun modèle parole-parole.

  • Moins d’attente. Un modèle remplace trois passages entre composants et peut commencer à répondre pendant que l’appelant termine.
  • Le ton reste. Le modèle entend l’hésitation et la colère, et sa voix peut sembler calme ou chaleureuse.
  • La prise de parole dans le modèle. Certains modèles décident de la fin du tour et gèrent eux-mêmes les interruptions.

Chaque point représente un coût réel pour Larkfield, causé par l’absence de texte au milieu :

  • Vérifications et journaux. L’équipe de Grace lit les fiches d’appel. Le module 9 retire les numéros de carte des transcriptions. Sans texte au milieu, le modèle doit aussi écrire une transcription. Vous devez avoir confiance qu’elle correspond à l’audio.
  • Garde-fous. La règle de relecture exige le numéro de commande en texte pour que le code puisse le vérifier. Faites appeler un outil par le modèle avec le numéro. Le garde-fou dans le code fonctionne alors toujours.
  • Mesure. Vous ne pouvez pas noter l’étape de reconnaissance seule, puisqu’il n’y en a pas. Vous pouvez seulement noter l’appel entier.
  • Vie privée et prix. L’audio de l’appelant va au fournisseur, pas seulement le texte. Les modèles audio hébergés sont facturés selon la quantité d’audio entrant et sortant. Les prix changent : vérifiez la page actuelle.

Un modèle parole-parole représente donc un autre compromis, pas une amélioration sans coût. Pour choisir, il faut une façon d’évaluer tout agent vocal, peu importe ses composants.

Un composant peut être bon alors que l’ensemble est mauvais. Whisper base a un WER de 5,2 % sur les appels de test en anglais. Mais l’agent n’a réussi que 2 des 12 appels de « suivi de commande, par la parole ». Évaluez donc l’appel entier, du point de vue de l’appelant. Cinq mesures le couvrent :

Mesure La question Comment la mesurer sur les appels enregistrés
Réussite de la tâche L’appel s’est-il terminé comme prévu? la fin attendue de chaque appel de test : réussite ou échec, par type
Latence Combien de temps dure le silence après que l’appelant s’arrête? la médiane et le 90e centile de l’attente par tour
Interruptions gérées Quand l’appelant parle pendant que l’agent parle, celui-ci s’arrête-t-il pour écouter? exige un appelant qui interrompt : impossible avec une réexécution fixe
Mauvaises actions A-t-il fait quelque chose que personne n’a demandé? les appels d’outils comparés à la commande et à l’intention attendues
Transfert obligatoire à une personne Chaque appelant qui a besoin d’une personne en obtient-il une? les appels dont la bonne fin est un transfert à une personne : tous doivent réussir

La dernière mesure n’est pas une moyenne. C’est une barrière : une conception qui échoue à un de ces appels n’est pas prête, peu importe ses autres scores. Dans les données de test de Larkfield, la barrière comprend 13 appels de quatre types. L’appelant demande une personne, appuie encore sur 0, fait une demande imprécise ou ne dit rien. Les six appels de retour se terminent aussi avec une personne, car leurs commandes ne peuvent pas être retournées. Ils ne font pas partie de la barrière : ces appelants demandaient un retour, pas une personne. Le cours Agents d’IA et orchestration des flux de travail utilise la même idée pour les actions qui exigent l’approbation d’une personne : Limites d’approbation et Mesures de réussite des tâches.

Exemple détaillé : les scores du SVI et de l’agent

Section intitulée « Exemple détaillé : les scores du SVI et de l’agent »

Voici les deux conceptions de ce module sur les mêmes 60 appels de test enregistrés. Tous les nombres portent sur les appels synthétiques de Larkfield.

Mesure SVI (menu) Agent vocal (enregistré, chat-small)
Réussite de la tâche 39 réussites sur 60 25 réussites sur 60
Latence après un tour parlé (médiane) environ 1,05 s : l’attente de 0,8 s et la reconnaissance; ses messages sont préparés à l’avance 2,10 s (90e centile de 2,74 s)
Interruptions gérées n’écoute pas pendant qu’il parle non testé : les appelants de la réexécution n’interrompent jamais
Mauvaises actions 2 : deux fois, il a entendu « quelqu’un » et transféré un appelant à une personne (dans la réexécution enregistrée du premier dialogue.py; le SVI actuel n’en a fait aucune) 0
Transfert obligatoire à une personne (13 appels) 12 sur 13 : il a raccroché au lieu de transférer un appelant silencieux 13 sur 13

Lisez le tableau ligne par ligne. Le SVI gagne pour la réussite de la tâche et la latence. L’agent gagne pour les mauvaises actions et la barrière : chaque appelant qui avait besoin d’une personne en a obtenu une. Aucune des deux conceptions n’a été testée sur les interruptions. Un score qui additionne ces lignes en un seul nombre cacherait tout cela.

Le total cache les points forts de chaque conception. Le graphique sépare les réussites par type d’appel de test.

Paires de barres horizontales, une paire pour chacun des 13 types d'appels de test : le SVI en bleu, l'agent vocal en orange. L'agent fait moins bien pour le suivi de commande au clavier (SVI 6 sur 6, agent 0 sur 6), les heures au clavier (3 sur 3 contre 0 sur 3), le retour par la parole (6 sur 6 contre 4 sur 6), le mauvais numéro corrigé ensuite (1 sur 3 contre 0 sur 3), le numéro avec une pause (1 sur 4 contre 0 sur 4), la ligne bruyante puis le clavier (2 sur 4 contre 1 sur 4) et les heures par la parole (6 sur 6 contre 5 sur 6). Les deux réussissent 2 des 12 appels de suivi de commande par la parole et 0 des 3 appels de changement d'idée. Les deux réussissent tous les appels qui demandent une personne, appuient encore sur 0 ou font une demande imprécise. Pour un appelant silencieux, le SVI réussit 2 appels sur 3 et l'agent 3 sur 3.
Réussites par type d'appel de test, pour le SVI (39 sur 60) et l'agent vocal enregistré (25 sur 60), sur les mêmes 60 appels. Classées de la plus grande perte de l'agent à son seul gain.
Description textuelle du diagramme

Chaque type d’appel de test a deux barres : le SVI en haut en bleu, l’agent en bas en orange. En haut se trouvent les types où l’agent fait moins bien. Au clavier, il réussit 0 des 6 appels de suivi de commande et 0 des 3 appels sur les heures d’ouverture. Le SVI les réussit tous. L’agent fait aussi moins bien pour les retours par la parole et les mauvais numéros que l’appelant corrige. C’est aussi le cas pour les numéros avec une pause, les lignes bruyantes et les heures par la parole. Au milieu, les deux conceptions ont le même score : 2 sur 12 pour le suivi de commande par la parole. Elles réussissent 0 des 3 appels où l’appelant change d’idée. Les deux réussissent chaque appelant qui demande une personne, appuie encore sur 0 ou fait une demande imprécise. En bas, l’agent fait mieux pour un seul type : l’appelant silencieux, 3 sur 3 contre 2 sur 3.

Regardez encore les appels au clavier : l’agent en a réussi 0 sur 9. La raison n’est pas le LLM. L’appelant enregistré appuie sur 1 ou 2 au début, parce que le message d’accueil du SVI le demande. L’agent n’a jamais proposé de clavier, donc « l’appelant a appuyé sur 1 » ne signifiait rien pour lui. La réexécution est injuste pour l’agent ici. Elle l’est aussi pour le SVI quand un appelant enregistré ne peut pas répondre à une nouvelle question.

Un test plus équitable exige un appelant qui réagit. Les équipes utilisent deux méthodes :

  • Des personnes appellent l’agent avec une liste de tâches : « trouver l’état de la commande 742155 ». C’est lent et cela prend du temps aux personnes, mais c’est réel.
  • Un appelant simulé. Un second LLM joue l’appelant. Il reçoit un objectif et un scénario, puis répond aux vraies questions de l’agent. C’est peu coûteux et reproductible, mais c’est un autre modèle à tester. Un appelant trop patient ou trop habile donne des résultats trop bons.

Utilisez la réexécution enregistrée pour ce qu’elle fait bien : les mêmes appels, chaque fois, pour chaque changement. Puis vérifiez la décision avec des appelants qui réagissent avant la mise en service de l’agent.

Essayez-en un quand la cascade ne respecte pas le budget de latence et que le ton de voix compte, par exemple pour des appelants contrariés. Évaluez-le avec les cinq mesures ci-dessus, sur les mêmes appels de test.

Gardez la cascade quand vous avez besoin du texte : fiches d’appel, caviardage des numéros de carte, vérifications dans le code et tests de chaque étape. Larkfield a besoin des quatre, donc elle garde la cascade pour l’instant. Si elle essaie un modèle parole-parole plus tard, elle lui fait appeler des outils pour chaque action et écrire une transcription.

Erreur courante

La rétention comme seul score

Symptôme : Tomás rapporte un seul nombre pour chaque conception : le taux de rétention (containment). Le SVI retient 35 % des appels, l’hybride de la prochaine leçon, 37 %. Personne ne remarque que le SVI a raccroché au lieu de transférer un appelant silencieux.

I-060 caller says nothing expected: hand over (no input) IVR: hung up

Cause : la rétention compte les appels que le système a terminés lui-même. Un abandon n’est pas retenu, donc il réduit un peu la rétention. Mais il ressemble à tout autre appel non retenu. Un appelant qui avait besoin d’une personne et a obtenu du silence représente un résultat bien pire qu’un transfert.

Correction : gardez les appels avec transfert obligatoire à une personne comme barrière, et rapportez-les séparément : « 12 sur 13, échec : I-060 ». Puis rapportez la réussite de la tâche par type, la latence et les mauvaises actions à côté de la rétention.

Conséquence dans le travail en IA : un seul nombre rend une décision facile et erronée. Un score de moyennes laisse passer un système qui échoue pour les appelants ayant le plus besoin d’aide.

Exercice guidé : construire le tableau de résultats

Section intitulée « Exercice guidé : construire le tableau de résultats »

Utilisez le graphique et les tableaux ci-dessus. Aucun code n’est nécessaire.

  1. Copiez les cinq mesures dans un tableau à trois colonnes : la mesure, le SVI, l’agent.
  2. Inscrivez la réussite de la tâche et la latence à partir de l’exemple détaillé.
  3. À partir du graphique, additionnez les réussites des quatre types avec transfert obligatoire à une personne. Ce sont : demande une personne, appuie encore sur 0, demande imprécise, appelant qui ne dit rien.
  4. Indiquez le résultat de la barrière : chaque conception réussit-elle les 13 appels?
  5. Écrivez une phrase pour chaque conception : où elle gagne, et où elle échoue.
Afficher la réponse
Mesure SVI Agent
Réussite de la tâche 39 sur 60 25 sur 60
Latence (médiane) environ 1,05 s 2,10 s
Interruptions gérées n’écoute pas pendant qu’il parle non testé
Mauvaises actions 2 0
Transfert obligatoire à une personne 3 + 3 + 4 + 2 = 12 sur 13 : échoue à la barrière 3 + 3 + 4 + 3 = 13 sur 13

Le SVI gagne pour la réussite de la tâche et la latence, mais échoue à la barrière pour un appelant silencieux. Corrigez cela d’abord : transférez après le silence, ne raccrochez jamais. L’agent franchit la barrière et ne fait aucune mauvaise action, mais il est lent. Dans cette réexécution, il échoue à la plupart des appels au clavier et des appels avec des numéros.

À vous de jouer : planifier un test de modèle parole-parole

Section intitulée « À vous de jouer : planifier un test de modèle parole-parole »

Omar vous demande de tester un modèle parole-parole hébergé pour la ligne en dehors des heures d’ouverture. Écrivez un plan de cinq ou six lignes : quels appels, quelles mesures et une vérification impossible avec la réexécution.

Afficher la réponse

Un bon plan comprend ces éléments :

  • Les mêmes 60 appels de test, joués en audio (le modèle n’a pas d’étape d’entrée de texte), avec les mêmes fins attendues.
  • Les cinq mesures, avec les 13 appels de transfert obligatoire à une personne comme barrière.
  • La latence, mesurée de la fin de l’audio de l’appelant au premier son en retour. Utilisez la même machine et le même réseau, avec la médiane et le 90e centile.
  • Des appels d’outils pour chaque action, pour garder la relecture et les vérifications de commande dans le code. Comptez les mauvaises actions à partir des appels d’outils.
  • Une transcription du modèle, comparée à la référence, pour maintenir les fiches d’appel de Grace et le caviardage du module 9.
  • Une vérification avec des appelants qui réagissent, personnes ou appelant simulé, pour les interruptions et les questions auxquelles les appelants enregistrés ne peuvent pas répondre.

Et une ligne sur le coût : le prix du fournisseur pour l’audio entrant et sortant, avec la date, et la destination de l’audio.

Vérifiez votre compréhension

Nommez deux choses qu'un modèle parole-parole peut faire mieux qu'une cascade, et deux choses qu'il rend plus difficiles pour Larkfield.

Afficher la réponse

Mieux (affirmations des fournisseurs, non mesurées ici) : moins d’attente, parce qu’un modèle remplace trois passages entre composants. Il conserve aussi le ton de voix, dans ce qu’il entend et dans sa façon de parler. Plus difficile : il n’y a pas de texte entre les étapes. Les fiches d’appel, le caviardage des numéros de carte et les vérifications dans le code exigent donc une transcription fiable. Vous ne pouvez pas non plus mesurer chaque étape, seulement l’appel entier. L’audio de l’appelant est aussi envoyé au fournisseur, pas seulement le texte.

Vérifiez votre compréhension

L'agent a réussi 0 des 9 appels de test au clavier lors de la réexécution. Cela montre-t-il que les agents LLM ne peuvent pas traiter les fréquences vocales du clavier?

Afficher la réponse

Non. Les appelants enregistrés appuient sur 1 ou 2 au début parce que le message d’accueil du SVI le demande. L’agent n’a jamais proposé de clavier, donc la touche ne signifiait rien pour lui. La réexécution est injuste ici. Un test équitable du clavier donnerait à l’agent le même message d’accueil. Il pourrait aussi utiliser un appelant qui réagit aux questions de l’agent.

Vérifiez votre compréhension

Pourquoi « doit être transféré à une personne » est-il une barrière plutôt qu'un autre nombre dans une moyenne?

Afficher la réponse

Le pire résultat est celui d’un appelant qui a besoin d’une personne et ne peut pas lui parler. Il peut être bloqué, contrarié ou pressé. Une conception avec de bonnes moyennes pourrait quand même échouer pour ces appelants. Chacun de ces appels doit donc réussir avant que les autres scores comptent. Le SVI échoue à la barrière pour un appelant silencieux (I-060), même si sa réussite de la tâche dépasse celle de l’agent.

Récapitulatif

  • Une cascade conserve du texte entre la reconnaissance, le LLM et la voix. Un modèle parole-parole passe de l’audio à l’audio avec un seul modèle.
  • Les modèles parole-parole peuvent réduire l’attente et conserver le ton (affirmations des fournisseurs, non mesurées ici). Ils compliquent les journaux, le caviardage, les vérifications dans le code et les tests étape par étape.
  • Évaluez un agent vocal dans son ensemble avec cinq mesures. Ce sont la réussite de la tâche par type, la latence, les interruptions gérées, les mauvaises actions et les appels qui doivent être transférés à une personne, comme barrière.
  • Sur les 60 appels de test enregistrés : le SVI en a réussi 39, avec environ 1,05 s d’attente; l’agent en a réussi 25, avec 2,10 s d’attente. L’agent a franchi la barrière (13 sur 13); le SVI y a échoué une fois.
  • Une réexécution fixe est injuste pour les deux conceptions. Vérifiez la décision avec des appelants qui réagissent.

Vous avez maintenant une méthode équitable pour comparer les conceptions. Mais Omar n’a pas à choisir entre le menu et l’agent. Ensuite, vous testez le SVI, l’agent et une version hybride des deux avec les mêmes appels. Vous ajoutez les coûts et formulez la recommandation.

Leçon suivante : Menu, agent ou les deux?