Les modèles parole-parole et l'évaluation
- Leçon 31
- 30 min
- Module 8 : Du serveur vocal à l'agent vocal
Où nous en sommes
Nous avons construit un agent vocal avec des composants distincts et appris à régler ses temps d'attente. Les modèles plus récents reçoivent de la parole et produisent directement de la parole. Dans cette leçon, nous voyons ce qu'ils changent. Nous apprenons à évaluer un agent vocal dans son ensemble, plutôt qu'un composant à la fois.
Leçon 31 sur 36 · IA de la parole : transcrire, comprendre et parlerLes modèles parole-parole et l'évaluation
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Comprenez ce qu’un modèle parole-parole change dans un agent vocal, et ce qu’il complique. Puis évaluez tout agent vocal dans son ensemble, avec quelques mesures que Larkfield peut comparer d’une conception à l’autre.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le pipeline de l’agent vocal et son budget de latence : Le pipeline de l’agent vocal.
- La détection de fin de tour et l’interruption (barge-in) : Prise de parole et interruptions.
- Comment le serveur vocal interactif (SVI, IVR) a été testé avec des appels enregistrés : Tester le serveur vocal comme un produit.
Ce qu’il vous faut sur votre ordinateur
Rien. Cette leçon examine les résultats enregistrés du SVI et de l’agent.
Deux façons d’interpréter
Section intitulée « Deux façons d’interpréter »Imaginez une rencontre entre deux personnes qui parlent des langues différentes. Vous pouvez les aider de deux façons.
La première est une chaîne. Une personne prend en note ce que dit la première personne. Une autre traduit les notes. Une troisième lit la traduction à voix haute. C’est lent, et la voix qui lit ne transmet pas le ton de la première personne. Mais vous avez les notes et la traduction sur papier. Vous pouvez les vérifier après.
La seconde fait appel à un interprète qui écoute et parle en même temps. C’est rapide, et un bon interprète garde le ton : une blague reste une blague. Mais rien n’est sur papier. Si quelque chose tourne mal, vous ne pouvez pas vérifier ce qui a été entendu et dit.
Le problème : la chaîne est lente et perd le ton
Section intitulée « Le problème : la chaîne est lente et perd le ton »L’agent vocal de ce module représente la chaîne. Dans le domaine de la parole, on l’appelle une cascade : reconnaissance, puis LLM, puis voix, l’un après l’autre. Les deux leçons précédentes ont mesuré ses limites sur les appels enregistrés de Larkfield :
- Temps. Chaque étape attend la précédente. L’attente médiane était de 2,10 s, et le premier jeton du LLM prenait à lui seul environ 1 s.
- Les erreurs se transmettent. Quand Whisper base a entendu « 189 710 » pour 187971, le LLM a relu le mauvais numéro, poliment et avec assurance.
- Le ton se perd. Le LLM lit seulement du texte. Il ne peut pas entendre qu’un appelant semble fâché, incertain ou pressé.
L’idée : un seul modèle qui entend et parle
Section intitulée « L’idée : un seul modèle qui entend et parle »Un modèle parole-parole (speech-to-speech) reçoit de l’audio et produit de l’audio, avec un seul modèle entre les deux. Il ressemble à l’interprète. Certains fournisseurs appellent ces modèles « realtime » (temps réel) ou « native audio » (audio natif). Certains peuvent aussi appeler des outils, comme le LLM de notre cascade.
Description textuelle du diagramme
Un flux représente la cascade de ce module. La parole entre dans le système de reconnaissance, qui écrit du texte. Vous pouvez journaliser, vérifier et caviarder ce texte. Le LLM avec outils le lit et écrit une réponse sous forme de texte. La voix transforme ce texte en parole. L’autre flux représente un modèle parole-parole. La parole entre dans un seul modèle. Ce modèle entend les mots et le ton, peut appeler des outils et prononce la réponse. Une ligne pointillée montre que du texte sort seulement si le modèle écrit aussi une transcription.
Ce que cela change
Section intitulée « Ce que cela change »Les fournisseurs font trois affirmations sur ces modèles. Ce sont des affirmations de fournisseurs : le cours n’a exécuté ni mesuré aucun modèle parole-parole.
- Moins d’attente. Un modèle remplace trois passages entre composants et peut commencer à répondre pendant que l’appelant termine.
- Le ton reste. Le modèle entend l’hésitation et la colère, et sa voix peut sembler calme ou chaleureuse.
- La prise de parole dans le modèle. Certains modèles décident de la fin du tour et gèrent eux-mêmes les interruptions.
Ce que cela complique
Section intitulée « Ce que cela complique »Chaque point représente un coût réel pour Larkfield, causé par l’absence de texte au milieu :
- Vérifications et journaux. L’équipe de Grace lit les fiches d’appel. Le module 9 retire les numéros de carte des transcriptions. Sans texte au milieu, le modèle doit aussi écrire une transcription. Vous devez avoir confiance qu’elle correspond à l’audio.
- Garde-fous. La règle de relecture exige le numéro de commande en texte pour que le code puisse le vérifier. Faites appeler un outil par le modèle avec le numéro. Le garde-fou dans le code fonctionne alors toujours.
- Mesure. Vous ne pouvez pas noter l’étape de reconnaissance seule, puisqu’il n’y en a pas. Vous pouvez seulement noter l’appel entier.
- Vie privée et prix. L’audio de l’appelant va au fournisseur, pas seulement le texte. Les modèles audio hébergés sont facturés selon la quantité d’audio entrant et sortant. Les prix changent : vérifiez la page actuelle.
Un modèle parole-parole représente donc un autre compromis, pas une amélioration sans coût. Pour choisir, il faut une façon d’évaluer tout agent vocal, peu importe ses composants.
Évaluer l’agent dans son ensemble
Section intitulée « Évaluer l’agent dans son ensemble »Un composant peut être bon alors que l’ensemble est mauvais. Whisper base a un WER de 5,2 % sur les appels de test en anglais. Mais l’agent n’a réussi que 2 des 12 appels de « suivi de commande, par la parole ». Évaluez donc l’appel entier, du point de vue de l’appelant. Cinq mesures le couvrent :
| Mesure | La question | Comment la mesurer sur les appels enregistrés |
|---|---|---|
| Réussite de la tâche | L’appel s’est-il terminé comme prévu? | la fin attendue de chaque appel de test : réussite ou échec, par type |
| Latence | Combien de temps dure le silence après que l’appelant s’arrête? | la médiane et le 90e centile de l’attente par tour |
| Interruptions gérées | Quand l’appelant parle pendant que l’agent parle, celui-ci s’arrête-t-il pour écouter? | exige un appelant qui interrompt : impossible avec une réexécution fixe |
| Mauvaises actions | A-t-il fait quelque chose que personne n’a demandé? | les appels d’outils comparés à la commande et à l’intention attendues |
| Transfert obligatoire à une personne | Chaque appelant qui a besoin d’une personne en obtient-il une? | les appels dont la bonne fin est un transfert à une personne : tous doivent réussir |
La dernière mesure n’est pas une moyenne. C’est une barrière : une conception qui échoue à un de ces appels n’est pas prête, peu importe ses autres scores. Dans les données de test de Larkfield, la barrière comprend 13 appels de quatre types. L’appelant demande une personne, appuie encore sur 0, fait une demande imprécise ou ne dit rien. Les six appels de retour se terminent aussi avec une personne, car leurs commandes ne peuvent pas être retournées. Ils ne font pas partie de la barrière : ces appelants demandaient un retour, pas une personne. Le cours Agents d’IA et orchestration des flux de travail utilise la même idée pour les actions qui exigent l’approbation d’une personne : Limites d’approbation et Mesures de réussite des tâches.
Exemple détaillé : les scores du SVI et de l’agent
Section intitulée « Exemple détaillé : les scores du SVI et de l’agent »Voici les deux conceptions de ce module sur les mêmes 60 appels de test enregistrés. Tous les nombres portent sur les appels synthétiques de Larkfield.
| Mesure | SVI (menu) | Agent vocal (enregistré, chat-small) |
|---|---|---|
| Réussite de la tâche | 39 réussites sur 60 | 25 réussites sur 60 |
| Latence après un tour parlé (médiane) | environ 1,05 s : l’attente de 0,8 s et la reconnaissance; ses messages sont préparés à l’avance | 2,10 s (90e centile de 2,74 s) |
| Interruptions gérées | n’écoute pas pendant qu’il parle | non testé : les appelants de la réexécution n’interrompent jamais |
| Mauvaises actions | 2 : deux fois, il a entendu « quelqu’un » et transféré un appelant à une personne (dans la réexécution enregistrée du premier dialogue.py; le SVI actuel n’en a fait aucune) |
0 |
| Transfert obligatoire à une personne (13 appels) | 12 sur 13 : il a raccroché au lieu de transférer un appelant silencieux | 13 sur 13 |
Lisez le tableau ligne par ligne. Le SVI gagne pour la réussite de la tâche et la latence. L’agent gagne pour les mauvaises actions et la barrière : chaque appelant qui avait besoin d’une personne en a obtenu une. Aucune des deux conceptions n’a été testée sur les interruptions. Un score qui additionne ces lignes en un seul nombre cacherait tout cela.
Réussite de la tâche, par type
Section intitulée « Réussite de la tâche, par type »Le total cache les points forts de chaque conception. Le graphique sépare les réussites par type d’appel de test.
Description textuelle du diagramme
Chaque type d’appel de test a deux barres : le SVI en haut en bleu, l’agent en bas en orange. En haut se trouvent les types où l’agent fait moins bien. Au clavier, il réussit 0 des 6 appels de suivi de commande et 0 des 3 appels sur les heures d’ouverture. Le SVI les réussit tous. L’agent fait aussi moins bien pour les retours par la parole et les mauvais numéros que l’appelant corrige. C’est aussi le cas pour les numéros avec une pause, les lignes bruyantes et les heures par la parole. Au milieu, les deux conceptions ont le même score : 2 sur 12 pour le suivi de commande par la parole. Elles réussissent 0 des 3 appels où l’appelant change d’idée. Les deux réussissent chaque appelant qui demande une personne, appuie encore sur 0 ou fait une demande imprécise. En bas, l’agent fait mieux pour un seul type : l’appelant silencieux, 3 sur 3 contre 2 sur 3.
La réexécution est-elle équitable?
Section intitulée « La réexécution est-elle équitable? »Regardez encore les appels au clavier : l’agent en a réussi 0 sur 9. La raison n’est pas le LLM. L’appelant enregistré appuie sur 1 ou 2 au début, parce que le message d’accueil du SVI le demande. L’agent n’a jamais proposé de clavier, donc « l’appelant a appuyé sur 1 » ne signifiait rien pour lui. La réexécution est injuste pour l’agent ici. Elle l’est aussi pour le SVI quand un appelant enregistré ne peut pas répondre à une nouvelle question.
Un test plus équitable exige un appelant qui réagit. Les équipes utilisent deux méthodes :
- Des personnes appellent l’agent avec une liste de tâches : « trouver l’état de la commande 742155 ». C’est lent et cela prend du temps aux personnes, mais c’est réel.
- Un appelant simulé. Un second LLM joue l’appelant. Il reçoit un objectif et un scénario, puis répond aux vraies questions de l’agent. C’est peu coûteux et reproductible, mais c’est un autre modèle à tester. Un appelant trop patient ou trop habile donne des résultats trop bons.
Utilisez la réexécution enregistrée pour ce qu’elle fait bien : les mêmes appels, chaque fois, pour chaque changement. Puis vérifiez la décision avec des appelants qui réagissent avant la mise en service de l’agent.
Quand essayer un modèle parole-parole
Section intitulée « Quand essayer un modèle parole-parole »Essayez-en un quand la cascade ne respecte pas le budget de latence et que le ton de voix compte, par exemple pour des appelants contrariés. Évaluez-le avec les cinq mesures ci-dessus, sur les mêmes appels de test.
Gardez la cascade quand vous avez besoin du texte : fiches d’appel, caviardage des numéros de carte, vérifications dans le code et tests de chaque étape. Larkfield a besoin des quatre, donc elle garde la cascade pour l’instant. Si elle essaie un modèle parole-parole plus tard, elle lui fait appeler des outils pour chaque action et écrire une transcription.
Erreur courante
La rétention comme seul score
Symptôme : Tomás rapporte un seul nombre pour chaque conception : le taux de rétention (containment). Le SVI retient 35 % des appels, l’hybride de la prochaine leçon, 37 %. Personne ne remarque que le SVI a raccroché au lieu de transférer un appelant silencieux.
I-060 caller says nothing expected: hand over (no input) IVR: hung upCause : la rétention compte les appels que le système a terminés lui-même. Un abandon n’est pas retenu, donc il réduit un peu la rétention. Mais il ressemble à tout autre appel non retenu. Un appelant qui avait besoin d’une personne et a obtenu du silence représente un résultat bien pire qu’un transfert.
Correction : gardez les appels avec transfert obligatoire à une personne comme barrière, et rapportez-les séparément : « 12 sur 13, échec : I-060 ». Puis rapportez la réussite de la tâche par type, la latence et les mauvaises actions à côté de la rétention.
Conséquence dans le travail en IA : un seul nombre rend une décision facile et erronée. Un score de moyennes laisse passer un système qui échoue pour les appelants ayant le plus besoin d’aide.
Exercice guidé : construire le tableau de résultats
Section intitulée « Exercice guidé : construire le tableau de résultats »Utilisez le graphique et les tableaux ci-dessus. Aucun code n’est nécessaire.
- Copiez les cinq mesures dans un tableau à trois colonnes : la mesure, le SVI, l’agent.
- Inscrivez la réussite de la tâche et la latence à partir de l’exemple détaillé.
- À partir du graphique, additionnez les réussites des quatre types avec transfert obligatoire à une personne. Ce sont : demande une personne, appuie encore sur 0, demande imprécise, appelant qui ne dit rien.
- Indiquez le résultat de la barrière : chaque conception réussit-elle les 13 appels?
- Écrivez une phrase pour chaque conception : où elle gagne, et où elle échoue.
Afficher la réponse
| Mesure | SVI | Agent |
|---|---|---|
| Réussite de la tâche | 39 sur 60 | 25 sur 60 |
| Latence (médiane) | environ 1,05 s | 2,10 s |
| Interruptions gérées | n’écoute pas pendant qu’il parle | non testé |
| Mauvaises actions | 2 | 0 |
| Transfert obligatoire à une personne | 3 + 3 + 4 + 2 = 12 sur 13 : échoue à la barrière | 3 + 3 + 4 + 3 = 13 sur 13 |
Le SVI gagne pour la réussite de la tâche et la latence, mais échoue à la barrière pour un appelant silencieux. Corrigez cela d’abord : transférez après le silence, ne raccrochez jamais. L’agent franchit la barrière et ne fait aucune mauvaise action, mais il est lent. Dans cette réexécution, il échoue à la plupart des appels au clavier et des appels avec des numéros.
À vous de jouer : planifier un test de modèle parole-parole
Section intitulée « À vous de jouer : planifier un test de modèle parole-parole »Omar vous demande de tester un modèle parole-parole hébergé pour la ligne en dehors des heures d’ouverture. Écrivez un plan de cinq ou six lignes : quels appels, quelles mesures et une vérification impossible avec la réexécution.
Afficher la réponse
Un bon plan comprend ces éléments :
- Les mêmes 60 appels de test, joués en audio (le modèle n’a pas d’étape d’entrée de texte), avec les mêmes fins attendues.
- Les cinq mesures, avec les 13 appels de transfert obligatoire à une personne comme barrière.
- La latence, mesurée de la fin de l’audio de l’appelant au premier son en retour. Utilisez la même machine et le même réseau, avec la médiane et le 90e centile.
- Des appels d’outils pour chaque action, pour garder la relecture et les vérifications de commande dans le code. Comptez les mauvaises actions à partir des appels d’outils.
- Une transcription du modèle, comparée à la référence, pour maintenir les fiches d’appel de Grace et le caviardage du module 9.
- Une vérification avec des appelants qui réagissent, personnes ou appelant simulé, pour les interruptions et les questions auxquelles les appelants enregistrés ne peuvent pas répondre.
Et une ligne sur le coût : le prix du fournisseur pour l’audio entrant et sortant, avec la date, et la destination de l’audio.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Nommez deux choses qu'un modèle parole-parole peut faire mieux qu'une cascade, et deux choses qu'il rend plus difficiles pour Larkfield.
Afficher la réponse
Mieux (affirmations des fournisseurs, non mesurées ici) : moins d’attente, parce qu’un modèle remplace trois passages entre composants. Il conserve aussi le ton de voix, dans ce qu’il entend et dans sa façon de parler. Plus difficile : il n’y a pas de texte entre les étapes. Les fiches d’appel, le caviardage des numéros de carte et les vérifications dans le code exigent donc une transcription fiable. Vous ne pouvez pas non plus mesurer chaque étape, seulement l’appel entier. L’audio de l’appelant est aussi envoyé au fournisseur, pas seulement le texte.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
L'agent a réussi 0 des 9 appels de test au clavier lors de la réexécution. Cela montre-t-il que les agents LLM ne peuvent pas traiter les fréquences vocales du clavier?
Afficher la réponse
Non. Les appelants enregistrés appuient sur 1 ou 2 au début parce que le message d’accueil du SVI le demande. L’agent n’a jamais proposé de clavier, donc la touche ne signifiait rien pour lui. La réexécution est injuste ici. Un test équitable du clavier donnerait à l’agent le même message d’accueil. Il pourrait aussi utiliser un appelant qui réagit aux questions de l’agent.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi « doit être transféré à une personne » est-il une barrière plutôt qu'un autre nombre dans une moyenne?
Afficher la réponse
Le pire résultat est celui d’un appelant qui a besoin d’une personne et ne peut pas lui parler. Il peut être bloqué, contrarié ou pressé. Une conception avec de bonnes moyennes pourrait quand même échouer pour ces appelants. Chacun de ces appels doit donc réussir avant que les autres scores comptent. Le SVI échoue à la barrière pour un appelant silencieux (I-060), même si sa réussite de la tâche dépasse celle de l’agent.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une cascade conserve du texte entre la reconnaissance, le LLM et la voix. Un modèle parole-parole passe de l’audio à l’audio avec un seul modèle.
- Les modèles parole-parole peuvent réduire l’attente et conserver le ton (affirmations des fournisseurs, non mesurées ici). Ils compliquent les journaux, le caviardage, les vérifications dans le code et les tests étape par étape.
- Évaluez un agent vocal dans son ensemble avec cinq mesures. Ce sont la réussite de la tâche par type, la latence, les interruptions gérées, les mauvaises actions et les appels qui doivent être transférés à une personne, comme barrière.
- Sur les 60 appels de test enregistrés : le SVI en a réussi 39, avec environ 1,05 s d’attente; l’agent en a réussi 25, avec 2,10 s d’attente. L’agent a franchi la barrière (13 sur 13); le SVI y a échoué une fois.
- Une réexécution fixe est injuste pour les deux conceptions. Vérifiez la décision avec des appelants qui réagissent.
Vous avez maintenant une méthode équitable pour comparer les conceptions. Mais Omar n’a pas à choisir entre le menu et l’agent. Ensuite, vous testez le SVI, l’agent et une version hybride des deux avec les mêmes appels. Vous ajoutez les coûts et formulez la recommandation.
Leçon suivante : Menu, agent ou les deux?