Le pipeline de l'agent vocal
- Leçon 29
- 40 min
- Module 8 : Du serveur vocal à l'agent vocal
Où nous en sommes
Un LLM peut traiter les appels que notre menu ne peut pas gérer, mais chaque étape ajoute de l'attente. Dans cette leçon, nous construisons le pipeline de l'agent vocal et diffusons en continu à chaque étape. Nous fixons un budget de latence pour un tour de parole et gardons les garde-fous du SVI.
Leçon 29 sur 36 · IA de la parole : transcrire, comprendre et parlerLe pipeline de l'agent vocal
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Mesurez combien de temps un appelant attend la réponse d’un agent vocal. Décomposez cette attente et trouvez quelle partie réduire d’abord. Gardez les règles de sécurité du serveur vocal interactif (SVI, IVR) autour du LLM pendant ce travail.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient le code, les tâches et les vérifications de cette leçon. Il lit les tours de parole enregistrés de l’agent et additionne l’attente pour chaque tour de l’appelant. Il essaie les réglages qui raccourcissent l’attente. Il ne nécessite aucun téléchargement de modèle ni aucun compte. Environ 25 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Là où un menu ne suffit plus et ce qu’est un agent vocal : Là où un menu ne suffit plus.
- Ce que sont une médiane et un 90e centile. La médiane est la valeur du milieu : la moitié des valeurs sont plus basses. Le 90e centile est la valeur sous laquelle se trouvent 90 % des valeurs.
Ce qu’il vous faut sur votre ordinateur (seulement pour le parcours local; le carnet n’en a pas besoin)
- Votre dossier de projet
larkspeechà la fin du module 7, avec les données du cours danslarkspeech/data. La commandespeech ivr --helpy fonctionne. - Le dépôt des exercices
nextia-learning-labsà côté delarkspeech. Cette leçon copie trois fichiers de l’instantanéend-of-m08. Aucun nouveau paquet n’est nécessaire.
Testé sur macOS avec Python 3.12. Les commandes Windows (PowerShell) n’ont pas été testées.
Une course à relais
Section intitulée « Une course à relais »Imaginez une course à relais avec quatre coureurs. Le temps de l’équipe est la somme des temps des quatre coureurs. Si un coureur est lent, toute l’équipe est lente. Pour accélérer l’équipe, vous travaillez d’abord avec le coureur le plus lent. Accélérer un peu un coureur déjà rapide ne change presque rien.
Un agent vocal répond de la même façon. Quatre étapes se suivent, et l’appelant les attend toutes. L’appelant ne voit pas les étapes. Il entend seulement du silence, puis la réponse.
Le problème : 2 secondes de silence
Section intitulée « Le problème : 2 secondes de silence »Dans une conversation entre personnes, la personne suivante commence souvent à parler en moins d’une demi-seconde. Après un silence d’une seconde ou plus, l’appelant commence à se poser des questions. Certains disent « allô? ». D’autres recommencent à parler, puis l’appelant et l’agent parlent en même temps.
Dans les appels enregistrés de Larkfield, l’agent vocal répondait en médiane 2,10 s après que l’appelant avait cessé de parler. Aucune de ses 124 réponses n’est arrivée en moins d’une seconde. Omar veut une réponse en environ une seconde. Tomás veut activer la diffusion en continu et en rester là. Priya, la scientifique des données, veut d’abord mesurer.
L’idée : un budget de latence
Section intitulée « L’idée : un budget de latence »La latence est le temps d’attente entre une requête et sa réponse. Un budget de latence est une cible pour l’attente totale, divisée en parties, une pour chaque étape. Il fonctionne comme un budget d’argent. Vous décidez d’abord du total. Ensuite, vous voyez quelle partie dépense le plus, et vous réduisez cette partie.
Pour un agent vocal, l’attente commence quand l’appelant cesse de parler. Elle se termine quand l’appelant entend le premier son de la réponse. La cible de Larkfield est de 1 seconde. Le pipeline comporte quatre étapes :
Description textuelle du diagramme
Le flux commence quand l’appelant cesse de parler. L’étape 1 est la fin de tour de parole : le détecteur d’activité vocale (VAD) attend 0,8 s de silence. Il s’assure ainsi que l’appelant a terminé. L’étape 2 est la reconnaissance : Whisper base écrit les mots de l’appelant. L’étape 3 est le LLM avec outils : chat-small lit les mots et diffuse ses premiers mots en continu. Il peut appeler le système de commandes comme outil et recevoir la réponse avant de parler. Le LLM est entouré de garde-fous : relire le numéro de commande, transférer après deux échecs et ne jamais prendre de numéro de carte. L’étape 4 est la voix : Piper transforme les premiers mots en son. Le flux se termine par le premier son en retour.
- Fin de tour de parole. La détection d’activité vocale (VAD) du module 3 marque la parole et le silence. Une pause dans la parole n’est pas toujours la fin d’un tour. Le pipeline attend donc une durée fixe de silence : 0,8 s ici, comme dans le SVI. Cette attente est un réglage. Aucun calcul ne se fait pendant cette attente.
- Reconnaissance. Whisper base écrit les mots de l’appelant. Il traite le tour entier et commence donc après l’étape 1.
- Le LLM. chat-small lit les mots et l’appel jusqu’ici, puis commence sa réponse. Parfois, il appelle d’abord un outil, comme le système de commandes. L’appelant attend alors l’appel d’outil et un deuxième appel au LLM.
- La voix. Piper transforme la réponse en son. Larkfield joue le son dès que la première partie est prête.
Diffusion en continu
Section intitulée « Diffusion en continu »La diffusion en continu (streaming) consiste à transmettre la première partie d’un résultat avant que le résultat entier soit prêt. Pensez à un robinet plutôt qu’à un seau. Avec un seau, vous attendez qu’il soit plein, puis vous le transportez. Avec un robinet, l’eau coule dès qu’elle arrive.
Avec la diffusion en continu, le LLM envoie ses premiers mots pendant qu’il écrit encore le reste. Piper prononce la première phrase pendant que le LLM écrit la deuxième. L’appelant attend seulement les premiers mots et le premier son, pas la réponse entière. Dans le budget, la partie du LLM est donc le temps jusqu’au premier jeton (token). C’est le premier petit morceau de texte que le LLM envoie.
Exemple détaillé : un tour de parole
Section intitulée « Exemple détaillé : un tour de parole »Voici un vrai tour de parole de l’appel de test I-001. L’appelant a dit le numéro de commande 114942. Whisper base a écrit « 114942. », et l’agent a répondu « That’s one one four, nine four two. Is that correct? ». Voici les temps des quatre parties, tirés des tours enregistrés de l’agent :
| Partie | Secondes | Origine du nombre |
|---|---|---|
| Attente de fin de tour | 0,800 | le réglage |
| Reconnaissance (Whisper base) | 0,238 | mesurée sur le portable du cours |
| LLM, premier jeton (chat-small, en continu) | 1,376 | enregistré une fois, puis rejoué |
| Voix, premier son (Piper) | 0,052 | mesurée sur le portable du cours |
| Attente du premier son | 2,466 | la somme |
Le LLM représente plus de la moitié de l’attente. Sans diffusion en continu, la partie du LLM serait sa réponse entière, soit 1,378 s. C’est seulement 0,002 s de plus : la réponse est une courte phrase. Piper a besoin de 0,082 s pour la réponse entière, contre 0,052 s pour le premier son. Pour ce tour, la diffusion en continu économise donc environ 0,03 s.
Les temps de voix de ces tours enregistrés proviennent de Piper, chargé une seule fois dans notre programme de mesure. Le projet du cours exécute piper comme programme séparé, en raison de sa licence (voir La synthèse vocale pour les messages). Redémarrer ce programme pour chaque phrase ajouterait environ 0,8 s à chaque tour. Le projet le démarre donc une seule fois et le garde en marche. Lors d’une vérification séparée, sa première phrase était prête après environ 0,05 s quand il restait en marche. La partie voix du budget reste donc à peu près la même. Les tours de l’agent n’ont pas été chronométrés de nouveau avec le programme séparé.
Ce tour était plus lent que la plupart des autres. Regardez maintenant tous les tours.
Explorer le budget
Section intitulée « Explorer le budget »L’explorateur additionne la médiane de chaque partie pour les tours enregistrés de l’agent. Vous pouvez changer l’attente de fin de tour, le système de reconnaissance et la diffusion en continu. Les temps du LLM proviennent de réponses enregistrées de chat-small. Vous ne pouvez donc pas changer le LLM ici.
Explorer
Le budget de latence d'un tour de l'appelant
Prédisez d’abord : Quelle partie réduisez-vous d'abord pour passer sous une seconde? Écrivez votre hypothèse, puis déplacez les commandes.
- Attente de fin de tour : 0,80 s
- Reconnaissance (Whisper base) : 0,24 s
- LLM, premiers mots : 1,02 s
- Voix, premier son : 0,05 s
- Attente totale
- 2,11 s
- Par rapport à la cible de 1 s
- 1,11 s au-dessus
Attente de fin de tour de 0,8 s, Whisper base, avec diffusion en continu : les parties font 2,11 s au total, 1,11 s au-dessus de la cible de 1 s. La plus grande partie est « LLM, premiers mots » (1,02 s). Même sans attente et sans reconnaissance, le LLM et la voix seuls prennent 1,06 s : plus que la cible.
| Partie | Médiane | 90e centile | Plage | Source |
|---|---|---|---|---|
| Attente de fin de tour | 0,80 s | 0,80 s | fixe | un réglage |
| Reconnaissance (Whisper base) | 0,24 s | 0,30 s | de 0,23 à 1,01 s | mesuré sur le portable du cours |
| LLM, premiers mots | 1,02 s | 1,49 s | de 0,69 à 2,45 s | enregistré (chat-small) |
| Voix, premier son | 0,05 s | 0,08 s | de 0,01 à 0,76 s | mesuré sur le portable du cours |
Description textuelle de l’explorateur
Une barre empilée de 0 à 3 secondes, avec une ligne pointillée à la cible de 1 seconde. Avec les réglages initiaux (attente de fin de tour de 0,8 s, Whisper base, diffusion en continu activée), les parties sont : attente de fin de tour de 0,80 s, reconnaissance de 0,24 s, premiers mots du LLM de 1,02 s, premier son de la voix de 0,05 s. Leur somme est de 2,11 s, soit 1,11 s au-dessus de la cible. Le LLM est la plus grande partie. Un curseur change l’attente de fin de tour de 0,2 s à 1,5 s. Deux boutons permettent de choisir entre Whisper base et Whisper tiny (0,12 s) pour la reconnaissance. Deux boutons permettent de désactiver la diffusion en continu. Le calcul utilise alors la réponse entière du LLM (1,07 s) et la réponse vocale entière (0,09 s). La somme la plus basse est de 1,38 s : une attente de 0,2 s, Whisper tiny et la diffusion en continu. Même alors, le LLM et la voix seuls prennent 1,06 s. Un tableau sous la barre donne la médiane, le 90e centile, l’étendue et la source de chaque partie.
Qu’avez-vous trouvé? Deux parties sont petites : la reconnaissance (0,24 s) et la voix (0,05 s). L’attente de fin de tour est un réglage, donc vous pouvez la réduire tout de suite. Mais les premiers mots du LLM prennent à eux seuls 1,02 s. C’est déjà au-dessus de la cible. Aucun réglage du côté de Larkfield ne fait passer la somme sous une seconde. Réduisez d’abord l’attente de fin de tour, car cela ne coûte rien. Ensuite, il reste le LLM.
L’explorateur additionne les médianes des parties : 2,11 s. La commande du projet, dans la section suivante, prend la médiane de l’attente totale de chaque tour : 2,10 s. Ce sont deux nombres différents, et ils sont proches ici. Rapportez celui que vous avez calculé et dites comment.
Tous les tours, pas seulement celui du milieu
Section intitulée « Tous les tours, pas seulement celui du milieu »La médiane cache les tours lents. Le graphique montre l’attente de chaque tour de l’appelant avec les réglages par défaut.
Description textuelle du diagramme
Chaque barre compte les tours de l’appelant dont l’attente se trouve dans un intervalle de 0,1 s. L’attente la plus courte est de 1,57 s et la plus longue, de 3,61 s. La plupart des tours attendent entre 1,8 et 2,5 s. La ligne rouge pointillée à 1 s est la cible, et aucun tour ne se trouve à sa gauche. La médiane est de 2,10 s et le 90e centile, de 2,74 s. Parmi les 12 tours dépassant 3 s, 7 ont appelé un outil avant la réponse. Les autres avaient un LLM lent, une reconnaissance lente, ou les deux.
Un LLM hébergé ne répond pas toujours dans le même délai. Son premier jeton a pris de 0,69 s à 2,45 s dans ces appels. Et 10 des 124 tours de l’appelant nécessitaient un appel d’outil avant la réponse. L’appelant attend alors deux appels au LLM, l’un après l’autre.
Larkfield : le budget avec le projet
Section intitulée « Larkfield : le budget avec le projet »L’instantané end-of-m08 ajoute la commande speech agent. Elle rejoue les tours enregistrés de l’agent et additionne le budget de chaque tour de l’appelant.
-
Dans votre dossier
larkspeech, avec l’environnement virtuel actif, copiez les fichiers de ce module depuis l’instantanéend-of-m08:Fenêtre de terminal S=../nextia-learning-labs/C41/snapshots/end-of-m08cp "$S/larkspeech/agent.py" larkspeech/cp "$S/larkspeech/commands/agent.py" larkspeech/commands/cp "$S/tests/test_agent.py" tests/Fenêtre de terminal $S = "..\nextia-learning-labs\C41\snapshots\end-of-m08"Copy-Item "$S\larkspeech\agent.py" larkspeech\Copy-Item "$S\larkspeech\commands\agent.py" larkspeech\commands\Copy-Item "$S\tests\test_agent.py" tests\La commande
speechtrouve ses sous-commandes grâce à leurs fichiers. La nouvelle commande ne nécessite donc aucun autre changement. Aucun nouveau paquet n’est nécessaire. -
Exécutez les tests. Quatre nouveaux tests vérifient le budget et la comparaison des prochaines leçons :
Fenêtre de terminal pytest -q..................................... [100%]37 passed in 1.77sLe temps varie d’un ordinateur à l’autre.
-
Affichez le budget avec les réglages par défaut :
Fenêtre de terminal speech agent budget124 caller turns answered by the recorded agent; end of turn 0.8 s; Whisper base; streaming (recorded LLM times, chat-small)end of turn (VAD wait) median 0.80 s ################recognition median 0.24 s ####LLM median 1.02 s ####################first audio median 0.05 sfirst sound back: median 2.10 s, 90th percentile 2.74 s; turns under 1 s: 0 of 124Chaque
#représente 0,05 s. La dernière ligne donne le total pour l’appelant : la médiane, le 90e centile et le nombre de tours sous une seconde. -
Désactivez la diffusion en continu :
Fenêtre de terminal speech agent budget --no-streaming124 caller turns answered by the recorded agent; end of turn 0.8 s; Whisper base; no streaming (recorded LLM times, chat-small)end of turn (VAD wait) median 0.80 s ################recognition median 0.24 s ####LLM median 1.08 s #####################first audio median 0.09 s #first sound back: median 2.19 s, 90th percentile 2.77 s; turns under 1 s: 0 of 124La diffusion en continu économise seulement 0,09 s à la médiane. Les réponses de l’agent sont une ou deux courtes phrases. La réponse entière arrive donc peu après le premier mot.
-
Essayez les réglages les plus rapides : une attente de 0,3 s et Whisper tiny :
Fenêtre de terminal speech agent budget --end-of-turn 0.3 --asr tiny124 caller turns answered by the recorded agent; end of turn 0.3 s; Whisper tiny; streaming (recorded LLM times, chat-small)end of turn (VAD wait) median 0.30 s ######recognition median 0.12 s ##LLM median 1.02 s ####################first audio median 0.05 sfirst sound back: median 1.50 s, 90th percentile 2.27 s; turns under 1 s: 0 of 124La médiane passe de 2,10 s à 1,50 s. Aucun tour ne passe encore sous une seconde. La partie du LLM n’a pas changé.
Ce qui reste au-dessus d’une seconde
Section intitulée « Ce qui reste au-dessus d’une seconde »Avec les réglages les plus rapides de la commande (fin de tour de 0,3 s, Whisper tiny), la médiane est de 1,50 s. La partie du LLM est de 1,02 s. Pour une médiane sous 1 s, les autres parties doivent laisser de la place au LLM. Elles prennent environ 0,48 s. Le premier jeton du LLM devrait donc arriver en moins d’environ 0,52 s. Le premier jeton du modèle hébergé a pris 0,69 s, même dans son tour le plus rapide.
Que faudrait-il donc? Chaque option a un prix :
- Un modèle plus petit ou plus proche. Un modèle sur le propre serveur de Larkfield n’a aucun trajet par Internet à faire. Mais il peut moins bien comprendre les appelants. Mesurez-le sur les mêmes appels de test avant de le choisir.
- Un modèle parole-parole (speech-to-speech), qui entend l’audio et répond en audio avec un seul modèle. Une leçon ultérieure de ce module décrit ces modèles. Le cours n’en a pas mesuré.
- Une attente de fin de tour plus courte. Sous 0,3 s, l’agent commence à répondre quand l’appelant fait seulement une pause. La prochaine leçon mesure cela.
- Un court son pour les tours lents. Quand le LLM appelle un outil, la voix peut dire « un instant » tout de suite. Cela n’accélère pas la réponse. Mais l’appelant sait que la ligne fonctionne encore.
Aucune de ces options n’est gratuite. Une équipe qui veut « moins d’une seconde » doit choisir quel coût elle accepte.
Garder les garde-fous du SVI
Section intitulée « Garder les garde-fous du SVI »Un garde-fou est une règle qui empêche un système de faire quelque chose de nuisible, peu importe sa décision. Le SVI a trois garde-fous issus du module 7. Il relit le numéro de commande et attend un « oui ». Il transfère l’appelant à une personne après deux échecs. Et il ne demande jamais de numéro de carte.
L’agent vocal doit garder les trois. L’équipe du cours les a écrits dans la requête système de l’agent. Cette requête est en anglais. Elle dit « always read the order number back and get a yes before you act on it » (relisez toujours le numéro de commande et obtenez un oui avant d’agir) et « never ask for a card number » (ne demandez jamais de numéro de carte). Elle dit aussi « if you do not understand the caller twice, … transfer them » (si vous ne comprenez pas l’appelant deux fois, transférez-le). Mais une requête est une demande, pas une garantie. La même requête disait « read order numbers digit by digit » (lisez les numéros de commande chiffre par chiffre). Pourtant, dans l’appel de test I-054, l’agent a dit « six hundred three, one hundred thirty-seven » (« six cent trois, cent trente-sept »).
Mettez donc chaque garde-fou dans le code, autour des outils :
| Garde-fou | Dans la requête | Dans le code, autour des outils |
|---|---|---|
| Relire le numéro | « obtenez un oui avant de l’utiliser » | l’outil de commandes refuse un numéro que l’appelant n’a pas confirmé |
| Transférer à une personne après deux échecs | « transférez-le » | un compteur dans le programme appelle l’outil de transfert après deux échecs |
| Aucun numéro de carte | « ne demandez jamais de numéro de carte » | les numéros de carte passent seulement par le clavier, et le texte du système de reconnaissance est vérifié avant que le LLM le voie |
Le cours Agents d’IA et orchestration des flux de travail enseigne cette conception. Contrats d’outils vérifie chaque appel d’outil dans le code, et Limites d’approbation décide quelles actions nécessitent d’abord un oui. Un garde-fou dans le code n’ajoute presque aucune attente. Un garde-fou manquant peut lancer un retour que personne n’a demandé.
Erreur courante
« La diffusion en continu va régler ça »
Symptôme : Tomás active la diffusion en continu partout et s’attend à réduire l’attente de moitié. La commande affiche 2,10 s avec la diffusion en continu, contre 2,19 s sans elle.
first sound back: median 2.10 s, 90th percentile 2.74 s; turns under 1 s: 0 of 124 (streaming)first sound back: median 2.19 s, 90th percentile 2.77 s; turns under 1 s: 0 of 124 (no streaming)Cause : la diffusion en continu enlève le temps entre le premier mot et le dernier mot. Les réponses de Larkfield sont courtes, donc ce temps est petit. À la médiane, le premier jeton prend 1,02 s et la réponse entière, 1,08 s. La diffusion en continu ne change pas le temps jusqu’au premier jeton, qui représente la majeure partie de l’attente.
Correction : mesurez les parties avant d’en changer une. Réduisez d’abord la plus grande partie. Ici, c’est le temps jusqu’au premier jeton, qui nécessite un autre modèle ou un modèle plus proche.
Conséquence dans le travail en IA : une méthode bien connue peut être la bonne méthode pour un autre problème. La diffusion en continu aide beaucoup quand les réponses sont longues, comme une réponse de clavardage de plusieurs paragraphes. Une réponse téléphonique tient en une phrase.
Exercice guidé : le budget dans le carnet
Section intitulée « Exercice guidé : le budget dans le carnet »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation et la cellule auxiliaire. La cellule de préparation se termine par une ligne
Ready:(prêt). - Dans la section 1, exécutez la cellule qui charge les tours de parole. Vous voyez
177 LLM calls in 60 test calls; 127 of them speak(177 appels au LLM dans 60 appels de test; 127 produisent de la parole). Les 50 autres appels demandent seulement un outil. - Dans la section 2, prédisez la partie la plus longue du premier tour. Puis exécutez la cellule. La partie LLM prend 1,487 s sur un total de 3,31 s.
- Dans la section 3, calculez les médianes avec et sans diffusion en continu. Vous voyez une médiane de 2,10 s avec diffusion en continu et de 2,19 s sans elle.
- Regardez le 90e centile. Le carnet donne 2,79 s, et la commande du projet donne 2,74 s. NumPy calcule un centile entre deux tours, et la commande prend la valeur d’un seul tour. Les deux sont corrects; précisez lequel vous rapportez.
- Dans la section 4, prédisez l’effet d’une attente de 0,5 s plutôt que de 0,8 s. Puis exécutez la cellule. La médiane baisse d’exactement 0,3 s, à 1,80 s.
À vous de jouer : les réglages les plus rapides
Section intitulée « À vous de jouer : les réglages les plus rapides »Dans la section 6 du carnet, essayez toutes les combinaisons de trois éléments. L’attente de fin de tour est de 0,8, 0,5 ou 0,3 s. La diffusion en continu est activée ou désactivée. Le modèle de reconnaissance est Whisper base ou Whisper tiny. Trouvez la combinaison avec la plus faible attente médiane. Puis trouvez la durée que devrait avoir la partie LLM pour une médiane inférieure à une seconde.
Afficher la réponse
results = {}for end_of_turn in (0.8, 0.5, 0.3): for streaming in (True, False): for recognition in ("asr_base_s", "asr_tiny_s"): results[(end_of_turn, streaming, recognition)] = median_budget(end_of_turn, streaming, recognition)[1]best_settings = min(results, key=results.get)best_median = results[best_settings]print(best_settings, round(best_median, 2))(0.3, True, 'asr_tiny_s') 1.5La meilleure combinaison est une attente de 0,3 s, la diffusion en continu activée et Whisper tiny : une médiane de 1,50 s. Aucun tour d’appelant ne prend moins d’une seconde. Les parties prennent 0,30 s, 0,12 s, 1,02 s et 0,05 s. Pour une médiane inférieure à 1 s, la partie LLM devrait prendre moins d’environ 0,52 s. Rappelez-vous aussi que Whisper tiny fait plus d’erreurs de reconnaissance que base (module 4). Une réponse plus rapide à une question mal entendue n’est pas meilleure.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Un tour d'appelant comprend ces parties : attente de fin de tour de 0,5 s, reconnaissance de 0,12 s, premier jeton du LLM à 0,9 s, premier son de la voix à 0,05 s. Quelle est l'attente, et quelle partie réduisez-vous d'abord?
Afficher la réponse
L’attente est la somme : 0,5 + 0,12 + 0,9 + 0,05 = 1,57 s. Elle dépasse la cible de 1 s de 0,57 s. La partie LLM est la plus longue (0,9 s), mais aucun réglage ne la change : il faut un autre modèle. L’attente de fin de tour (0,5 s) est un réglage; c’est donc la partie la moins coûteuse à réduire. Même à 0 s, toutefois, la somme serait de 1,07 s. Il faut donc aussi un LLM plus rapide pour atteindre la cible.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi la diffusion en continu n'a-t-elle réduit la médiane que de 0,09 s sur les appels enregistrés de Larkfield? Quand ferait-elle gagner plus de temps?
Afficher la réponse
La diffusion en continu permet à l’appelant d’entendre les premiers mots avant que toute la réponse soit écrite et prononcée. Elle supprime le temps entre le premier mot et le dernier mot. L’agent de Larkfield répond en une ou deux phrases courtes, donc ce temps est bref. À la médiane, le premier jeton prend 1,02 s et la réponse complète, 1,08 s. La diffusion en continu fait gagner plus de temps avec de longues réponses, comme une explication orale de plusieurs phrases.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La requête système dit « always read the order number back and get a yes before you act on it » (relisez toujours le numéro de commande et obtenez un oui avant d'agir). Amira dit que cela suffit comme garde-fou. Que lui dites-vous?
Afficher la réponse
Une requête est une demande, pas une garantie. La même requête demandait à l’agent de lire les numéros chiffre par chiffre. Lors de l’appel de test I-054, il a dit « six hundred three, one hundred thirty-seven ». Gardez la règle dans la requête, et ajoutez-la aussi au code : l’outil de commande refuse un numéro non confirmé par l’appelant. Une vérification dans le code n’ajoute presque aucune attente, et elle fonctionne chaque fois.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un agent vocal est un pipeline : fin de tour de parole → reconnaissance → LLM avec outils → voix. L’appelant attend les quatre étapes.
- Un budget de latence répartit l’attente cible entre les parties. Mesurez chaque partie, puis réduisez d’abord la plus longue.
- Sur les appels enregistrés de Larkfield : attente de fin de tour de 0,80 s, reconnaissance de 0,24 s, premier jeton du LLM à 1,02 s, premier son à 0,05 s. Médiane de 2,10 s, 90e centile de 2,74 s, aucun tour sous 1 s.
- La diffusion en continu fait gagner peu de temps ici (2,19 s → 2,10 s), car les réponses sont courtes. Les réglages les plus rapides donnent 1,50 s. Le premier jeton du LLM prend à lui seul environ 1 s.
- Gardez les garde-fous du SVI autour du LLM, et placez-les dans le code, pas seulement dans la requête.
La partie la moins coûteuse à réduire est l’attente de fin de tour : ce n’est qu’un réglage. Mais une attente plus courte déclenche une réponse quand l’appelant fait seulement une pause. Ensuite, vous mesurerez combien de fois cela arrive, et ce qu’il faut faire quand l’appelant parle en même temps que l’agent.
Leçon suivante : Prise de parole et interruptions