Aller au contenu
English

Le pipeline de l'agent vocal

  • Leçon 29
  • 40 min
  • Module 8 : Du serveur vocal à l'agent vocal

Où nous en sommes

Un LLM peut traiter les appels que notre menu ne peut pas gérer, mais chaque étape ajoute de l'attente. Dans cette leçon, nous construisons le pipeline de l'agent vocal et diffusons en continu à chaque étape. Nous fixons un budget de latence pour un tour de parole et gardons les garde-fous du SVI.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 29 sur 36 · IA de la parole : transcrire, comprendre et parlerLe pipeline de l'agent vocal
Aperçu du cours

Ce que vous saurez faire

Mesurez combien de temps un appelant attend la réponse d’un agent vocal. Décomposez cette attente et trouvez quelle partie réduire d’abord. Gardez les règles de sécurité du serveur vocal interactif (SVI, IVR) autour du LLM pendant ce travail.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient le code, les tâches et les vérifications de cette leçon. Il lit les tours de parole enregistrés de l’agent et additionne l’attente pour chaque tour de l’appelant. Il essaie les réglages qui raccourcissent l’attente. Il ne nécessite aucun téléchargement de modèle ni aucun compte. Environ 25 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

  • Là où un menu ne suffit plus et ce qu’est un agent vocal : Là où un menu ne suffit plus.
  • Ce que sont une médiane et un 90e centile. La médiane est la valeur du milieu : la moitié des valeurs sont plus basses. Le 90e centile est la valeur sous laquelle se trouvent 90 % des valeurs.

Ce qu’il vous faut sur votre ordinateur (seulement pour le parcours local; le carnet n’en a pas besoin)

  • Votre dossier de projet larkspeech à la fin du module 7, avec les données du cours dans larkspeech/data. La commande speech ivr --help y fonctionne.
  • Le dépôt des exercices nextia-learning-labs à côté de larkspeech. Cette leçon copie trois fichiers de l’instantané end-of-m08. Aucun nouveau paquet n’est nécessaire.

Testé sur macOS avec Python 3.12. Les commandes Windows (PowerShell) n’ont pas été testées.

Imaginez une course à relais avec quatre coureurs. Le temps de l’équipe est la somme des temps des quatre coureurs. Si un coureur est lent, toute l’équipe est lente. Pour accélérer l’équipe, vous travaillez d’abord avec le coureur le plus lent. Accélérer un peu un coureur déjà rapide ne change presque rien.

Un agent vocal répond de la même façon. Quatre étapes se suivent, et l’appelant les attend toutes. L’appelant ne voit pas les étapes. Il entend seulement du silence, puis la réponse.

Dans une conversation entre personnes, la personne suivante commence souvent à parler en moins d’une demi-seconde. Après un silence d’une seconde ou plus, l’appelant commence à se poser des questions. Certains disent « allô? ». D’autres recommencent à parler, puis l’appelant et l’agent parlent en même temps.

Dans les appels enregistrés de Larkfield, l’agent vocal répondait en médiane 2,10 s après que l’appelant avait cessé de parler. Aucune de ses 124 réponses n’est arrivée en moins d’une seconde. Omar veut une réponse en environ une seconde. Tomás veut activer la diffusion en continu et en rester là. Priya, la scientifique des données, veut d’abord mesurer.

La latence est le temps d’attente entre une requête et sa réponse. Un budget de latence est une cible pour l’attente totale, divisée en parties, une pour chaque étape. Il fonctionne comme un budget d’argent. Vous décidez d’abord du total. Ensuite, vous voyez quelle partie dépense le plus, et vous réduisez cette partie.

Pour un agent vocal, l’attente commence quand l’appelant cesse de parler. Elle se termine quand l’appelant entend le premier son de la réponse. La cible de Larkfield est de 1 seconde. Le pipeline comporte quatre étapes :

Un flux de gauche à droite. L'appelant cesse de parler. Étape 1, fin de tour de parole : la VAD attend 0,8 s de silence. Étape 2, reconnaissance : Whisper base écrit les mots. Étape 3, LLM avec outils : chat-small diffuse ses premiers mots en continu; il peut appeler le système de commandes comme outil et recevoir une réponse. Des garde-fous entourent le LLM : relire le numéro, transférer à une personne après deux échecs, aucun numéro de carte. Étape 4, voix : Piper produit le premier son. Puis vient le premier son en retour.
Le pipeline de l'agent vocal. L'appelant attend les quatre étapes. Les garde-fous du SVI restent autour du LLM.
Description textuelle du diagramme

Le flux commence quand l’appelant cesse de parler. L’étape 1 est la fin de tour de parole : le détecteur d’activité vocale (VAD) attend 0,8 s de silence. Il s’assure ainsi que l’appelant a terminé. L’étape 2 est la reconnaissance : Whisper base écrit les mots de l’appelant. L’étape 3 est le LLM avec outils : chat-small lit les mots et diffuse ses premiers mots en continu. Il peut appeler le système de commandes comme outil et recevoir la réponse avant de parler. Le LLM est entouré de garde-fous : relire le numéro de commande, transférer après deux échecs et ne jamais prendre de numéro de carte. L’étape 4 est la voix : Piper transforme les premiers mots en son. Le flux se termine par le premier son en retour.

  1. Fin de tour de parole. La détection d’activité vocale (VAD) du module 3 marque la parole et le silence. Une pause dans la parole n’est pas toujours la fin d’un tour. Le pipeline attend donc une durée fixe de silence : 0,8 s ici, comme dans le SVI. Cette attente est un réglage. Aucun calcul ne se fait pendant cette attente.
  2. Reconnaissance. Whisper base écrit les mots de l’appelant. Il traite le tour entier et commence donc après l’étape 1.
  3. Le LLM. chat-small lit les mots et l’appel jusqu’ici, puis commence sa réponse. Parfois, il appelle d’abord un outil, comme le système de commandes. L’appelant attend alors l’appel d’outil et un deuxième appel au LLM.
  4. La voix. Piper transforme la réponse en son. Larkfield joue le son dès que la première partie est prête.

La diffusion en continu (streaming) consiste à transmettre la première partie d’un résultat avant que le résultat entier soit prêt. Pensez à un robinet plutôt qu’à un seau. Avec un seau, vous attendez qu’il soit plein, puis vous le transportez. Avec un robinet, l’eau coule dès qu’elle arrive.

Avec la diffusion en continu, le LLM envoie ses premiers mots pendant qu’il écrit encore le reste. Piper prononce la première phrase pendant que le LLM écrit la deuxième. L’appelant attend seulement les premiers mots et le premier son, pas la réponse entière. Dans le budget, la partie du LLM est donc le temps jusqu’au premier jeton (token). C’est le premier petit morceau de texte que le LLM envoie.

Voici un vrai tour de parole de l’appel de test I-001. L’appelant a dit le numéro de commande 114942. Whisper base a écrit « 114942. », et l’agent a répondu « That’s one one four, nine four two. Is that correct? ». Voici les temps des quatre parties, tirés des tours enregistrés de l’agent :

Partie Secondes Origine du nombre
Attente de fin de tour 0,800 le réglage
Reconnaissance (Whisper base) 0,238 mesurée sur le portable du cours
LLM, premier jeton (chat-small, en continu) 1,376 enregistré une fois, puis rejoué
Voix, premier son (Piper) 0,052 mesurée sur le portable du cours
Attente du premier son 2,466 la somme

Le LLM représente plus de la moitié de l’attente. Sans diffusion en continu, la partie du LLM serait sa réponse entière, soit 1,378 s. C’est seulement 0,002 s de plus : la réponse est une courte phrase. Piper a besoin de 0,082 s pour la réponse entière, contre 0,052 s pour le premier son. Pour ce tour, la diffusion en continu économise donc environ 0,03 s.

Les temps de voix de ces tours enregistrés proviennent de Piper, chargé une seule fois dans notre programme de mesure. Le projet du cours exécute piper comme programme séparé, en raison de sa licence (voir La synthèse vocale pour les messages). Redémarrer ce programme pour chaque phrase ajouterait environ 0,8 s à chaque tour. Le projet le démarre donc une seule fois et le garde en marche. Lors d’une vérification séparée, sa première phrase était prête après environ 0,05 s quand il restait en marche. La partie voix du budget reste donc à peu près la même. Les tours de l’agent n’ont pas été chronométrés de nouveau avec le programme séparé.

Ce tour était plus lent que la plupart des autres. Regardez maintenant tous les tours.

L’explorateur additionne la médiane de chaque partie pour les tours enregistrés de l’agent. Vous pouvez changer l’attente de fin de tour, le système de reconnaissance et la diffusion en continu. Les temps du LLM proviennent de réponses enregistrées de chat-small. Vous ne pouvez donc pas changer le LLM ici.

Explorer

Le budget de latence d'un tour de l'appelant

  • Attente de fin de tour : 0,80 s
  • Reconnaissance (Whisper base) : 0,24 s
  • LLM, premiers mots : 1,02 s
  • Voix, premier son : 0,05 s
Attente totale
2,11 s
Par rapport à la cible de 1 s
1,11 s au-dessus

Attente de fin de tour de 0,8 s, Whisper base, avec diffusion en continu : les parties font 2,11 s au total, 1,11 s au-dessus de la cible de 1 s. La plus grande partie est « LLM, premiers mots » (1,02 s). Même sans attente et sans reconnaissance, le LLM et la voix seuls prennent 1,06 s : plus que la cible.

Chaque partie sur les 127 tours enregistrés de l’agent
PartieMédiane90e centilePlageSource
Attente de fin de tour0,80 s0,80 sfixeun réglage
Reconnaissance (Whisper base)0,24 s0,30 sde 0,23 à 1,01 smesuré sur le portable du cours
LLM, premiers mots1,02 s1,49 sde 0,69 à 2,45 senregistré (chat-small)
Voix, premier son0,05 s0,08 sde 0,01 à 0,76 smesuré sur le portable du cours
La médiane de chaque partie pour les 127 réponses vocales enregistrées de l'agent (appels synthétiques de Larkfield). L'histogramme ci-dessous compte plutôt les tours de l'appelant : 124 tours ont reçu une réponse vocale (voir l'étape 3 de l'exercice guidé). L'attente de fin de tour est un réglage; la reconnaissance et la voix ont été mesurées sur le portable du cours. Les temps du LLM proviennent de réponses enregistrées de chat-small.
Description textuelle de l’explorateur

Une barre empilée de 0 à 3 secondes, avec une ligne pointillée à la cible de 1 seconde. Avec les réglages initiaux (attente de fin de tour de 0,8 s, Whisper base, diffusion en continu activée), les parties sont : attente de fin de tour de 0,80 s, reconnaissance de 0,24 s, premiers mots du LLM de 1,02 s, premier son de la voix de 0,05 s. Leur somme est de 2,11 s, soit 1,11 s au-dessus de la cible. Le LLM est la plus grande partie. Un curseur change l’attente de fin de tour de 0,2 s à 1,5 s. Deux boutons permettent de choisir entre Whisper base et Whisper tiny (0,12 s) pour la reconnaissance. Deux boutons permettent de désactiver la diffusion en continu. Le calcul utilise alors la réponse entière du LLM (1,07 s) et la réponse vocale entière (0,09 s). La somme la plus basse est de 1,38 s : une attente de 0,2 s, Whisper tiny et la diffusion en continu. Même alors, le LLM et la voix seuls prennent 1,06 s. Un tableau sous la barre donne la médiane, le 90e centile, l’étendue et la source de chaque partie.

Qu’avez-vous trouvé? Deux parties sont petites : la reconnaissance (0,24 s) et la voix (0,05 s). L’attente de fin de tour est un réglage, donc vous pouvez la réduire tout de suite. Mais les premiers mots du LLM prennent à eux seuls 1,02 s. C’est déjà au-dessus de la cible. Aucun réglage du côté de Larkfield ne fait passer la somme sous une seconde. Réduisez d’abord l’attente de fin de tour, car cela ne coûte rien. Ensuite, il reste le LLM.

L’explorateur additionne les médianes des parties : 2,11 s. La commande du projet, dans la section suivante, prend la médiane de l’attente totale de chaque tour : 2,10 s. Ce sont deux nombres différents, et ils sont proches ici. Rapportez celui que vous avez calculé et dites comment.

La médiane cache les tours lents. Le graphique montre l’attente de chaque tour de l’appelant avec les réglages par défaut.

Un histogramme de 124 tours de l'appelant. Les attentes vont d'environ 1,6 s à 3,6 s, la plupart entre 1,8 et 2,5 s. Une ligne rouge pointillée à 1 s marque la cible : aucun tour ne se trouve à sa gauche. Une ligne à 2,10 s marque la médiane, et une ligne à 2,74 s, le 90e centile. Un petit groupe de tours se situe entre 3,0 et 3,6 s.
L'attente de chacun des 124 tours de l'appelant ayant reçu une réponse vocale (attente de fin de tour de 0,8 s, Whisper base, diffusion en continu). Médiane de 2,10 s, 90e centile de 2,74 s et aucun tour sous la cible de 1 s.
Description textuelle du diagramme

Chaque barre compte les tours de l’appelant dont l’attente se trouve dans un intervalle de 0,1 s. L’attente la plus courte est de 1,57 s et la plus longue, de 3,61 s. La plupart des tours attendent entre 1,8 et 2,5 s. La ligne rouge pointillée à 1 s est la cible, et aucun tour ne se trouve à sa gauche. La médiane est de 2,10 s et le 90e centile, de 2,74 s. Parmi les 12 tours dépassant 3 s, 7 ont appelé un outil avant la réponse. Les autres avaient un LLM lent, une reconnaissance lente, ou les deux.

Un LLM hébergé ne répond pas toujours dans le même délai. Son premier jeton a pris de 0,69 s à 2,45 s dans ces appels. Et 10 des 124 tours de l’appelant nécessitaient un appel d’outil avant la réponse. L’appelant attend alors deux appels au LLM, l’un après l’autre.

L’instantané end-of-m08 ajoute la commande speech agent. Elle rejoue les tours enregistrés de l’agent et additionne le budget de chaque tour de l’appelant.

  1. Dans votre dossier larkspeech, avec l’environnement virtuel actif, copiez les fichiers de ce module depuis l’instantané end-of-m08 :

    Fenêtre de terminal
    S=../nextia-learning-labs/C41/snapshots/end-of-m08
    cp "$S/larkspeech/agent.py" larkspeech/
    cp "$S/larkspeech/commands/agent.py" larkspeech/commands/
    cp "$S/tests/test_agent.py" tests/

    La commande speech trouve ses sous-commandes grâce à leurs fichiers. La nouvelle commande ne nécessite donc aucun autre changement. Aucun nouveau paquet n’est nécessaire.

  2. Exécutez les tests. Quatre nouveaux tests vérifient le budget et la comparaison des prochaines leçons :

    Fenêtre de terminal
    pytest -q
    ..................................... [100%]
    37 passed in 1.77s

    Le temps varie d’un ordinateur à l’autre.

  3. Affichez le budget avec les réglages par défaut :

    Fenêtre de terminal
    speech agent budget
    124 caller turns answered by the recorded agent; end of turn 0.8 s; Whisper base; streaming (recorded LLM times, chat-small)
    end of turn (VAD wait) median 0.80 s ################
    recognition median 0.24 s ####
    LLM median 1.02 s ####################
    first audio median 0.05 s
    first sound back: median 2.10 s, 90th percentile 2.74 s; turns under 1 s: 0 of 124

    Chaque # représente 0,05 s. La dernière ligne donne le total pour l’appelant : la médiane, le 90e centile et le nombre de tours sous une seconde.

  4. Désactivez la diffusion en continu :

    Fenêtre de terminal
    speech agent budget --no-streaming
    124 caller turns answered by the recorded agent; end of turn 0.8 s; Whisper base; no streaming (recorded LLM times, chat-small)
    end of turn (VAD wait) median 0.80 s ################
    recognition median 0.24 s ####
    LLM median 1.08 s #####################
    first audio median 0.09 s #
    first sound back: median 2.19 s, 90th percentile 2.77 s; turns under 1 s: 0 of 124

    La diffusion en continu économise seulement 0,09 s à la médiane. Les réponses de l’agent sont une ou deux courtes phrases. La réponse entière arrive donc peu après le premier mot.

  5. Essayez les réglages les plus rapides : une attente de 0,3 s et Whisper tiny :

    Fenêtre de terminal
    speech agent budget --end-of-turn 0.3 --asr tiny
    124 caller turns answered by the recorded agent; end of turn 0.3 s; Whisper tiny; streaming (recorded LLM times, chat-small)
    end of turn (VAD wait) median 0.30 s ######
    recognition median 0.12 s ##
    LLM median 1.02 s ####################
    first audio median 0.05 s
    first sound back: median 1.50 s, 90th percentile 2.27 s; turns under 1 s: 0 of 124

    La médiane passe de 2,10 s à 1,50 s. Aucun tour ne passe encore sous une seconde. La partie du LLM n’a pas changé.

Avec les réglages les plus rapides de la commande (fin de tour de 0,3 s, Whisper tiny), la médiane est de 1,50 s. La partie du LLM est de 1,02 s. Pour une médiane sous 1 s, les autres parties doivent laisser de la place au LLM. Elles prennent environ 0,48 s. Le premier jeton du LLM devrait donc arriver en moins d’environ 0,52 s. Le premier jeton du modèle hébergé a pris 0,69 s, même dans son tour le plus rapide.

Que faudrait-il donc? Chaque option a un prix :

  • Un modèle plus petit ou plus proche. Un modèle sur le propre serveur de Larkfield n’a aucun trajet par Internet à faire. Mais il peut moins bien comprendre les appelants. Mesurez-le sur les mêmes appels de test avant de le choisir.
  • Un modèle parole-parole (speech-to-speech), qui entend l’audio et répond en audio avec un seul modèle. Une leçon ultérieure de ce module décrit ces modèles. Le cours n’en a pas mesuré.
  • Une attente de fin de tour plus courte. Sous 0,3 s, l’agent commence à répondre quand l’appelant fait seulement une pause. La prochaine leçon mesure cela.
  • Un court son pour les tours lents. Quand le LLM appelle un outil, la voix peut dire « un instant » tout de suite. Cela n’accélère pas la réponse. Mais l’appelant sait que la ligne fonctionne encore.

Aucune de ces options n’est gratuite. Une équipe qui veut « moins d’une seconde » doit choisir quel coût elle accepte.

Un garde-fou est une règle qui empêche un système de faire quelque chose de nuisible, peu importe sa décision. Le SVI a trois garde-fous issus du module 7. Il relit le numéro de commande et attend un « oui ». Il transfère l’appelant à une personne après deux échecs. Et il ne demande jamais de numéro de carte.

L’agent vocal doit garder les trois. L’équipe du cours les a écrits dans la requête système de l’agent. Cette requête est en anglais. Elle dit « always read the order number back and get a yes before you act on it » (relisez toujours le numéro de commande et obtenez un oui avant d’agir) et « never ask for a card number » (ne demandez jamais de numéro de carte). Elle dit aussi « if you do not understand the caller twice, … transfer them » (si vous ne comprenez pas l’appelant deux fois, transférez-le). Mais une requête est une demande, pas une garantie. La même requête disait « read order numbers digit by digit » (lisez les numéros de commande chiffre par chiffre). Pourtant, dans l’appel de test I-054, l’agent a dit « six hundred three, one hundred thirty-seven » (« six cent trois, cent trente-sept »).

Mettez donc chaque garde-fou dans le code, autour des outils :

Garde-fou Dans la requête Dans le code, autour des outils
Relire le numéro « obtenez un oui avant de l’utiliser » l’outil de commandes refuse un numéro que l’appelant n’a pas confirmé
Transférer à une personne après deux échecs « transférez-le » un compteur dans le programme appelle l’outil de transfert après deux échecs
Aucun numéro de carte « ne demandez jamais de numéro de carte » les numéros de carte passent seulement par le clavier, et le texte du système de reconnaissance est vérifié avant que le LLM le voie

Le cours Agents d’IA et orchestration des flux de travail enseigne cette conception. Contrats d’outils vérifie chaque appel d’outil dans le code, et Limites d’approbation décide quelles actions nécessitent d’abord un oui. Un garde-fou dans le code n’ajoute presque aucune attente. Un garde-fou manquant peut lancer un retour que personne n’a demandé.

Erreur courante

« La diffusion en continu va régler ça »

Symptôme : Tomás active la diffusion en continu partout et s’attend à réduire l’attente de moitié. La commande affiche 2,10 s avec la diffusion en continu, contre 2,19 s sans elle.

first sound back: median 2.10 s, 90th percentile 2.74 s; turns under 1 s: 0 of 124 (streaming)
first sound back: median 2.19 s, 90th percentile 2.77 s; turns under 1 s: 0 of 124 (no streaming)

Cause : la diffusion en continu enlève le temps entre le premier mot et le dernier mot. Les réponses de Larkfield sont courtes, donc ce temps est petit. À la médiane, le premier jeton prend 1,02 s et la réponse entière, 1,08 s. La diffusion en continu ne change pas le temps jusqu’au premier jeton, qui représente la majeure partie de l’attente.

Correction : mesurez les parties avant d’en changer une. Réduisez d’abord la plus grande partie. Ici, c’est le temps jusqu’au premier jeton, qui nécessite un autre modèle ou un modèle plus proche.

Conséquence dans le travail en IA : une méthode bien connue peut être la bonne méthode pour un autre problème. La diffusion en continu aide beaucoup quand les réponses sont longues, comme une réponse de clavardage de plusieurs paragraphes. Une réponse téléphonique tient en une phrase.

  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation et la cellule auxiliaire. La cellule de préparation se termine par une ligne Ready: (prêt).
  3. Dans la section 1, exécutez la cellule qui charge les tours de parole. Vous voyez 177 LLM calls in 60 test calls; 127 of them speak (177 appels au LLM dans 60 appels de test; 127 produisent de la parole). Les 50 autres appels demandent seulement un outil.
  4. Dans la section 2, prédisez la partie la plus longue du premier tour. Puis exécutez la cellule. La partie LLM prend 1,487 s sur un total de 3,31 s.
  5. Dans la section 3, calculez les médianes avec et sans diffusion en continu. Vous voyez une médiane de 2,10 s avec diffusion en continu et de 2,19 s sans elle.
  6. Regardez le 90e centile. Le carnet donne 2,79 s, et la commande du projet donne 2,74 s. NumPy calcule un centile entre deux tours, et la commande prend la valeur d’un seul tour. Les deux sont corrects; précisez lequel vous rapportez.
  7. Dans la section 4, prédisez l’effet d’une attente de 0,5 s plutôt que de 0,8 s. Puis exécutez la cellule. La médiane baisse d’exactement 0,3 s, à 1,80 s.

Dans la section 6 du carnet, essayez toutes les combinaisons de trois éléments. L’attente de fin de tour est de 0,8, 0,5 ou 0,3 s. La diffusion en continu est activée ou désactivée. Le modèle de reconnaissance est Whisper base ou Whisper tiny. Trouvez la combinaison avec la plus faible attente médiane. Puis trouvez la durée que devrait avoir la partie LLM pour une médiane inférieure à une seconde.

Afficher la réponse
results = {}
for end_of_turn in (0.8, 0.5, 0.3):
for streaming in (True, False):
for recognition in ("asr_base_s", "asr_tiny_s"):
results[(end_of_turn, streaming, recognition)] = median_budget(end_of_turn, streaming, recognition)[1]
best_settings = min(results, key=results.get)
best_median = results[best_settings]
print(best_settings, round(best_median, 2))
(0.3, True, 'asr_tiny_s') 1.5

La meilleure combinaison est une attente de 0,3 s, la diffusion en continu activée et Whisper tiny : une médiane de 1,50 s. Aucun tour d’appelant ne prend moins d’une seconde. Les parties prennent 0,30 s, 0,12 s, 1,02 s et 0,05 s. Pour une médiane inférieure à 1 s, la partie LLM devrait prendre moins d’environ 0,52 s. Rappelez-vous aussi que Whisper tiny fait plus d’erreurs de reconnaissance que base (module 4). Une réponse plus rapide à une question mal entendue n’est pas meilleure.

Vérifiez votre compréhension

Un tour d'appelant comprend ces parties : attente de fin de tour de 0,5 s, reconnaissance de 0,12 s, premier jeton du LLM à 0,9 s, premier son de la voix à 0,05 s. Quelle est l'attente, et quelle partie réduisez-vous d'abord?

Afficher la réponse

L’attente est la somme : 0,5 + 0,12 + 0,9 + 0,05 = 1,57 s. Elle dépasse la cible de 1 s de 0,57 s. La partie LLM est la plus longue (0,9 s), mais aucun réglage ne la change : il faut un autre modèle. L’attente de fin de tour (0,5 s) est un réglage; c’est donc la partie la moins coûteuse à réduire. Même à 0 s, toutefois, la somme serait de 1,07 s. Il faut donc aussi un LLM plus rapide pour atteindre la cible.

Vérifiez votre compréhension

Pourquoi la diffusion en continu n'a-t-elle réduit la médiane que de 0,09 s sur les appels enregistrés de Larkfield? Quand ferait-elle gagner plus de temps?

Afficher la réponse

La diffusion en continu permet à l’appelant d’entendre les premiers mots avant que toute la réponse soit écrite et prononcée. Elle supprime le temps entre le premier mot et le dernier mot. L’agent de Larkfield répond en une ou deux phrases courtes, donc ce temps est bref. À la médiane, le premier jeton prend 1,02 s et la réponse complète, 1,08 s. La diffusion en continu fait gagner plus de temps avec de longues réponses, comme une explication orale de plusieurs phrases.

Vérifiez votre compréhension

La requête système dit « always read the order number back and get a yes before you act on it » (relisez toujours le numéro de commande et obtenez un oui avant d'agir). Amira dit que cela suffit comme garde-fou. Que lui dites-vous?

Afficher la réponse

Une requête est une demande, pas une garantie. La même requête demandait à l’agent de lire les numéros chiffre par chiffre. Lors de l’appel de test I-054, il a dit « six hundred three, one hundred thirty-seven ». Gardez la règle dans la requête, et ajoutez-la aussi au code : l’outil de commande refuse un numéro non confirmé par l’appelant. Une vérification dans le code n’ajoute presque aucune attente, et elle fonctionne chaque fois.

Récapitulatif

  • Un agent vocal est un pipeline : fin de tour de parole → reconnaissance → LLM avec outils → voix. L’appelant attend les quatre étapes.
  • Un budget de latence répartit l’attente cible entre les parties. Mesurez chaque partie, puis réduisez d’abord la plus longue.
  • Sur les appels enregistrés de Larkfield : attente de fin de tour de 0,80 s, reconnaissance de 0,24 s, premier jeton du LLM à 1,02 s, premier son à 0,05 s. Médiane de 2,10 s, 90e centile de 2,74 s, aucun tour sous 1 s.
  • La diffusion en continu fait gagner peu de temps ici (2,19 s → 2,10 s), car les réponses sont courtes. Les réglages les plus rapides donnent 1,50 s. Le premier jeton du LLM prend à lui seul environ 1 s.
  • Gardez les garde-fous du SVI autour du LLM, et placez-les dans le code, pas seulement dans la requête.

La partie la moins coûteuse à réduire est l’attente de fin de tour : ce n’est qu’un réglage. Mais une attente plus courte déclenche une réponse quand l’appelant fait seulement une pause. Ensuite, vous mesurerez combien de fois cela arrive, et ce qu’il faut faire quand l’appelant parle en même temps que l’agent.

Leçon suivante : Prise de parole et interruptions