Aller au contenu
English

Prise de parole et interruptions

  • Leçon 30
  • 35 min
  • Module 8 : Du serveur vocal à l'agent vocal

Où nous en sommes

Notre agent vocal a maintenant un budget de latence. L'attente de fin de tour est la partie la moins coûteuse à réduire. Les vrais appelants n'attendent pas poliment leur tour. Cette leçon examine la détection de fin de tour, l'interruption quand l'appelant parle en même temps que l'agent et la réponse dite à moitié.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 30 sur 36 · IA de la parole : transcrire, comprendre et parlerPrise de parole et interruptions
Aperçu du cours

Ce que vous saurez faire

Décidez quand un appelant a fini de parler, sans lui couper la parole et sans longs silences. Gérez ensuite l’appelant qui parle pendant que l’agent parle encore.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient le code, les tâches et les vérifications de cette leçon. Il trouve les pauses dans chaque tour de parole enregistré des appelants avec Silero VAD. Il mesure ce que chaque attente de fin de tour coupe. Il calcule aussi ce qu’un appelant a entendu avant une interruption. Aucun compte ni aucune clé ne sont nécessaires. La préparation installe faster-whisper pour son détecteur de voix. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

  • Le budget de latence d’un agent vocal et pourquoi l’attente de fin de tour est sa partie la moins coûteuse à réduire : Le pipeline de l’agent vocal.
  • Ce que fait la détection d’activité vocale (VAD) : elle marque la parole et le silence dans un enregistrement. Consultez WebRTC VAD et Silero VAD.

Ce qu’il vous faut sur votre ordinateur

Rien pour cette page. Le carnet a été testé sur macOS avec Python 3.12, dans Jupyter. Colab et Kaggle n’ont pas été testés.

Pensez à un appel téléphonique avec un ami. Vous n’attendez jamais un nombre fixe de secondes avant de répondre. Vous entendez que la phrase est complète. Vous entendez la voix descendre à la fin d’une question. Pendant que votre ami parle, vous dites « mm-hm » pour montrer que vous écoutez, et votre ami continue. Et quand vous commencez tous les deux à parler en même temps, l’un de vous s’arrête.

Les gens font cela sans y penser. Un agent vocal doit accomplir chaque partie volontairement, avec du code :

  • savoir quand l’appelant a terminé;
  • arrêter sa propre voix quand l’appelant parle en même temps que lui;
  • ignorer un bref « mm-hm »;
  • retenir ce que l’appelant a vraiment entendu avant d’interrompre l’agent.

Le pipeline de l’agent vocal termine le tour de l’appelant après un silence fixe : l’attente de fin de tour. La leçon précédente a montré que cette attente est la partie du budget la moins coûteuse à réduire. Tomás veut la faire passer de 0,8 s à 0,3 s. L’agent répond alors 0,5 s plus tôt.

Mais certains appelants font une pause au milieu d’un tour. Écoutez l’appelant de l’appel de test I-049. Le serveur vocal interactif (SVI, IVR) a demandé le numéro de commande.

Appel de test I-049, troisième tour de l’appelant, qualité téléphonique (8 kHz, ligne VoIP). Une voix synthétique : Piper, entraînée sur le corpus LibriTTS-R. Transcription : « seven nine eight … zero nine zero » (le numéro de commande 798090, avec une pause au milieu, insérée volontairement).

L’appelant s’arrête après « seven nine eight », peut-être pour lire le reste sur un papier. Si l’agent répond pendant cette pause, il n’a que la moitié du numéro.

Décider quand un locuteur a terminé s’appelle la détection de fin de tour. Les ingénieurs parlent aussi d’endpointing : trouver la fin d’un énoncé. Il existe trois façons de le faire, en commençant par la plus simple :

  1. Une attente de silence. Le tour se termine après une durée fixe de silence. C’est ce que font le SVI et l’agent de Larkfield. C’est simple, mais une seule attente ne convient pas à tous les appelants.
  2. Une vérification du contenu. Le programme sait quel type de réponse il attend. Un numéro de commande compte six chiffres. Après « seven nine eight », le tour n’est donc pas complet, et le programme continue d’écouter.
  3. Un modèle qui prédit la fin. Certains systèmes entraînent un petit modèle sur les mots et le ton de la voix. Il donne la probabilité que le locuteur ait terminé. Le cours n’a pas mesuré un tel modèle.

Avec les mêmes réglages que le moteur du SVI, Silero VAD trouve deux parties parlées dans le tour de I-049. « Seven nine eight » va de 0,58 à 1,89 s. « Zero nine zero » va de 3,84 à 4,77 s. La pause entre les deux dure 1,95 s.

Attente de fin de tour Le tour se termine à Résultat
0,3 s 1,89 + 0,3 = 2,19 s coupé pendant la pause : seulement « seven nine eight »
0,8 s 1,89 + 0,8 = 2,69 s coupé pendant la pause
1,5 s 1,89 + 1,5 = 3,39 s coupé pendant la pause
2,0 s 4,77 + 2,0 = 6,77 s le numéro entier, mais 2 s de silence après chaque tour
En haut : la forme d'onde du tour de l'appelant de l'appel I-049, d'une durée de 5,1 secondes. Deux parties parlées ombrées : seven nine eight de 0,58 à 1,89 seconde, et zero nine zero de 3,84 à 4,77 secondes. Une pause de 1,95 s les sépare. En bas : quatre lignes, une pour chaque attente de fin de tour. Les attentes de 0,3, 0,8 et 1,5 seconde commencent à 1,89 seconde et se terminent pendant la pause. Elles portent la mention « coupe la parole ». L'attente de 2,0 secondes commence à 4,77 secondes et se termine à 6,77 secondes. Elle porte la mention « attend la fin ».
Appel de test I-049 : le tour de l'appelant et l'endroit où chaque attente de fin de tour le termine. Toutes les attentes jusqu'à 1,5 s terminent le tour pendant la pause. Seule celle de 2,0 s conserve le numéro entier.
Description textuelle du diagramme

Le graphique du haut représente le son du tour de l’appelant, tiré du fichier du cours. Les parties ombrées sont la parole trouvée par Silero VAD : « seven nine eight » de 0,58 à 1,89 s et « zero nine zero » de 3,84 à 4,77 s. Une flèche marque la pause de 1,95 s entre les deux. Le graphique du bas comporte une ligne pour chaque attente de fin de tour. Chaque barre commence au début du silence et se termine à la fin de l’attente. Les barres de 0,3 s, 0,8 s et 1,5 s se terminent toutes pendant la pause. Le tour est donc coupé. La barre de 2,0 s commence après la deuxième partie et se termine à 6,77 s. Le tour est donc complet.

Aucune attente ne convient à cet appelant. Une attente courte coupe le numéro. Une attente assez longue pour lui fait attendre tous les autres appelants 2 secondes avant chaque réponse.

Larkfield : le compromis pour chaque tour d’appelant

Section intitulée « Larkfield : le compromis pour chaque tour d’appelant »

Un appel est un exemple. Priya a appliqué le même détecteur aux 141 tours parlés des appelants des 60 appels de test du SVI. Parmi eux, 31 sont des numéros de commande. Pour chaque tour, elle a trouvé la plus longue pause à l’intérieur. Une attente coupe le tour quand la pause dure au moins aussi longtemps que l’attente.

Un graphique à courbes. L'axe des x représente l'attente de fin de tour, de 0,2 à 1,5 seconde. L'axe des y représente la proportion de tours coupés trop tôt. La courbe orange des 31 tours avec numéro de commande commence à 35 % à 0,2 seconde. Elle est à 29 % à 0,3 seconde, descend à 16 % à 0,6 seconde et à 6 % dès 0,7 seconde. La courbe bleue des 141 tours parlés commence à 13 % à 0,2 seconde. Elle est à 9 % à 0,3 seconde, à 3 % de 0,7 à 1,0 seconde et à 1 % dès 1,2 seconde. Des lignes pointillées marquent 0,3 seconde, le réglage le plus rapide, et 0,8 seconde, le réglage par défaut du projet.
La proportion de tours d'appelant que chaque attente de fin de tour coupe trop tôt, sur les 60 appels de test du SVI. Silero VAD utilise les réglages du moteur du SVI sur les appels synthétiques de Larkfield. Les numéros de commande sont les plus coupés, car les appelants font des pauses entre les chiffres.
Description textuelle du diagramme

Le graphique comporte deux courbes. La courbe orange représente les 31 tours où l’appelant dit un numéro de commande. La courbe bleue représente les 141 tours parlés. Avec une attente de 0,3 s, 9 tours avec numéro sur 31 sont coupés (29 %). Sur les 141 tours, 13 sont coupés (9 %). À 0,8 s, 2 tours avec numéro et 4 tours au total (3 %) sont coupés. À partir de 0,7 s, les courbes sont presque plates. Même à 1,5 s, 2 tours restent coupés : deux appelants font une pause de plus de 1,5 s.

Attente Tours coupés (sur 141) Tours avec numéro de commande coupés (sur 31) Temps gagné par réponse, par rapport à 0,8 s
0,3 s 13 (9 %) 9 (29 %) 0,5 s
0,5 s 10 (7 %) 6 (19 %) 0,3 s
0,7 s 4 (3 %) 2 (6 %) 0,1 s
0,8 s 4 (3 %) 2 (6 %) aucun

L’attente de 0,3 s de Tomás ferait donc gagner une demi-seconde à chaque réponse. En échange, elle coupe presque un numéro de commande sur trois. Ces appelants font des pauses à cause de la façon dont nos voix synthétiques lisent les numéros. Les voix laissent de courts silences entre les chiffres, et quatre appels contiennent une longue pause insérée volontairement. Les vrais appelants font leurs propres pauses. Mesurez les pauses dans vos propres appels avant de choisir une attente.

Le SVI a le même problème, et le module 7 lui a donné une correction. Quand il entend moins de six chiffres, il demande le reste. Voici sa réexécution enregistrée de l’appel I-049 :

40.08 s say Please say or type your six-digit order number.
45.70 s heard Seven nine eight.
45.94 s say I heard 7 9 8. Please say the rest of the number.
52.15 s heard 090.
52.40 s say Order 7 9 8, 0 9 0. Is that right? Say yes or no, or press 1 for yes and 2 for no.
61.70 s heard Correct.
61.92 s say Your Mistral fan shipped on October 11 and is on its way. Thank you for calling Larkfield. Good
61.92 s end status_given

Le carnet affiche ces lignes (coupées à 95 caractères). Les temps correspondent à l’horloge de l’appel pendant la réexécution.

L’attente de 0,8 s a coupé le tour, et la vérification du contenu l’a réparé. C’est une des raisons pour lesquelles les résultats du SVI changent à peine avec l’attente. Avec 0,5 s, il a réussi 38 des 60 appels de test. Avec 0,8 s et avec 1,5 s, il en a réussi 39. Un agent vocal a besoin de la même vérification, dans le code. Un LLM qui reçoit « seven nine eight » peut simplement dire « I can’t find that order ».

L’interruption : l’appelant parle en même temps que l’agent

Section intitulée « L’interruption : l’appelant parle en même temps que l’agent »

Le problème inverse arrive ensuite. L’agent parle, et l’appelant commence à parler. C’est une interruption (barge-in) : l’appelant prend la parole pendant que la voix parle. Cela arrive souvent quand la réponse est longue ou incorrecte. L’appelant entend « your order number is six hundred… » et veut dire « no! ».

Le SVI de Larkfield n’écoute pas pendant qu’il parle. Son moteur commence à écouter après chaque message vocal. Un appelant qui parle pendant le message n’est pas entendu. C’est simple, mais lent pour un appelant qui sait déjà quoi dire. Un agent vocal devrait écouter en permanence et arrêter sa voix quand l’appelant parle.

Un diagramme de séquence avec quatre participants : l'appelant, la VAD (qui écoute toujours), l'agent et la voix. L'agent envoie une réponse à la voix, et la lecture audio commence. L'appelant commence à parler. Une note sur la VAD indique : de la parole pendant 0,3 s ou plus, autre que mm-hm, est une interruption. La VAD dit à la voix de s'arrêter immédiatement. La voix dit à l'agent ce qui a été joué jusque-là : 2,0 s sur 5,0 s, Your order number is six. L'agent conserve seulement la partie jouée dans l'historique de l'appel. L'appelant dit : No, it is six zero three one three four. La VAD signale la fin du tour, puis la reconnaissance a lieu.
Une interruption, étape par étape. La réponse est une vraie réponse enregistrée de l'agent (appel de test I-054). Le moment de l'interruption est construit, car les appelants de la réexécution n'interrompent jamais l'agent.
Description textuelle du diagramme

Le diagramme comporte quatre participants, de gauche à droite : l’appelant, la VAD qui écoute toujours, l’agent et la voix. L’agent envoie sa réponse à la voix : « Your order number is six hundred three, one hundred thirty-seven. Is that correct? ». La lecture audio commence. Puis l’appelant commence à parler. La VAD détecte de la parole pendant 0,3 s ou plus, et ce n’est pas un bref « mm-hm ». C’est donc une interruption. La VAD dit à la voix de s’arrêter immédiatement. La voix dit à l’agent ce qu’elle a joué : 2,0 s de la réponse de 5,0 s, « Your order number is six ». L’agent conserve seulement cette partie dans l’historique de l’appel. Puis l’appelant dit « No, it is six zero three one three four ». Ce tour passe par la détection de fin de tour et la reconnaissance comme d’habitude.

  1. Arrêtez vite. Chaque dixième de seconde de voix après que l’appelant commence ajoute de la parole sur de la parole. Arrêtez l’audio dès que la VAD est sûre.
  2. Ne vous arrêtez pas pour les signaux d’écoute. Un signal d’écoute (back-channel) est un son bref qu’une personne fait pour dire « continuez » : « mm-hm », « yes », « okay », « oui », « d’accord ». Si l’agent s’arrête à chaque signal, il ne termine jamais une phrase. Une règle simple : arrêtez seulement après environ 0,3 s de parole qui n’est pas un de ces mots courts. Cette règle est un point de départ à tester, pas une valeur mesurée.
  3. Conservez seulement ce qui a été joué. L’historique de l’appel de l’agent doit contenir les mots que l’appelant a entendus, pas la réponse entière.

La troisième règle mérite un examen plus attentif. La réponse enregistrée de l’agent pour l’appel I-054 dure 5,0 s : « Your order number is six hundred three, one hundred thirty-seven. Is that correct? ». Supposons que l’appelant parle à 2,0 s. À vitesse constante, l’appelant a entendu environ « Your order number is six ». Le carnet calcule cette estimation; une vraie voix donne les temps exacts des mots.

Supposons maintenant que l’agent conserve la réponse entière dans son historique. L’appelant dit « no, it’s six zero three one three four ». Le LLM lit son propre historique : il a demandé « Is that correct? », et l’appelant a dit « no ». Jusque-là, tout va bien. Mais l’appelant aurait aussi pu dire « yes, go on ». Le LLM prendrait alors « yes » comme réponse à une question que l’appelant n’a jamais entendue. Il chercherait la mauvaise commande. Conservez seulement la partie jouée, et le LLM sait que la question n’a jamais été posée.

Méthode Quand l’utiliser Ce qu’elle coûte
Une attente de silence de 0,7–0,8 s toujours, comme règle de base environ 0,8 s à chaque réponse
Une attente plus courte (0,3–0,5 s) réponses courtes par oui ou non les appelants qui font une pause se font couper la parole
Une vérification du contenu vous connaissez la forme de la réponse : chiffres, date, oui ou non du code pour chaque type de réponse
Un modèle qui prédit la fin beaucoup de questions ouvertes un autre modèle à exécuter et à tester; non mesuré ici
L’interruption toujours pour un agent vocal contrôle de l’écho et davantage de tests

La vérification du contenu est peu coûteuse, et les mesures ont montré qu’elle fonctionne dans le SVI. Utilisez-la en premier. Modifiez l’attente de silence seulement avec le graphique des compromis de vos propres appels devant vous.

Erreur courante

L'agent s'interrompt lui-même

C’est un cas construit : le cours ne l’a pas enregistré. C’est une défaillance courante quand les gens testent un agent vocal sur un portable.

Symptôme : Amira ajoute l’interruption au téléphone de test. Elle l’appelle avec les haut-parleurs de son portable activés. L’agent s’arrête après deux ou trois mots de chaque réponse, puis attend.

Cause : la propre voix de l’agent sort des haut-parleurs et retourne dans le microphone. C’est de l’écho. La VAD entend de la parole, donc l’agent pense que l’appelant l’a interrompu. Il arrête sa propre voix.

Correction : arrêtez l’écho avant que la VAD l’entende. Portez des écouteurs pendant les tests : le README du projet le demande. Activez l’annulation de l’écho du navigateur. La page du téléphone de test la demande déjà quand elle ouvre le microphone (echoCancellation: true). Sur une vraie ligne téléphonique, le système téléphonique élimine la majeure partie de l’écho. Testez l’interruption avec des écouteurs et avec des haut-parleurs, et notez ce que vous avez utilisé.

Conséquence dans le travail en IA : un test qui ignore la pièce teste un système différent. Écrivez les conditions du test à côté de chaque résultat : le microphone, les haut-parleurs, la ligne.

  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. La préparation installe faster-whisper et télécharge 145 petits fichiers. Elle se termine par Ready: 145 files in larkfield-calls. (prêt : 145 fichiers dans larkfield-calls).
  3. Dans la section 2, prédisez la durée de la pause de l’appel I-049. Puis exécutez la cellule. Vous voyez deux parties parlées et une pause de 1,95 s.
  4. Dans la section 3, exécutez la règle de fin de tour pour quatre attentes. Seule l’attente de 2,0 s conserve le numéro entier.
  5. Dans la section 4, analysez les pauses des 141 tours. Comparez les nombres avec le tableau de cette page.
  6. Dans la section 5, lisez l’appel enregistré du SVI. Trouvez le moment où il demande le reste du numéro.

Larkfield accepte qu’au plus 3 % des tours parlés des appelants soient coupés trop tôt. Dans la section 7 du carnet, trouvez l’attente la plus courte qui coupe au plus 3 % de tous les tours parlés. Avant de l’exécuter, prédisez la réponse à partir du graphique ci-dessus.

Afficher la réponse
shortest_wait = min(w for w in waits if cut_all[w] / len(rows) <= 0.03)
print(shortest_wait, cut_all[shortest_wait], "of", len(rows))
0.7 4 of 141

L’attente la plus courte est de 0,7 s. Elle coupe 4 des 141 tours, comme celle de 0,8 s, et fait gagner 0,1 s à chaque réponse. Dans le budget de latence, l’attente médiane passerait de 2,10 s à environ 2,00 s. C’est un vrai gain, mais petit. Une vérification du contenu des numéros de commande permettrait de réduire davantage l’attente pour les autres questions.

Vérifiez votre compréhension

Un appelant dit « trois quatre un », fait une pause de 1,2 seconde, puis dit « deux deux huit ». L'attente de fin de tour est de 0,8 seconde. Qu'entend l'agent, et quelles sont deux façons de corriger ce problème?

Afficher la réponse

La pause (1,2 seconde) dépasse l’attente (0,8 seconde), donc le tour de parole se termine pendant la pause. L’agent entend seulement « trois quatre un ». Solution 1 : une vérification du contenu. Un numéro de commande compte six chiffres. Après trois chiffres, le programme continue donc d’écouter ou demande les chiffres restants, comme le SVI. Solution 2 : une attente plus longue, d’environ 1,3 seconde. Mais chaque appelant attend alors plus longtemps après chaque tour de parole. La vérification du contenu est préférable : elle n’ajoute aucune attente aux autres tours de parole.

Vérifiez votre compréhension

Qu'est-ce qu'un signal d'écoute, et pourquoi faut-il l'ignorer lors de la détection des interruptions?

Afficher la réponse

Un signal d’écoute (back-channel) est un son bref que produit la personne qui écoute pour dire « j’écoute, continuez » : « mm-hm », « yes », « okay », « oui ». L’appelant ne veut pas interrompre. Si chaque signal d’écoute interrompt la voix, l’agent ne finit jamais ses phrases. Arrêtez donc la voix seulement après une période de parole plus longue, environ 0,3 seconde (une valeur à tester). Ou arrêtez-la quand les mots ne sont pas un signal d’écoute.

Vérifiez votre compréhension

La voix s'arrête après 2,0 secondes d'une réponse de 5,0 secondes qui se termine par « Is that correct? ». Pourquoi l'historique de l'agent doit-il conserver seulement la partie jouée?

Afficher la réponse

L’appelant a entendu seulement le début de la réponse, soit environ « Your order number is six ». Il n’a jamais entendu la question « Is that correct? ». Si l’historique conserve toute la réponse, le LLM pense avoir posé la question. Il peut alors interpréter les prochains mots de l’appelant, comme « oui », comme la réponse à cette question. Il agit ensuite à partir d’un numéro que l’appelant n’a jamais confirmé. Avec seulement la partie jouée, le LLM sait que la question reste à poser.

Récapitulatif

  • La détection de fin de tour détermine quand l’appelant a terminé : attente de silence, vérification du contenu ou modèle prédisant la fin.
  • Une attente plus courte permet de répondre plus vite, mais coupe les appelants qui font une pause. Sur les 141 tours de parole des appelants de Larkfield, une attente de 0,3 seconde coupe 9 % des tours et 29 % des numéros de commande. Une attente de 0,7 à 0,8 seconde en coupe 3 % et 6 %.
  • Une vérification du contenu (« six chiffres, sinon continuer d’écouter ») a corrigé le numéro coupé dans le SVI. Ses résultats changent donc à peine selon l’attente.
  • Interruption (barge-in) : arrêtez vite la voix quand l’appelant parle en même temps qu’elle. Ignorez les signaux d’écoute comme « mm-hm », et supprimez l’écho de la propre voix de l’agent.
  • Dans l’historique de l’appel, conservez seulement la partie jouée d’une réponse interrompue.

Vous pouvez maintenant construire chaque partie d’un agent vocal et régler ses temps d’attente. Certains modèles plus récents remplacent tout le pipeline par un seul modèle qui entend et parle. Vous verrez ensuite ce qu’ils changent et comment évaluer un agent vocal dans son ensemble.

Leçon suivante : Les modèles parole-parole et l'évaluation