Prise de parole et interruptions
- Leçon 30
- 35 min
- Module 8 : Du serveur vocal à l'agent vocal
Où nous en sommes
Notre agent vocal a maintenant un budget de latence. L'attente de fin de tour est la partie la moins coûteuse à réduire. Les vrais appelants n'attendent pas poliment leur tour. Cette leçon examine la détection de fin de tour, l'interruption quand l'appelant parle en même temps que l'agent et la réponse dite à moitié.
Leçon 30 sur 36 · IA de la parole : transcrire, comprendre et parlerPrise de parole et interruptions
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Décidez quand un appelant a fini de parler, sans lui couper la parole et sans longs silences. Gérez ensuite l’appelant qui parle pendant que l’agent parle encore.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient le code, les tâches et les vérifications de cette leçon. Il trouve les pauses dans chaque tour de parole enregistré des appelants avec Silero VAD. Il mesure ce que chaque attente de fin de tour coupe. Il calcule aussi ce qu’un appelant a entendu avant une interruption. Aucun compte ni aucune clé ne sont nécessaires. La préparation installe faster-whisper pour son détecteur de voix. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le budget de latence d’un agent vocal et pourquoi l’attente de fin de tour est sa partie la moins coûteuse à réduire : Le pipeline de l’agent vocal.
- Ce que fait la détection d’activité vocale (VAD) : elle marque la parole et le silence dans un enregistrement. Consultez WebRTC VAD et Silero VAD.
Ce qu’il vous faut sur votre ordinateur
Rien pour cette page. Le carnet a été testé sur macOS avec Python 3.12, dans Jupyter. Colab et Kaggle n’ont pas été testés.
Comment les gens prennent la parole
Section intitulée « Comment les gens prennent la parole »Pensez à un appel téléphonique avec un ami. Vous n’attendez jamais un nombre fixe de secondes avant de répondre. Vous entendez que la phrase est complète. Vous entendez la voix descendre à la fin d’une question. Pendant que votre ami parle, vous dites « mm-hm » pour montrer que vous écoutez, et votre ami continue. Et quand vous commencez tous les deux à parler en même temps, l’un de vous s’arrête.
Les gens font cela sans y penser. Un agent vocal doit accomplir chaque partie volontairement, avec du code :
- savoir quand l’appelant a terminé;
- arrêter sa propre voix quand l’appelant parle en même temps que lui;
- ignorer un bref « mm-hm »;
- retenir ce que l’appelant a vraiment entendu avant d’interrompre l’agent.
Le problème : une pause n’est pas la fin
Section intitulée « Le problème : une pause n’est pas la fin »Le pipeline de l’agent vocal termine le tour de l’appelant après un silence fixe : l’attente de fin de tour. La leçon précédente a montré que cette attente est la partie du budget la moins coûteuse à réduire. Tomás veut la faire passer de 0,8 s à 0,3 s. L’agent répond alors 0,5 s plus tôt.
Mais certains appelants font une pause au milieu d’un tour. Écoutez l’appelant de l’appel de test I-049. Le serveur vocal interactif (SVI, IVR) a demandé le numéro de commande.
L’appelant s’arrête après « seven nine eight », peut-être pour lire le reste sur un papier. Si l’agent répond pendant cette pause, il n’a que la moitié du numéro.
L’idée : la détection de fin de tour
Section intitulée « L’idée : la détection de fin de tour »Décider quand un locuteur a terminé s’appelle la détection de fin de tour. Les ingénieurs parlent aussi d’endpointing : trouver la fin d’un énoncé. Il existe trois façons de le faire, en commençant par la plus simple :
- Une attente de silence. Le tour se termine après une durée fixe de silence. C’est ce que font le SVI et l’agent de Larkfield. C’est simple, mais une seule attente ne convient pas à tous les appelants.
- Une vérification du contenu. Le programme sait quel type de réponse il attend. Un numéro de commande compte six chiffres. Après « seven nine eight », le tour n’est donc pas complet, et le programme continue d’écouter.
- Un modèle qui prédit la fin. Certains systèmes entraînent un petit modèle sur les mots et le ton de la voix. Il donne la probabilité que le locuteur ait terminé. Le cours n’a pas mesuré un tel modèle.
Exemple détaillé : un tour, quatre attentes
Section intitulée « Exemple détaillé : un tour, quatre attentes »Avec les mêmes réglages que le moteur du SVI, Silero VAD trouve deux parties parlées dans le tour de I-049. « Seven nine eight » va de 0,58 à 1,89 s. « Zero nine zero » va de 3,84 à 4,77 s. La pause entre les deux dure 1,95 s.
| Attente de fin de tour | Le tour se termine à | Résultat |
|---|---|---|
| 0,3 s | 1,89 + 0,3 = 2,19 s | coupé pendant la pause : seulement « seven nine eight » |
| 0,8 s | 1,89 + 0,8 = 2,69 s | coupé pendant la pause |
| 1,5 s | 1,89 + 1,5 = 3,39 s | coupé pendant la pause |
| 2,0 s | 4,77 + 2,0 = 6,77 s | le numéro entier, mais 2 s de silence après chaque tour |
Description textuelle du diagramme
Le graphique du haut représente le son du tour de l’appelant, tiré du fichier du cours. Les parties ombrées sont la parole trouvée par Silero VAD : « seven nine eight » de 0,58 à 1,89 s et « zero nine zero » de 3,84 à 4,77 s. Une flèche marque la pause de 1,95 s entre les deux. Le graphique du bas comporte une ligne pour chaque attente de fin de tour. Chaque barre commence au début du silence et se termine à la fin de l’attente. Les barres de 0,3 s, 0,8 s et 1,5 s se terminent toutes pendant la pause. Le tour est donc coupé. La barre de 2,0 s commence après la deuxième partie et se termine à 6,77 s. Le tour est donc complet.
Aucune attente ne convient à cet appelant. Une attente courte coupe le numéro. Une attente assez longue pour lui fait attendre tous les autres appelants 2 secondes avant chaque réponse.
Larkfield : le compromis pour chaque tour d’appelant
Section intitulée « Larkfield : le compromis pour chaque tour d’appelant »Un appel est un exemple. Priya a appliqué le même détecteur aux 141 tours parlés des appelants des 60 appels de test du SVI. Parmi eux, 31 sont des numéros de commande. Pour chaque tour, elle a trouvé la plus longue pause à l’intérieur. Une attente coupe le tour quand la pause dure au moins aussi longtemps que l’attente.
Description textuelle du diagramme
Le graphique comporte deux courbes. La courbe orange représente les 31 tours où l’appelant dit un numéro de commande. La courbe bleue représente les 141 tours parlés. Avec une attente de 0,3 s, 9 tours avec numéro sur 31 sont coupés (29 %). Sur les 141 tours, 13 sont coupés (9 %). À 0,8 s, 2 tours avec numéro et 4 tours au total (3 %) sont coupés. À partir de 0,7 s, les courbes sont presque plates. Même à 1,5 s, 2 tours restent coupés : deux appelants font une pause de plus de 1,5 s.
| Attente | Tours coupés (sur 141) | Tours avec numéro de commande coupés (sur 31) | Temps gagné par réponse, par rapport à 0,8 s |
|---|---|---|---|
| 0,3 s | 13 (9 %) | 9 (29 %) | 0,5 s |
| 0,5 s | 10 (7 %) | 6 (19 %) | 0,3 s |
| 0,7 s | 4 (3 %) | 2 (6 %) | 0,1 s |
| 0,8 s | 4 (3 %) | 2 (6 %) | aucun |
L’attente de 0,3 s de Tomás ferait donc gagner une demi-seconde à chaque réponse. En échange, elle coupe presque un numéro de commande sur trois. Ces appelants font des pauses à cause de la façon dont nos voix synthétiques lisent les numéros. Les voix laissent de courts silences entre les chiffres, et quatre appels contiennent une longue pause insérée volontairement. Les vrais appelants font leurs propres pauses. Mesurez les pauses dans vos propres appels avant de choisir une attente.
La correction du SVI : vérifier le contenu
Section intitulée « La correction du SVI : vérifier le contenu »Le SVI a le même problème, et le module 7 lui a donné une correction. Quand il entend moins de six chiffres, il demande le reste. Voici sa réexécution enregistrée de l’appel I-049 :
40.08 s say Please say or type your six-digit order number. 45.70 s heard Seven nine eight. 45.94 s say I heard 7 9 8. Please say the rest of the number. 52.15 s heard 090. 52.40 s say Order 7 9 8, 0 9 0. Is that right? Say yes or no, or press 1 for yes and 2 for no. 61.70 s heard Correct. 61.92 s say Your Mistral fan shipped on October 11 and is on its way. Thank you for calling Larkfield. Good 61.92 s end status_givenLe carnet affiche ces lignes (coupées à 95 caractères). Les temps correspondent à l’horloge de l’appel pendant la réexécution.
L’attente de 0,8 s a coupé le tour, et la vérification du contenu l’a réparé. C’est une des raisons pour lesquelles les résultats du SVI changent à peine avec l’attente. Avec 0,5 s, il a réussi 38 des 60 appels de test. Avec 0,8 s et avec 1,5 s, il en a réussi 39. Un agent vocal a besoin de la même vérification, dans le code. Un LLM qui reçoit « seven nine eight » peut simplement dire « I can’t find that order ».
L’interruption : l’appelant parle en même temps que l’agent
Section intitulée « L’interruption : l’appelant parle en même temps que l’agent »Le problème inverse arrive ensuite. L’agent parle, et l’appelant commence à parler. C’est une interruption (barge-in) : l’appelant prend la parole pendant que la voix parle. Cela arrive souvent quand la réponse est longue ou incorrecte. L’appelant entend « your order number is six hundred… » et veut dire « no! ».
Le SVI de Larkfield n’écoute pas pendant qu’il parle. Son moteur commence à écouter après chaque message vocal. Un appelant qui parle pendant le message n’est pas entendu. C’est simple, mais lent pour un appelant qui sait déjà quoi dire. Un agent vocal devrait écouter en permanence et arrêter sa voix quand l’appelant parle.
Description textuelle du diagramme
Le diagramme comporte quatre participants, de gauche à droite : l’appelant, la VAD qui écoute toujours, l’agent et la voix. L’agent envoie sa réponse à la voix : « Your order number is six hundred three, one hundred thirty-seven. Is that correct? ». La lecture audio commence. Puis l’appelant commence à parler. La VAD détecte de la parole pendant 0,3 s ou plus, et ce n’est pas un bref « mm-hm ». C’est donc une interruption. La VAD dit à la voix de s’arrêter immédiatement. La voix dit à l’agent ce qu’elle a joué : 2,0 s de la réponse de 5,0 s, « Your order number is six ». L’agent conserve seulement cette partie dans l’historique de l’appel. Puis l’appelant dit « No, it is six zero three one three four ». Ce tour passe par la détection de fin de tour et la reconnaissance comme d’habitude.
Trois règles pour une interruption
Section intitulée « Trois règles pour une interruption »- Arrêtez vite. Chaque dixième de seconde de voix après que l’appelant commence ajoute de la parole sur de la parole. Arrêtez l’audio dès que la VAD est sûre.
- Ne vous arrêtez pas pour les signaux d’écoute. Un signal d’écoute (back-channel) est un son bref qu’une personne fait pour dire « continuez » : « mm-hm », « yes », « okay », « oui », « d’accord ». Si l’agent s’arrête à chaque signal, il ne termine jamais une phrase. Une règle simple : arrêtez seulement après environ 0,3 s de parole qui n’est pas un de ces mots courts. Cette règle est un point de départ à tester, pas une valeur mesurée.
- Conservez seulement ce qui a été joué. L’historique de l’appel de l’agent doit contenir les mots que l’appelant a entendus, pas la réponse entière.
La réponse dite à moitié
Section intitulée « La réponse dite à moitié »La troisième règle mérite un examen plus attentif. La réponse enregistrée de l’agent pour l’appel I-054 dure 5,0 s : « Your order number is six hundred three, one hundred thirty-seven. Is that correct? ». Supposons que l’appelant parle à 2,0 s. À vitesse constante, l’appelant a entendu environ « Your order number is six ». Le carnet calcule cette estimation; une vraie voix donne les temps exacts des mots.
Supposons maintenant que l’agent conserve la réponse entière dans son historique. L’appelant dit « no, it’s six zero three one three four ». Le LLM lit son propre historique : il a demandé « Is that correct? », et l’appelant a dit « no ». Jusque-là, tout va bien. Mais l’appelant aurait aussi pu dire « yes, go on ». Le LLM prendrait alors « yes » comme réponse à une question que l’appelant n’a jamais entendue. Il chercherait la mauvaise commande. Conservez seulement la partie jouée, et le LLM sait que la question n’a jamais été posée.
Quand utiliser chaque méthode et ce qu’elle coûte
Section intitulée « Quand utiliser chaque méthode et ce qu’elle coûte »| Méthode | Quand l’utiliser | Ce qu’elle coûte |
|---|---|---|
| Une attente de silence de 0,7–0,8 s | toujours, comme règle de base | environ 0,8 s à chaque réponse |
| Une attente plus courte (0,3–0,5 s) | réponses courtes par oui ou non | les appelants qui font une pause se font couper la parole |
| Une vérification du contenu | vous connaissez la forme de la réponse : chiffres, date, oui ou non | du code pour chaque type de réponse |
| Un modèle qui prédit la fin | beaucoup de questions ouvertes | un autre modèle à exécuter et à tester; non mesuré ici |
| L’interruption | toujours pour un agent vocal | contrôle de l’écho et davantage de tests |
La vérification du contenu est peu coûteuse, et les mesures ont montré qu’elle fonctionne dans le SVI. Utilisez-la en premier. Modifiez l’attente de silence seulement avec le graphique des compromis de vos propres appels devant vous.
Erreur courante
L'agent s'interrompt lui-même
C’est un cas construit : le cours ne l’a pas enregistré. C’est une défaillance courante quand les gens testent un agent vocal sur un portable.
Symptôme : Amira ajoute l’interruption au téléphone de test. Elle l’appelle avec les haut-parleurs de son portable activés. L’agent s’arrête après deux ou trois mots de chaque réponse, puis attend.
Cause : la propre voix de l’agent sort des haut-parleurs et retourne dans le microphone. C’est de l’écho. La VAD entend de la parole, donc l’agent pense que l’appelant l’a interrompu. Il arrête sa propre voix.
Correction : arrêtez l’écho avant que la VAD l’entende. Portez des écouteurs pendant les tests : le README du projet le demande. Activez l’annulation de l’écho du navigateur. La page du téléphone de test la demande déjà quand elle ouvre le microphone (echoCancellation: true). Sur une vraie ligne téléphonique, le système téléphonique élimine la majeure partie de l’écho. Testez l’interruption avec des écouteurs et avec des haut-parleurs, et notez ce que vous avez utilisé.
Conséquence dans le travail en IA : un test qui ignore la pièce teste un système différent. Écrivez les conditions du test à côté de chaque résultat : le microphone, les haut-parleurs, la ligne.
Exercice guidé : les pauses dans le carnet
Section intitulée « Exercice guidé : les pauses dans le carnet »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La préparation installe faster-whisper et télécharge 145 petits fichiers. Elle se termine par
Ready: 145 files in larkfield-calls.(prêt : 145 fichiers dans larkfield-calls). - Dans la section 2, prédisez la durée de la pause de l’appel I-049. Puis exécutez la cellule. Vous voyez deux parties parlées et une pause de 1,95 s.
- Dans la section 3, exécutez la règle de fin de tour pour quatre attentes. Seule l’attente de 2,0 s conserve le numéro entier.
- Dans la section 4, analysez les pauses des 141 tours. Comparez les nombres avec le tableau de cette page.
- Dans la section 5, lisez l’appel enregistré du SVI. Trouvez le moment où il demande le reste du numéro.
À vous de jouer : l’attente sûre la plus courte
Section intitulée « À vous de jouer : l’attente sûre la plus courte »Larkfield accepte qu’au plus 3 % des tours parlés des appelants soient coupés trop tôt. Dans la section 7 du carnet, trouvez l’attente la plus courte qui coupe au plus 3 % de tous les tours parlés. Avant de l’exécuter, prédisez la réponse à partir du graphique ci-dessus.
Afficher la réponse
shortest_wait = min(w for w in waits if cut_all[w] / len(rows) <= 0.03)print(shortest_wait, cut_all[shortest_wait], "of", len(rows))0.7 4 of 141L’attente la plus courte est de 0,7 s. Elle coupe 4 des 141 tours, comme celle de 0,8 s, et fait gagner 0,1 s à chaque réponse. Dans le budget de latence, l’attente médiane passerait de 2,10 s à environ 2,00 s. C’est un vrai gain, mais petit. Une vérification du contenu des numéros de commande permettrait de réduire davantage l’attente pour les autres questions.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Un appelant dit « trois quatre un », fait une pause de 1,2 seconde, puis dit « deux deux huit ». L'attente de fin de tour est de 0,8 seconde. Qu'entend l'agent, et quelles sont deux façons de corriger ce problème?
Afficher la réponse
La pause (1,2 seconde) dépasse l’attente (0,8 seconde), donc le tour de parole se termine pendant la pause. L’agent entend seulement « trois quatre un ». Solution 1 : une vérification du contenu. Un numéro de commande compte six chiffres. Après trois chiffres, le programme continue donc d’écouter ou demande les chiffres restants, comme le SVI. Solution 2 : une attente plus longue, d’environ 1,3 seconde. Mais chaque appelant attend alors plus longtemps après chaque tour de parole. La vérification du contenu est préférable : elle n’ajoute aucune attente aux autres tours de parole.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Qu'est-ce qu'un signal d'écoute, et pourquoi faut-il l'ignorer lors de la détection des interruptions?
Afficher la réponse
Un signal d’écoute (back-channel) est un son bref que produit la personne qui écoute pour dire « j’écoute, continuez » : « mm-hm », « yes », « okay », « oui ». L’appelant ne veut pas interrompre. Si chaque signal d’écoute interrompt la voix, l’agent ne finit jamais ses phrases. Arrêtez donc la voix seulement après une période de parole plus longue, environ 0,3 seconde (une valeur à tester). Ou arrêtez-la quand les mots ne sont pas un signal d’écoute.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La voix s'arrête après 2,0 secondes d'une réponse de 5,0 secondes qui se termine par « Is that correct? ». Pourquoi l'historique de l'agent doit-il conserver seulement la partie jouée?
Afficher la réponse
L’appelant a entendu seulement le début de la réponse, soit environ « Your order number is six ». Il n’a jamais entendu la question « Is that correct? ». Si l’historique conserve toute la réponse, le LLM pense avoir posé la question. Il peut alors interpréter les prochains mots de l’appelant, comme « oui », comme la réponse à cette question. Il agit ensuite à partir d’un numéro que l’appelant n’a jamais confirmé. Avec seulement la partie jouée, le LLM sait que la question reste à poser.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- La détection de fin de tour détermine quand l’appelant a terminé : attente de silence, vérification du contenu ou modèle prédisant la fin.
- Une attente plus courte permet de répondre plus vite, mais coupe les appelants qui font une pause. Sur les 141 tours de parole des appelants de Larkfield, une attente de 0,3 seconde coupe 9 % des tours et 29 % des numéros de commande. Une attente de 0,7 à 0,8 seconde en coupe 3 % et 6 %.
- Une vérification du contenu (« six chiffres, sinon continuer d’écouter ») a corrigé le numéro coupé dans le SVI. Ses résultats changent donc à peine selon l’attente.
- Interruption (barge-in) : arrêtez vite la voix quand l’appelant parle en même temps qu’elle. Ignorez les signaux d’écoute comme « mm-hm », et supprimez l’écho de la propre voix de l’agent.
- Dans l’historique de l’appel, conservez seulement la partie jouée d’une réponse interrompue.
Vous pouvez maintenant construire chaque partie d’un agent vocal et régler ses temps d’attente. Certains modèles plus récents remplacent tout le pipeline par un seul modèle qui entend et parle. Vous verrez ensuite ce qu’ils changent et comment évaluer un agent vocal dans son ensemble.
Leçon suivante : Les modèles parole-parole et l'évaluation