Aller au contenu
English

Laisser les appelants dire ce qu'ils veulent

  • Leçon 25
  • 40 min
  • Module 7 : Construire un petit serveur vocal interactif

Où nous en sommes

Notre menu au clavier fonctionne, mais les appelants doivent écouter toutes les options. Dans cette leçon, nous laissons les appelants dire ce qu'ils veulent. La VAD trouve la fin de leur tour, le modèle transcrit leurs mots, et des règles ou un classificateur trouvent l'intention.

Leçon 25 sur 36 · IA de la parole : transcrire, comprendre et parlerLaisser les appelants dire ce qu'ils veulent
Aperçu du cours

Ce que vous saurez faire

Laissez les appelants du serveur vocal interactif (SVI, IVR) de Larkfield dire ce qu’ils veulent dans leurs propres mots. Gardez le clavier comme solution de repli quand la parole échoue.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter applique les règles de mots-clés du SVI aux réponses au menu enregistrées dans les appels de test. Il trouve les réponses que les règles manquent. Ensuite, vous améliorez les règles sans nuire aux réponses qui fonctionnaient. Il télécharge seulement de petits fichiers texte et n’exécute aucun modèle. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut

  • Votre dossier larkspeech à l’instantané de fin du module 7, de la dernière leçon.
  • Whisper base et tiny (le module 4 les a téléchargés).
  • Testé sur macOS (Apple M4) avec Python 3.12. Les commandes Windows sont les mêmes dans PowerShell, mais n’ont pas été exécutées.

Appelez un petit hôtel. La réceptionniste dit : « Bonsoir, comment puis-je vous aider? » Vous dites : « J’aimerais savoir si vous avez une chambre vendredi. » Elle ne vous lit pas une liste de huit options. Elle écoute jusqu’à ce que vous arrêtiez, comprend ce que vous voulez et répond.

Pour cela, elle fait trois choses sans y penser. Elle attend que vous ayez terminé votre phrase. Elle entend vos mots. Et elle comprend ce que vous voulez : une réservation, pas le restaurant. Le SVI doit faire les mêmes trois choses, l’une après l’autre.

Le problème : un menu au clavier perd la plupart des appelants

Section intitulée « Le problème : un menu au clavier perd la plupart des appelants »

Dans la dernière leçon, le SVI ignorait tous les mots prononcés et utilisait seulement le clavier. Sur les 60 appels de test enregistrés, il a terminé 10 % des appels sans l’aide d’une personne. La plupart des appelants de test répondaient avec des mots à « De quoi avez-vous besoin? », comme bien des gens. Le menu au clavier les transférait tous à une personne.

La parole est plus difficile que les touches. Une touche n’est jamais mal entendue. Les mots, eux, sont mal entendus, coupés ou dits dans une autre langue. Le SVI ajoute donc la parole en trois étapes et garde le clavier quand la parole échoue.

Un schéma de processus. L'audio de l'appelant arrive en trames de 20 ms. Si une trame contient une fréquence vocale du clavier, les touches vont au dialogue. Sinon, Silero VAD cherche la parole toutes les 200 ms. Après 0,8 s de silence suivant la parole, Whisper base transcrit les mots avec la requête de l'état. Les règles trouvent l'intention, puis le dialogue choisit l'état et le message suivants. Sinon, le SVI continue d'écouter.
Comment le moteur du SVI (larkspeech/ivr/engine.py) transforme l'audio de l'appelant en événement pour le dialogue : les touches d'abord, puis la fin du tour, les mots et l'intention.
Description textuelle du diagramme

Le moteur vérifie d’abord si chaque trame de 20 ms contient une fréquence vocale du clavier. Les touches vont directement au dialogue. Sinon, le SVI conserve l’audio, et Silero VAD y cherche la parole toutes les 200 ms. Après 0,8 seconde de silence suivant la parole, le tour de l’appelant est terminé. Whisper base transcrit les mots avec une courte requête pour l’état actuel. Ensuite, les règles transforment les mots en intention, et le dialogue choisit le prochain message.

Le SVI ne peut pas attendre que l’appelant raccroche. Il doit décider quand le tour de l’appelant est terminé, puis répondre. C’est la détection de fin de tour, ou endpointing.

La règle la plus simple fonctionne bien pour les réponses courtes. Quand l’appelant a parlé, puis gardé le silence pendant une durée fixe, le tour est terminé. Le SVI de Larkfield attend 0,8 seconde de silence. Pour trouver la parole et le silence, il utilise Silero VAD, le détecteur d’activité vocale du module 3. Toutes les 200 ms, le moteur l’exécute sur tout l’audio du tour jusque-là et repère où la dernière parole a pris fin.

Un petit exemple détaillé : « Where is my order? »

Section intitulée « Un petit exemple détaillé : « Where is my order? » »

Voici la réponse de l’appelant au menu dans l’appel I-009 :

Appel de test I-009, tour 2, 2,6 secondes, sur une ligne fixe. Une voix synthétique : Kokoro (voix bm_george).

Transcription : « Where is my order? »

Le moteur vérifie toutes les 200 ms. Voici ses dernières vérifications pour ce tour, en secondes après la fin du message du menu :

Vérification à Parole trouvée de à Silence depuis la fin de la parole Tour terminé?
2,4 s 0,86 s 1,82 s 0,58 s non
2,6 s 0,86 s 1,82 s 0,78 s non (moins de 0,8 s)
2,8 s 0,86 s 1,82 s 0,98 s oui
La forme d'onde de l'appelant disant « Where is my order? », de 0 à 2,8 secondes. Silero VAD marque la parole de 0,86 à 1,82 seconde. Des graduations toutes les 0,2 seconde montrent les vérifications de la VAD. Une flèche indique 1,0 seconde de silence, de 1,82 à 2,8 secondes. Une ligne verte indique alors : fin du tour, envoyer à Whisper.
La fin du tour de l'appelant dans I-009, telle que le moteur du SVI la trouve. Silero VAD (seuil de 0,5) analyse le tour accumulé toutes les 200 ms, avec 0,8 seconde de silence après la parole.
Description textuelle du diagramme

La voix de l’appelant commence vers 0,7 seconde. Silero VAD trouve la parole de 0,86 à 1,82 secondes. À 2,6 secondes, le silence après la parole dure 0,78 secondes : ce n’est pas assez. À la vérification suivante, à 2,8 secondes, il dure 0,98 secondes. Le tour se termine donc et l’audio va à Whisper.

Deux détails comptent ici. D’abord, le tour se termine à la première vérification après 0,8 seconde de silence. L’appelant attend donc de 0,8 à 1,0 seconde. Ensuite, Silero trouve la parole seulement à partir de 0,86 secondes, même si la voix commence un peu avant. La VAD manque souvent le début peu sonore d’un mot. Le moteur envoie donc à Whisper l’audio de 0,2 seconde avant la parole à 0,25 seconde après.

Une attente plus courte donne l’impression d’un SVI plus rapide. Une attente plus longue permet des pauses au milieu d’une phrase ou entre les groupes d’un numéro de commande. Le cours a mesuré trois valeurs sur les 60 appels de test :

Un diagramme à barres du taux de rétention pour cinq réglages du SVI. Whisper base, fin de tour à 0,8 s : 35 %, 39 tests sur 60 réussis. Whisper tiny, fin de tour à 0,8 s : 35 %, 39 sur 60. Whisper base, fin de tour à 0,5 s : 33 %, 38 sur 60. Whisper base, fin de tour à 1,5 s : 35 %, 39 sur 60. Clavier seulement, parole ignorée : 10 %, 23 sur 60.
Le SVI sur ses 60 appels de test enregistrés, avec cinq réglages. Le taux de rétention (*containment*) représente les appels que le SVI termine sans l'aide d'une personne.
Description textuelle du diagramme

Avec la parole, le SVI termine sans l’aide d’une personne de 33 % à 35 % des appels, quel que soit le réglage. Les réglages sont Whisper base ou tiny, et une fin de tour à 0,5, 0,8 ou 1,5 seconde. Avec le clavier seulement, il en termine 10 %. La fin de tour à 0,5 seconde réussit un test de moins (38 sur 60) que celles à 0,8 et 1,5 seconde (39 sur 60).

Sur ces appels, l’attente change peu les résultats. C’est la parole elle-même qui fait la grande différence : de 10 % à 35 %. Whisper tiny fait aussi bien que base ici, car les réponses sont courtes et chaque état attend seulement quelques mots. Le cours garde base et 0,8 seconde. Le module 8 revient sur l’attente, car chaque dixième de seconde y compte.

Étape 2 : entendre les mots, avec une petite grammaire par état

Section intitulée « Étape 2 : entendre les mots, avec une petite grammaire par état »

Whisper transcrit les mots de l’appelant, comme au module 4. Au module 4, une requête contenant le vocabulaire de Larkfield aidait Whisper small à reconnaître les noms de produits. La première version du SVI utilisait cette même requête de vocabulaire dans chaque état. Elle échouait dès la première question. Les appelants disaient « Français », et Whisper base écrivait « Forfeit » et « Enbush ».

La solution était de donner à Whisper une courte requête pour chaque état, avec seulement les mots attendus par le SVI. Les systèmes téléphoniques appellent cette liste de réponses attendues une grammaire. Les grammaires du SVI se trouvent dans engine.py :

STATE_PROMPTS = {
"language": {None: "English. Français."},
"menu": {"en": "Order status. Opening hours. Start a return. Talk to a person.",
"fr": "Suivi de commande. Heures d'ouverture. Faire un retour. Parler à quelqu'un."},
"number": {"en": "My order number is 742155. Seven four two, one five five.",
"fr": "Mon numéro de commande est le 742155. Sept quatre deux, un cinq cinq."},
"confirm": {"en": "Yes. No.", "fr": "Oui. Non."},
}

Dans l’état de choix de langue, le SVI ne connaît pas encore la langue. Il ne précise donc pas la langue à Whisper, et la requête contient un mot dans chacune. Dans les autres états, il précise à Whisper la langue choisie par l’appelant.

L’équipe a aussi ajouté deux mots français aux règles du menu. Avec ces deux changements, la part des appels terminés sans l’aide d’une personne est passée de 28 % à 35 %. Une requête est un réglage comme les autres : mesurez-la dans chaque état où vous l’utilisez. La prochaine leçon trouve un état où cette requête n’aide pas.

Les mots « Où est ma commande? » ne sont pas encore une décision. Le SVI a besoin de l’intention : order_status (statut de la commande), opening_hours (heures d’ouverture), start_return (commencer un retour) ou agent (agent).

Les règles de mots-clés : la dernière intention l’emporte

Section intitulée « Les règles de mots-clés : la dernière intention l’emporte »

Le SVI utilise des règles de mots-clés, comme au module 6 : une liste de mots et de phrases pour chaque intention.

INTENT_WORDS = {
"order_status": ["order status", "where is my order", "track", "tracking", "delivery", "hasn't arrived",
"has not arrived", "suivi", "suivre", "où est ma commande", "où est la commande", "livraison"],
"opening_hours": ["opening hours", "hours", "when are you open", "open", "heures", "ouverture", "ouverts",
"ouvert"],
"start_return": ["return", "send back", "send it back", "retour", "retourner", "renvoyer"],
"agent": ["person", "agent", "someone", "human", "representative", "quelqu'un", "quelqu un", "personne",
"agent", "conseiller"],
}

Les appelants changent parfois d’idée dans une même phrase : « I want to return something… no, track my order. » (Je veux retourner quelque chose… non, suivre ma commande.) Cette phrase contient deux intentions. La règle find_intent garde la dernière intention nommée par l’appelant, car les gens se corrigent à la fin :

Mots de l’appelant Intentions trouvées, dans l’ordre Intention
« I want to return something... no, track my order. » « return », puis « track » order_status
« Where is my order? » « where is my order » order_status
« What are your opening hours? » « opening hours » opening_hours
« Can I speak to someone? » « someone » agent
« My neighbour said I should call you about the garden thing. » aucune aucune correspondance

Quand aucune règle ne correspond, l’état du menu enregistre un cas d’aucune correspondance et diffuse son message de nouvelle tentative : « Désolé, je n’ai pas compris. Utilisez votre clavier: 1 pour les commandes… » Ainsi, après une réponse parlée non comprise, le SVI propose le clavier. Après un deuxième échec, une personne prend le relais.

Au module 6, un classificateur TF-IDF trouvait mieux le motif d’appel que les règles de mots-clés (96,7 % contre 90 % sur les appels de test). Pourquoi ne pas l’utiliser ici?

Ce classificateur a appris à partir de conversations entières, étiquetées selon sept motifs d’appel. Les « heures d’ouverture » n’en font pas partie, et une réponse au menu compte de deux à six mots. Un classificateur pour le menu aurait besoin de ses propres données d’entraînement. Il faudrait beaucoup de vraies réponses au menu, chacune étiquetée selon son intention. Larkfield n’en a pas encore. Les appels de test servent aux tests, pas à l’entraînement.

Le SVI commence donc par des règles, qui n’ont pas besoin de données et sont faciles à lire. Un classificateur devient utile quand le menu contient beaucoup d’intentions. Il a aussi besoin de réponses étiquetées pour apprendre, par exemple tirées des fiches d’appel de quelques mois. Mesurez-le ensuite de la même façon : sur des appels de test enregistrés, par langue.

Avec la parole, le SVI a terminé 35 % des 60 appels de test sans l’aide d’une personne, contre 10 % avec le clavier seulement. Par langue, la rétention était de 41 % pour les appels anglais et de 30 % pour les appels français synthétiques de Larkfield.

L’écart en français commence dès la première question. Dans six appels de test français, le SVI n’a pas dépassé « Français ». Whisper écrivait plutôt des mots comme « We are so enough. » ou « Perfect. ». Le SVI demandait ensuite « Sorry. Press 1 for English. Appuyez sur 2 pour le français. » Un vrai appelant appuierait sur 2. L’appelant enregistré ne peut pas le faire : il dit sa prochaine réplique enregistrée. Le deuxième échec le transfère donc à une personne.

  1. Dans larkspeech, avec l’environnement actif, réexécutez cinq appels de test parlés. Deux devraient fonctionner (I-009, I-029), un demande une personne (I-073), et deux sont en français (I-008, I-011).

    Fenêtre de terminal
    speech ivr replay --calls I-009,I-029,I-073,I-008,I-011
    IVR replay: 5 recorded test calls, Whisper base, end of turn 0.8 s
    calls passed contained wrong intent to a person s to answer
    all 5 3 40% 0% 60% 35.2
    Failed: I-008 (status_speech: handover, expected status_given), I-011 (status_speech: handover, expected status_given)
    Wrote outputs/ivr-replay.jsonl (one call record per line)
  2. Affichez ce que le SVI a entendu dans chaque appel :

    Fenêtre de terminal
    python -c "import json; [print(r['call_id'], r['outcome'], r['handoff_reason'], r['heard']) for r in map(json.loads, open('outputs/ivr-replay.jsonl'))]"
    I-008 handover no_match ['We are so enough.']
    I-009 status_given None ['English.', 'Where is my order?', '479907.', 'Yes. Yes.']
    I-011 handover no_input ['Prowa C.']
    I-029 hours_given None ['English.', 'What are your opening hours?']
    I-073 handover no_input ['English.', 'I want to talk to her.']

    I-008 et I-011 n’ont jamais dépassé « Français ». Regardez I-073 : l’appelant disait « I want to talk to a person », et Whisper écrivait « her ». Aucune règle ne correspondait, le SVI proposait le clavier, et l’appelant enregistré ne disait plus rien. L’appel a réussi le test, car une personne a pris le relais. Mais il a réussi pour la mauvaise raison : no_input (aucune entrée), pas caller_asked (demande de l’appelant).

  3. Essayez les règles d’intention seules, sans audio :

    Fenêtre de terminal
    python -c "from larkspeech.ivr.dialogue import find_intent; print(find_intent('I want to return something... no, track my order.', 'en')); print(find_intent('Je veux faire un retour... non, suivre ma commande.', 'fr')); print(find_intent('I want to talk to her.', 'en'))"
    order_status
    order_status
    None

Faites une prédiction : Whisper tiny est plus rapide que base et faisait beaucoup plus d’erreurs sur les appels entiers au module 4. Sur les mêmes cinq appels, réussit-il moins de tests? Lancez la réexécution avec --model tiny.

Vérifiez votre réponse
Fenêtre de terminal
speech ivr replay --calls I-009,I-029,I-073,I-008,I-011 --model tiny
IVR replay: 5 recorded test calls, Whisper tiny, end of turn 0.8 s
calls passed contained wrong intent to a person s to answer
all 5 3 40% 0% 60% 34.5
Failed: I-008 (status_speech: handover, expected status_given), I-011 (status_speech: handover, expected status_given)
Wrote outputs/ivr-replay.jsonl (one call record per line)

Les trois mêmes appels réussissent. Sur les 60 appels de test, tiny et base réussissent aussi le même nombre (39), avec la même rétention (35 %). La grammaire de chaque état limite les réponses attendues à quelques réponses courtes. Le petit modèle suffit donc ici. Sur les conversations entières, au module 4, la différence était grande. Évaluez la taille du modèle sur la tâche, pas en général.

Erreur courante

L'appelant est coupé au milieu d'un numéro

Symptôme : dans l’appel de test I-049, l’appelant dit le numéro de commande en deux groupes : « seven nine eight … zero nine zero ». Le SVI entend seulement « Seven nine eight. » et répond « I heard 7 9 8. Please say the rest of the number. »

Cause : la pause entre les deux groupes dépasse les 0,8 seconde de silence qui terminent un tour. Au milieu du numéro, le SVI décide que l’appelant a terminé.

Correction : les appelants font naturellement des pauses dans certains états (le numéro de commande). Dans d’autres, ils donnent un seul mot (oui ou non). Utilisez une attente plus longue là où les gens font des pauses. Vous pouvez aussi demander la suite, comme le SVI de Larkfield. Dans I-049, l’appelant dit ensuite « zero nine zero », et le SVI réunit les deux parties. Mesurez chaque changement sur les appels enregistrés contenant des pauses.

Conséquence pour le travail en IA : un réglage unique pour toutes les situations est rarement le meilleur. Ajustez par état ou par tranche, et mesurez chacun.

Vérifiez votre compréhension

Silero VAD trouve la parole dans le tour d'un appelant de 0,5 s à 1,6 s. Le moteur vérifie toutes les 200 ms et attend 0,8 s de silence. À quelle vérification le tour se termine-t-il?

Afficher la réponse

À 2,4 s : à 2,2 s, le silence dure 0,6 s (pas assez). À 2,4 s, il dure 0,8 s, ce qui respecte la règle. L’appelant attend 0,8 s de silence, plus le temps de reconnaissance, avant que le SVI réponde.

Vérifiez votre compréhension

Pourquoi l'état de choix de langue donne-t-il à Whisper la requête « English. Français. » sans préciser la langue, alors que l'état du menu donne la langue choisie et les phrases du menu?

Afficher la réponse

Dans l’état de choix de langue, le SVI ne connaît pas encore la langue. Whisper doit donc la trouver, et la requête contient un mot attendu dans chaque langue. Après le choix, Whisper reçoit la langue et les quelques phrases attendues dans cet état. Cela facilite la reconnaissance des réponses courtes. Avec une grande requête de vocabulaire partout, Whisper base écrivait « Forfeit » pour « Français ». La rétention était de 28 % plutôt que 35 % (avec aussi deux mots français ajoutés au menu).

Vérifiez votre compréhension

Un appelant dit « Can I check my delivery, or no, actually, what are your hours? ». Quelle intention les règles renvoient-elles, et pourquoi?

Afficher la réponse

opening_hours. Les règles trouvent « delivery » (statut de la commande) et « hours » (heures d’ouverture). Elles gardent la dernière intention nommée par l’appelant, car les gens se corrigent à la fin d’une phrase.

Récapitulatif

  • La parole demande trois étapes : trouver la fin du tour (Silero VAD toutes les 200 ms, 0,8 s de silence), reconnaître les mots (Whisper base), et trouver l’intention (règles de mots-clés, la dernière intention l’emporte).
  • Une courte requête par état (une grammaire) fonctionne mieux qu’un grand vocabulaire unique. Avec deux mots français du menu, la rétention passe de 28 % à 35 %.
  • Avec la parole, la rétention du SVI atteint 35 % des appels de test, contre 10 % avec le clavier seulement. Anglais : 41 %, français : 30 %.
  • Whisper tiny fait aussi bien que base, et la fin de tour change peu les résultats. Pour des réponses courtes avec une grammaire, un petit modèle suffit.
  • Après une réponse parlée non comprise, le SVI propose le clavier. Après deux échecs, une personne prend le relais.

Vous pouvez maintenant laisser les appelants dire ce qu’ils veulent. Mais la réponse la plus difficile reste à venir : le numéro de commande. Six chiffres prononcés en groupes, avec des pauses, « oh » pour zéro, sur une ligne bruyante. Ensuite, vous obtenez le bon numéro, vous le relisez et vous corrigez la situation quand il est faux.

Leçon suivante : Nombres, confirmation et reprise