Aller au contenu
English

Nombres, confirmation et reprise

  • Leçon 26
  • 40 min
  • Module 7 : Construire un petit serveur vocal interactif

Où nous en sommes

Notre SVI comprend maintenant ce que veulent les appelants. Les numéros de commande restent difficiles : pauses, « oh » pour zéro et bruit sur la ligne. Dans cette leçon, nous obtenons le bon numéro, le confirmons, redemandons après un échec et transférons après deux.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 26 sur 36 · IA de la parole : transcrire, comprendre et parlerNombres, confirmation et reprise
Aperçu du cours

Ce que vous saurez faire

Rendez le serveur vocal interactif (SVI, IVR) de Larkfield sûr pour les numéros de commande. Il ne doit jamais agir sur un numéro mal entendu. Il relit le numéro avant d’agir, et il se reprend après un échec sans bloquer l’appelant.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter transforme en chiffres les transcriptions enregistrées des numéros de commande des appelants. Il vérifie chaque numéro (longueur, chiffre de contrôle, système de commandes) et compte les mauvais numéros acceptés. Ensuite, vous rédigez la relecture par groupes et une règle pour le oui ou le non. Il télécharge seulement de petits fichiers texte et n’exécute aucun modèle. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut

  • Votre dossier larkspeech à l’instantané de fin du module 7, avec Whisper base.
  • Testé sur macOS (Apple M4) avec Python 3.12. Les commandes Windows sont les mêmes dans PowerShell, mais elles n’ont pas été exécutées.

Vous commandez une pizza par téléphone. À la fin, la personne vous demande votre numéro. Vous dites « oh-sept-sept, neuf-oh-oh, un-deux-trois-quatre ». La ligne est mauvaise et la pizzeria est bruyante. Une bonne pizzeria ne se contente pas de noter quelque chose. La personne relit le numéro : « zéro sept sept, neuf zéro zéro, un deux trois quatre? » Vous dites « oui ». Si elle s’est trompée sur un chiffre, vous l’entendez et vous le corrigez.

Trois habitudes permettent de bien faire cela. Relire par groupes. Attendre un oui clair. Et quand quelque chose ne va pas, redemander autrement (« pouvez-vous nous l’envoyer par texto? »). Le SVI a besoin des trois mêmes habitudes. Un mauvais numéro de commande est pire qu’une absence de réponse, car l’appelant entend les détails de la commande d’autrui.

Le problème : le numéro de commande dit à voix haute échoue le plus souvent

Section intitulée « Le problème : le numéro de commande dit à voix haute échoue le plus souvent »

Sur les 60 appels de test enregistrés, le SVI a réussi 2 des 12 appels qui demandent le statut d’une commande à voix haute. Il a réussi 1 appel sur 4 où l’appelant fait une pause dans le numéro. Il a réussi 1 appel sur 3 où l’appelant dit d’abord un mauvais numéro, puis le corrige. Voici les 12 appels qui demandent le statut à voix haute, réexécutés avec l’instantané de fin du module 7 :

Appel Langue Ce que l’appelant a dit Ce que le SVI a entendu Chiffres trouvés et vérification échouée Résultat
I-001 en eleven, forty-nine, forty-two (114942) « 114940. » 114940 : mauvais chiffre de contrôle une personne
I-002 fr un quatre cinq huit huit huit (145888) « Un quatre cinq, 8, 8, 8. » 145888 : toutes les vérifications réussissent statut fourni
I-003 en five two two nine one two (522912) « Two two nine one two. » 22912 : trop court une personne
I-004 en thirty-nine, eleven, sixty-nine (391169) « Third 9, 11, 69. » 91169 : trop court une personne
I-005 fr un trois six un sept six (136176) « Fortsis, c’est… » aucun chiffre une personne
I-009 en four seven nine nine zero seven (479907) « 479907. » 479907 : toutes les vérifications réussissent statut fourni
I-010 en three oh three three six two (303362) « Three, both three, three. » 33 : trop court une personne
I-012 fr un sept un quatre un trois (171413) « Un site un 413. » 1413 : trop court une personne
I-006, I-007 en, fr (jamais demandé : la réponse au menu n’a pas été comprise) une personne
I-008, I-011 fr (jamais demandé : « Français » n’a pas été compris) une personne

Lisez le tableau deux fois. D’abord, la mauvaise nouvelle : le SVI a compris seulement 2 des 8 numéros de commande qu’il a demandés. Ensuite, la bonne nouvelle : tous les mauvais numéros ont été détectés. Aucun appelant n’a entendu le statut de la commande d’autrui. Les vérifications ont fait leur travail : le SVI est sûr, mais il n’est pas encore utile.

Les numéros de commande sont comptés par tour de parole de l’appelant. Les appels de test du SVI contiennent seulement la voix de l’appelant, donc rien d’autre ne peut masquer une erreur. Dans les conversations complètes du module 2, la relecture de l’agent pouvait masquer un mauvais chiffre de l’appelant. Comptez seulement les tours de parole de l’appelant.

Idée 1 : des mots aux chiffres, puis trois vérifications

Section intitulée « Idée 1 : des mots aux chiffres, puis trois vérifications »

Le SVI utilise la fonction du module 4, find_order_number. Elle transforme les mots de l’appelant en chiffres avec le guide de normalisation (« thirty-nine » → 39, « oh » entre des chiffres → 0). Ensuite, elle garde la plus longue suite de chiffres et la vérifie :

Fenêtre de terminal
python -c "from larkspeech.numbers import find_order_number as f; print(f('Two two nine one two.')); print(f('114940.')); print(f('three oh three three six two')); print(f('Three, both three, three.'))"
('22912', 'too short')
('114940', 'check digit wrong')
('303362', None)
('33', 'too short')

« three oh three three six two » est un numéro de commande valide : « oh » est devenu 0. Mais Whisper a écrit « Three, both three, three. », donc le SVI a trouvé seulement « 33 ». Aucune règle ne peut récupérer des chiffres absents du texte.

Ensuite, le SVI cherche le numéro dans le système de commandes. Un numéro à six chiffres avec un bon chiffre de contrôle peut quand même correspondre à une commande inexistante. Seul un numéro qui réussit les trois vérifications passe à l’étape suivante.

Idée 2 : demander la suite, puis utiliser un autre moyen

Section intitulée « Idée 2 : demander la suite, puis utiliser un autre moyen »

Une vérification échouée ne marque pas la fin. Le SVI a deux façons de reprendre, dans cet ordre.

Demander la suite. Quand l’appelant fait une pause au milieu du numéro, le SVI entend seulement la première partie. Cela se produit la première fois qu’il trouve de 2 à 5 chiffres. Il relit ce qu’il a entendu et demande la suite : « J’ai entendu 7 9 8. Dites la suite du numéro. » Ensuite, il réunit les deux parties.

Redemander autrement. Quand le numéro échoue à une vérification, le SVI ne pose pas la même question. Il passe au clavier : « Ce numéro ne semble pas correct. Tapez-le sur votre clavier, un chiffre à la fois. » Une touche n’est jamais mal entendue. Quand le numéro est absent du système de commandes : « Je ne trouve pas cette commande. Tapez le numéro sur votre clavier. »

Un organigramme. Demander : dites ou tapez votre numéro de commande à six chiffres. Numéro entendu : des mots aux chiffres. Moins de 6 chiffres, la première fois : demander la suite, j'ai entendu 7 4 2, dites la suite du numéro, puis écouter encore. Sinon : chiffre de contrôle et système de commandes valides? Oui : relire, commande 7 4 2, 1 5 5, est-ce exact? Non, ou l'appelant dit non à la relecture : redemander autrement, tapez-le sur votre clavier. Deuxième échec : une personne prend le relais, avec ce que le SVI a entendu.
Comment l'état du numéro de commande du SVI reprend après un échec. Chaque échec mène à une question différente; le deuxième mène à une personne.
Description textuelle du diagramme

Le SVI demande le numéro, transforme les mots en chiffres et les vérifie. Un numéro trop court, la première fois, mène à « J’ai entendu 7 4 2. Dites la suite du numéro. » Un numéro qui échoue au chiffre de contrôle ou au système de commandes mène à « Tapez-le sur votre clavier ». C’est aussi le cas si l’appelant rejette le numéro à la relecture. Un deuxième échec mène à une personne, qui voit ce que le SVI a entendu.

Un petit exemple détaillé : un numéro en deux parties

Section intitulée « Un petit exemple détaillé : un numéro en deux parties »

Voici le dialogue seul, sans audio, à partir des mots de l’appel de test I-049. L’appelant dit le numéro de commande en deux parties :

Fenêtre de terminal
python -c "from larkspeech import data as D; from larkspeech.paths import data_dir; from larkspeech.ivr.dialogue import Dialogue; d = Dialogue(D.orders(data_dir(None))); d.start(); [print(a['say']) for e in [('speech', 'English.'), ('speech', 'Where is my order?'), ('speech', 'Seven nine eight.'), ('speech', 'Zero nine zero.'), ('speech', 'Correct.')] for a in d.step(*e) if 'say' in a]"
How can I help? Say order status, opening hours, or start a return. You can also press 1 for orders, 2 for opening hours, 3 for returns, or 0 for a person.
Please say or type your six-digit order number.
I heard 7 9 8. Please say the rest of the number.
Order 7 9 8, 0 9 0. Is that right? Say yes or no, or press 1 for yes and 2 for no.
Your Mistral fan shipped on October 11 and is on its way. Thank you for calling Larkfield. Goodbye.

Étape par étape : « Seven nine eight. » donne 798, qui est trop court, donc le SVI demande la suite. « Zero nine zero. » donne 090. Une fois réuni, 798090 a 6 chiffres, un bon chiffre de contrôle et existe dans le système de commandes. Le SVI le relit donc par groupes. « Correct. » est un oui, et le SVI donne le statut.

La relecture est la dernière vérification de sécurité du SVI. Il dit le numéro par groupes de trois, « Commande 7 9 8, 0 9 0 ». L’appelant vérifie plus facilement trois chiffres à la fois que six. Ensuite, le SVI attend une réponse claire.

La règle pour le oui ou le non est une courte liste de mots, dans les deux langues :

YES = {"yes", "yeah", "yep", "correct", "right", "that's right", "oui", "exact", "exactement", "c'est ça", "ouais"}
NO = {"no", "nope", "wrong", "not", "incorrect", "non", "pas", "faux"}

La règle cherche d’abord un non : « That’s not right » contient « right », mais c’est un non. Un « non » ramène l’appelant au numéro et compte comme un échec. Sans réponse, ou si la réponse n’est ni oui ni non, le SVI redemande : « Dites oui ou non, ou appuyez sur 1 pour oui et 2 pour non. »

La relecture vaut-elle ses 8 secondes? Larkfield estime qu’une mauvaise action coûte 15 $ US et qu’un appel à une personne coûte 4 $ US (deux hypothèses). Pour les heures d’ouverture, aucune relecture n’est nécessaire : il n’y a rien à confirmer. Pour un retour, un mauvais numéro de commande lancerait un retour sur la mauvaise commande. Le SVI confirme donc avant chaque action sur une commande, et jamais avant une simple réponse.

Idée 4 : deux échecs, puis une personne, avec ce que vous savez

Section intitulée « Idée 4 : deux échecs, puis une personne, avec ce que vous savez »

Après le deuxième échec dans le même état, le SVI s’arrête. Il dit « Je vous transfère à une personne. Elle verra ce que vous m’avez dit. » Il transfère l’appel avec un motif : no_match (aucune correspondance), no_input (aucune entrée), caller_asked (demande de l’appelant) ou not_returnable (retour impossible).

La personne qui répond ne doit pas tout redemander. La fiche d’appel accompagne donc l’appel : la langue, l’intention et tout ce que le SVI a entendu. Voici la fiche quand un appelant dit un mauvais numéro, puis saisit aussi un mauvais numéro :

{'language': 'en', 'intent': 'order_status', 'order': None, 'outcome': 'handover', 'handoff_reason': 'no_match',
'heard': ['English.', 'Where is my order?', 'seven nine eight zero nine one', '798091'],
'prompts': ['welcome', 'menu', 'number', 'number_retry', 'handover'], 'misses': 2}

La personne voit immédiatement : anglais, statut de commande et deux essais d’un numéro proche de 798090. Elle peut demander « Votre commande est-elle 7 9 8, 0 9 0? » plutôt que « Comment puis-je vous aider? »

La leçon précédente donnait à Whisper une courte requête dans chaque état. Dans l’état du numéro, c’est « My order number is 742155. Seven four two, one five five. » Elle a corrigé la question de langue. Aide-t-elle aussi pour les numéros?

Nous l’avons mesuré. Nous avons pris chaque tour de parole des 60 appels de test publics où l’appelant dit un numéro de commande. Cela donne 31 tours, 13 en anglais et 18 en français. Whisper base a transcrit chacun de quatre façons. Il entendait soit le tour enregistré complet, soit le tour découpé par le SVI (avec la VAD et la fin de tour). Et il fonctionnait soit sans la requête de numéro, soit avec elle.

Un diagramme à barres des numéros de commande corrects, pour l'anglais (13 tours) et le français (18 tours), avec quatre réglages. Tour complet, sans requête : anglais 11, français 2. Tour complet, requête de numéro : 10 et 3. Découpé par le SVI, sans requête : 10 et 1. Découpé par le SVI, requête de numéro, soit le SVI actuel : 7 et 2.
Whisper base sur les 31 tours où l'appelant dit un numéro de commande, dans les 60 appels de test publics du SVI : les numéros correctement transcrits, de quatre façons (une exécution).
Description textuelle du diagramme

Anglais : sur le tour complet sans requête, Whisper base a transcrit correctement 11 numéros sur 13; avec la requête de numéro, 10. Sur le tour découpé par le SVI, 10 sans la requête et 7 avec elle, comme le SVI fonctionne actuellement. Français : 2, 3, 1 et 2 sur 18.

Deux leçons en ressortent :

  • En anglais, la requête de numéro n’aide pas Whisper base. Sur les tours découpés par le SVI, il en a transcrit correctement 7 sur 13 avec la requête et 10 sans elle. Dans I-003, l’appelant a dit « five two two nine one two ». Sans la requête, Whisper base a écrit « 5, 2, 2, 9, 1, 2. »; avec elle, « Two two nine one two. » Le premier chiffre a été perdu.
  • Les numéros en français sont difficiles pour Whisper base avec tous les réglages : de 1 à 3 sur 18. Le français des voix et le petit modèle jouent tous deux un rôle. Ici, le clavier est le véritable moyen d’entrée.

Il s’agit d’une seule exécution sur 31 tours, donc une différence d’un ou deux tours est du bruit. Un écart de 7 contre 10 ou 11 en anglais mérite un test avec davantage d’appels. Les réglages du SVI restent inchangés dans ce module pour que les nombres concordent d’une leçon à l’autre. Retirer la requête de numéro pour l’anglais est un bon changement à essayer dans votre propre copie.

Exercice guidé : réexécuter les appels avec numéros

Section intitulée « Exercice guidé : réexécuter les appels avec numéros »
  1. Dans larkspeech, avec l’environnement actif, réexécutez cinq appels avec des numéros de commande dits à voix haute : I-001, I-003 et I-010 (statut demandé à voix haute), I-049 (une pause) et I-054 (un mauvais numéro, puis corrigé).

    Fenêtre de terminal
    speech ivr replay --calls I-001,I-003,I-010,I-049,I-054
    IVR replay: 5 recorded test calls, Whisper base, end of turn 0.8 s
    calls passed contained wrong intent to a person s to answer
    all 5 2 40% 0% 60% 61.0
    Failed: I-001 (status_speech: handover, expected status_given), I-003 (status_speech: handover, expected status_given), I-010 (status_speech: handover, expected status_given)
    Wrote outputs/ivr-replay.jsonl (one call record per line)
  2. Lisez la fiche de I-003, le deuxième appel :

    Fenêtre de terminal
    python -c "import json; r = [json.loads(x) for x in open('outputs/ivr-replay.jsonl')][1]; print(r['call_id'], r['outcome'], r['handoff_reason']); print(r['heard']); print(r['prompts'])"
    I-003 handover no_input
    ['English.', 'I want to track my order.', 'Two two nine one two.', 'Yes.']
    ['welcome', 'menu', 'number', 'number_rest', 'number_retry', 'handover']

    Le SVI a entendu « Two two nine one two. », trouvé 5 chiffres et demandé la suite. L’appelant enregistré a ensuite dit « Yes. » C’est sa prochaine réplique enregistrée, la réponse à une relecture qui n’a jamais eu lieu. Un vrai appelant aurait répété le numéro. La réexécution ne peut pas réagir, ce qui réduit le score du SVI par rapport à un vrai appelant.

  3. Vérifiez que les vérifications sont sûres : dans outputs/ivr-replay.jsonl, aucun appel n’a un order (numéro de commande) différent du numéro attendu.

    Fenêtre de terminal
    python -c "import json; rows = [json.loads(x) for x in open('outputs/ivr-replay.jsonl')]; print([(r['call_id'], r['order'], r['expected'].get('order')) for r in rows])"
    [('I-001', None, '114942'), ('I-003', None, '522912'), ('I-010', None, '303362'), ('I-049', '798090', '798090'), ('I-054', '603134', '603134')]

    Chaque order est soit le numéro attendu, soit None (aucune valeur) : le SVI n’a jamais gardé un mauvais numéro.

Prédisez : un appelant dit « seven nine eight zero nine one » (un chiffre est incorrect), puis tape 798091 au clavier. Que dit le SVI après chaque tentative, et comment l’appel se termine-t-il? Utilisez seulement le dialogue, comme dans l’exemple détaillé, avec ('keys', '798091') pour le clavier.

Vérifiez votre réponse
Fenêtre de terminal
python -c "from larkspeech import data as D; from larkspeech.paths import data_dir; from larkspeech.ivr.dialogue import Dialogue; d = Dialogue(D.orders(data_dir(None))); d.start(); [print(a.get('say') or a) for e in [('speech', 'English.'), ('speech', 'Where is my order?'), ('speech', 'seven nine eight zero nine one'), ('keys', '798091')] for a in d.step(*e)]; print(d.record())"
How can I help? Say order status, opening hours, or start a return. You can also press 1 for orders, 2 for opening hours, 3 for returns, or 0 for a person.
Please say or type your six-digit order number.
That number does not look right. Please type it on your keypad, one digit at a time.
I am putting you through to a person now. They will see what you told me.
{'transfer': 'no_match'}
{'call_id': None, 'language': 'en', 'intent': 'order_status', 'order': None, 'outcome': 'handover', 'handoff_reason': 'no_match', 'heard': ['English.', 'Where is my order?', 'seven nine eight zero nine one', '798091'], 'prompts': ['welcome', 'menu', 'number', 'number_retry', 'handover'], 'misses': 2}

798091 échoue à la vérification du chiffre de contrôle. La première tentative échoue donc, et le SVI passe au clavier. Le numéro tapé échoue aussi : après ce deuxième échec, une personne prend le relais avec tout ce que l’appelant a dit. Le SVI n’a jamais lu la mauvaise commande à voix haute.

Erreur courante

Une relecture qui dit oui à la place de l'appelant

Symptôme : pendant la rédaction de cette leçon, nous avons testé la règle oui-ou-non avec quelques réponses possibles d’un appelant. « That’s not right. » (ce n’est pas exact) a donné oui. « Not correct. » (pas correct) aussi.

Cause : la première version de la règle reconnaissait seulement « no », « nope », « wrong », « non » et « pas » comme mots négatifs. « That’s not right » n’en contient aucun, mais contient « right » (exact), un mot affirmatif. Le SVI aurait lu le statut d’une commande que l’appelant venait de rejeter.

Correction : la règle de l’instantané reconnaît maintenant aussi « not », « incorrect » et « faux » comme mots négatifs. Elle vérifie toujours la présence d’un non avant celle d’un oui. Un test unitaire dans tests/test_ivr.py couvre les deux langues. Aucun des 60 appels de test ne contenait « not right ». Voilà pourquoi la réexécution n’a jamais détecté ce problème : testez l’étape de sécurité avec des réponses conçues exprès. Incluez des négations dans les deux langues.

Conséquence pour le travail en IA : une étape de confirmation vous protège seulement si le système comprend correctement la confirmation. Testez l’étape de sécurité aussi soigneusement que l’étape principale.

Vérifiez votre compréhension

Le SVI entend « Seven nine one four seven » pour la commande 791475. Que fait-il, et pourquoi ne cherche-t-il pas le numéro?

Afficher la réponse

Il obtient 79147 : 5 chiffres, trop court. C’est la première tentative avec un numéro partiel, alors il dit « I heard 7 9 1, 4 7. Please say the rest of the number. » Il ne cherche pas un numéro qui a échoué à la vérification de longueur. Une mauvaise recherche pourrait trouver, puis lire à voix haute, la commande d’un autre appelant.

Vérifiez votre compréhension

Pourquoi le SVI relit-il le numéro de commande par groupes, « Order 7 9 8, 0 9 0 »? Pourquoi demande-t-il confirmation avant un retour, mais pas avant les heures d'ouverture?

Afficher la réponse

Les gens vérifient plus facilement trois chiffres à la fois que six. La pause rend la relecture claire sur une ligne téléphonique. Le SVI demande confirmation avant un retour, car un mauvais numéro déclencherait un retour pour la mauvaise commande. C’est une mauvaise action : 15 $ US selon les hypothèses de Larkfield. Les heures d’ouverture ne nécessitent aucun numéro et rien ne peut mal tourner. Une confirmation ferait donc seulement perdre du temps à l’appelant.

Vérifiez votre compréhension

Sur les 31 tours de parole contenant un numéro de commande, Whisper base a reconnu correctement 7 numéros anglais sur 13 dans la configuration du SVI, et 10 sur 13 sans la requête de numéro. Que feriez-vous, et que vérifieriez-vous d'abord?

Afficher la réponse

Essayez l’état de saisie du numéro sans la requête pour l’anglais. Mais vérifiez d’abord que l’écart est réel. Il s’agit d’une seule exécution sur 13 tours de parole. Mesurez donc les résultats sur davantage d’appels : les appels cachés du SVI, ou de nouveaux enregistrements. Gardez tous les autres paramètres identiques. Comparez la rétention et les mauvaises commandes, pas seulement le nombre de numéros corrects. Les résultats en français sont faibles dans toutes les configurations. Le clavier reste donc le principal mode de saisie pour les appelants francophones.

Récapitulatif

  • Transformez les mots de l’appelant en chiffres. Vérifiez ensuite la longueur, le chiffre de contrôle et le système de commandes. Sur les appels de test, tous les mauvais numéros ont été détectés : aucun appelant n’a entendu la commande d’un autre.
  • Reprenez par étapes. D’abord, demandez la suite d’un numéro trop court, puis passez au clavier. Après le deuxième échec, transférez l’appel à une personne avec tout ce que le SVI a entendu.
  • Relisez par groupes et attendez un oui clair; cherchez d’abord un non. Demandez confirmation avant chaque action sur une commande.
  • La requête de numéro n’a pas aidé Whisper base avec les numéros anglais. Il en a reconnu correctement 7 sur 13 dans la configuration du SVI, contre 10 sans la requête, sur une seule exécution. Les résultats en français étaient faibles dans toutes les configurations.
  • Les appelants enregistrés de la réexécution ne peuvent pas répondre à une nouvelle question. Un échec se termine donc généralement par un transfert à une personne.

Vous pouvez maintenant rendre le SVI sûr avec les numéros et bienveillant lorsqu’il échoue. Mais est-il bon? Jusqu’ici, nous avons examiné quelques appels à la fois. Ensuite, vous réexécuterez chaque appel de test enregistré comme un test automatisé. Vous mesurerez le SVI par tranche et écouterez ses échecs comme une équipe produit.

Leçon suivante : Tester le serveur vocal comme un produit