Nombres, confirmation et reprise
- Leçon 26
- 40 min
- Module 7 : Construire un petit serveur vocal interactif
Où nous en sommes
Notre SVI comprend maintenant ce que veulent les appelants. Les numéros de commande restent difficiles : pauses, « oh » pour zéro et bruit sur la ligne. Dans cette leçon, nous obtenons le bon numéro, le confirmons, redemandons après un échec et transférons après deux.
Leçon 26 sur 36 · IA de la parole : transcrire, comprendre et parlerNombres, confirmation et reprise
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Rendez le serveur vocal interactif (SVI, IVR) de Larkfield sûr pour les numéros de commande. Il ne doit jamais agir sur un numéro mal entendu. Il relit le numéro avant d’agir, et il se reprend après un échec sans bloquer l’appelant.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter transforme en chiffres les transcriptions enregistrées des numéros de commande des appelants. Il vérifie chaque numéro (longueur, chiffre de contrôle, système de commandes) et compte les mauvais numéros acceptés. Ensuite, vous rédigez la relecture par groupes et une règle pour le oui ou le non. Il télécharge seulement de petits fichiers texte et n’exécute aucun modèle. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La conversion des nombres dits en chiffres, le chiffre de contrôle (Luhn) et les trois vérifications d’un numéro de commande, dans Aider le modèle avec vos mots.
- Le comptage des erreurs qui comptent, par locuteur, dans Les erreurs qui comptent.
- Les états du SVI, les échecs et le parcours vocal, dans Laisser les appelants dire ce qu’ils veulent.
Ce qu’il vous faut
- Votre dossier
larkspeechà l’instantané de fin du module 7, avec Whisper base. - Testé sur macOS (Apple M4) avec Python 3.12. Les commandes Windows sont les mêmes dans PowerShell, mais elles n’ont pas été exécutées.
Un numéro de téléphone pour une pizzeria
Section intitulée « Un numéro de téléphone pour une pizzeria »Vous commandez une pizza par téléphone. À la fin, la personne vous demande votre numéro. Vous dites « oh-sept-sept, neuf-oh-oh, un-deux-trois-quatre ». La ligne est mauvaise et la pizzeria est bruyante. Une bonne pizzeria ne se contente pas de noter quelque chose. La personne relit le numéro : « zéro sept sept, neuf zéro zéro, un deux trois quatre? » Vous dites « oui ». Si elle s’est trompée sur un chiffre, vous l’entendez et vous le corrigez.
Trois habitudes permettent de bien faire cela. Relire par groupes. Attendre un oui clair. Et quand quelque chose ne va pas, redemander autrement (« pouvez-vous nous l’envoyer par texto? »). Le SVI a besoin des trois mêmes habitudes. Un mauvais numéro de commande est pire qu’une absence de réponse, car l’appelant entend les détails de la commande d’autrui.
Le problème : le numéro de commande dit à voix haute échoue le plus souvent
Section intitulée « Le problème : le numéro de commande dit à voix haute échoue le plus souvent »Sur les 60 appels de test enregistrés, le SVI a réussi 2 des 12 appels qui demandent le statut d’une commande à voix haute. Il a réussi 1 appel sur 4 où l’appelant fait une pause dans le numéro. Il a réussi 1 appel sur 3 où l’appelant dit d’abord un mauvais numéro, puis le corrige. Voici les 12 appels qui demandent le statut à voix haute, réexécutés avec l’instantané de fin du module 7 :
| Appel | Langue | Ce que l’appelant a dit | Ce que le SVI a entendu | Chiffres trouvés et vérification échouée | Résultat |
|---|---|---|---|---|---|
| I-001 | en | eleven, forty-nine, forty-two (114942) | « 114940. » | 114940 : mauvais chiffre de contrôle | une personne |
| I-002 | fr | un quatre cinq huit huit huit (145888) | « Un quatre cinq, 8, 8, 8. » | 145888 : toutes les vérifications réussissent | statut fourni |
| I-003 | en | five two two nine one two (522912) | « Two two nine one two. » | 22912 : trop court | une personne |
| I-004 | en | thirty-nine, eleven, sixty-nine (391169) | « Third 9, 11, 69. » | 91169 : trop court | une personne |
| I-005 | fr | un trois six un sept six (136176) | « Fortsis, c’est… » | aucun chiffre | une personne |
| I-009 | en | four seven nine nine zero seven (479907) | « 479907. » | 479907 : toutes les vérifications réussissent | statut fourni |
| I-010 | en | three oh three three six two (303362) | « Three, both three, three. » | 33 : trop court | une personne |
| I-012 | fr | un sept un quatre un trois (171413) | « Un site un 413. » | 1413 : trop court | une personne |
| I-006, I-007 | en, fr | (jamais demandé : la réponse au menu n’a pas été comprise) | une personne | ||
| I-008, I-011 | fr | (jamais demandé : « Français » n’a pas été compris) | une personne |
Lisez le tableau deux fois. D’abord, la mauvaise nouvelle : le SVI a compris seulement 2 des 8 numéros de commande qu’il a demandés. Ensuite, la bonne nouvelle : tous les mauvais numéros ont été détectés. Aucun appelant n’a entendu le statut de la commande d’autrui. Les vérifications ont fait leur travail : le SVI est sûr, mais il n’est pas encore utile.
Les numéros de commande sont comptés par tour de parole de l’appelant. Les appels de test du SVI contiennent seulement la voix de l’appelant, donc rien d’autre ne peut masquer une erreur. Dans les conversations complètes du module 2, la relecture de l’agent pouvait masquer un mauvais chiffre de l’appelant. Comptez seulement les tours de parole de l’appelant.
Idée 1 : des mots aux chiffres, puis trois vérifications
Section intitulée « Idée 1 : des mots aux chiffres, puis trois vérifications »Le SVI utilise la fonction du module 4, find_order_number. Elle transforme les mots de l’appelant en chiffres avec le guide de normalisation (« thirty-nine » → 39, « oh » entre des chiffres → 0). Ensuite, elle garde la plus longue suite de chiffres et la vérifie :
python -c "from larkspeech.numbers import find_order_number as f; print(f('Two two nine one two.')); print(f('114940.')); print(f('three oh three three six two')); print(f('Three, both three, three.'))"('22912', 'too short')('114940', 'check digit wrong')('303362', None)('33', 'too short')« three oh three three six two » est un numéro de commande valide : « oh » est devenu 0. Mais Whisper a écrit « Three, both three, three. », donc le SVI a trouvé seulement « 33 ». Aucune règle ne peut récupérer des chiffres absents du texte.
Ensuite, le SVI cherche le numéro dans le système de commandes. Un numéro à six chiffres avec un bon chiffre de contrôle peut quand même correspondre à une commande inexistante. Seul un numéro qui réussit les trois vérifications passe à l’étape suivante.
Idée 2 : demander la suite, puis utiliser un autre moyen
Section intitulée « Idée 2 : demander la suite, puis utiliser un autre moyen »Une vérification échouée ne marque pas la fin. Le SVI a deux façons de reprendre, dans cet ordre.
Demander la suite. Quand l’appelant fait une pause au milieu du numéro, le SVI entend seulement la première partie. Cela se produit la première fois qu’il trouve de 2 à 5 chiffres. Il relit ce qu’il a entendu et demande la suite : « J’ai entendu 7 9 8. Dites la suite du numéro. » Ensuite, il réunit les deux parties.
Redemander autrement. Quand le numéro échoue à une vérification, le SVI ne pose pas la même question. Il passe au clavier : « Ce numéro ne semble pas correct. Tapez-le sur votre clavier, un chiffre à la fois. » Une touche n’est jamais mal entendue. Quand le numéro est absent du système de commandes : « Je ne trouve pas cette commande. Tapez le numéro sur votre clavier. »
Description textuelle du diagramme
Le SVI demande le numéro, transforme les mots en chiffres et les vérifie. Un numéro trop court, la première fois, mène à « J’ai entendu 7 4 2. Dites la suite du numéro. » Un numéro qui échoue au chiffre de contrôle ou au système de commandes mène à « Tapez-le sur votre clavier ». C’est aussi le cas si l’appelant rejette le numéro à la relecture. Un deuxième échec mène à une personne, qui voit ce que le SVI a entendu.
Un petit exemple détaillé : un numéro en deux parties
Section intitulée « Un petit exemple détaillé : un numéro en deux parties »Voici le dialogue seul, sans audio, à partir des mots de l’appel de test I-049. L’appelant dit le numéro de commande en deux parties :
python -c "from larkspeech import data as D; from larkspeech.paths import data_dir; from larkspeech.ivr.dialogue import Dialogue; d = Dialogue(D.orders(data_dir(None))); d.start(); [print(a['say']) for e in [('speech', 'English.'), ('speech', 'Where is my order?'), ('speech', 'Seven nine eight.'), ('speech', 'Zero nine zero.'), ('speech', 'Correct.')] for a in d.step(*e) if 'say' in a]"How can I help? Say order status, opening hours, or start a return. You can also press 1 for orders, 2 for opening hours, 3 for returns, or 0 for a person.Please say or type your six-digit order number.I heard 7 9 8. Please say the rest of the number.Order 7 9 8, 0 9 0. Is that right? Say yes or no, or press 1 for yes and 2 for no.Your Mistral fan shipped on October 11 and is on its way. Thank you for calling Larkfield. Goodbye.Étape par étape : « Seven nine eight. » donne 798, qui est trop court, donc le SVI demande la suite. « Zero nine zero. » donne 090. Une fois réuni, 798090 a 6 chiffres, un bon chiffre de contrôle et existe dans le système de commandes. Le SVI le relit donc par groupes. « Correct. » est un oui, et le SVI donne le statut.
Idée 3 : confirmer avant d’agir
Section intitulée « Idée 3 : confirmer avant d’agir »La relecture est la dernière vérification de sécurité du SVI. Il dit le numéro par groupes de trois, « Commande 7 9 8, 0 9 0 ». L’appelant vérifie plus facilement trois chiffres à la fois que six. Ensuite, le SVI attend une réponse claire.
La règle pour le oui ou le non est une courte liste de mots, dans les deux langues :
YES = {"yes", "yeah", "yep", "correct", "right", "that's right", "oui", "exact", "exactement", "c'est ça", "ouais"}NO = {"no", "nope", "wrong", "not", "incorrect", "non", "pas", "faux"}La règle cherche d’abord un non : « That’s not right » contient « right », mais c’est un non. Un « non » ramène l’appelant au numéro et compte comme un échec. Sans réponse, ou si la réponse n’est ni oui ni non, le SVI redemande : « Dites oui ou non, ou appuyez sur 1 pour oui et 2 pour non. »
La relecture vaut-elle ses 8 secondes? Larkfield estime qu’une mauvaise action coûte 15 $ US et qu’un appel à une personne coûte 4 $ US (deux hypothèses). Pour les heures d’ouverture, aucune relecture n’est nécessaire : il n’y a rien à confirmer. Pour un retour, un mauvais numéro de commande lancerait un retour sur la mauvaise commande. Le SVI confirme donc avant chaque action sur une commande, et jamais avant une simple réponse.
Idée 4 : deux échecs, puis une personne, avec ce que vous savez
Section intitulée « Idée 4 : deux échecs, puis une personne, avec ce que vous savez »Après le deuxième échec dans le même état, le SVI s’arrête. Il dit « Je vous transfère à une personne. Elle verra ce que vous m’avez dit. » Il transfère l’appel avec un motif : no_match (aucune correspondance), no_input (aucune entrée), caller_asked (demande de l’appelant) ou not_returnable (retour impossible).
La personne qui répond ne doit pas tout redemander. La fiche d’appel accompagne donc l’appel : la langue, l’intention et tout ce que le SVI a entendu. Voici la fiche quand un appelant dit un mauvais numéro, puis saisit aussi un mauvais numéro :
{'language': 'en', 'intent': 'order_status', 'order': None, 'outcome': 'handover', 'handoff_reason': 'no_match', 'heard': ['English.', 'Where is my order?', 'seven nine eight zero nine one', '798091'], 'prompts': ['welcome', 'menu', 'number', 'number_retry', 'handover'], 'misses': 2}La personne voit immédiatement : anglais, statut de commande et deux essais d’un numéro proche de 798090. Elle peut demander « Votre commande est-elle 7 9 8, 0 9 0? » plutôt que « Comment puis-je vous aider? »
Larkfield : la requête de numéro aide-t-elle?
Section intitulée « Larkfield : la requête de numéro aide-t-elle? »La leçon précédente donnait à Whisper une courte requête dans chaque état. Dans l’état du numéro, c’est « My order number is 742155. Seven four two, one five five. » Elle a corrigé la question de langue. Aide-t-elle aussi pour les numéros?
Nous l’avons mesuré. Nous avons pris chaque tour de parole des 60 appels de test publics où l’appelant dit un numéro de commande. Cela donne 31 tours, 13 en anglais et 18 en français. Whisper base a transcrit chacun de quatre façons. Il entendait soit le tour enregistré complet, soit le tour découpé par le SVI (avec la VAD et la fin de tour). Et il fonctionnait soit sans la requête de numéro, soit avec elle.
Description textuelle du diagramme
Anglais : sur le tour complet sans requête, Whisper base a transcrit correctement 11 numéros sur 13; avec la requête de numéro, 10. Sur le tour découpé par le SVI, 10 sans la requête et 7 avec elle, comme le SVI fonctionne actuellement. Français : 2, 3, 1 et 2 sur 18.
Deux leçons en ressortent :
- En anglais, la requête de numéro n’aide pas Whisper base. Sur les tours découpés par le SVI, il en a transcrit correctement 7 sur 13 avec la requête et 10 sans elle. Dans I-003, l’appelant a dit « five two two nine one two ». Sans la requête, Whisper base a écrit « 5, 2, 2, 9, 1, 2. »; avec elle, « Two two nine one two. » Le premier chiffre a été perdu.
- Les numéros en français sont difficiles pour Whisper base avec tous les réglages : de 1 à 3 sur 18. Le français des voix et le petit modèle jouent tous deux un rôle. Ici, le clavier est le véritable moyen d’entrée.
Il s’agit d’une seule exécution sur 31 tours, donc une différence d’un ou deux tours est du bruit. Un écart de 7 contre 10 ou 11 en anglais mérite un test avec davantage d’appels. Les réglages du SVI restent inchangés dans ce module pour que les nombres concordent d’une leçon à l’autre. Retirer la requête de numéro pour l’anglais est un bon changement à essayer dans votre propre copie.
Exercice guidé : réexécuter les appels avec numéros
Section intitulée « Exercice guidé : réexécuter les appels avec numéros »-
Dans
larkspeech, avec l’environnement actif, réexécutez cinq appels avec des numéros de commande dits à voix haute : I-001, I-003 et I-010 (statut demandé à voix haute), I-049 (une pause) et I-054 (un mauvais numéro, puis corrigé).Fenêtre de terminal speech ivr replay --calls I-001,I-003,I-010,I-049,I-054IVR replay: 5 recorded test calls, Whisper base, end of turn 0.8 scalls passed contained wrong intent to a person s to answerall 5 2 40% 0% 60% 61.0Failed: I-001 (status_speech: handover, expected status_given), I-003 (status_speech: handover, expected status_given), I-010 (status_speech: handover, expected status_given)Wrote outputs/ivr-replay.jsonl (one call record per line) -
Lisez la fiche de I-003, le deuxième appel :
Fenêtre de terminal python -c "import json; r = [json.loads(x) for x in open('outputs/ivr-replay.jsonl')][1]; print(r['call_id'], r['outcome'], r['handoff_reason']); print(r['heard']); print(r['prompts'])"I-003 handover no_input['English.', 'I want to track my order.', 'Two two nine one two.', 'Yes.']['welcome', 'menu', 'number', 'number_rest', 'number_retry', 'handover']Le SVI a entendu « Two two nine one two. », trouvé 5 chiffres et demandé la suite. L’appelant enregistré a ensuite dit « Yes. » C’est sa prochaine réplique enregistrée, la réponse à une relecture qui n’a jamais eu lieu. Un vrai appelant aurait répété le numéro. La réexécution ne peut pas réagir, ce qui réduit le score du SVI par rapport à un vrai appelant.
-
Vérifiez que les vérifications sont sûres : dans
outputs/ivr-replay.jsonl, aucun appel n’a unorder(numéro de commande) différent du numéro attendu.Fenêtre de terminal python -c "import json; rows = [json.loads(x) for x in open('outputs/ivr-replay.jsonl')]; print([(r['call_id'], r['order'], r['expected'].get('order')) for r in rows])"[('I-001', None, '114942'), ('I-003', None, '522912'), ('I-010', None, '303362'), ('I-049', '798090', '798090'), ('I-054', '603134', '603134')]Chaque
orderest soit le numéro attendu, soitNone(aucune valeur) : le SVI n’a jamais gardé un mauvais numéro.
À vous de jouer : un mauvais numéro, dit et tapé
Section intitulée « À vous de jouer : un mauvais numéro, dit et tapé »Prédisez : un appelant dit « seven nine eight zero nine one » (un chiffre est incorrect), puis tape 798091 au clavier. Que dit le SVI après chaque tentative, et comment l’appel se termine-t-il? Utilisez seulement le dialogue, comme dans l’exemple détaillé, avec ('keys', '798091') pour le clavier.
Vérifiez votre réponse
python -c "from larkspeech import data as D; from larkspeech.paths import data_dir; from larkspeech.ivr.dialogue import Dialogue; d = Dialogue(D.orders(data_dir(None))); d.start(); [print(a.get('say') or a) for e in [('speech', 'English.'), ('speech', 'Where is my order?'), ('speech', 'seven nine eight zero nine one'), ('keys', '798091')] for a in d.step(*e)]; print(d.record())"How can I help? Say order status, opening hours, or start a return. You can also press 1 for orders, 2 for opening hours, 3 for returns, or 0 for a person.Please say or type your six-digit order number.That number does not look right. Please type it on your keypad, one digit at a time.I am putting you through to a person now. They will see what you told me.{'transfer': 'no_match'}{'call_id': None, 'language': 'en', 'intent': 'order_status', 'order': None, 'outcome': 'handover', 'handoff_reason': 'no_match', 'heard': ['English.', 'Where is my order?', 'seven nine eight zero nine one', '798091'], 'prompts': ['welcome', 'menu', 'number', 'number_retry', 'handover'], 'misses': 2}798091 échoue à la vérification du chiffre de contrôle. La première tentative échoue donc, et le SVI passe au clavier. Le numéro tapé échoue aussi : après ce deuxième échec, une personne prend le relais avec tout ce que l’appelant a dit. Le SVI n’a jamais lu la mauvaise commande à voix haute.
Erreur courante
Une relecture qui dit oui à la place de l'appelant
Symptôme : pendant la rédaction de cette leçon, nous avons testé la règle oui-ou-non avec quelques réponses possibles d’un appelant. « That’s not right. » (ce n’est pas exact) a donné oui. « Not correct. » (pas correct) aussi.
Cause : la première version de la règle reconnaissait seulement « no », « nope », « wrong », « non » et « pas » comme mots négatifs. « That’s not right » n’en contient aucun, mais contient « right » (exact), un mot affirmatif. Le SVI aurait lu le statut d’une commande que l’appelant venait de rejeter.
Correction : la règle de l’instantané reconnaît maintenant aussi « not », « incorrect » et « faux » comme mots négatifs. Elle vérifie toujours la présence d’un non avant celle d’un oui. Un test unitaire dans tests/test_ivr.py couvre les deux langues. Aucun des 60 appels de test ne contenait « not right ». Voilà pourquoi la réexécution n’a jamais détecté ce problème : testez l’étape de sécurité avec des réponses conçues exprès. Incluez des négations dans les deux langues.
Conséquence pour le travail en IA : une étape de confirmation vous protège seulement si le système comprend correctement la confirmation. Testez l’étape de sécurité aussi soigneusement que l’étape principale.
Vérifiez votre compréhension
Le SVI entend « Seven nine one four seven » pour la commande 791475. Que fait-il, et pourquoi ne cherche-t-il pas le numéro?
Afficher la réponse
Il obtient 79147 : 5 chiffres, trop court. C’est la première tentative avec un numéro partiel, alors il dit « I heard 7 9 1, 4 7. Please say the rest of the number. » Il ne cherche pas un numéro qui a échoué à la vérification de longueur. Une mauvaise recherche pourrait trouver, puis lire à voix haute, la commande d’un autre appelant.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi le SVI relit-il le numéro de commande par groupes, « Order 7 9 8, 0 9 0 »? Pourquoi demande-t-il confirmation avant un retour, mais pas avant les heures d'ouverture?
Afficher la réponse
Les gens vérifient plus facilement trois chiffres à la fois que six. La pause rend la relecture claire sur une ligne téléphonique. Le SVI demande confirmation avant un retour, car un mauvais numéro déclencherait un retour pour la mauvaise commande. C’est une mauvaise action : 15 $ US selon les hypothèses de Larkfield. Les heures d’ouverture ne nécessitent aucun numéro et rien ne peut mal tourner. Une confirmation ferait donc seulement perdre du temps à l’appelant.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Sur les 31 tours de parole contenant un numéro de commande, Whisper base a reconnu correctement 7 numéros anglais sur 13 dans la configuration du SVI, et 10 sur 13 sans la requête de numéro. Que feriez-vous, et que vérifieriez-vous d'abord?
Afficher la réponse
Essayez l’état de saisie du numéro sans la requête pour l’anglais. Mais vérifiez d’abord que l’écart est réel. Il s’agit d’une seule exécution sur 13 tours de parole. Mesurez donc les résultats sur davantage d’appels : les appels cachés du SVI, ou de nouveaux enregistrements. Gardez tous les autres paramètres identiques. Comparez la rétention et les mauvaises commandes, pas seulement le nombre de numéros corrects. Les résultats en français sont faibles dans toutes les configurations. Le clavier reste donc le principal mode de saisie pour les appelants francophones.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Transformez les mots de l’appelant en chiffres. Vérifiez ensuite la longueur, le chiffre de contrôle et le système de commandes. Sur les appels de test, tous les mauvais numéros ont été détectés : aucun appelant n’a entendu la commande d’un autre.
- Reprenez par étapes. D’abord, demandez la suite d’un numéro trop court, puis passez au clavier. Après le deuxième échec, transférez l’appel à une personne avec tout ce que le SVI a entendu.
- Relisez par groupes et attendez un oui clair; cherchez d’abord un non. Demandez confirmation avant chaque action sur une commande.
- La requête de numéro n’a pas aidé Whisper base avec les numéros anglais. Il en a reconnu correctement 7 sur 13 dans la configuration du SVI, contre 10 sans la requête, sur une seule exécution. Les résultats en français étaient faibles dans toutes les configurations.
- Les appelants enregistrés de la réexécution ne peuvent pas répondre à une nouvelle question. Un échec se termine donc généralement par un transfert à une personne.
Vous pouvez maintenant rendre le SVI sûr avec les numéros et bienveillant lorsqu’il échoue. Mais est-il bon? Jusqu’ici, nous avons examiné quelques appels à la fois. Ensuite, vous réexécuterez chaque appel de test enregistré comme un test automatisé. Vous mesurerez le SVI par tranche et écouterez ses échecs comme une équipe produit.
Leçon suivante : Tester le serveur vocal comme un produit