Aller au contenu
English

Tester le serveur vocal comme un produit

  • Leçon 27
  • 40 min
  • Module 7 : Construire un petit serveur vocal interactif

Où nous en sommes

Notre SVI traite trois tâches, confirme ce qu'il a entendu et transfère à un agent au besoin. Est-il bon? Dans cette leçon, nous rejouons les appels de test enregistrés comme tests automatisés. Nous mesurons la rétention, les mauvaises intentions et le délai avant la réponse par tranche.

Leçon 27 sur 36 · IA de la parole : transcrire, comprendre et parlerTester le serveur vocal comme un produit
Aperçu du cours

Ce que vous saurez faire

Évaluez le SVI de Larkfield comme une équipe produit. Exécutez chaque appel de test enregistré comme test automatisé. Lisez les résultats par tranche et écoutez les échecs pour trouver quoi corriger ensuite.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet lit la réexécution enregistrée du SVI sur les 60 appels de test. Il calcule les mesures par type et par ligne, puis rend le test plus strict. Il vous demande de trouver les appels avec une nouvelle tentative juste après une pression sur une touche. Il télécharge seulement de petits fichiers texte et n’exécute aucun modèle. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut

  • Votre dossier larkspeech à l’instantané de fin du module 7, avec Whisper base.
  • Pour le téléphone de test : Chrome ou Firefox, un microphone et des écouteurs.
  • Testé sur macOS (Apple M4) avec Python 3.12. Les commandes Windows sont les mêmes dans PowerShell, mais n’ont pas été exécutées. Aucun appel en direct avec un vrai microphone n’a été testé.

Dans un examen de conduite, chaque candidat suit le même parcours. L’examinateur a une feuille : un carrefour giratoire, un départ en pente, une place de stationnement, une intersection achalandée. Chaque partie reçoit la mention « réussi » ou « non réussi ». À la fin, l’examinateur ne dit pas seulement « vous avez bien conduit ». La feuille montre quelles parties ont posé problème, pour les pratiquer à la prochaine leçon.

Tester un SVI fonctionne de la même façon. Les mêmes appels enregistrés, chaque fois. Un résultat attendu pour chaque appel. Et les résultats séparés par type d’appel, pour voir quelle partie du menu doit être améliorée.

Le problème : quelques appels à la fois ne constituent pas un test

Section intitulée « Le problème : quelques appels à la fois ne constituent pas un test »

Jusqu’ici, vous avez rejoué quatre ou cinq appels à la fois. C’est ainsi qu’on débogue : on examine un appel de près. Ce n’est pas ainsi qu’on évalue. Un changement qui corrige I-003 peut faire échouer I-049, sans que vous le voyiez. De plus, cinq appels ne permettent pas de savoir si 35 % ou 40 % des appelants obtiennent une réponse.

Les équipes produit règlent ce problème avec un test de régression : un ensemble fixe de cas exécuté après chaque changement. « Régression » signifie un retour en arrière. Le test repère un changement qui fait échouer quelque chose qui fonctionnait.

L’idée : chaque appel enregistré devient un test automatisé

Section intitulée « L’idée : chaque appel enregistré devient un test automatisé »

Chacun des 60 appels de test publics du SVI a un résultat attendu : langue, intention, résultat et numéro de commande. La commande speech ivr replay fait passer chaque appel par le même moteur que le téléphone de test : le même détecteur de clavier, la même VAD et la même fin de tour, le même Whisper et le même dialogue. Puis elle compare les résultats. La règle se trouve dans larkspeech/ivr/replay.py :

ok = r["outcome"] == exp["outcome"] and (exp.get("order") in (None, r["order"]) or r["outcome"] == "handover")

En mots : un appel réussit quand son résultat correspond au résultat attendu. Les résultats possibles sont status_given (statut fourni), hours_given (heures fournies), return_started (retour commencé) ou handover (transfert à un agent). Si le SVI a conservé un numéro de commande, ce doit aussi être le bon.

Relisez la règle. Elle ne vérifie pas la raison du transfert à un agent. Dans la leçon sur la parole, l’appel de test I-073 demandait une personne. Whisper a écrit « I want to talk to her. » et aucune règle n’a correspondu. L’appel a atteint une personne après deux échecs : no_input (aucune entrée), pas caller_asked (demande de l’appelant). Il a réussi, mais pour la mauvaise raison, après que l’appelant a entendu une fois « Sorry, I did not get that ».

Ce n’est pas le seul. Si un transfert doit aussi avoir la raison attendue, 33 des 60 appels réussissent plutôt que 39. Six appels ont atteint une personne pour une autre raison. Cinq sont des appels de retour : le test attend not_returnable (retour impossible). Mais le SVI n’a jamais compris le numéro de commande. L’appel s’est terminé avec no_input avant que le SVI puisse consulter la commande. Un test vérifie seulement ce que vous y avez écrit. Le carnet rend le test plus strict.

Un petit exemple détaillé : des enregistrements aux mesures

Section intitulée « Un petit exemple détaillé : des enregistrements aux mesures »

Voici quatre fiches d’appel abrégées, pour voir comment la réexécution compte les résultats :

Appel Résultat attendu Résultat obtenu Secondes Réussi? Retenu?
I-009 statut fourni statut fourni 46,0 oui oui
I-029 heures fournies heures fournies 27,1 oui oui
I-003 statut fourni transfert à un agent – non non
I-062 transfert à un agent transfert à un agent – oui non
  • Réussis : 3 sur 4. I-062 réussit parce que l’appelant a appuyé sur 0 pour parler à une personne, et l’a obtenue.
  • Rétention : 2 sur 4 = 50 %. Seuls les appels que le SVI a terminés seul comptent.
  • Délai avant la réponse : (46,0 + 27,1) ÷ 2 = 36,6 secondes, pour les appels retenus seulement.
  • Vers une personne : 2 sur 4 = 50 %.

Réussite et rétention répondent à des questions différentes. « Réussi » demande si le SVI a fait la bonne chose. « Retenu » demande s’il a économisé le temps d’une personne. Des données de test comprenant beaucoup d’appels destinés à une personne peuvent avoir une réussite élevée et une rétention faible. Les deux résultats sont corrects.

Avec Whisper base et une fin de tour de 0,8 seconde, sur les appels synthétiques de Larkfield :

Mesure Résultat
Tests réussis 39 sur 60
Rétention 35 %
Vers une personne 63 %
Mauvaise intention 0 % (aucun appel)
Délai avant la réponse (appels retenus) 50 secondes

Sur les 60 appels, 19 doivent atteindre une personne. Il s’agit de retours de commandes non retournables, d’appelants silencieux, de demandes pour parler à une personne et de requêtes imprécises. La meilleure rétention possible sur cet ensemble est donc de 41 sur 60, soit 68 %. Le SVI a atteint 35 %.

Un graphique à barres de 13 types d'appels de test. Le contour représente les appels de chaque type; la partie remplie, les appels réussis. Réponse attendue : statut au clavier 6 sur 6, heures au clavier 3 sur 3, heures par la parole 6 sur 6, statut par la parole 2 sur 12, numéro avec pause 1 sur 4, changement d'avis 0 sur 3, mauvais numéro ensuite corrigé 1 sur 3, ligne bruyante puis clavier 2 sur 4. Personne attendue : retour impossible 6 sur 6, appelant silencieux 2 sur 3, appuie sur 0 pour une personne 3 sur 3, demande une personne 3 sur 3, requête imprécise 4 sur 4.
Le SVI sur ses 60 appels de test enregistrés, par type (Whisper base, fin de tour de 0,8 s). Bleu : types où le SVI doit répondre. Gris : types où une personne doit prendre le relais.
Description textuelle du diagramme

Tous les types au clavier réussissent : statut 6 sur 6, heures 3 sur 3. Les heures par la parole réussissent 6 sur 6. Les échecs se concentrent là où l’appelant dit un numéro de commande. Statut par la parole : 2 sur 12; numéro avec pause : 1 sur 4; mauvais numéro ensuite corrigé : 1 sur 3. Changement d’avis : 0 sur 3. Tous les types destinés à une personne réussissent, sauf un appelant silencieux (2 sur 3).

Le graphique indique à Amira quoi améliorer ensuite : les numéros de commande dits à voix haute, comme l’a montré la dernière leçon. Il montre aussi ce qui fonctionne déjà et ne doit pas échouer : clavier, heures d’ouverture et tous les chemins vers une personne.

Tranche Appels Réussis Rétention
Anglais 27 21 41 %
Français 33 18 30 %
Ligne fixe 36 23 25 %
Ligne mobile (Opus) 11 7 45 %
Ligne VoIP (G.726) 13 9 54 %

Les appelants francophones obtiennent une réponse moins souvent que les anglophones. Whisper base est moins performant en français. La première question (« Français ») échoue déjà dans six appels en français.

Les lignes semblent surprenantes : la ligne fixe, la plus claire, a la rétention la plus faible. N’interprétez pas cela comme « les lignes fixes sont moins bonnes ». Cette tranche contient la plupart des appels qui ne doivent pas être retenus, et la plupart des appels en français. Les nombres se trouvent dans l’erreur fréquente ci-dessous. Une comparaison est juste seulement si les tranches contiennent la même répartition d’appels. Avec 11 ou 13 appels, un appel fait varier une tranche d’environ 8 points.

Le cours contient aussi 20 appels de test cachés du SVI qu’aucune leçon n’a utilisés. Ils ont été exécutés une seule fois, à la fin, avant le dernier changement à dialogue.py (sans nouvelle exécution). 13 sur 20 ont réussi, avec une rétention de 40 %. C’est proche des 35 % publics. Le SVI n’a donc pas été ajusté par accident aux appels publics.

Trois limites comptent autant que les nombres :

  • Les appelants enregistrés ne peuvent pas réagir. Quand le SVI reformule sa demande (« please type it on your keypad »), l’appelant enregistré dit sa prochaine phrase enregistrée. Un vrai appelant appuierait sur les touches. Un échec se termine donc généralement avec une personne dans la réexécution. Cela réduit la rétention par rapport à ce qu’obtiendraient de vrais appelants.
  • « Retour commencé » est testé seulement par des tests unitaires. Aucun des six appels publics de retour ne concerne une commande retournable. Les six se terminent donc avec une personne, comme prévu. Un seul a atteint la vérification de la commande. Le chemin qui commence un retour s’exécute seulement dans tests/test_ivr.py.
  • Les appels sont synthétiques. Les vrais appelants ont plus d’accents, plus de bruit et des réponses plus longues et moins structurées. Attendez-vous à des résultats plus faibles sur une vraie ligne.

Les nombres indiquent où; l’écoute explique pourquoi. La réexécution écrit chaque fiche d’appel, avec sa chronologie, dans outputs/ivr-replay.jsonl. En lisant les chronologies des appels au clavier, nous avons trouvé quelque chose d’étrange dans un appel réussi :

Une chronologie de l'appel de test I-017 de 0 à 75 secondes. État : langue, menu, numéro, confirmation, terminé. Le SVI dit : accueil, menu, nouvelle tentative du menu, numéro, nouvelle tentative du numéro, confirmation, nouvelle tentative de confirmation, statut. Appelant : touche 1 vers 12 secondes, touche 1 vers 37 secondes, touches 586032 vers 51 secondes, touche 1 vers 69 secondes.
L'appel de test I-017 dans la réexécution : l'appelant utilise seulement le clavier, et chaque touche est correcte. Après chaque pression, la réexécution diffuse un message de nouvelle tentative avant la touche suivante de l'appelant.
Description textuelle du diagramme

L’appelant appuie sur 1 pour l’anglais. Le SVI diffuse le menu. Puis, environ 5 secondes après la fin du menu, il diffuse la nouvelle tentative du menu : « Sorry, I did not get that. » La touche suivante, 1, arrive seulement après. Cela se répète dans l’état numéro (nouvelle tentative avant les touches 586032) et dans l’état confirmation (avant la dernière touche 1). L’appel réussit, après 69,02 secondes.

Le SVI n’a rien fait de mal ici. Notre réexécution, oui. Le moteur réagit parfois au milieu de l’enregistrement d’un appelant : une touche est détectée après 40 ms. La réexécution conserve alors le reste de cet enregistrement comme prochain tour de parole de l’appelant. Cette règle convient à la parole, quand un appelant parle pendant un message. Pour une touche, le reste contient seulement la fin de la tonalité et du silence. Après chaque touche, la réexécution a donc joué environ une demi-seconde de silence comme « tour de parole ». Elle a attendu 5 secondes, puis compté un cas d’aucune entrée.

Nous avons testé une correction : après une pression sur une touche, supprimer le reste de l’enregistrement. Sur les 60 appels :

Réussis Rétention Délai avant la réponse : statut au clavier heures par la parole
La réexécution de l’instantané 39 35 % 67,8 s 39,5 s
Avec la correction 39 35 % 38,1 s 27,2 s

La correction ne change ni la réussite ni la rétention. Tous les nombres de ce module restent donc vrais. Mais le délai avant la réponse était trop long. Un appelant au clavier obtient le statut environ 30 secondes plus tôt que ce qu’indique la réexécution de l’instantané. L’instantané conserve la réexécution telle quelle, pour que vos nombres correspondent au prochain module. Le carnet vous demande de trouver tous les appels où cela s’est produit. Un système de test est aussi du code : il a des bogues. Écouter les appels réussis permet de les trouver.

Exercice guidé : toutes les données de test et le téléphone de test

Section intitulée « Exercice guidé : toutes les données de test et le téléphone de test »
  1. Dans larkspeech, avec l’environnement actif, exécutez les tests unitaires :

    Fenêtre de terminal
    python -m pytest -q
    ................................. [100%]
    33 passed in 1.69s
  2. Rejouez les 60 appels de test publics, par type. Cela prend environ 1 à 2 minutes :

    Fenêtre de terminal
    speech ivr replay --by kind
    IVR replay: 60 recorded test calls, Whisper base, end of turn 0.8 s
    kind calls passed contained wrong intent to a person s to answer
    agent_request 3 3 0% 0% 100% -
    change_of_mind 3 0 0% 0% 100% -
    hours_keypad 3 3 100% 0% 0% 30.4
    hours_speech 6 6 100% 0% 0% 39.5
    noisy_fallback 4 2 50% 0% 50% 66.1
    number_pause 4 1 25% 0% 75% 59.7
    return_speech 6 6 0% 0% 100% -
    silent 3 2 0% 0% 67% -
    status_keypad 6 6 100% 0% 0% 67.8
    status_speech 12 2 17% 0% 83% 45.5
    unclear 4 4 0% 0% 100% -
    wrong_then_fix 3 1 33% 0% 67% 62.4
    zero_again 3 3 0% 0% 100% -
    Failed: I-001 (status_speech: handover, expected status_given), I-003 (status_speech: handover, expected status_given), …
    Wrote outputs/ivr-replay.jsonl (one call record per line)

    Les nombres d’appels réussis correspondent au graphique. La colonne des mauvaises intentions peut varier d’un appel entre les exécutions. Whisper sur 4 fils d’exécution du processeur ne donne pas exactement le même texte chaque fois.

  3. Rejouez les appels par langue :

    Fenêtre de terminal
    speech ivr replay --by language
    IVR replay: 60 recorded test calls, Whisper base, end of turn 0.8 s
    language calls passed contained wrong intent to a person s to answer
    en 27 21 41% 0% 56% 46.3
    fr 33 18 30% 3% 70% 57.0
    ...
  4. Démarrez le SVI avec son téléphone de test :

    Fenêtre de terminal
    speech ivr serve
    Open http://127.0.0.1:8041/ and press Call. Stop with Ctrl+C.

    Dans un deuxième terminal, vérifiez qu’il répond :

    Fenêtre de terminal
    curl -s http://127.0.0.1:8041/health
    {"status":"ok","orders":160}

    Dans Windows PowerShell, utilisez Invoke-RestMethod http://127.0.0.1:8041/health.

  5. Ouvrez http://127.0.0.1:8041/ dans Chrome ou Firefox. Mettez des écouteurs, pour que le SVI n’entende pas sa propre voix. Appuyez sur Call (appeler), autorisez le microphone, puis appuyez sur 1 et 2 sur le clavier de la page.

    La page du téléphone de test de Larkfield : boutons Call (appeler) et Hang up (raccrocher), clavier de 1 à # et journal. Le journal affiche : IVR: How can I help? … key 2. IVR: We are open Monday to Friday from 8 a.m. to 8 p.m., and Saturday from 9 a.m. to 5 p.m., Eastern time. Thank you for calling Larkfield. Goodbye. Call ended: hours_given. Line closed.
    Le téléphone de test après un appel au clavier : touche 1 (anglais), puis touche 2 (heures d'ouverture). Le SVI a écrit cet appel dans outputs/calls/live-001.json. L’image est en anglais.

    Le SVI écrit chaque appel dans outputs/calls/. Essayez ensuite la parole : rappelez et dites « English », puis « What are your opening hours? ». L’audio reste sur votre ordinateur. Arrêtez le serveur avec Ctrl+C.

Choisissez un changement de ce module, faites-le dans votre copie et rejouez les 60 appels. Voici de bons choix :

  • ajouter « where’s my order » aux règles du menu (I-006 a échoué avec cette phrase);
  • retirer la requête de numéro pour l’anglais (la mesure de la dernière leçon);
  • utiliser le message de menu plus court de la leçon sur la synthèse vocale (seul le délai avant la réponse change).

Faites d’abord une prédiction : quels types changeront, et dans quelle direction? Comparez ensuite le tableau avec celui de l’étape 2, type par type. Gardez un changement seulement si aucun appel auparavant réussi n’échoue maintenant.

Ce qu’il faut observer

Un bon changement modifie son propre type et laisse les autres inchangés. Supposons qu’un changement aux règles du menu attribue une mauvaise intention à un appel de type « requête imprécise ». Un test auparavant réussi échoue alors : c’est la régression que les données de test servent à repérer. Avec quelques appels par type, un appel de plus ou de moins représente un vrai changement. Mais attention aux conclusions : 3 appels d’un type sont un exemple, pas un taux. Avant de vous fier à un gain, exécutez les appels cachés une autre fois, comme le cours l’a fait une fois.

Facultatif : un vrai numéro de téléphone, ou Asterisk

Section intitulée « Facultatif : un vrai numéro de téléphone, ou Asterisk »

La même application peut répondre à un vrai appel téléphonique. Votre projet décrit deux options dans docs/phone-line-options.md. L’équipe du cours ne les a pas testées. Elles demandent un compte chez un fournisseur téléphonique, ou Docker et des connaissances en téléphonie. Un vrai numéro coûte de l’argent : consultez d’abord la page des tarifs actuels du fournisseur.

  • Un vrai numéro de téléphone. Plusieurs fournisseurs peuvent envoyer l’audio d’un appel à votre application par WebSocket, en audio mu-law à 8 kHz. C’est le même format que les appels téléphoniques de Larkfield. Vous ajoutez une route à larkspeech/ivr/app.py qui utilise le format du fournisseur. Vous rendez votre portable accessible par un tunnel, puis vous appelez le numéro.
  • Asterisk et un téléphone logiciel (pour aller plus loin). Asterisk est un système téléphonique à code source ouvert utilisé par de nombreux centres de contact. Un téléphone logiciel sur votre portable appelle une instance d’Asterisk dans un conteneur. Celle-ci dirige un poste téléphonique vers le SVI.

N’enregistrez jamais de vrais appelants sans leur consentement. Le module 9 traite du consentement, de la conservation et du caviardage.

Erreur courante

Une tranche qui accuse le mauvais facteur

Symptôme : Malik voit « ligne fixe 25 %, ligne mobile 45 %, ligne VoIP 54 % ». Il demande au fournisseur téléphonique de vérifier la ligne fixe.

Cause : les tranches contiennent des appels différents. Parmi les 36 appels sur ligne fixe, 15 devraient joindre une personne. C’est le cas de 2 appels mobiles sur 11 et de 2 appels VoIP sur 13. La ligne fixe regroupe aussi la plupart des appels en français. Les taux de réussite (23 sur 36, 7 sur 11, 9 sur 13) sont proches.

Correction : avant de comparer les tranches, comparez leur contenu : types d’appels, langues et résultats attendus. Comparez les taux de réussite, ou la rétention parmi les appels qui devraient rester dans le SVI. Avec des tranches de 11 ou 13 appels, considérez un écart d’un ou deux appels comme du bruit.

Conséquence pour le travail en IA : une tranche est un groupe qui a sa propre composition. Un écart entre tranches peut venir de cette composition, et non du facteur qui donne son nom à la tranche.

Vérifiez votre compréhension

Dix appels de test : le SVI devrait répondre à 6 appels et transférer les 4 autres à une personne. Il répond correctement à 4 des 6 appels et transfère tous les 10 autres à une personne. Quels sont le taux de réussite et la rétention?

Afficher la réponse

Réussite : 8 sur 10 (les 4 bonnes réponses et les 4 appels qui devraient joindre une personne). Rétention : 4 sur 10 = 40 %. Les 2 appels auxquels le SVI aurait dû répondre, mais qu’il a transférés à une personne, échouent. La meilleure rétention possible sur cet ensemble est de 60 %.

Vérifiez votre compréhension

Pourquoi la réexécution donne-t-elle probablement une rétention plus faible que celle de vrais appelants? Comment pourriez-vous mesurer cet écart?

Afficher la réponse

Les appelants enregistrés ne peuvent pas réagir. Quand le SVI reformule sa demande (« Tapez-le sur votre clavier »), l’enregistrement joue plutôt la prochaine réplique enregistrée. Un échec mène donc habituellement à une personne. De vrais appelants suivraient la nouvelle consigne. Pour mesurer l’écart, enregistrez quelques appelants de test qui réagissent aux messages (des personnes utilisant le téléphone de test, avec consentement). Vous pouvez aussi créer des appels de test dont les enregistrements incluent la réponse à la solution de repli, puis comparer.

Vérifiez votre compréhension

Un changement fait passer la rétention de 35 % à 38 %. Mais un appel où l'appelant « demande une personne » se termine maintenant par le statut d'une commande. Gardez-vous ce changement?

Afficher la réponse

Pas tel quel. Un appelant qui demandait une personne a reçu autre chose. C’est une mauvaise intention, et elle coûte plus cher (15 $ US selon les hypothèses de Larkfield) qu’un transfert à une personne (4 $ US). Trouvez pourquoi le changement a fait échouer cet appel, corrigez-le et réexécutez tous les appels. Gardez un changement seulement s’il ajoute des réussites sans créer d’échecs dans les types d’appels qui fonctionnaient.

Récapitulatif

  • Chaque appel enregistré avec un résultat attendu est un test automatisé. Réexécutez-les tous après chaque changement : c’est un test de régression.
  • Réussi (le bon résultat s’est produit) et retenu (aucune personne nécessaire) sont deux choses différentes. Sur les 60 appels de test synthétiques de Larkfield : 39 réussites, rétention de 35 % (maximum possible de 68 %), anglais 41 %, français 30 %. Pour les appels cachés, lors d’une seule exécution (avant le dernier changement à dialogue.py) : 13 sur 20, 40 %.
  • Un test vérifie seulement ce que vous y avez prévu. Si vous vérifiez aussi la raison du transfert, 33 appels réussissent au lieu de 39.
  • Lisez les résultats par type : les numéros de commande dits à voix haute échouent le plus souvent. Le clavier, les heures d’ouverture et le transfert à une personne fonctionnent.
  • Comparez les tranches seulement après avoir vérifié leur composition. La ligne fixe semblait la pire parce qu’elle regroupait les appels qui doivent joindre une personne.
  • Écoutez aussi les appels qui réussissent. Notre réexécution ajoutait une nouvelle tentative après chaque touche pressée. La réussite et la rétention n’ont pas changé. Mais les appelants utilisant le clavier attendaient environ 30 secondes de trop avant la réponse.
  • Les appelants de la réexécution ne peuvent pas réagir. Le résultat « retour commencé » est vérifié seulement par des tests unitaires. Les appels sont synthétiques : les vrais appelants seront différents.

Vous pouvez maintenant tester le SVI comme un produit et dire ce qu’il fait bien et mal. Mais certains appelants ne correspondent à aucun menu : « mon colis est arrivé, mais le couvercle était fissuré et j’en ai besoin avant samedi ». Vous verrez ensuite où un menu ne suffit plus, et ce qu’un agent vocal pourrait y faire.

Leçon suivante : Là où un menu ne suffit plus