Surveiller le système
- Leçon 36
- 30 min
- Module 9 : L'exploiter en production, en sécurité
Où nous en sommes
Notre système est sûr et fonctionne chaque jour. Sa qualité ne se maintiendra pas seule : les produits, les fournisseurs téléphoniques et les appelants changent. Dans cette leçon, nous suivons l'erreur par tranche au fil du temps, la rétention du SVI et les abandons. Nous examinons aussi des échantillons.
Leçon 36 sur 36 · IA de la parole : transcrire, comprendre et parlerSurveiller le système
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Maintenez la qualité du système de parole après son lancement. Surveillez gratuitement ce qui entre et ce qui se passe chaque jour. Révisez un échantillon de transcriptions chaque semaine pour mesurer le taux d’erreur par tranche. Apprenez à quel point un petit échantillon varie par hasard, pour distinguer un vrai changement du bruit. Sachez quels changements arriveront : un nouveau fournisseur téléphonique, une nouvelle région et de nouveaux noms de produits.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter évalue Whisper small appel par appel sur les 110 appels de validation et de test. Il tire de nombreux échantillons de révision hebdomadaires. Ils montrent à quel point un échantillon de 10, 30 ou 100 appels varie par hasard. Ensuite, il construit huit semaines avec un nouveau fournisseur téléphonique et vous demande de trouver le changement. Il ne nécessite aucun téléchargement de modèle ni aucun compte. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le WER par tranche, présenté dans Les erreurs qui comptent et Accents, bruit et deux langues.
- La rétention et les transferts à une personne, présentés dans Tester le serveur vocal comme un produit.
Ce qu’il vous faut sur votre ordinateur (seulement pour la pratique guidée; le carnet n’en a pas besoin)
- Votre dossier
larkspeechavec les fichiers de Par lots et en continu.pytest -qaffiche41 passed(41 tests réussis).
Testé sur macOS avec Python 3.12.13. Les commandes sont les mêmes sur Windows; elles n’y ont pas été exécutées.
Le tableau mural et l’écoute du vendredi
Section intitulée « Le tableau mural et l’écoute du vendredi »Entrez dans un centre d’appels, et vous verrez un grand écran au mur. Il montre les appels en attente, l’attente la plus longue et les appelants qui ont raccroché aujourd’hui. Sa mise à jour ne coûte rien : le système téléphonique compte ces événements lui-même.
Le vendredi après-midi, la superviseure fait quelque chose de plus lent. Elle écoute quelques appels de chaque agent et les évalue. Cela prend du temps, donc elle ne peut pas le faire pour chaque appel. Et une fois par mois, le gestionnaire regarde la facture.
Le système de parole de Larkfield a besoin des mêmes trois rythmes. Les comptes quotidiens sont gratuits. L’écoute hebdomadaire coûte du temps de révision. La facture mensuelle complète le cycle.
Le problème : un seul nombre cache le changement
Section intitulée « Le problème : un seul nombre cache le changement »Grace demande un seul nombre : « Quelle est la qualité des transcriptions cette semaine? » Priya pourrait lui donner le WER d’un échantillon hebdomadaire. Mais un seul nombre cache deux choses.
Il cache les tranches. Sur les 110 appels synthétiques de validation et de test de Larkfield, Whisper small a un WER de 7,9 %. Sur les appels en anglais, il est de 4 %, et sur les appels en français, de 14,1 %. Si le mois prochain apporte davantage d’appelants francophones, la moyenne augmente, même si le modèle n’a pas changé du tout.
Il varie par hasard. Une personne ne peut corriger que quelques transcriptions par semaine. Un petit échantillon donne un WER différent chaque semaine, même quand rien ne change. Un vrai changement ressemble alors à du bruit, et le bruit ressemble à un changement.
L’idée : surveiller les entrées, les résultats, la qualité et le coût
Section intitulée « L’idée : surveiller les entrées, les résultats, la qualité et le coût »Le diagramme regroupe les éléments à surveiller selon leur fréquence et leur coût.
Description textuelle du diagramme
Quatre groupes, de gauche à droite. Chaque jour, gratuitement, ce qui entre : la composition des appels par ligne, langue et durée. Aussi les nouveaux mots, comme les noms de produits jamais vus par le modèle. Chaque jour, gratuitement, ce qui se passe : la rétention, les transferts à une personne et les abandons du SVI. Aussi l’attente : les secondes avant la réponse et le temps avant le premier son en retour. Chaque semaine, au prix du temps de révision : une personne corrige 30 transcriptions. À partir de celles-ci, vous calculez le WER par tranche (ligne, langue et produit). Chaque mois : le coût par heure d’audio et par appel au SVI.
Quelques mots :
- La dérive signifie que les appels changent après le lancement. Les appels reçus ne ressemblent plus aux appels utilisés pour les tests. Le cours MLOps et LLMOps : exploiter l’IA en production l’explique dans Dérive des données et dérive conceptuelle.
- Une tranche est un groupe d’appels qui partagent une propriété : une ligne, une langue, un produit. Vous calculez le WER de chaque tranche séparément.
- Un échantillon de révision est un petit ensemble d’appels qu’une personne vérifie manuellement. La transcription corrigée devient la référence, et le WER compare le texte du modèle avec cette référence. Les étiquettes arrivent tard, après le travail d’une personne : voir Étiquettes tardives.
- Le taux de rétention (containment) est la part des appels au SVI qui se terminent sans personne. Un transfert à une personne dirige l’appelant vers une personne. Un abandon désigne un appelant qui raccroche avant la fin.
Surveiller d’abord les entrées
Section intitulée « Surveiller d’abord les entrées »Les entrées sont le signal le moins coûteux et le plus rapide. Le système téléphonique connaît la ligne de chaque appel, et le modèle détecte la langue. Comptez-les chaque jour. Un nouveau fournisseur téléphonique apparaît dans les comptes par ligne dès son premier matin, bien avant toute révision.
Petit exemple détaillé : à quel point un échantillon varie-t-il?
Section intitulée « Petit exemple détaillé : à quel point un échantillon varie-t-il? »Grace dispose de 60 minutes d’écoute par jour par un chef d’équipe, à 0,75 $ US la minute (hypothèses du cours). Supposons qu’une personne ait besoin d’environ 2 minutes pour corriger la transcription d’un appel : c’est notre hypothèse. Une heure par semaine permet donc de payer 30 appels révisés, pour 45 $ US.
À quel point le WER de 30 appels varie-t-il par hasard? Le cours a pris les résultats par appel de Whisper small sur les 110 appels. Il a tiré 2 000 échantillons de chaque taille (avec remise). Le tableau montre l’intervalle qui contient 90 % des échantillons.
| Appels dans l’échantillon | Les 5 % d’échantillons les plus bas | Médiane | Les 5 % d’échantillons les plus hauts |
|---|---|---|---|
| 10 | 4,4 % | 7,6 % | 12,2 % |
| 30 | 5,9 % | 7,9 % | 10,4 % |
| 100 | 6,8 % | 7,9 % | 9,2 % |
Lisez la ligne du milieu. Avec 30 appels par semaine, le WER se situe entre environ 6 % et 10 %. Pourtant, le modèle et les appels restent les mêmes chaque semaine. Une semaine à 10 % n’a donc rien de nouveau.
- WER médian des échantillons
- 90 % des échantillons se trouvent entre les lignes pointillées
Description textuelle du graphique
Un graphique linéaire avec la taille de l’échantillon, de 10 à 100 appels, sur l’axe horizontal. La médiane reste près de 7,6 % à 7,9 %. La bande contenant 90 % des échantillons est large pour les petits échantillons et se rétrécit lentement. Elle va de 4,4 % à 12,2 % pour 10 appels, de 5,4 % à 10,8 % pour 20 et de 5,9 % à 10,4 % pour 30. Elle va de 6,3 % à 9,8 % pour 50 et de 6,8 % à 9,2 % pour 100 appels.
La bande se rétrécit lentement. Passer de 30 à 100 appels fait plus que tripler le temps de révision. La largeur de la bande passe seulement d’environ 4,5 points à environ 2,4 points.
Larkfield : un nouveau fournisseur téléphonique
Section intitulée « Larkfield : un nouveau fournisseur téléphonique »Voici maintenant un changement. Larkfield transfère une partie de ses lignes à un nouveau fournisseur téléphonique qui utilise le codec G.726. Sur les 110 appels, Whisper small a un WER de 9,4 % sur la ligne G.726. Il est de 7,9 % sur la ligne fixe et de 7,1 % sur la ligne mobile. La plupart de ces appels G.726 sont en français, donc cette tranche mélange la ligne et la langue. Aujourd’hui, environ 14 % des appels l’utilisent. À partir de la semaine 5, ce sera 60 % des appels.
Le graphique est un exemple construit : huit semaines créées à partir des vrais résultats par appel. Chaque semaine, 30 appels sont tirés au hasard. Les semaines 1 à 4 ont la composition actuelle des lignes; les semaines 5 à 8 ont la nouvelle. Les lignes pointillées délimitent la bande à 90 % pour 30 appels. Comme la plupart des appels G.726 de notre ensemble sont en français, cet exercice ajoute surtout des appels en français. Lisez-le comme un exercice pour distinguer un changement du bruit, pas comme un fait sur le codec G.726.
- WER des 30 appels révisés
- Intervalle normal pour 30 appels (90 %)
Description textuelle du graphique
Un graphique linéaire sur huit semaines. Le WER hebdomadaire de 30 appels révisés est de 10,5 %, 7,6 %, 7,7 % et 7,3 % aux semaines 1 à 4. Il est de 7,4 %, 10,4 %, 8,8 % et 8,8 % aux semaines 5 à 8. L’intervalle normal pour 30 appels va de 5,9 % à 10,4 %. La semaine 1, avant tout changement, se trouve juste au-dessus de l’intervalle. Le WER attendu augmente seulement de 8,0 % à 8,8 % avec la nouvelle composition.
Que nous apprend le graphique?
- Le bruit cache le changement. Avec la nouvelle composition, le WER attendu passe de 8,0 % à 8,8 %. Les échantillons hebdomadaires varient bien plus que cela.
- La semaine 1 dépasse la limite sans aucun changement. Le hasard fait dépasser une bande à 90 % environ 1 semaine sur 10. Un seul point hors de la bande n’est pas une alarme.
- Les entrées le montrent immédiatement. Aux semaines 1 à 4, 7, 3, 4 et 5 des 30 appels révisés utilisaient la ligne G.726. Aux semaines 5 à 8, c’était 17, 18, 16 et 18. Les comptes quotidiens par ligne, gratuits et couvrant tous les appels, le montreraient dès le premier jour.
La bonne réaction : quand une entrée change, révisez davantage d’appels de la nouvelle tranche pendant deux semaines. Mesurez le WER de cette tranche séparément, puis décidez.
Les deux prochains changements : une nouvelle région et de nouveaux produits
Section intitulée « Les deux prochains changements : une nouvelle région et de nouveaux produits »Omar prévoit une nouvelle région francophone. Sur les appels de test, Whisper small fait 15,1 % d’erreurs en français, contre 3,1 % en anglais. Davantage d’appels en français font monter la moyenne, donc surveillez le WER par langue, pas seulement le total.
La région apporte aussi quatre nouveaux produits. Whisper small a manqué 41 des 60 noms de produits sur les appels de test. Avec le vocabulaire de Larkfield dans sa requête (prompt), il n’en a manqué que 10. Un nom de produit absent de la requête revient au premier cas. Un nouveau produit est donc un changement du système : ajoutez-le à la requête de vocabulaire dès sa mise en vente. Surveillez ensuite la fréquence à laquelle les fiches d’appel nomment un produit inconnu. Le cours n’a pas créé ce compte.
Résultats du SVI : les compter chaque jour
Section intitulée « Résultats du SVI : les compter chaque jour »Le SVI écrit une fiche d’appel pour chaque appel, donc compter ses résultats ne coûte rien. Sur ses 60 appels de test enregistrés, le SVI a retenu 35 % des appels. Il en a envoyé 63 % à une personne et n’a choisi aucune mauvaise intention. Chaque transfert à une personne coûte environ 4 $ US en temps d’agent, et chaque abandon environ 8 $ US (hypothèses).
Les abandons ne peuvent pas être mesurés dans la réexécution. Les appelants enregistrés ne raccrochent jamais, peu importe ce que fait le SVI. Sur la vraie ligne, comptez-les chaque jour : leur hausse indique souvent en premier qu’un message cause de la confusion.
Les tranches d’appels au SVI sont petites. Le même SVI a retenu 25 % des 36 appels de test sur ligne fixe. Il a retenu 50 % des 12 appels sur ligne fixe de l’ensemble caché. Les appels cachés ont été exécutés une seule fois, avec une version antérieure du SVI. Le SVI a donc aussi changé un peu. Mais avec si peu d’appels, les tranches varient beaucoup.
Sous-titres et accessibilité
Section intitulée « Sous-titres et accessibilité »Les transcriptions aident d’autres personnes que l’équipe de Grace. Un client sourd ou malentendant peut préférer un compte rendu écrit de l’appel et des sous-titres en direct pendant un appel vidéo. Certains appelants ne peuvent pas du tout utiliser un menu vocal. Le SVI conserve donc le clavier pour chaque choix. Une option textuelle, comme un lien envoyé par SMS, offre un autre accès.
Si Larkfield offre des sous-titres ou des comptes rendus écrits, il faut aussi surveiller leur qualité. Ajoutez les appels avec sous-titres à l’échantillon de révision et mesurez le WER de cette tranche. Le cours n’a pas créé de sous-titres.
Pratique guidée : lire les tranches
Section intitulée « Pratique guidée : lire les tranches »Le projet contient déjà les commandes. speech score évalue les transcriptions enregistrées par tranche, et speech ivr replay compte les résultats du SVI par tranche.
-
Ouvrez un terminal dans votre dossier de projet
larkspeechet activez.venv. -
Évaluez les transcriptions enregistrées de Whisper small pour les appels de test, par ligne :
Fenêtre de terminal speech score --method whisper-small --by linewhisper-small, test calls, phone audio, normalisation fullslice calls words WER CER order nos wrong products wronglandline 43 5298 8.6% 4.0% 7 of 38 31 of 43mobile 10 1207 5.9% 3.1% 0 of 8 5 of 10voip_g726 7 829 12.2% 7.1% 1 of 6 5 of 7 -
Réexécutez les 60 appels de test du SVI, avec les résultats par ligne. Cela prend environ 1,5 minute :
Fenêtre de terminal speech ivr replay --by lineLes premières lignes de la sortie sur l’ordinateur du cours :
IVR replay: 60 recorded test calls, Whisper base, end of turn 0.8 sline calls passed contained wrong intent to a person s to answerlandline 36 23 25% 0% 72% 51.2mobile 11 7 45% 0% 55% 54.3voip_g726 13 9 54% 0% 46% 50.2Une liste des appels échoués suit. Vos nombres peuvent différer légèrement. Whisper sur 4 fils d’exécution du processeur n’écrit pas exactement le même texte chaque fois. Une mauvaise intention ou une seconde peut donc changer. Les colonnes des appels réussis et retenus sont restées les mêmes pendant nos exécutions.
La ligne G.726 a le pire WER à l’étape 2 et la meilleure rétention à l’étape 3. Comment les deux peuvent-ils être vrais? Regardez les types d’appels sur chaque ligne. Sur la ligne fixe, 15 des 36 appels de test doivent se terminer avec une personne. Ce sont des retours, des appelants silencieux, des appelants qui appuient sur 0 ou demandent une personne, et des appelants dont la demande n’est pas claire. Sur la ligne G.726, seulement 2 appels sur 13 sont de ces types. La rétention de la ligne fixe est donc faible pour des raisons sans rapport avec la ligne. Une tranche contient plusieurs types d’appels, et leur composition peut expliquer la différence.
À vous : la même ligne, d’autres appels
Section intitulée « À vous : la même ligne, d’autres appels »Évaluez les mêmes transcriptions enregistrées sur les appels de validation, par ligne. Avant d’exécuter la commande, prédisez : la ligne G.726 est-elle encore la pire?
Afficher la réponse
speech score --method whisper-small --by line --split validationwhisper-small, validation calls, phone audio, normalisation fullslice calls words WER CER order nos wrong products wronglandline 27 3258 6.7% 3.5% 4 of 20 16 of 27mobile 14 1641 8.0% 5.3% 1 of 11 7 of 14voip_g726 9 1086 7.4% 3.7% 0 of 7 5 of 9Non. Sur les appels de validation, la ligne G.726 obtient 7,4 %, mieux que la ligne mobile. Même modèle, même ligne, autres appels : 12,2 % sur 7 appels de test, 7,4 % sur 9 appels de validation. Avec si peu d’appels, un ou deux appels difficiles déterminent le nombre, et la composition des langues compte encore davantage. La plupart des appels de test VoIP sont en français. En anglais seulement, les trois lignes diffèrent de moins de 1 point (la leçon Accents, bruit et deux langues). Avant d’agir sur une tranche, comptez ses appels et regroupez plusieurs semaines quand elle est petite.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
Une alarme sur le nombre d'une seule semaine
Symptôme : le WER de l’échantillon hebdomadaire passe de 7,6 % à 10,5 %. L’équipe annule le dernier changement, et rien ne s’améliore.
Cause : avec 30 appels, le WER de l’échantillon varie entre environ 6 % et 10 % par hasard. Dans l’exemple construit, un tel saut s’est produit à la semaine 1, avant tout changement.
Correction : tracez l’intervalle normal pour la taille de votre échantillon. Agissez après deux ou trois semaines consécutives hors de cet intervalle, ou après un changement dans les entrées. Révisez ensuite davantage d’appels de la tranche qui a changé.
Erreur courante
Des journaux qui deviennent une fuite de données privées
Symptôme : pour déboguer le SVI, l’équipe consigne chaque tour de parole reconnu et chaque touche pressée. Les journaux (logs) contiennent maintenant des numéros de commande, des noms et peut-être des chiffres de cartes, conservés pendant des années.
Cause : les données de suivi sont aussi des données. Elles exigent les mêmes règles que les enregistrements des deux dernières leçons.
Correction : consignez les comptes, les identifiants d’appel et les états; gardez le texte seulement dans l’échantillon de révision, après caviardage. Le cours MLOps et LLMOps : exploiter l’IA en production explique comment dans Une observabilité qui respecte la vie privée.
Quand utiliser chaque signal
Section intitulée « Quand utiliser chaque signal »- Chaque jour : la composition des lignes, des langues et des durées d’appel; la rétention, les transferts à une personne, les abandons et les temps d’attente. Gratuits, rapides, et premiers signes de dérive.
- Chaque semaine : un échantillon révisé d’environ 30 appels, avec le WER par tranche sur plusieurs semaines. Davantage d’appels d’une tranche qui vient de changer.
- Avant un changement : un nouveau fournisseur, une nouvelle région ou un nouveau produit. Testez d’abord un échantillon des nouveaux appels, comme dans Accents, bruit et deux langues.
- Chaque mois : le coût par heure d’audio et par appel au SVI, comme dans Par lots et en continu. Le cours MLOps et LLMOps : exploiter l’IA en production relie la qualité et le coût dans Qualité et coûts.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
L'échantillon hebdomadaire de 30 appels avait un WER de 7,4 % la semaine dernière et de 10,4 % cette semaine. Grace demande : « Le modèle s'est-il dégradé? » Que répondez-vous, et que vérifiez-vous d'abord?
Afficher la réponse
Pas nécessairement. Sur les appels synthétiques de Larkfield, 90 % des échantillons de 30 appels se situent entre environ 5,9 % et 10,4 %, sans aucun changement. Le résultat de 10,4 % est donc tout en haut de l’intervalle normal. Vérifiez d’abord les entrées : elles sont gratuites et comptées pour chaque appel. La répartition des lignes, des langues ou des produits a-t-elle changé? Examinez ensuite le WER par tranche, sur plus d’une semaine. Si une tranche a changé, révisez davantage d’appels de cette tranche.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Sur les appels de test, la ligne G.726 a le pire WER (12,2 %) et la meilleure rétention du SVI (54 %). Tomás conclut que la ligne G.726 convient bien au SVI. Quel est le problème?
Afficher la réponse
Les tranches contiennent des types d’appels différents. Sur la ligne fixe, 15 des 36 appels de test du SVI doivent se terminer avec une personne. Sur la ligne G.726, c’est seulement 2 sur 13. La rétention de la ligne fixe est donc faible pour des raisons qui n’ont rien à voir avec la ligne. Les tranches sont aussi petites : 13 appels du SVI sur G.726, et seulement 7 appels de test pour le WER. Sur les 9 appels de validation, ce WER baisse à 7,4 %. Comparez des éléments comparables : le même type d’appel sur chaque ligne, et davantage d’appels.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : exécutez speech score --method whisper-small --by language. Quelle tranche devrait préoccuper la nouvelle région francophone d'Omar? Pourquoi le WER total augmente-t-il même si le modèle ne change pas?
Afficher la réponse
La sortie indique 3,1 % pour l’anglais (34 appels) et 15,1 % pour le français (26 appels). La tranche française fait presque cinq fois plus d’erreurs. Le WER total combine les tranches, pondérées par leur nombre de mots. Si la nouvelle région apporte davantage d’appels en français, la tranche française pèse davantage. Le total augmente alors, même si le modèle reste le même. Surveillez chaque jour le WER par langue et la proportion d’appels en français.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Surveillez à trois rythmes. Chaque jour, sans frais : les entrées (lignes, langues, durée) et les résultats du SVI (rétention, transferts à une personne, abandons, attente). Chaque semaine : un échantillon révisé avec le WER par tranche. Chaque mois : le coût.
- Un échantillon varie sous l’effet du hasard. Avec 30 appels synthétiques de Larkfield révisés pour Whisper small, 90 % des WER hebdomadaires se situent entre environ 5,9 % et 10,4 %.
- La dérive vient d’une nouvelle ligne téléphonique, d’une nouvelle région et de nouveaux noms de produits. Dans l’exemple construit, un nouveau fournisseur a fait passer le WER attendu de 8,0 % à 8,8 %. Le bruit masquait ce changement, mais les décomptes des entrées le montraient clairement.
- Les petites tranches fluctuent : la ligne G.726 avait un WER de 12,2 % sur 7 appels de test et de 7,4 % sur 9 appels de validation.
- Les sous-titres et les comptes rendus écrits aident les appelants qui ne peuvent pas utiliser une ligne vocale. Incluez-les aussi dans l’échantillon de révision.
Vous avez construit et exploité tout le système, en sécurité. Vous êtes passé de l’audio comme données à une ligne téléphonique qui répond seule. Les études de cas mettent maintenant ces méthodes à l’épreuve sur des enregistrements réels. La première choisit un système de reconnaissance pour deux langues.
Leçon suivante : Choisir un système de reconnaissance pour deux langues