Aider le modèle avec vos mots
- Leçon 13
- 35 min
- Module 4 : Reconnaissance de la parole : comparer les familles
Où nous en sommes
Nos systèmes de reconnaissance font sans cesse les mêmes erreurs : les noms de produits et les numéros de commande. Ils ne connaissent pas les mots de Larkfield. Dans cette leçon, nous donnons notre vocabulaire au modèle et corrigeons les numéros de commande prononcés avec des règles. Pensez d'abord à votre façon d'aider une nouvelle collègue à son premier jour.
Leçon 13 sur 36 · IA de la parole : transcrire, comprendre et parlerAider le modèle avec vos mots
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Faites écrire au système de reconnaissance les mots propres à Larkfield : ses noms de produits et ses numéros de commande. Un nom de produit erroné fait échouer une recherche. Un numéro de commande erroné donne à l’appelant la commande de quelqu’un d’autre.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter mesure l’effet de la requête de vocabulaire sur les transcriptions enregistrées de Whisper base et small. Il trouve aussi les appels où elle nuit. Ensuite, vous écrivez la règle du chiffre de contrôle et comptez quelle vérification détecte chaque numéro de commande erroné. Il télécharge seulement de petits fichiers texte et n’exécute aucun modèle. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Comment le décodeur de Whisper écrit ce qui est probable, dans Du son au texte.
- Les mots importants (numéros de commande, noms de produits, dates, négations), dans Compter les mots importants séparément, dans Les erreurs qui comptent.
Ce qu’il vous faut
- Votre dossier
larkspeechavec la commandetranscribe, de Les tailles de Whisper sur un portable, et le dossier des exercicesnextia-learning-labsà côté. - Les modèles Whisper base et small, téléchargés dans cette leçon.
- Testé sur macOS (Apple M4) avec Python 3.12. Les commandes Windows sont fournies, mais elles n’ont pas été exécutées.
Aider une nouvelle collègue à son premier jour
Section intitulée « Aider une nouvelle collègue à son premier jour »Une nouvelle agente commence au centre d’assistance de Larkfield. Avant son premier appel, sa cheffe d’équipe lui donne une fiche avec les mots de Larkfield : « Nous vendons le Grow Hub, la Solara lantern, le Cedar raised bed… Les numéros de commande ont six chiffres. » Elle n’a rien appris de nouveau sur l’anglais. Mais maintenant, quand un appelant dit « my Fern wall planter », elle connaît ce nom et l’écrit correctement.
La cheffe d’équipe lui dit aussi : « Relisez le numéro de commande à l’appelant et saisissez-le dans le système de commandes. Si le système ne le connaît pas, demandez-le à nouveau. » Cette deuxième règle n’améliore pas son écoute. Elle attrape ses erreurs avant qu’elles ne coûtent quoi que ce soit.
Cette leçon fait les deux mêmes choses pour un système de reconnaissance : lui donner une fiche des mots de Larkfield avant l’écoute et vérifier ses numéros après l’écoute.
Le problème : les mêmes mots, toujours erronés
Section intitulée « Le problème : les mêmes mots, toujours erronés »Dans les dernières leçons, les mêmes erreurs revenaient sur de nombreux appels. Sur les 60 appels de test, Whisper small a manqué 41 des 60 noms de produits et 8 des 52 numéros de commande. Son taux d’erreur sur les mots (WER) global n’est que de 8,6 %. Ces quelques mots comptent plus que tous les autres : un nom de produit indique à Larkfield le sujet de l’appel. Un numéro de commande donne accès à la commande.
Regardez le cas d’un appelant. Dans l’appel C-0077, il pose une question sur son Aqua Mist sprinkler (un arroseur) :
Transcription. Appelant : « Hello there. I’m excited to get started with my Aqua Mist sprinkler, but it hasn’t arrived yet. Could you check where it’s up to? »
Whisper base a écrit « my aqua-miss sprinkler ». Le son est clair. Le modèle ne connaît simplement pas le nom, alors il a écrit une orthographe probable.
Idée 1 : indiquer la langue au modèle
Section intitulée « Idée 1 : indiquer la langue au modèle »L’aide la plus simple est le réglage de langue. Whisper peut détecter la langue à partir des 30 premières secondes d’un appel, ou vous pouvez la lui indiquer. Sur les appels de test, Whisper small a trouvé la bonne langue pour les 60 appels. Son WER était de 8,7 %, contre 8,6 % quand la langue était indiquée. Sur les appels de Larkfield, qui restent dans une seule langue, ce réglage change donc peu de choses.
Il compte tout de même pour deux raisons. D’abord, le serveur vocal interactif (SVI, IVR) du module 7 entend seulement quelques mots à la fois, comme « oui ». Quelques mots ne suffisent pas pour détecter une langue. Ensuite, une mauvaise langue donne une transcription dans la mauvaise langue, et tous ses mots comptent comme des erreurs. Si vous connaissez la langue grâce au choix de l’appelant ou au numéro composé, indiquez-la au modèle.
Idée 2 : une requête avec les mots de Larkfield
Section intitulée « Idée 2 : une requête avec les mots de Larkfield »Le décodeur de Whisper écrit chaque jeton (token) après avoir examiné les jetons précédents. Normalement, ces « jetons précédents » sont seulement les mots de l’appel. Une requête initiale (initial prompt) est un texte que vous placez devant, comme si le modèle venait de l’écrire. Le décodeur s’attend alors à des mots semblables à ceux de la requête.
Le projet du cours contient une requête par langue, dans larkspeech/asr.py :
VOCABULARY_PROMPT = { "en": "Larkfield help desk. Grow Hub, Solara lantern, Cedar raised bed, Terracotta Trio, Mistral fan, " "Willow hammock, Ember fire pit, Aqua Mist sprinkler, Fern wall planter, Harbor bench, Pebble path lights, " "Juniper compost bin. Order 742158.", ...}Elle nomme le magasin, énumère les 12 produits et montre un numéro de commande écrit en chiffres. L’option --prompt de speech transcribe la transmet à Whisper.
D’autres outils présentent la même idée sous d’autres formes. Les services hébergés acceptent souvent une liste d’expressions (une liste de mots à privilégier). Vosk peut accepter une liste des seules expressions qu’il peut écrire. faster-whisper propose aussi une option hotwords (mots à privilégier), que ce cours n’a pas évaluée.
L’effet de la requête sur les appels de test
Section intitulée « L’effet de la requête sur les appels de test »Description textuelle du diagramme
À gauche : les noms de produits manqués, sur 60. Sans la requête, base en a manqué 43 et small, 41. Avec la requête, base en a manqué 18 et small, 10. À droite : le WER global. Pour small, il a baissé de 8,6 % à 6,8 %. Pour base, il a augmenté, de 13,7 % à 15,2 %. La requête a corrigé des noms pour les deux tailles, mais elle a nui au plus petit modèle dans l’ensemble.
Pour Whisper small, la requête apporte un gain clair : les noms de produits manqués passent de 41 à 10. Le WER baisse aussi de 8,6 % à 6,8 %. Pour Whisper base, les noms de produits s’améliorent aussi (43 à 18), mais le WER augmente. Sur les appels en anglais, base est passé de 5,2 % à 8,5 %. Une requête peut nuire à un petit modèle.
Pourquoi la requête a nui à Whisper base
Section intitulée « Pourquoi la requête a nui à Whisper base »Le WER combine trois types d’erreurs. Comptez-les séparément sur les 34 appels en anglais :
| Whisper base, appels en anglais | Substitutions | Suppressions | Insertions |
|---|---|---|---|
| Sans la requête | 132 | 17 | 58 |
| Avec la requête | 90 | 197 | 52 |
Les substitutions ont diminué : plus de noms sont corrects. Mais les suppressions ont été multipliées par plus de dix. Avec la requête, base a sauté des passages entiers de certains appels. L’appel C-0077 le montre :
Description textuelle du diagramme
L’appel compte neuf tours de parole : ceux de l’agent ont des contours bleus, ceux de l’appelant, orange. Sans la requête, Whisper base a écrit des mots pour chaque tour. Avec la requête, il a supprimé 26 des 27 mots du tour 2 : la question de l’appelant sur l’Aqua Mist sprinkler. Il a aussi supprimé tout le tour 3 (l’agent demande le numéro de commande) et tout le tour 4 (l’appelant dit « 613828 »). Ensuite, il a supprimé 6 des 19 mots du tour 5. La transcription passe de « How can I help you today? » (comment puis-je vous aider aujourd’hui?) à « It’s shipped on the 6th of June. » (la commande a été expédiée le 6 juin).
La requête a corrigé le nom du produit, mais a perdu toute la question, et le numéro de commande avec elle. Un petit modèle peut traiter la requête comme du texte déjà écrit et sauter des passages. Mesurez toujours l’effet d’une requête sur la taille que vous utiliserez, et comptez les suppressions séparément.
Idée 3 : des règles pour les numéros de commande après la reconnaissance
Section intitulée « Idée 3 : des règles pour les numéros de commande après la reconnaissance »Une requête aide le modèle à mieux entendre. Elle ne peut pas garantir un numéro correct. La deuxième idée intervient après la reconnaissance : écrire le numéro en chiffres, puis le vérifier avant que Larkfield l’utilise.
Des mots prononcés aux chiffres
Section intitulée « Des mots prononcés aux chiffres »Le guide de normalisation du module 2 convertit déjà les nombres prononcés en chiffres : « thirty-eight, forty-five, twenty-nine » devient 384529. Le mot « oh » entre des chiffres devient 0. Le nouveau fichier larkspeech/numbers.py l’utilise pour trouver le numéro de commande dans les mots d’un appelant :
def find_order_number(text, language="en", length=6): """(number, problem): the 6-digit order number in a caller's words, or a reason why there is none.""" runs = digits_in(text, language) if not runs: return None, "no digits" best = max(runs, key=len) if len(best) < length: return best, "too short" if len(best) > length: return best, "too long" if not luhn_ok(best): return best, "check digit wrong" return best, NoneIl renvoie le numéro et un problème, ou None (aucun) s’il n’y a pas de problème.
Un chiffre de contrôle : un petit exemple détaillé
Section intitulée « Un chiffre de contrôle : un petit exemple détaillé »Les numéros de commande de Larkfield ont un chiffre de contrôle : le dernier chiffre est calculé à partir des cinq autres. Ce calcul suit la règle de Luhn, aussi utilisée pour les cartes bancaires. La plupart des erreurs de saisie ou d’écoute donnent donc un numéro dont le dernier chiffre ne correspond pas.
La règle : partez de la droite. Gardez le 1er chiffre, doublez le 2e, gardez le 3e, doublez le 4e, et ainsi de suite. Si un chiffre doublé dépasse 9, soustrayez 9. Additionnez le tout. Le numéro est valide si le total se termine par 0. Voici la commande 742155 :
| Chiffre (de gauche à droite) | 7 | 4 | 2 | 1 | 5 | 5 |
|---|---|---|---|---|---|---|
| Doublé? (un sur deux à partir de la droite) | oui | non | oui | non | oui | non |
| Valeur | 7 × 2 = 14 → 14 − 9 = 5 | 4 | 2 × 2 = 4 | 1 | 5 × 2 = 10 → 10 − 9 = 1 | 5 |
Total : 5 + 4 + 4 + 1 + 1 + 5 = 20. Il se termine par 0, donc 742155 est valide. Si le 1 de l’appelant est entendu comme un 7 (742755), le total change de 6 et la vérification échoue. Si deux chiffres voisins sont inversés (472155), le total change aussi.
Trois vérifications avant que Larkfield agisse
Section intitulée « Trois vérifications avant que Larkfield agisse »Description textuelle du diagramme
Les mots de l’appelant « thirty-eight, forty-five, twenty-nine » sont normalisés en 384529. Le numéro passe ensuite par trois questions successives. A-t-il 6 chiffres? Son chiffre de contrôle est-il correct? Est-il dans le système de commandes? Si les trois réponses sont oui, le SVI le relit : « Commande 3 8 4 5 2 9, est-ce correct? » Si une réponse est non, il demande à nouveau autrement, par exemple « saisissez le numéro sur votre clavier ».
Ces vérifications fonctionnent-elles bien sur de vraies transcriptions? Pour chaque appel de test dont un système de reconnaissance a manqué le numéro de commande, nous avons examiné les suites de chiffres écrites à la place. Nous avons aussi relevé la vérification qui bloque chacune :
| Système de reconnaissance | Numéros de commande manqués (sur 52) | Bloqués par la longueur | Bloqués par le chiffre de contrôle | Aucun chiffre | Numéro erroné qui passe les trois vérifications |
|---|---|---|---|---|---|
| Whisper tiny | 20 | 18 | 1 | 1 | 0 |
| Whisper base | 13 | 10 | 2 | 1 | 0 |
| Whisper small | 8 | 7 | 0 | 1 | 0 |
| Vosk small | 35 | 22 | 2 | 11 | 0 |
Sur ces appels, aucun numéro de commande erroné n’a passé les trois vérifications. Dans la plupart des erreurs, il manque un chiffre : Whisper small a écrit « 26026 » pour 260026. L’appelant avait dit « two six zero zero two six » (deux six zéro zéro deux six). La vérification de longueur les bloque. Les vérifications ne corrigent pas un numéro. Elles indiquent au SVI de demander à nouveau. Cela coûte quelques secondes plutôt qu’une mauvaise commande.
Le SVI de Larkfield : une requête différente pour chaque question
Section intitulée « Le SVI de Larkfield : une requête différente pour chaque question »La ligne téléphonique du module 7 entend des réponses courtes : une langue, un choix de menu, un numéro de commande, « oui » ou « non ». La première version utilisait la requête de vocabulaire pour chaque question, et elle échouait à la question sur la langue. Les appelants qui disaient « Français » obtenaient des mots comme « Forfeit » et « Enbush ».
La solution était une courte requête pour chaque état du dialogue, une petite grammaire des réponses attendues : « English. Français. » pour la question de la langue, les expressions du menu pour le menu, un exemple de numéro pour la question du numéro de commande, et « Yes. No. » pour une confirmation. Le SVI a ensuite utilisé ces requêtes et deux mots du menu français. Sur ses 60 appels de test enregistrés, la part des appels terminés sans transfert à une personne est passée de 28 % à 35 %. Le module 7 le construit.
Exercice guidé : la requête et les règles sur votre ordinateur
Section intitulée « Exercice guidé : la requête et les règles sur votre ordinateur »-
Dans votre dossier
larkspeech, avec l’environnement actif, copiez les règles des numéros de commande et leurs tests depuis l’instantanéend-of-m04.macOS et Linux :
Fenêtre de terminal cp ../nextia-learning-labs/C41/snapshots/end-of-m04/larkspeech/numbers.py larkspeech/cp ../nextia-learning-labs/C41/snapshots/end-of-m04/tests/test_numbers.py tests/Windows PowerShell :
Fenêtre de terminal Copy-Item ..\nextia-learning-labs\C41\snapshots\end-of-m04\larkspeech\numbers.py larkspeech\Copy-Item ..\nextia-learning-labs\C41\snapshots\end-of-m04\tests\test_numbers.py tests\Votre projet est maintenant identique à l’instantané
end-of-m04, sauf son README. -
Exécutez les tests :
Fenêtre de terminal python -m pytest -q..................... [100%]21 passed in 0.61s -
Essayez les règles sur trois phrases possibles d’un appelant et sur les mots de Vosk pour l’appel C-0288, dans la première leçon de ce module :
Fenêtre de terminal python -c "from larkspeech.numbers import find_order_number as f; print(f(\"Yes, it's thirty-eight, forty-five, twenty-nine.\")); print(f('Sure. The order number is 26026.')); print(f('it is 384592')); print(f('yes has to six there sarah to sick'))"('384529', None)('26026', 'too short')('384592', 'check digit wrong')('6', 'too short')Dans les mots de Vosk, seul « six » est un chiffre. La vérification de la longueur les arrête donc.
Dans PowerShell, faites attention aux guillemets dans le code Python : si la commande échoue, placez les quatre lignes dans un fichier
try_numbers.pyet exécutezpython try_numbers.py. -
Exécutez Whisper base sur les 10 premiers appels de test en anglais, sans et avec la requête :
Fenêtre de terminal speech transcribe --model base --language en --limit 10speech transcribe --model base --language en --limit 10 --promptwhisper-base on 10 test calls (phone): WER 6.1%, CER 3.4%, order numbers wrong 1 of 10, real-time factor 0.029Wrote outputs/transcripts-whisper-base.jsonlwhisper-base-prompt on 10 test calls (phone): WER 9.0%, CER 7.3%, order numbers wrong 1 of 10, real-time factor 0.025Wrote outputs/transcripts-whisper-base-prompt.jsonlVos facteurs temps réel seront différents, et un mot ou deux pourraient changer.
À vous de jouer : la requête avec Whisper small
Section intitulée « À vous de jouer : la requête avec Whisper small »Faites une prédiction : sur les mêmes 10 appels en anglais, la requête aide-t-elle Whisper small? Exécutez ensuite les deux commandes avec --model small.
Vérifiez votre réponse
whisper-small on 10 test calls (phone): WER 3.7%, CER 1.9%, order numbers wrong 0 of 10, real-time factor 0.068Wrote outputs/transcripts-whisper-small.jsonlwhisper-small-prompt on 10 test calls (phone): WER 2.6%, CER 1.4%, order numbers wrong 0 of 10, real-time factor 0.074Wrote outputs/transcripts-whisper-small-prompt.jsonlSur ces 10 appels, la requête aide un peu Whisper small : le WER passe de 3,7 % à 2,6 %. Aucun numéro de commande n’est perdu. Sur les 34 appels de test en anglais, les exécutions enregistrées donnent 3,1 % et 2,6 %. Mais le nombre de numéros de commande manqués passe de 2 à 4 sur 28. Une requête peut améliorer ou aggraver la reconnaissance des mots importants : comptez chaque type séparément.
Erreur courante
Une requête qui aide les mots examinés et nuit au reste
Symptôme : Amira ajoute la requête de vocabulaire à Whisper base, parce que base est rapide. Elle vérifie dix noms de produits : presque tous sont maintenant corrects. Elle le met en production. Une semaine plus tard, Grace trouve des fiches d’appel sans numéro de commande ni motif d’appel.
Cause : la requête a fait sauter à base des passages entiers de certains appels. Sur les appels de test en anglais, ses suppressions sont passées de 17 à 197. Les numéros de commande manqués sont passés de 1 à 2. Amira a mesuré seulement les mots que la requête devait corriger.
Correction : mesurez chaque changement sur toutes les données de test. Utilisez le WER global, les suppressions et chaque type de mot important. Gardez la requête seulement là où elle améliore les résultats, ici avec Whisper small.
Conséquence pour le travail en IA : toute correction visant un type d’erreur peut en créer un autre. Des données de test qui comptent séparément toutes les erreurs importantes permettent de le détecter.
Vérifiez votre compréhension
384529 est-il un numéro de commande Larkfield valide? Montrez les étapes de Luhn.
Afficher la réponse
En partant de la droite : 9 (garder), 2 → 4, 5 (garder), 4 → 8, 8 (garder), 3 → 6. Total : 9 + 4 + 5 + 8 + 8 + 6 = 40. Il se termine par 0, donc 384529 est valide. En inversant les deux derniers chiffres (384592), le total est 2 + 18 − 9 + 5 + 8 + 8 + 6 = 38. La vérification échoue.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La requête de vocabulaire a réduit les noms de produits manqués par Whisper small de 41 à 10. Mais elle a fait passer le WER de Whisper base de 13,7 % à 15,2 %. Qu'est-il arrivé à base, et comment l'avons-nous découvert?
Afficher la réponse
Avec la requête, base a sauté des passages entiers de certains appels. Sur les appels en anglais, ses suppressions sont passées de 17 à 197, tandis que ses substitutions ont diminué. Nous l’avons découvert en comptant séparément les substitutions, les suppressions et les insertions. Nous avons aussi examiné un appel (C-0077), où la question de l’appelant et le numéro de commande avaient disparu. Évaluez une requête avec la taille de modèle que vous utiliserez.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Whisper a écrit « 26026 » pour la commande 260026. Quelle vérification bloque ce numéro, et que doit faire le SVI ensuite?
Afficher la réponse
La vérification de longueur : il contient 5 chiffres, pas 6. La vérification ne corrige pas le numéro. Le SVI doit le demander à nouveau, autrement. Par exemple : « Veuillez saisir votre numéro de commande sur le clavier ». Il peut aussi relire ce qu’il a entendu et demander à l’appelant de le corriger. Il ne doit ni rechercher ni utiliser un numéro qui a échoué à une vérification.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Indiquez la langue au modèle quand vous la connaissez. Pour Larkfield, la détection était correcte sur les 60 appels de test. Mais les réponses courtes sont trop brèves pour détecter la langue.
- Une requête initiale contenant les mots de Larkfield a réduit les noms de produits manqués par Whisper small de 41 à 10. Son WER est passé de 8,6 % à 6,8 %.
- La même requête a nui à Whisper base : son WER est passé de 13,7 % à 15,2 %. Il sautait des passages entiers d’appels. Évaluez une requête avec votre taille de modèle et comptez les suppressions séparément.
- Après la reconnaissance, convertissez les nombres dits à voix haute en chiffres. Vérifiez ensuite la longueur, le chiffre de contrôle (Luhn) et le système de commandes. Sur les appels de test, aucun numéro de commande incorrect n’a réussi les trois vérifications.
- Le SVI utilise une courte requête pour chaque question, comme « English. Français. », plutôt qu’un seul grand vocabulaire.
Vous pouvez maintenant aider le modèle avec les mots de Larkfield et détecter les numéros incorrects. Mais les appelants de Larkfield parlent aussi français, changent de langue et appellent depuis des rues bruyantes. Vous verrez ensuite comment chaque système de reconnaissance traite deux langues, un changement de langue et le bruit.
Leçon suivante : Accents, bruit et deux langues