Aller au contenu
English

Aider le modèle avec vos mots

  • Leçon 13
  • 35 min
  • Module 4 : Reconnaissance de la parole : comparer les familles

Où nous en sommes

Nos systèmes de reconnaissance font sans cesse les mêmes erreurs : les noms de produits et les numéros de commande. Ils ne connaissent pas les mots de Larkfield. Dans cette leçon, nous donnons notre vocabulaire au modèle et corrigeons les numéros de commande prononcés avec des règles. Pensez d'abord à votre façon d'aider une nouvelle collègue à son premier jour.

Leçon 13 sur 36 · IA de la parole : transcrire, comprendre et parlerAider le modèle avec vos mots
Aperçu du cours

Ce que vous saurez faire

Faites écrire au système de reconnaissance les mots propres à Larkfield : ses noms de produits et ses numéros de commande. Un nom de produit erroné fait échouer une recherche. Un numéro de commande erroné donne à l’appelant la commande de quelqu’un d’autre.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter mesure l’effet de la requête de vocabulaire sur les transcriptions enregistrées de Whisper base et small. Il trouve aussi les appels où elle nuit. Ensuite, vous écrivez la règle du chiffre de contrôle et comptez quelle vérification détecte chaque numéro de commande erroné. Il télécharge seulement de petits fichiers texte et n’exécute aucun modèle. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut

  • Votre dossier larkspeech avec la commande transcribe, de Les tailles de Whisper sur un portable, et le dossier des exercices nextia-learning-labs à côté.
  • Les modèles Whisper base et small, téléchargés dans cette leçon.
  • Testé sur macOS (Apple M4) avec Python 3.12. Les commandes Windows sont fournies, mais elles n’ont pas été exécutées.

Une nouvelle agente commence au centre d’assistance de Larkfield. Avant son premier appel, sa cheffe d’équipe lui donne une fiche avec les mots de Larkfield : « Nous vendons le Grow Hub, la Solara lantern, le Cedar raised bed… Les numéros de commande ont six chiffres. » Elle n’a rien appris de nouveau sur l’anglais. Mais maintenant, quand un appelant dit « my Fern wall planter », elle connaît ce nom et l’écrit correctement.

La cheffe d’équipe lui dit aussi : « Relisez le numéro de commande à l’appelant et saisissez-le dans le système de commandes. Si le système ne le connaît pas, demandez-le à nouveau. » Cette deuxième règle n’améliore pas son écoute. Elle attrape ses erreurs avant qu’elles ne coûtent quoi que ce soit.

Cette leçon fait les deux mêmes choses pour un système de reconnaissance : lui donner une fiche des mots de Larkfield avant l’écoute et vérifier ses numéros après l’écoute.

Dans les dernières leçons, les mêmes erreurs revenaient sur de nombreux appels. Sur les 60 appels de test, Whisper small a manqué 41 des 60 noms de produits et 8 des 52 numéros de commande. Son taux d’erreur sur les mots (WER) global n’est que de 8,6 %. Ces quelques mots comptent plus que tous les autres : un nom de produit indique à Larkfield le sujet de l’appel. Un numéro de commande donne accès à la commande.

Regardez le cas d’un appelant. Dans l’appel C-0077, il pose une question sur son Aqua Mist sprinkler (un arroseur) :

Appel C-0077, tour de parole 2, sur la ligne téléphonique (un appel mono, donc vous entendez aussi la ligne comme l’agent l’entend). La voix de l’appelant est synthétique : Kokoro (voix bf_alice).

Transcription. Appelant : « Hello there. I’m excited to get started with my Aqua Mist sprinkler, but it hasn’t arrived yet. Could you check where it’s up to? »

Whisper base a écrit « my aqua-miss sprinkler ». Le son est clair. Le modèle ne connaît simplement pas le nom, alors il a écrit une orthographe probable.

L’aide la plus simple est le réglage de langue. Whisper peut détecter la langue à partir des 30 premières secondes d’un appel, ou vous pouvez la lui indiquer. Sur les appels de test, Whisper small a trouvé la bonne langue pour les 60 appels. Son WER était de 8,7 %, contre 8,6 % quand la langue était indiquée. Sur les appels de Larkfield, qui restent dans une seule langue, ce réglage change donc peu de choses.

Il compte tout de même pour deux raisons. D’abord, le serveur vocal interactif (SVI, IVR) du module 7 entend seulement quelques mots à la fois, comme « oui ». Quelques mots ne suffisent pas pour détecter une langue. Ensuite, une mauvaise langue donne une transcription dans la mauvaise langue, et tous ses mots comptent comme des erreurs. Si vous connaissez la langue grâce au choix de l’appelant ou au numéro composé, indiquez-la au modèle.

Le décodeur de Whisper écrit chaque jeton (token) après avoir examiné les jetons précédents. Normalement, ces « jetons précédents » sont seulement les mots de l’appel. Une requête initiale (initial prompt) est un texte que vous placez devant, comme si le modèle venait de l’écrire. Le décodeur s’attend alors à des mots semblables à ceux de la requête.

Le projet du cours contient une requête par langue, dans larkspeech/asr.py :

VOCABULARY_PROMPT = {
"en": "Larkfield help desk. Grow Hub, Solara lantern, Cedar raised bed, Terracotta Trio, Mistral fan, "
"Willow hammock, Ember fire pit, Aqua Mist sprinkler, Fern wall planter, Harbor bench, Pebble path lights, "
"Juniper compost bin. Order 742158.",
...
}

Elle nomme le magasin, énumère les 12 produits et montre un numéro de commande écrit en chiffres. L’option --prompt de speech transcribe la transmet à Whisper.

D’autres outils présentent la même idée sous d’autres formes. Les services hébergés acceptent souvent une liste d’expressions (une liste de mots à privilégier). Vosk peut accepter une liste des seules expressions qu’il peut écrire. faster-whisper propose aussi une option hotwords (mots à privilégier), que ce cours n’a pas évaluée.

Deux graphiques à barres. À gauche : noms de produits manqués, sur 60. Whisper base : 43 sans la requête, 18 avec. Whisper small : 41 sans, 10 avec. À droite : WER sur tous les appels de test, en pourcentage. Whisper base : 13,7 sans, 15,2 avec. Whisper small : 8,6 sans, 6,8 avec.
Whisper base et small sur les 60 appels téléphoniques de test, sans et avec la requête de vocabulaire de Larkfield (transcriptions enregistrées).
Description textuelle du diagramme

À gauche : les noms de produits manqués, sur 60. Sans la requête, base en a manqué 43 et small, 41. Avec la requête, base en a manqué 18 et small, 10. À droite : le WER global. Pour small, il a baissé de 8,6 % à 6,8 %. Pour base, il a augmenté, de 13,7 % à 15,2 %. La requête a corrigé des noms pour les deux tailles, mais elle a nui au plus petit modèle dans l’ensemble.

Pour Whisper small, la requête apporte un gain clair : les noms de produits manqués passent de 41 à 10. Le WER baisse aussi de 8,6 % à 6,8 %. Pour Whisper base, les noms de produits s’améliorent aussi (43 à 18), mais le WER augmente. Sur les appels en anglais, base est passé de 5,2 % à 8,5 %. Une requête peut nuire à un petit modèle.

Le WER combine trois types d’erreurs. Comptez-les séparément sur les 34 appels en anglais :

Whisper base, appels en anglais Substitutions Suppressions Insertions
Sans la requête 132 17 58
Avec la requête 90 197 52

Les substitutions ont diminué : plus de noms sont corrects. Mais les suppressions ont été multipliées par plus de dix. Avec la requête, base a sauté des passages entiers de certains appels. L’appel C-0077 le montre :

Une chronologie de l'appel C-0077, de 0 à 50 secondes, avec neuf tours de parole représentés par des cases. Les contours sont bleus pour l'agent et orange pour l'appelant. Deux rangées. Whisper base sans la requête : aucun rouge dans les tours. Whisper base avec la requête : tour 2 (la question de l'appelant) presque entièrement rouge, tours 3 et 4 entièrement rouges, tour 5 environ au tiers rouge, autres tours sans rouge.
Appel C-0077, tour de parole par tour de parole. Le rouge montre la part des mots de chaque tour que Whisper base n'a pas écrits. Transcriptions enregistrées, sans et avec la requête de vocabulaire.
Description textuelle du diagramme

L’appel compte neuf tours de parole : ceux de l’agent ont des contours bleus, ceux de l’appelant, orange. Sans la requête, Whisper base a écrit des mots pour chaque tour. Avec la requête, il a supprimé 26 des 27 mots du tour 2 : la question de l’appelant sur l’Aqua Mist sprinkler. Il a aussi supprimé tout le tour 3 (l’agent demande le numéro de commande) et tout le tour 4 (l’appelant dit « 613828 »). Ensuite, il a supprimé 6 des 19 mots du tour 5. La transcription passe de « How can I help you today? » (comment puis-je vous aider aujourd’hui?) à « It’s shipped on the 6th of June. » (la commande a été expédiée le 6 juin).

La requête a corrigé le nom du produit, mais a perdu toute la question, et le numéro de commande avec elle. Un petit modèle peut traiter la requête comme du texte déjà écrit et sauter des passages. Mesurez toujours l’effet d’une requête sur la taille que vous utiliserez, et comptez les suppressions séparément.

Idée 3 : des règles pour les numéros de commande après la reconnaissance

Section intitulée « Idée 3 : des règles pour les numéros de commande après la reconnaissance »

Une requête aide le modèle à mieux entendre. Elle ne peut pas garantir un numéro correct. La deuxième idée intervient après la reconnaissance : écrire le numéro en chiffres, puis le vérifier avant que Larkfield l’utilise.

Le guide de normalisation du module 2 convertit déjà les nombres prononcés en chiffres : « thirty-eight, forty-five, twenty-nine » devient 384529. Le mot « oh » entre des chiffres devient 0. Le nouveau fichier larkspeech/numbers.py l’utilise pour trouver le numéro de commande dans les mots d’un appelant :

def find_order_number(text, language="en", length=6):
"""(number, problem): the 6-digit order number in a caller's words, or a reason why there is none."""
runs = digits_in(text, language)
if not runs:
return None, "no digits"
best = max(runs, key=len)
if len(best) < length:
return best, "too short"
if len(best) > length:
return best, "too long"
if not luhn_ok(best):
return best, "check digit wrong"
return best, None

Il renvoie le numéro et un problème, ou None (aucun) s’il n’y a pas de problème.

Un chiffre de contrôle : un petit exemple détaillé

Section intitulée « Un chiffre de contrôle : un petit exemple détaillé »

Les numéros de commande de Larkfield ont un chiffre de contrôle : le dernier chiffre est calculé à partir des cinq autres. Ce calcul suit la règle de Luhn, aussi utilisée pour les cartes bancaires. La plupart des erreurs de saisie ou d’écoute donnent donc un numéro dont le dernier chiffre ne correspond pas.

La règle : partez de la droite. Gardez le 1er chiffre, doublez le 2e, gardez le 3e, doublez le 4e, et ainsi de suite. Si un chiffre doublé dépasse 9, soustrayez 9. Additionnez le tout. Le numéro est valide si le total se termine par 0. Voici la commande 742155 :

Chiffre (de gauche à droite) 7 4 2 1 5 5
Doublé? (un sur deux à partir de la droite) oui non oui non oui non
Valeur 7 × 2 = 14 → 14 − 9 = 5 4 2 × 2 = 4 1 5 × 2 = 10 → 10 − 9 = 1 5

Total : 5 + 4 + 4 + 1 + 1 + 5 = 20. Il se termine par 0, donc 742155 est valide. Si le 1 de l’appelant est entendu comme un 7 (742755), le total change de 6 et la vérification échoue. Si deux chiffres voisins sont inversés (472155), le total change aussi.

Un organigramme. Les mots de l'appelant, thirty-eight, forty-five, twenty-nine, sont normalisés en 384529. Puis trois questions se suivent : 6 chiffres? Chiffre de contrôle correct? Dans le système de commandes? Si toutes les réponses sont oui : relire, commande 3 8 4 5 2 9, est-ce correct? Si une réponse est non : demander à nouveau autrement, saisir le numéro au clavier.
Après la reconnaissance, un numéro de commande passe trois vérifications avant que le SVI l'utilise : longueur, chiffre de contrôle et système de commandes. Tout échec entraîne une nouvelle demande à l'appelant.
Description textuelle du diagramme

Les mots de l’appelant « thirty-eight, forty-five, twenty-nine » sont normalisés en 384529. Le numéro passe ensuite par trois questions successives. A-t-il 6 chiffres? Son chiffre de contrôle est-il correct? Est-il dans le système de commandes? Si les trois réponses sont oui, le SVI le relit : « Commande 3 8 4 5 2 9, est-ce correct? » Si une réponse est non, il demande à nouveau autrement, par exemple « saisissez le numéro sur votre clavier ».

Ces vérifications fonctionnent-elles bien sur de vraies transcriptions? Pour chaque appel de test dont un système de reconnaissance a manqué le numéro de commande, nous avons examiné les suites de chiffres écrites à la place. Nous avons aussi relevé la vérification qui bloque chacune :

Système de reconnaissance Numéros de commande manqués (sur 52) Bloqués par la longueur Bloqués par le chiffre de contrôle Aucun chiffre Numéro erroné qui passe les trois vérifications
Whisper tiny 20 18 1 1 0
Whisper base 13 10 2 1 0
Whisper small 8 7 0 1 0
Vosk small 35 22 2 11 0

Sur ces appels, aucun numéro de commande erroné n’a passé les trois vérifications. Dans la plupart des erreurs, il manque un chiffre : Whisper small a écrit « 26026 » pour 260026. L’appelant avait dit « two six zero zero two six » (deux six zéro zéro deux six). La vérification de longueur les bloque. Les vérifications ne corrigent pas un numéro. Elles indiquent au SVI de demander à nouveau. Cela coûte quelques secondes plutôt qu’une mauvaise commande.

Le SVI de Larkfield : une requête différente pour chaque question

Section intitulée « Le SVI de Larkfield : une requête différente pour chaque question »

La ligne téléphonique du module 7 entend des réponses courtes : une langue, un choix de menu, un numéro de commande, « oui » ou « non ». La première version utilisait la requête de vocabulaire pour chaque question, et elle échouait à la question sur la langue. Les appelants qui disaient « Français » obtenaient des mots comme « Forfeit » et « Enbush ».

La solution était une courte requête pour chaque état du dialogue, une petite grammaire des réponses attendues : « English. Français. » pour la question de la langue, les expressions du menu pour le menu, un exemple de numéro pour la question du numéro de commande, et « Yes. No. » pour une confirmation. Le SVI a ensuite utilisé ces requêtes et deux mots du menu français. Sur ses 60 appels de test enregistrés, la part des appels terminés sans transfert à une personne est passée de 28 % à 35 %. Le module 7 le construit.

Exercice guidé : la requête et les règles sur votre ordinateur

Section intitulée « Exercice guidé : la requête et les règles sur votre ordinateur »
  1. Dans votre dossier larkspeech, avec l’environnement actif, copiez les règles des numéros de commande et leurs tests depuis l’instantané end-of-m04.

    macOS et Linux :

    Fenêtre de terminal
    cp ../nextia-learning-labs/C41/snapshots/end-of-m04/larkspeech/numbers.py larkspeech/
    cp ../nextia-learning-labs/C41/snapshots/end-of-m04/tests/test_numbers.py tests/

    Windows PowerShell :

    Fenêtre de terminal
    Copy-Item ..\nextia-learning-labs\C41\snapshots\end-of-m04\larkspeech\numbers.py larkspeech\
    Copy-Item ..\nextia-learning-labs\C41\snapshots\end-of-m04\tests\test_numbers.py tests\

    Votre projet est maintenant identique à l’instantané end-of-m04, sauf son README.

  2. Exécutez les tests :

    Fenêtre de terminal
    python -m pytest -q
    ..................... [100%]
    21 passed in 0.61s
  3. Essayez les règles sur trois phrases possibles d’un appelant et sur les mots de Vosk pour l’appel C-0288, dans la première leçon de ce module :

    Fenêtre de terminal
    python -c "from larkspeech.numbers import find_order_number as f; print(f(\"Yes, it's thirty-eight, forty-five, twenty-nine.\")); print(f('Sure. The order number is 26026.')); print(f('it is 384592')); print(f('yes has to six there sarah to sick'))"
    ('384529', None)
    ('26026', 'too short')
    ('384592', 'check digit wrong')
    ('6', 'too short')

    Dans les mots de Vosk, seul « six » est un chiffre. La vérification de la longueur les arrête donc.

    Dans PowerShell, faites attention aux guillemets dans le code Python : si la commande échoue, placez les quatre lignes dans un fichier try_numbers.py et exécutez python try_numbers.py.

  4. Exécutez Whisper base sur les 10 premiers appels de test en anglais, sans et avec la requête :

    Fenêtre de terminal
    speech transcribe --model base --language en --limit 10
    speech transcribe --model base --language en --limit 10 --prompt
    whisper-base on 10 test calls (phone): WER 6.1%, CER 3.4%, order numbers wrong 1 of 10, real-time factor 0.029
    Wrote outputs/transcripts-whisper-base.jsonl
    whisper-base-prompt on 10 test calls (phone): WER 9.0%, CER 7.3%, order numbers wrong 1 of 10, real-time factor 0.025
    Wrote outputs/transcripts-whisper-base-prompt.jsonl

    Vos facteurs temps réel seront différents, et un mot ou deux pourraient changer.

Faites une prédiction : sur les mêmes 10 appels en anglais, la requête aide-t-elle Whisper small? Exécutez ensuite les deux commandes avec --model small.

Vérifiez votre réponse
whisper-small on 10 test calls (phone): WER 3.7%, CER 1.9%, order numbers wrong 0 of 10, real-time factor 0.068
Wrote outputs/transcripts-whisper-small.jsonl
whisper-small-prompt on 10 test calls (phone): WER 2.6%, CER 1.4%, order numbers wrong 0 of 10, real-time factor 0.074
Wrote outputs/transcripts-whisper-small-prompt.jsonl

Sur ces 10 appels, la requête aide un peu Whisper small : le WER passe de 3,7 % à 2,6 %. Aucun numéro de commande n’est perdu. Sur les 34 appels de test en anglais, les exécutions enregistrées donnent 3,1 % et 2,6 %. Mais le nombre de numéros de commande manqués passe de 2 à 4 sur 28. Une requête peut améliorer ou aggraver la reconnaissance des mots importants : comptez chaque type séparément.

Erreur courante

Une requête qui aide les mots examinés et nuit au reste

Symptôme : Amira ajoute la requête de vocabulaire à Whisper base, parce que base est rapide. Elle vérifie dix noms de produits : presque tous sont maintenant corrects. Elle le met en production. Une semaine plus tard, Grace trouve des fiches d’appel sans numéro de commande ni motif d’appel.

Cause : la requête a fait sauter à base des passages entiers de certains appels. Sur les appels de test en anglais, ses suppressions sont passées de 17 à 197. Les numéros de commande manqués sont passés de 1 à 2. Amira a mesuré seulement les mots que la requête devait corriger.

Correction : mesurez chaque changement sur toutes les données de test. Utilisez le WER global, les suppressions et chaque type de mot important. Gardez la requête seulement là où elle améliore les résultats, ici avec Whisper small.

Conséquence pour le travail en IA : toute correction visant un type d’erreur peut en créer un autre. Des données de test qui comptent séparément toutes les erreurs importantes permettent de le détecter.

Vérifiez votre compréhension

384529 est-il un numéro de commande Larkfield valide? Montrez les étapes de Luhn.

Afficher la réponse

En partant de la droite : 9 (garder), 2 → 4, 5 (garder), 4 → 8, 8 (garder), 3 → 6. Total : 9 + 4 + 5 + 8 + 8 + 6 = 40. Il se termine par 0, donc 384529 est valide. En inversant les deux derniers chiffres (384592), le total est 2 + 18 − 9 + 5 + 8 + 8 + 6 = 38. La vérification échoue.

Vérifiez votre compréhension

La requête de vocabulaire a réduit les noms de produits manqués par Whisper small de 41 à 10. Mais elle a fait passer le WER de Whisper base de 13,7 % à 15,2 %. Qu'est-il arrivé à base, et comment l'avons-nous découvert?

Afficher la réponse

Avec la requête, base a sauté des passages entiers de certains appels. Sur les appels en anglais, ses suppressions sont passées de 17 à 197, tandis que ses substitutions ont diminué. Nous l’avons découvert en comptant séparément les substitutions, les suppressions et les insertions. Nous avons aussi examiné un appel (C-0077), où la question de l’appelant et le numéro de commande avaient disparu. Évaluez une requête avec la taille de modèle que vous utiliserez.

Vérifiez votre compréhension

Whisper a écrit « 26026 » pour la commande 260026. Quelle vérification bloque ce numéro, et que doit faire le SVI ensuite?

Afficher la réponse

La vérification de longueur : il contient 5 chiffres, pas 6. La vérification ne corrige pas le numéro. Le SVI doit le demander à nouveau, autrement. Par exemple : « Veuillez saisir votre numéro de commande sur le clavier ». Il peut aussi relire ce qu’il a entendu et demander à l’appelant de le corriger. Il ne doit ni rechercher ni utiliser un numéro qui a échoué à une vérification.

Récapitulatif

  • Indiquez la langue au modèle quand vous la connaissez. Pour Larkfield, la détection était correcte sur les 60 appels de test. Mais les réponses courtes sont trop brèves pour détecter la langue.
  • Une requête initiale contenant les mots de Larkfield a réduit les noms de produits manqués par Whisper small de 41 à 10. Son WER est passé de 8,6 % à 6,8 %.
  • La même requête a nui à Whisper base : son WER est passé de 13,7 % à 15,2 %. Il sautait des passages entiers d’appels. Évaluez une requête avec votre taille de modèle et comptez les suppressions séparément.
  • Après la reconnaissance, convertissez les nombres dits à voix haute en chiffres. Vérifiez ensuite la longueur, le chiffre de contrôle (Luhn) et le système de commandes. Sur les appels de test, aucun numéro de commande incorrect n’a réussi les trois vérifications.
  • Le SVI utilise une courte requête pour chaque question, comme « English. Français. », plutôt qu’un seul grand vocabulaire.

Vous pouvez maintenant aider le modèle avec les mots de Larkfield et détecter les numéros incorrects. Mais les appelants de Larkfield parlent aussi français, changent de langue et appellent depuis des rues bruyantes. Vous verrez ensuite comment chaque système de reconnaissance traite deux langues, un changement de langue et le bruit.

Leçon suivante : Accents, bruit et deux langues