Normaliser avant de comparer
- Leçon 5
- 35 min
- Module 2 : Mesurer avant de choisir
Où nous en sommes
Dans la dernière leçon, nous avons calculé le taux d'erreur sur les mots en comptant les substitutions, suppressions et insertions. Mais dans l'explorateur, une transcription obtenait 266,7 %, même si le modèle avait écrit chaque mot dit par l'appelant. Dans cette leçon, nous voyons pourquoi la façon d'écrire un texte change son score. Nous écrivons un guide commun aux deux textes, comme deux agents qui s'entendent sur la rédaction de leurs notes d'appel.
Leçon 5 sur 36 · IA de la parole : transcrire, comprendre et parlerNormaliser avant de comparer
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Donnez un sens au taux d’erreur sur les mots. Écrivez un guide de normalisation commun et appliquez-le à la référence et au texte du modèle. Ne comparez jamais deux scores obtenus avec des guides différents.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient le code, les tâches et les vérifications de cette leçon. Il évalue une paire à trois niveaux et applique le guide règle par règle. Il évalue deux systèmes de reconnaissance sur les 60 appels de test à chaque niveau. Il montre aussi l’erreur de normalisation d’un seul côté. Vous ajoutez ensuite une règle pour le français. Aucun téléchargement de modèle ni compte n’est nécessaire. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Comment compter les substitutions, suppressions et insertions, et la formule WER = (S + D + I) / N, présentées dans Le taux d’erreur sur les mots, étape par étape.
Ce qu’il vous faut sur votre ordinateur (seulement pour le parcours local; le carnet n’en a pas besoin)
- Votre dossier
larkspeechcontenant les fichiers de l’instantanéend-of-m02, provenant de Le taux d’erreur sur les mots, étape par étape.speech wer --helpaffiche l’option--level.
Testé sur macOS avec Python 3.12. Les commandes sont les mêmes sur Windows; elles n’y ont pas été testées.
Deux agents, un appel
Section intitulée « Deux agents, un appel »Imaginez deux agents au centre d’assistance de Larkfield. Ils écoutent le même appel enregistré et prennent des notes. Freya écrit : « Order 742155. Customer doesn’t want a refund. » Ben écrit : « order seven four two one five five, customer does not want a refund ». Ces notes indiquent le numéro de commande et précisent que le client ne veut pas de remboursement.
Leurs notes disent la même chose. Mais une comparaison stricte, mot par mot, trouve beaucoup de différences. « 742155 » compte pour un mot chez Freya et six chez Ben. « Order » commence par une majuscule dans une note, mais pas dans l’autre. « doesn’t » compte pour un mot; « does not » en compte deux. Un superviseur qui évalue les notes ainsi dirait que Ben a fait beaucoup d’erreurs. Il n’en a fait aucune. Les deux agents écrivent simplement de façons différentes.
Un bon superviseur s’entend d’abord avec les deux agents sur la façon d’écrire : les nombres en chiffres, aucune majuscule et contractions développées. La comparaison mesure alors ce qui compte : ce qu’ils ont entendu, pas la façon dont ils l’écrivent.
Le problème : le score change, pas la transcription
Section intitulée « Le problème : le score change, pas la transcription »Le système de reconnaissance et la transcription de référence sont les deux agents. La référence des appels de Larkfield utilise des chiffres pour les numéros de commande, avec des majuscules et de la ponctuation. Certains systèmes écrivent les nombres en lettres, sans aucune ponctuation. Évaluez-les mot par mot, et vous mesurez le style d’écriture.
Voici une paire construite. L’appelant a dit « Yes, it’s 742155. » (oui, c’est 742155), en prononçant le numéro de commande chiffre par chiffre. Le modèle a écrit « yes it is seven four two one five five ». Chaque mot est correct. L’option --level de speech wer définit le degré de nettoyage des deux textes avant leur comparaison. Essayez les trois niveaux sur la même paire :
speech wer "Yes, it's 742155." "yes it is seven four two one five five" --level nonespeech wer "Yes, it's 742155." "yes it is seven four two one five five" --level basicspeech wer "Yes, it's 742155." "yes it is seven four two one five five"REF: *** ** ** ***** **** *** Yes, it's 742155.HYP: yes it is seven four two one five five I I I I I I S S S3 substitutions, 0 deletions, 6 insertions, 3 reference words: WER 300.0%, CER 188.2% (normalisation: none)REF: yes ** ** ***** **** *** *** it's 742155HYP: yes it is seven four two one five five I I I I I I S S2 substitutions, 0 deletions, 6 insertions, 3 reference words: WER 266.7%, CER 200.0% (normalisation: basic)REF: yes it is 742155HYP: yes it is 742155
0 substitutions, 0 deletions, 0 insertions, 4 reference words: WER 0.0%, CER 0.0% (normalisation: full)Les deux mêmes textes obtiennent 300 %, 266,7 % et 0 %. Le modèle n’a pas changé. Seule la façon de comparer les textes a changé. Un WER sans sa normalisation n’est pas une mesure : vous ne pouvez pas savoir ce qu’il compte.
L’idée : un guide écrit commun aux deux textes
Section intitulée « L’idée : un guide écrit commun aux deux textes »La normalisation consiste à réécrire les deux textes sous une forme commune avant de les comparer. Les règles de cette forme constituent le guide de normalisation. C’est l’entente des deux agents : les nombres en chiffres, aucune majuscule et contractions développées.
Le projet propose trois niveaux :
| Niveau | Ce qu’il fait | À quoi il sert |
|---|---|---|
none |
sépare le texte aux espaces, sans rien faire d’autre | montrer le problème |
basic |
met en minuscules et retire la ponctuation | obtenir un aperçu rapide |
full |
applique le niveau basic et les règles du guide de Larkfield |
tous les scores que vous présentez |
Le guide de Larkfield est écrit. L’utilitaire du cours l’affiche, et le dossier des exercices le contient sous le nom data/normalisation-guide.md. Il comporte neuf règles : minuscules, ponctuation, mots de remplissage, contractions anglaises, élisions françaises, nombres en lettres, ordinaux, chiffres regroupés et espaces.
Le guide, règle par règle
Section intitulée « Le guide, règle par règle »Prenez une phrase d’appelant, « Um, it’s seventy-four, twenty-one, fifty-five. », et faites-la passer par les règles. Elle signifie « Euh, c’est soixante-quatorze, vingt et un, cinquante-cinq ». Chaque ligne montre le texte après une règle supplémentaire :
| Règle | Le texte après la règle |
|---|---|
| Les mots de l’appelant | Um, it’s seventy-four, twenty-one, fifty-five. |
| 1. Mise en minuscules | um, it’s seventy-four, twenty-one, fifty-five. |
| 2. Ponctuation retirée; un trait d’union entre deux mots devient un espace | um it’s seventy four twenty one fifty five |
| 3. Mots de remplissage retirés (« um », « uh », « euh ») | it’s seventy four twenty one fifty five |
| 4. Contractions développées | it is seventy four twenty one fifty five |
| 6. Nombres en lettres convertis en chiffres | it is 74 21 55 |
| 8. Chiffres successifs regroupés | it is 742155 |
Les règles 5, 7 et 9 ne changent rien à cette phrase, donc elles n’ont pas de ligne. La référence « It’s 742155. » passe par les mêmes règles et devient aussi « it is 742155 ». Les deux textes correspondent maintenant, et le WER compte seulement les vraies différences.
La règle 8 demande une justification. Les appelants disent un numéro de commande par morceaux : chiffre par chiffre, par paires ou avec une pause. Le modèle peut écrire « 742 155 », « 74 21 55 » ou « 742155 ». Le système de commandes a seulement besoin des chiffres. Le guide ne doit donc pas pénaliser les espaces entre eux.
Le carnet fait passer six textes courts par le guide. Voici ce qu’en font les niveaux basic et full :
| Texte | basic |
full |
|---|---|---|
| Yes, it’s 38.45.29. | yes it’s 38 45 29 | yes it is 384529 |
| It shipped on the fourteenth of March. | it shipped on the fourteenth of march | it shipped on the 14 of march |
| Seven oh two, and I don’t want it. | seven oh two and i don’t want it | 702 and i do not want it |
| Euh, c’est le sept quatre deux un cinq cinq. | euh c’est le sept quatre deux un cinq cinq | c est le 742155 |
| Elle est partie le premier juillet. | elle est partie le premier juillet | elle est partie le 1 juillet |
« oh » devient 0 seulement à côté d’un chiffre, donc « oh, I see » (oh, je vois) reste tel quel. « fourteenth » (quatorzième) devient 14, mais n’est jamais regroupé avec un chiffre voisin. Dans « the first 4111 », « first » (premier) reste un mot distinct, pas une partie d’un numéro de carte.
L’orthographe française
Section intitulée « L’orthographe française »Les appels en français de Larkfield demandent trois décisions supplémentaires. D’abord, le français joint certains mots courts avec une apostrophe : « c’est », « l’article », « qu’elle ». Ce sont des élisions. Le guide les sépare (« c est », « l article »). Ainsi, « c’est » et « c’ est » ne comptent pas comme des mots différents. Ensuite, le guide garde les accents : « livré » et « livre » sont des mots différents, donc « é » n’est pas « e ». Enfin, le guide connaît les nombres français en lettres (« quatre-vingt-dix-sept » vaut 97) et transforme « le premier » en 1. Les appelants francophones disent parfois un nombre en anglais. Les règles françaises lisent donc aussi les nombres anglais en lettres.
Explorer : changer seulement la normalisation
Section intitulée « Explorer : changer seulement la normalisation »L’explorateur de la dernière leçon a maintenant un deuxième sélecteur : le niveau de normalisation. Les deux textes restent les mêmes; seul le guide change.
Explorer
Une paire, trois niveaux de normalisation
Prédisez d’abord : Si seule la normalisation change, le WER peut-il passer de plus de 100 % à 0 %?
- Référence
- Yes, it's 742155.
- Transcription du modèle
- yes it is seven four two one five five
Normalisation : Aucune : découpage aux espaces
Une paire construite : nous avons écrit les deux textes pour montrer une idée.
- insertion : référence rien, modèle yes
- insertion : référence rien, modèle it
- insertion : référence rien, modèle is
- insertion : référence rien, modèle seven
- insertion : référence rien, modèle four
- insertion : référence rien, modèle two
- substitution : référence Yes,, modèle one
- substitution : référence it's, modèle five
- substitution : référence 742155., modèle five
- S : substitution (un mot est devenu un autre mot)
- D : suppression (un mot de la référence manque)
- I : insertion (le modèle a ajouté un mot)
- Erreurs : S + D + I
- 3 + 0 + 6 = 9
- Mots de référence N
- 3
- WER = erreurs / N
- 9 / 3 = 300,0 %
3 substitutions, 0 suppression, 6 insertions : 9 erreurs pour 3 mots de référence, donc le WER est de 300,0 %. Le WER dépasse 100 % parce que les insertions n’ont pas de limite : le modèle a écrit plus de mots que la référence n’en a. La même paire avec les autres niveaux : de base 266,7 %, complète 0,0 %.
Description textuelle de l’explorateur
L’explorateur affiche la référence et la transcription du modèle. Il montre ensuite l’alignement au niveau de normalisation choisi : une colonne par paire de mots, avec S, D ou I sous chaque erreur. L’affichage indique S + D + I, le nombre de mots de référence N et le WER. « Seule la normalisation diffère » donne 300,0 % sans normalisation, 266,7 % au niveau de base et 0,0 % avec le guide complet. « Numéro de commande en paires », soit « It’s 742155. » contre « It’s seventy-four, twenty-one, fifty-five. », donne 150,0 %, 300,0 % et 0,0 %. « Français », soit « C’est le 742155. » contre « c’est le sept quatre deux un cinq cinq », donne 233,3 %, 200,0 % et 0,0 %. Whisper base a écrit « Yes, it’s 38.4529. » pour l’appel C-0056. Il obtient 33,3 % sans normalisation et 0,0 % avec le guide complet. Au niveau de base, « 38 4529 » devient deux mots, et le WER est de 66,7 %. Vosk small a écrit « sure the order number is three five three one nine three » pour l’appel C-0011 : 116,7 %, 100,0 % et 0,0 %. Le guide complet regroupe les six chiffres en « 353193 ». Whisper small a écrit « I do not want to refund, I want a new one. » pour l’appel C-0056 : 9,1 % à chaque niveau, parce que « to » pour « a » est une vraie erreur de reconnaissance.
Trois choses à remarquer dans l’explorateur :
- Oui, de plus de 100 % à 0 %. Quatre exemples le font, dont Vosk sur l’appel C-0011. Dans chacun, le modèle a bien entendu chaque mot.
- Nettoyer davantage ne fait pas toujours baisser le score. Whisper base a écrit « 38.4529 ». Le niveau de base retire le point et crée deux mots, donc le WER passe de 33,3 % à 66,7 %. Seul le guide complet regroupe les chiffres à nouveau. Un guide est un ensemble de décisions, pas un bouton qui embellit le score.
- Le guide ne cache pas les vraies erreurs. Whisper small a écrit « I do not want to refund » pour « I do not want a refund ». Aucune règle ne change « to » en « a », donc l’erreur reste à chaque niveau, et le score le montre.
Larkfield : toutes les données de test à trois niveaux
Section intitulée « Larkfield : toutes les données de test à trois niveaux »Évaluez maintenant les transcriptions enregistrées des 60 appels de test à chaque niveau. Les systèmes de reconnaissance ne changent pas; seul --level change.
-
Évaluez Whisper small sans normalisation, puis au niveau de base :
Fenêtre de terminal speech score --method whisper-small --level nonespeech score --method whisper-small --level basicwhisper-small, test calls, phone audio, normalisation noneslice calls words WER CER order nos wrong products wrongall 60 6964 18.1% 7.2% 8 of 52 41 of 60whisper-small, test calls, phone audio, normalisation basicslice calls words WER CER order nos wrong products wrongall 60 7067 11.6% 5.5% 8 of 52 41 of 60Avec le guide complet, la dernière leçon donnait 8,6 %.
-
Faites la même chose pour Vosk small :
Fenêtre de terminal speech score --method vosk-small --level nonespeech score --method vosk-small --level basicvosk-small, test calls, phone audio, normalisation noneslice calls words WER CER order nos wrong products wrongall 60 6964 60.0% 29.6% 35 of 52 51 of 60vosk-small, test calls, phone audio, normalisation basicslice calls words WER CER order nos wrong products wrongall 60 7067 35.2% 24.1% 35 of 52 51 of 60 -
Regardez la colonne
words(mots). La référence compte 6 964 mots sans normalisation, 7 067 au niveau de base et 7 334 avec le guide complet. « it’s » compte pour un mot avant le guide et deux après, donc N change aussi.
Les colonnes order nos wrong (numéros de commande incorrects) et products wrong (produits incorrects) ne changent pas avec --level. Ces vérifications utilisent toujours le guide complet, parce qu’un numéro de commande doit être comparé sous forme de chiffres.
- Whisper small
- Vosk small
Description textuelle du graphique
Un graphique à six colonnes, sur un axe allant de 0 à 70 %. Les trois premières colonnes représentent Whisper small : 18,1 % sans normalisation, 11,6 % au niveau de base et 8,6 % avec le guide complet. Les trois dernières représentent Vosk small : 60,0 %, 35,2 % et 31,2 %. Les scores des deux systèmes baissent à chaque étape. Celui de Vosk baisse le plus, de près de 29 points.
Le score de Vosk change le plus parce qu’il écrit tous les nombres en lettres, sans ponctuation ni majuscules. Sans normalisation, il semble plus de trois fois moins bon que Whisper small (60,0 % contre 18,1 %). Avec le guide complet, il reste bien moins bon (31,2 % contre 8,6 %). Mais l’écart mesure maintenant ce que les deux systèmes ont entendu.
Un guide de normalisation peut donc changer l’ampleur d’une différence entre deux systèmes de reconnaissance. Sur d’autres données, il peut changer leur ordre. Voilà pourquoi le cours évalue chaque système avec le même guide. Chaque ligne du tableau comparatif du cours précise le guide utilisé.
Quand utiliser un guide, et ce qu’il coûte
Section intitulée « Quand utiliser un guide, et ce qu’il coûte »Normalisez toujours avant de présenter un WER. Appliquez le même guide à la référence et à chaque texte de modèle. Écrivez le guide, attribuez-lui une version et conservez-le avec les scores. Un WER dans un rapport sans son guide est un nombre que personne ne peut vérifier.
Ne comparez jamais deux WER obtenus avec des guides différents. Une fiche de modèle ou un banc d’essai utilise souvent son propre outil de normalisation. Les auteurs de Whisper, par exemple, ont publié un outil de normalisation du texte anglais qui remplace aussi les graphies britanniques par les graphies américaines. Ses scores et ceux de Larkfield ne sont pas sur la même échelle. Pour comparer, évaluez les deux modèles sur vos propres appels, avec votre propre guide.
Ne supprimez pas par normalisation une erreur qui compte. Une règle qui transforme « firm » en « fern » embellirait le score et cacherait une vraie erreur sur un nom de produit. Une règle doit seulement retirer les différences d’écriture, jamais les différences de sens. La négation « not » doit rester, tout comme chaque chiffre.
Le guide demande un peu de travail, et il a un coût caché. Quand vous le modifiez, chaque score change, donc vous devez évaluer chaque système de reconnaissance à nouveau. C’est pourquoi Larkfield garde un seul guide pour tout le cours.
Exercice guidé : le guide dans le carnet
Section intitulée « Exercice guidé : le guide dans le carnet »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation et la cellule de l’utilitaire. La cellule de préparation se termine par une ligne
Ready:(prêt). - Dans la section 1, prédisez les trois scores. Exécutez ensuite la cellule. Vous voyez
300.0%,266.7%et0.0%. - Dans la section 2, affichez le guide, puis exécutez les six exemples. Comparez chaque ligne avec le tableau de cette page.
- Dans la section 3, chargez les appels. Vous voyez
60 test calls(60 appels de test). - Exécutez la cellule des scores. Vous voyez 18,1 %, 11,6 % et 8,6 % pour Whisper small, et 60,0 %, 35,2 % et 31,2 % pour Vosk small.
À vous de jouer : une règle de plus pour le français
Section intitulée « À vous de jouer : une règle de plus pour le français »Whisper small écrit parfois un ordinal français sous la forme « 1er », comme dans « le 1er juillet ». Le guide transforme « premier » en 1, mais n’a aucune règle pour « 1er ». « 1 » et « 1er » comptent donc comme une substitution. Dans la section 5 du carnet, écrivez guide_plus(text, language). Cette fonction applique le guide complet, puis une règle supplémentaire. La règle transforme un nombre suivi de « er », « re », « e » ou « ème » en nombre seul. Calculez ensuite le WER de Whisper small sur les 26 appels de test français, avec le guide puis avec votre règle. Normalisez les deux textes avec la même fonction. Avant l’exécution, faites une prédiction : le WER français baissera-t-il de plus ou de moins d’un point?
Afficher la réponse
import re
def guide_plus(text, language): """The full guide, then one more rule: a French ordinal "1er", "2e" or "3ème" becomes its number.""" out = cp.normalise(text, "full", language) return re.sub(r"\b(\d+)(er|re|e|ème)\b", r"\1", out)
french = [c for c in test if c["language"] == "fr"]def french_wer(normalise): errors = words = 0 for c in french: n = cp.counts(normalise(reference(c), "fr"), normalise(small[c["call_id"]], "fr")) errors += n["sub"] + n["del"] + n["ins"] words += n["ref_words"] return errors / words
before = french_wer(lambda text, language: cp.normalise(text, "full", language))after = french_wer(guide_plus)print(f"French test calls, Whisper small: {before:.2%} with the guide, {after:.2%} with the new rule")French test calls, Whisper small: 15.06% with the guide, 15.00% with the new ruleLa règle est correcte, et elle change très peu le score : 0,06 point. La plupart des erreurs françaises de Whisper small sont de vraies erreurs de reconnaissance, pas des différences d’écriture. C’est aussi un résultat utile : il vous indique de chercher le problème français dans l’audio et le modèle, pas dans le guide. Si vous gardez cette règle, c’est une nouvelle version de votre guide. Vous devez évaluer à nouveau chaque système de reconnaissance avec cette version.
Erreur courante
Le guide d'un seul côté
Symptôme : Tomás normalise les transcriptions du modèle avec le guide complet, mais oublie les références. Le WER de Whisper small sur les 60 appels de test passe de 8,6 % à 53,3 % :
errors = words = 0for c in test: r = cp.normalise(reference(c), "none", c["language"]) # the reference as it was written h = cp.normalise(small[c["call_id"]], "full", c["language"]) # only the model text normalised n = cp.counts(r, h) errors += n["sub"] + n["del"] + n["ins"] words += n["ref_words"]print(f"Whisper small, only the model text normalised: WER {errors / words:.1%}")Whisper small, only the model text normalised: WER 53.3%Cause : la référence contient encore des majuscules, de la ponctuation et des contractions (« Thank », « you. », « it’s »), contrairement au texte du modèle. Beaucoup de mots bien entendus par le modèle comptent maintenant comme des substitutions.
Correction : normalisez les deux textes avec la même fonction et au même niveau. Les outils speech score et cp.corpus_scores du projet le font pour vous; utilisez-les plutôt que votre propre boucle.
Conséquence dans le travail en IA : un score beaucoup trop élevé peut pousser une équipe à abandonner un bon système de reconnaissance. Ou l’équipe achète un modèle plus gros dont elle n’a pas besoin. Un score trop bas est pire. Il vient d’une règle qui cache les vraies erreurs, et personne ne cherche le problème.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
La référence est « Yes, it's 384529. » et le modèle a écrit « Yes, it's 38.45.29. » Prédisez le WER avec le niveau de base et le guide complet, puis expliquez la différence.
Afficher la réponse
Avec le niveau de base, les points deviennent des espaces. Le texte du modèle contient donc trois mots, « 38 », « 45 » et « 29 », pour le seul mot « 384529 ». Cela donne 1 substitution et 2 insertions pour 3 mots de référence (« yes », « it’s », « 384529 »). Le WER est de 100 %. Avec le guide complet, « it’s » devient « it is » dans les deux textes. La règle 8 regroupe les chiffres en « 384529 ». Les textes correspondent, et le WER est de 0 %. Le modèle a entendu chaque chiffre; seul le guide complet le montre.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La page d'un fournisseur indique que son système de reconnaissance a un WER de 5 % sur les appels téléphoniques. Avec le guide de Larkfield, Whisper small obtient 8,6 % sur ses appels de test. Tomás dit que le fournisseur est clairement meilleur. Que répondez-vous?
Afficher la réponse
Les deux nombres ne sont pas comparables. Ils viennent d’appels différents, et probablement de guides de normalisation différents. Les mêmes transcriptions de Whisper small donnent 18,1 %, 11,6 % ou 8,6 % : seul le guide change. Pour comparer, exécutez les deux systèmes de reconnaissance sur les appels de test de Larkfield. Évaluez ensuite les deux avec le guide de Larkfield. De plus, les appels de Larkfield sont synthétiques. Même cette comparaison montre donc leurs résultats sur ces appels, pas sur des appels réels.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Malik propose une nouvelle règle : écrire tout mot qui ressemble à un nom de produit comme ce nom de produit. Par exemple, « firm wall planter » deviendrait « fern wall planter ». Le WER baisserait. Larkfield devrait-elle ajouter cette règle au guide?
Afficher la réponse
Non. Le guide peut seulement éliminer des différences d’écriture, comme les chiffres ou les majuscules. « firm » et « fern » sont des mots différents : le modèle a mal entendu le nom du produit. Une règle qui corrige cela dans le calcul du score masque une véritable erreur. Le score ne décrirait plus ce que les transcriptions permettent de faire. Pour obtenir les bons noms de produits, changez le système de reconnaissance ou ses réglages. Mesurez ensuite les erreurs sur les noms de produits séparément, comme dans la prochaine leçon.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- La même transcription peut obtenir 300 %, 266,7 % ou 0 % quand seule la normalisation change. Un WER sans son guide ne veut rien dire.
- La normalisation réécrit les deux textes dans une forme commune. Le guide de Larkfield contient neuf règles écrites : minuscules, ponctuation, mots de remplissage, contractions, élisions françaises, nombres en lettres, ordinaux, chiffres regroupés et espaces.
- Sur les 60 appels de test synthétiques, Whisper small obtient 18,1 %, 11,6 % et 8,6 %. Ces scores correspondent à l’absence de normalisation, au niveau de base et au guide complet. Vosk small obtient 60,0 %, 35,2 % et 31,2 %.
- Appliquez le guide aux deux textes. Sur un seul texte, le WER de Whisper small monte à 53,3 %.
- Une règle peut éliminer des différences d’écriture, jamais de sens. Comparez les WER seulement s’ils utilisent le même guide sur les mêmes appels.
Vous pouvez maintenant comparer les transcriptions équitablement, avec un nombre pour chaque système de reconnaissance. Mais ce nombre compte encore un « the » incorrect comme un « not » perdu. Ensuite, vous comptez les erreurs sur les mots qui importent à Larkfield. Vous évaluez aussi les systèmes de reconnaissance pour chaque type d’appel.
Leçon suivante : Les erreurs qui comptent