Aller au contenu
English

Le taux d'erreur sur les mots, étape par étape

  • Leçon 4
  • 35 min
  • Module 2 : Mesurer avant de choisir

Où nous en sommes

Dans le module 1, la vérification de l'installation affichait un taux d'erreur sur les mots de 5,5 % pour un appel. Nous avons utilisé ce nombre, sans voir ce qu'il compte. Dans cette leçon, nous comptons les erreurs d'une transcription à la main, comme un enseignant corrige une dictée. Puis nous le faisons avec le projet et avec jiwer.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 4 sur 36 · IA de la parole : transcrire, comprendre et parlerLe taux d'erreur sur les mots, étape par étape
Aperçu du cours

Ce que vous saurez faire

Transformez « cette transcription est proche de l’original » en un nombre que vous pouvez comparer. Comptez les mots incorrects, manquants et ajoutés par rapport à la référence, puis divisez par la longueur de la référence.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient le code, les tâches et les vérifications de cette leçon. Il compte les erreurs d’une phrase à la main et avec du code, puis construit le tableau d’alignement. Ensuite, il vérifie le résultat avec jiwer et calcule les scores de deux appels complets. Aucun téléchargement de modèle ni compte n’est nécessaire. Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

  • Ce qu’est une transcription de référence : les mots exacts d’un appel, écrits par une personne. Pour les appels synthétiques de Larkfield, le script les écrit. Voir Écouter un appel et lire sa référence.
  • Comment exécuter une commande dans un terminal, avec l’environnement virtuel du projet activé.

Ce qu’il vous faut sur votre ordinateur (seulement pour le parcours local; le carnet n’en a pas besoin)

  • Votre dossier de projet larkspeech de la leçon Préparer le projet de parole, avec les données du cours dans larkspeech/data. speech info fonctionne dans ce dossier.
  • Le dépôt des exercices nextia-learning-labs à côté de larkspeech. Cette leçon copie quatre fichiers de l’instantané end-of-m02 et installe un nouveau paquet.

Testé sur macOS avec Python 3.12 et jiwer 4.0.0. Les commandes Windows (PowerShell) n’ont pas été testées.

Pensez à une dictée à l’école. L’enseignant lit un court texte à voix haute, et chaque élève écrit ce qu’il entend. Ensuite, l’enseignant corrige chaque copie en la comparant au texte du livre.

L’enseignant trouve trois types d’erreurs. Un élève a écrit un mot incorrect : « le » là où le livre dit « un ». Un élève a oublié un mot : « pas » manque. Un élève a ajouté un mot que l’enseignant n’a jamais dit : « merci » à la fin. La note dépend du nombre d’erreurs par rapport à la longueur du texte. Quatre erreurs dans un texte de 40 mots, c’est mieux que quatre erreurs dans un texte de 10 mots.

Un système de reconnaissance de la parole (recogniser) est un élève qui fait des dictées toute la journée. L’appelant parle, et le système de reconnaissance écrit ce qu’il entend. Pour corriger son travail, il nous faut le texte du livre : la transcription de référence, les mots réellement prononcés. Ensuite, nous corrigeons le système de reconnaissance comme le fait l’enseignant.

Écoutez une phrase d’un appel de Larkfield. L’agent a demandé le numéro de commande, et l’appelant répond. Il s’agit de l’appel C-0056, un appel synthétique sur une ligne fixe avec des conversations en arrière-plan.

Le côté de l’appelant dans l’appel C-0056, 2,6 secondes, qualité téléphonique (8 kHz). Une voix synthétique Piper, entraînée sur le corpus VCTK (locuteur p254). Transcription : « Yes, it’s thirty-eight, forty-five, twenty-nine. »

La voix lit le numéro de commande 384529 par groupes de deux chiffres. L’image montre la forme d’onde de ce même son, avec chaque mot sous le moment où la voix l’a prononcé.

Une forme d'onde de 2,6 secondes, de 16,4 à 19,0 secondes de l'appel. Cinq pointes sonores dépassent un bruit faible et constant. En dessous, cinq cases indiquent les mots : Yes, it's, thirty-eight, forty-five et twenty-nine.
La phrase de l'appelant dans l'appel C-0056 : l'intensité sonore au fil du temps et les cinq mots prononcés, aux moments indiqués par la voix.
Description textuelle du diagramme

L’image montre 2,6 secondes de son, de 16,4 à 19,0 secondes après le début de l’appel. Les barres bleues montrent l’intensité sonore à chaque instant. Cinq pointes se détachent d’un bruit faible et constant : les conversations en arrière-plan de cet appel. Sous les pointes, une case indique chaque mot : « Yes », « it’s », « thirty-eight », « forty-five » et « twenty-nine ». « it’s » est le mot le plus court; chaque nombre prend environ une demi-seconde.

Le cours a enregistré ce que trois systèmes de reconnaissance ont écrit pour cet appel complet. Whisper tiny et Whisper small sont deux tailles du même modèle ouvert. Vosk small est un type de système de reconnaissance plus ancien. Du son au texte explique les deux. Voici la partie correspondant à cette phrase :

Source Texte
Référence Yes, it’s 384529.
Whisper tiny Yes, it’s 384529.
Whisper small Yes, it’s 384529.
Vosk small yes it’s thirty eight forty five twenty nine

Grace, la responsable du soutien, pose une question simple : « Quel système de reconnaissance est le meilleur pour nos appels? » Pour cette seule phrase, vous pouvez lire les trois textes et juger : les trois ont le bon numéro, et Vosk l’a écrit en mots. Mais les 60 appels de test de Larkfield comptent environ 7 000 mots. Le cours compare aussi de nombreux systèmes de reconnaissance et réglages. Personne ne peut tout lire et garder un score juste en tête. Grace a besoin d’un nombre par système de reconnaissance, calculé de la même façon chaque fois. Elle peut alors comparer les systèmes et voir si un changement améliore ou dégrade les résultats.

Nous comptons exactement les trois erreurs de l’enseignant, mot par mot :

  • Une substitution (S) : le modèle a écrit un autre mot à la place d’un mot de la référence.
  • Une suppression (D) : un mot de la référence manque dans le texte du modèle.
  • Une insertion (I) : le modèle a écrit un mot absent de la référence.

Ensuite, nous divisons par N, le nombre de mots de la référence :

WER = (S + D + I) / N

C’est le taux d’erreur sur les mots, ou WER. Son nom décrit ce qu’il mesure : le taux d’erreurs, comptées en mots. Un WER de 0 signifie que tous les mots sont corrects. Un WER de 0,25, ou 25 %, signifie une erreur pour quatre mots de référence.

Plus tard dans le même appel, l’appelant dit : « I do not want a refund, I want a new one. » Supposons qu’un modèle ait écrit « I do want a refund I want a new new one ». Cette paire est construite : nous l’avons écrite pour montrer les trois types d’erreurs dans une seule phrase.

Nous comparons les mots en minuscules et sans ponctuation, pour que « refund, » et « refund » soient le même mot. La prochaine leçon explique cette étape en détail. Ensuite, nous plaçons les deux textes l’un au-dessus de l’autre et associons les mots :

Référence i do not want a refund i want a new one
Modèle i do want a refund i want a new new one
Erreur D I

« not » manque, donc il y a une suppression. Le modèle a écrit « new » deux fois, donc il y a une insertion. Il n’y a aucune substitution. La référence compte 11 mots. Le WER est donc (0 + 1 + 1) / 11 = 2 / 11 = 18,2 %.

Un taux d’erreur de 18,2 % semble vouloir dire « presque tout est correct ». Mais le mot supprimé est « not », et le texte du modèle dit maintenant le contraire de ce que veut l’appelant. Gardez cela en tête : Les erreurs qui comptent revient sur ce point.

Dans le tableau ci-dessus, vous avez associé les mots à l’œil. Un ordinateur a besoin d’une règle pour le faire. La règle est : choisir l’association qui demande le moins de changements. Cette association s’appelle l’alignement. Le nombre minimal de changements est la distance d’édition, ou distance de Levenshtein, du nom du scientifique qui l’a décrite. Ainsi, S + D + I est toujours la distance d’édition entre les deux listes de mots.

Prenons une paire plus courte. La référence est « i do not want a refund », et le modèle a écrit « i do want the refund please ». L’ordinateur remplit un tableau. Chaque cellule contient le nombre minimal de changements pour transformer les premiers mots de référence en premiers mots du modèle. Les lignes correspondent à la référence, et les colonnes au modèle.

– i do want the refund please
– 0 1 2 3 4 5 6
i 1 0 1 2 3 4 5
do 2 1 0 1 2 3 4
not 3 2 1 1 2 3 4
want 4 3 2 1 2 3 4
a 5 4 3 2 2 3 4
refund 6 5 4 3 3 2 3

Chaque cellule retient la plus petite valeur parmi trois déplacements. Un déplacement vers le bas depuis la cellule au-dessus ajoute une suppression. Un déplacement vers la droite depuis la cellule de gauche ajoute une insertion. Un déplacement en diagonale ne coûte rien pour un même mot, et un changement pour un mot différent. La première ligne et la première colonne comptent à partir de 0, car il faut insérer ou supprimer chaque mot.

La cellule en bas à droite contient la réponse : 3 changements. Les cellules en gras montrent le chemin qui permet de revenir au début. De « do » à « not », le chemin descend : « not » est supprimé. À « a » et « the », le chemin suit la diagonale avec un coût de 1 : une substitution. À la fin, il va vers la droite : « please » est inséré. Donc S = 1, D = 1, I = 1, et le WER est 3 / 6 = 50 %.

Parfois, deux associations demandent le même nombre de changements. L’exemple du projet compare « the cat sat on the mat » à « the cat sit on mat today ». Un alignement comporte trois substitutions : « sat » avec « sit », « the » avec « mat » et « mat » avec « today ». Un autre comporte une substitution (« sat » avec « sit »), une suppression (« the ») et une insertion (« today »). Les deux comptent 3 changements, donc le WER est 3 / 6 = 50 % dans les deux cas. Les nombres de S, D et I peuvent varier selon l’outil, mais le WER reste le même.

Les quatre étapes d’un WER, des deux textes au nombre :

Deux cases, Référence et Transcription du modèle, mènent à l'étape 1 : normaliser les deux avec le même guide écrit. Puis l'étape 2, Aligner : associer les mots avec le moins de changements. Puis l'étape 3 : compter S substitutions, D suppressions et I insertions. Puis l'étape 4, Diviser : le WER égale S plus D plus I, divisé par N, le nombre de mots de référence.
Un taux d'erreur sur les mots en quatre étapes. Le même guide s'applique aux deux textes, et N compte toujours les mots de référence.
Description textuelle du diagramme

Deux cases ouvrent le schéma : la référence, les paroles de l’appelant écrites par une personne; et la transcription du modèle, ce que le système de reconnaissance a écrit. Les deux mènent à l’étape 1 : normaliser les deux textes avec le même guide écrit. L’étape 2 aligne les mots, avec le moins de changements. L’étape 3 compte les substitutions, les suppressions et les insertions. L’étape 4 divise leur somme par N, le nombre de mots de la référence.

Choisissez un exemple et lisez l’alignement de gauche à droite. Dans chaque colonne, la ligne du haut contient le mot de référence, et celle du milieu, le mot du modèle. La ligne du bas indique le type d’erreur. Trois étoiles (***) signifient qu’un côté n’a aucun mot à cet endroit.

Explorer

Corriger une transcription mot par mot

Référence
I do not want a refund, I want a new one.
Transcription du modèle
I do want a refund I want a new new one

Normalisation : De base : minuscules, sans ponctuation

Une paire construite : nous avons écrit les deux textes pour montrer une idée.

  1. correspondance : référence i, modèle i
  2. correspondance : référence do, modèle do
  3. suppression : référence not, modèle rien
  4. correspondance : référence want, modèle want
  5. correspondance : référence a, modèle a
  6. correspondance : référence refund, modèle refund
  7. correspondance : référence i, modèle i
  8. correspondance : référence want, modèle want
  9. correspondance : référence a, modèle a
  10. insertion : référence rien, modèle new
  11. correspondance : référence new, modèle new
  12. correspondance : référence one, modèle one
  • S : substitution (un mot est devenu un autre mot)
  • D : suppression (un mot de la référence manque)
  • I : insertion (le modèle a ajouté un mot)
Erreurs : S + D + I
0 + 1 + 1 = 2
Mots de référence N
11
WER = erreurs / N
2 / 11 = 18,2 %

0 substitution, 1 suppression, 1 insertion : 2 erreurs pour 11 mots de référence, donc le WER est de 18,2 %. La même paire avec les autres niveaux : aucune 36,4 %, complète 18,2 %.

Paires construites et phrases d'appelants tirées des appels de test synthétiques de Larkfield, comparées en minuscules sans ponctuation. L'affichage donne S + D + I, le nombre de mots de référence N et le WER.
Description textuelle de l’explorateur

L’explorateur montre deux textes, la référence et la transcription du modèle, puis l’alignement : une colonne par paire de mots. Chaque colonne contient le mot de référence en haut, le mot du modèle en dessous et une lettre d’erreur en bas. S est une substitution, D une suppression et I une insertion. L’affichage montre les erreurs S + D + I, le nombre de mots de référence N et le WER. Dans cet explorateur, les deux textes sont en minuscules sans ponctuation. « Une erreur de chaque type » comporte 1 suppression (« not ») et 1 insertion (« new ») pour 11 mots de référence : 18,2 %. Dans « Seule la normalisation diffère », la référence est « yes it’s 742155 ». Le modèle a écrit « yes it is seven four two one five five ». Cela donne 2 substitutions et 6 insertions pour 3 mots de référence, donc 8 / 3 = 266,7 %. Dans l’appel C-0056 avec Vosk small, la référence est « yes it’s 384529 », et Vosk a écrit 8 mots : le numéro est devenu six mots. Cela donne 2 correspondances, 1 substitution et 5 insertions, donc 6 / 3 = 200 %. Dans l’appel C-0052 avec Whisper tiny, « 280917 » devient « 2091 17 ». Cela donne 1 substitution et 1 insertion sur 6 mots, soit 33,3 %. Dans l’appel C-0056 avec Whisper small, « a refund » devient « to refund ». Cela donne 1 substitution sur 11 mots, soit 9,1 %.

Le WER divise par le nombre de mots de référence, mais rien ne limite les insertions. Un modèle qui écrit beaucoup de mots là où l’appelant en dit peu obtient un WER supérieur à 100 %. Dans « Seule la normalisation diffère », le modèle a écrit huit mots pour une référence de trois mots. Vosk small a écrit huit mots pour « Yes, it’s 384529 », car il a écrit le numéro en six mots, et a obtenu 200 %.

Le silence peut produire le même résultat. Supposons qu’un appelant dise seulement « Yes. », puis attende, et que le modèle écrive « Yes. Thank you for watching. » Cette paire est construite, mais certains systèmes de reconnaissance écrivent vraiment ce genre de texte pendant le silence. Quatre insertions pour un mot de référence donnent un WER de 400 %. Un WER supérieur à 100 % signifie généralement que le modèle a inventé du texte. Cela arrive souvent pendant le silence ou la musique d’attente. Le module 3 montre comment trouver les parties d’un appel où personne ne parle.

Parfois, un mot est presque correct. Un modèle écrit « teracotta » au lieu de « terracotta » : il manque une lettre. Le WER compte le mot entier comme une substitution. Dans « the terracotta trio arrived broken », cela donne 1 erreur sur 5 mots, soit un WER de 20 %.

Le taux d’erreur sur les caractères, ou CER, utilise le même alignement sur les lettres plutôt que sur les mots. Les espaces comptent aussi comme des caractères. La même phrase compte 34 caractères et une lettre manquante, donc le CER est 1 / 34 = 2,9 %. Le CER pénalise moins les petites erreurs d’orthographe. Il est utile pour les noms, l’orthographe et les langues qui ne séparent pas les mots par des espaces. Le WER est le score habituel pour les transcriptions. Ce cours présente donc les deux, en commençant par le WER.

L’instantané end-of-m02 ajoute deux commandes au projet. speech wer évalue une paire de textes et montre l’alignement. speech score évalue les transcriptions enregistrées d’un système de reconnaissance sur tous les appels de test.

  1. Dans votre dossier larkspeech, avec l’environnement virtuel actif, copiez les fichiers de ce module depuis l’instantané end-of-m02 :

    Fenêtre de terminal
    S=../nextia-learning-labs/C41/snapshots/end-of-m02
    cp "$S/larkspeech/scoring.py" larkspeech/
    cp "$S/larkspeech/commands/wer.py" larkspeech/commands/
    cp "$S/tests/test_score.py" tests/
    cp "$S/requirements.txt" .

    Le nouveau requirements.txt ajoute une ligne, jiwer==4.0.0. Le projet n’a besoin d’aucun autre changement : speech trouve une nouvelle commande grâce à son fichier dans larkspeech/commands/.

  2. Installez le nouveau paquet. pip installe aussi les deux paquets dont jiwer a besoin, click et rapidfuzz :

    Fenêtre de terminal
    pip install -r requirements.txt
  3. Exécutez les tests. Trois nouveaux tests vérifient les scores et la commande :

    Fenêtre de terminal
    pytest -q
    ............... [100%]
    15 passed in 12.82s

    Le temps varie d’un ordinateur à l’autre.

  4. Évaluez la paire d’exemple du projet :

    Fenêtre de terminal
    speech wer "the cat sat on the mat" "the cat sit on mat today"
    REF: the cat sat on the mat
    HYP: the cat sit on mat today
    S S S
    3 substitutions, 0 deletions, 0 insertions, 6 reference words: WER 50.0%, CER 36.4% (normalisation: full)

    REF désigne la référence et HYP le texte du modèle (l’« hypothèse »). L’outil a choisi l’alignement avec trois substitutions.

  5. Évaluez la paire sur le remboursement. Mettez chaque texte entre guillemets :

    Fenêtre de terminal
    speech wer "I do not want a refund, I want a new one." "I do want a refund I want a new new one"
    REF: i do not want a refund i want a *** new 1
    HYP: i do *** want a refund i want a new new 1
    D I
    0 substitutions, 1 deletions, 1 insertions, 11 reference words: WER 18.2%, CER 21.6% (normalisation: full)

    C’est votre résultat du tableau : 2 / 11 = 18,2 %. Le guide a aussi écrit « one » sous la forme du chiffre 1 des deux côtés. La prochaine leçon explique pourquoi.

  6. Évaluez les transcriptions enregistrées de Whisper tiny sur les 60 appels de test. speech score utilise Whisper tiny si vous ne précisez aucune méthode :

    Fenêtre de terminal
    speech score
    whisper-tiny, test calls, phone audio, normalisation full
    slice calls words WER CER order nos wrong products wrong
    all 60 7334 20.7% 10.8% 20 of 52 53 of 60
  7. Évaluez deux autres systèmes de reconnaissance. Ce sont aussi des transcriptions enregistrées, donc les commandes prennent quelques secondes :

    Fenêtre de terminal
    speech score --method whisper-small
    speech score --method vosk-small
    whisper-small, test calls, phone audio, normalisation full
    slice calls words WER CER order nos wrong products wrong
    all 60 7334 8.6% 4.2% 8 of 52 41 of 60
    vosk-small, test calls, phone audio, normalisation full
    slice calls words WER CER order nos wrong products wrong
    all 60 7334 31.2% 20.1% 35 of 52 51 of 60

speech score ne calcule pas la moyenne du WER de chaque appel. Il additionne les erreurs des 60 appels et divise par les 7 334 mots de référence. Un appel long compte alors plus qu’un appel court, comme il se doit : il contient plus de mots à reconnaître correctement.

  • WER
  • CER
Les transcriptions enregistrées de trois systèmes de reconnaissance sur les 60 appels de test synthétiques de Larkfield (audio téléphonique, guide de normalisation complet). Whisper small fait le moins d'erreurs; Vosk small en fait le plus.
Description textuelle du graphique

Un graphique à colonnes avec six colonnes, sur un axe allant de 0 à 40 %. Les trois premières colonnes montrent le WER : Whisper tiny 20,7 %, Whisper small 8,6 % et Vosk small 31,2 %. Les trois dernières montrent le CER : Whisper tiny 10,8 %, Whisper small 4,2 % et Vosk small 20,1 %. Pour chaque système de reconnaissance, le CER représente environ la moitié du WER. La plupart des mots incorrects contiennent encore beaucoup de lettres correctes.

Ces chiffres portent sur les appels synthétiques de Larkfield. Des voix de synthèse vocale ouvertes lisent des textes clairs, donc ces appels sont plus faciles que de vrais appels téléphoniques. Les erreurs qui comptent les compare à de la vraie parole enregistrée.

jiwer donne le même résultat. jiwer est un paquet Python courant pour le WER et le CER. Il ne normalise pas le texte pour vous. Donnez-lui donc des textes déjà traités avec le guide. Dans un interpréteur Python ou un carnet Jupyter :

import jiwer
out = jiwer.process_words("i do not want a refund", "i do want the refund please")
print(out.substitutions, out.deletions, out.insertions, out.wer)
1 1 1 0.5

Ce sont les valeurs S, D, I et WER du tableau ci-dessus. Utilisez jiwer quand vous avez besoin d’un chiffre rapide. Utilisez les commandes du projet pour comparer les systèmes de reconnaissance, car elles appliquent aussi le guide et les tranches.

Utilisez le WER pour comparer des systèmes de reconnaissance, ou les réglages d’un système, sur les mêmes appels. Utilisez les mêmes transcriptions de référence. La même règle sur les mêmes appels rend les chiffres comparables.

Le WER a des limites que les deux prochaines leçons corrigent. D’abord, il dépend de la façon dont vous écrivez les textes : chiffres ou mots, majuscules, ponctuation. Deux équipes peuvent rapporter des WER très différents pour les mêmes transcriptions. Ensuite, chaque mot compte autant. Un « the » incorrect et un « not » manquant ajoutent chacun une erreur. Mais un seul des deux change ce que l’appelant veut.

Le coût du WER vient des transcriptions de référence. Quelqu’un doit écrire exactement ce qui a été dit dans chaque appel, puis le vérifier. Les appels de Larkfield sont synthétiques, donc les textes lus servent de références. Pour de vrais appels, une personne doit écouter et transcrire. Cela prend souvent plusieurs fois la durée de l’appel. C’est pourquoi les données de test sont peu nombreuses. C’est aussi pourquoi vous les réservez aux décisions qui en ont besoin. Le cours Apprentissage automatique : du problème à un modèle fiable explique cela pour tout modèle.

  1. Ouvrez le carnet Jupyter dans l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation et la cellule auxiliaire. La cellule de préparation se termine par une ligne Ready: (prêt).
  3. Dans la section 1, exécutez la cellule d’alignement. Vous voyez une ligne par mot : ok (correct), del (suppression), sub (substitution) et ins (insertion).
  4. Exécutez la cellule de comptage. Vous voyez sub 1, del 1, ins 1 et ref_words (mots de référence) 6, et un WER de 0,5.
  5. Dans la section 2, exécutez la cellule du tableau. Comparez-le avec le tableau de cette page. Le nombre en bas à droite est 3.
  6. Dans la section 3, exécutez la cellule jiwer. jiwer et la fonction auxiliaire donnent les mêmes WER et CER.
  7. Dans la section 5, prédisez le WER de l’exemple « Yes. ». Puis exécutez la cellule. Vous voyez un WER de 4,0.
  8. Dans la section 6, prédisez lequel est le plus grand pour « teracotta », le WER ou le CER. Puis exécutez la cellule.

L’appel C-0196 concerne une commande annulée, sur une ligne VoIP avec du bruit de rue. Dans la section 8 du carnet Jupyter, normalisez sa référence et la transcription enregistrée de Whisper tiny avec le guide. Comptez ensuite les étapes de mots qui ne sont pas ok avec cp.align, puis divisez par le nombre de mots de référence. Faites la même chose avec les lettres pour le CER. Avant d’exécuter le code, faites une prédiction : le WER de cet appel sera-t-il supérieur ou inférieur aux 20,7 % de Whisper tiny sur tous les appels de test?

Afficher la réponse
call = calls["C-0196"]
ref = cp.normalise(reference(call), "full", call["language"])
hyp = cp.normalise(tiny["C-0196"], "full", call["language"])
ops = cp.align(ref.split(), hyp.split())
errors = sum(op != "ok" for op, _, _ in ops)
task_wer = errors / len(ref.split())
char_ops = cp.align(list(ref), list(hyp))
task_cer = sum(op != "ok" for op, _, _ in char_ops) / len(ref)
print(round(task_wer, 3), round(task_cer, 3))
0.096 0.047

Le WER de cet appel est de 9,6 %, et son CER est de 4,7 %. C’est un appel en anglais. Sur ces appels, Whisper tiny fait beaucoup moins d’erreurs en anglais qu’en français. Un appel peut donc être bien meilleur ou bien pire que le score des 60 appels.

Erreur courante

La référence et le texte du modèle sont inversés

Symptôme : Tomás évalue l’exemple « Yes. » et obtient 80 %. Priya obtient 400 % pour les deux mêmes textes. Aucun des outils n’affiche d’erreur.

ref_short = cp.normalise("Yes.")
hyp_long = cp.normalise("Yes. Thank you for watching.")
print(cp.wer(ref_short, hyp_long), cp.wer(hyp_long, ref_short))
4.0 0.8

Cause : le WER divise par le nombre de mots de référence. Tomás a donné le texte du modèle en premier. L’outil a donc pris « yes thank you for watching » comme référence. Les quatre mots supplémentaires sont devenus quatre suppressions sur cinq mots.

Correction : passez toujours la référence en premier, comme dans jiwer.wer(reference, hypothesis) et speech wer REFERENCE HYPOTHESIS. Nommez vos variables ref et hyp pour repérer facilement une inversion.

Conséquence dans le travail en IA : un WER inversé est trop indulgent envers un modèle qui invente du texte. C’est l’erreur la plus nuisible dans le silence. Vous pourriez choisir le mauvais système de reconnaissance ou manquer les mots inventés jusqu’à ce qu’un client les lise.

Vérifiez votre compréhension

La référence est « my order is late » et le modèle a écrit « my order is very late again ». Comptez S, D et I, et calculez le WER.

Afficher la réponse

Alignez les mots : « my », « order », « is » correspondent. Le modèle a ajouté « very » avant « late », et « again » après. Donc S = 0, D = 0 et I = 2. La référence contient 4 mots, donc le WER est (0 + 0 + 2) / 4 = 0,5, soit 50 %.

Vérifiez votre compréhension

Expliquez à Omar comment un WER peut dépasser 100 %, et ce que cela signifie souvent dans un appel téléphonique.

Afficher la réponse

Le WER divise les erreurs par le nombre de mots de référence. Les substitutions et les suppressions ne peuvent pas dépasser le nombre de mots de référence, mais les insertions n’ont aucune limite. Si le modèle écrit beaucoup de mots alors que l’appelant en a dit peu, les erreurs peuvent dépasser les mots de référence. Le WER dépasse alors 100 %. Vosk a écrit 8 mots pour « Yes, it’s 384529 » (le numéro en six mots) et a obtenu 200 %. Dans un appel téléphonique, un WER supérieur à 100 % signifie souvent que le modèle a inventé du texte. Cela arrive par exemple dans le silence ou la musique d’attente.

Vérifiez votre compréhension

Une transcription de « I do not want a refund, I want a new one » a un WER de 18,2 %. Grace dit que cela suffit pour lancer un remboursement. Que lui dites-vous?

Afficher la réponse

Le WER compte chaque mot de la même façon. Ici, les deux erreurs sont un « not » manquant et un « new » supplémentaire. Le texte dit donc « I do want a refund ». Le sens est le contraire de ce que l’appelant a dit. Un faible WER ne garantit pas que les mots qui servent à décider sont corrects. Avant d’agir selon une transcription, Larkfield doit vérifier ces mots séparément : négations, numéros de commande et noms de produits. Les prochaines leçons montrent comment.

Récapitulatif

  • Un système de reconnaissance est évalué comme une dictée, par rapport à une transcription de référence : substitutions (S), suppressions (D) et insertions (I).
  • WER = (S + D + I) / N, où N est le nombre de mots de référence. L’alignement associe les mots avec le moins de changements possible. S + D + I est donc la distance d’édition.
  • Le WER n’a pas de limite supérieure, car les insertions n’en ont aucune. Vosk a obtenu 200 % sur une phrase, et le texte inventé dans le silence produit le même effet.
  • Le CER utilise le même alignement sur les lettres. Il est plus indulgent envers les petites erreurs d’orthographe.
  • Sur les 60 appels de test synthétiques de Larkfield : Whisper tiny 20,7 %, Whisper small 8,6 %, Vosk small 31,2 % de WER. Passez toujours la référence en premier.

Vous pouvez maintenant évaluer une transcription et obtenir un chiffre par système de reconnaissance. Mais la même transcription a donné 266,7 % dans l’explorateur, même si le modèle a écrit chaque mot dit par l’appelant. Ensuite, vous verrez comment notre façon d’écrire les nombres, les majuscules et la ponctuation change le score. Vous rédigerez un guide que les deux textes suivent.

Leçon suivante : Normaliser avant de comparer