Aller au contenu
English

Choisir un système de reconnaissance pour deux langues

  • Étude de cas 1
  • 120 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Dans neuf modules, nous avons comparé des systèmes de reconnaissance sur les appels synthétiques de Larkfield. Dans cette étude de cas, nous utilisons de la parole réelle en anglais et en français d'un jeu de données ouvert. Nous comparons Vosk et les tailles de Whisper par groupe de locuteurs, puis nous en recommandons un.

Étude de cas 1 sur 4 · IA de la parole : transcrire, comprendre et parlerChoisir un système de reconnaissance pour deux langues
Aperçu du cours

Ce que vous saurez faire

Choisissez un système de reconnaissance de la parole pour un vrai produit bilingue, avec des preuves à présenter aux autres. Vous testerez cinq systèmes sur de la parole réelle en anglais et en français. Vous examinerez les groupes de locuteurs qu’une moyenne cache. Puis vous recommanderez un système par langue, avec ses erreurs, sa vitesse et son coût.

Étude de casPièce de portfolio

Licence
CC BY 4.0
Durée
Environ 2 h
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Guide de normalisation
  • WER et CER
  • Facteur temps réel et mémoire
  • Tranches par langue et par genre
  • Comparaison appariée
  • Coût par heure d'audio

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Le carnet (notebook) Jupyter exécute chaque étape de cette page, avec le même code et les mêmes résultats. Il ajoute deux tâches avec des vérifications. Il évalue les transcriptions enregistrées des cinq systèmes de reconnaissance, sans nécessiter des heures de calcul. À la fin, il exécute le système choisi sur 20 nouveaux enregistrements sur votre ordinateur. Ses cellules de préparation téléchargent environ 30 Mo de fichiers et le modèle Whisper (environ 480 Mo). Il s’exécute en environ 3 minutes sur un portable.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 120 minutes

Ce que vous devez savoir

Cette étude de cas utilise toute la partie du cours sur la reconnaissance. Ces leçons sont les plus importantes :

Ce qu’il vous faut sur votre ordinateur (uniquement pour l’exécution locale; le carnet n’a besoin de rien de cela)

  • Python 3.12 dans un nouvel environnement virtuel, et le carnet téléchargé avec le lien ci-dessus, dans VS Code ou JupyterLab. La première cellule du carnet installe ses paquets. Votre projet larkspeech convient aussi; cette étude de cas ne modifie pas ses fichiers.
  • Environ 1 Go d’espace disque libre pour les fichiers et le modèle Whisper. La cellule de préparation place les fichiers dans un nouveau dossier fleurs-recognisers. Pour recommencer, supprimez ce dossier.

Testé sur macOS (Apple M4, 16 Go) avec Python 3.12 et faster-whisper 1.2.1, dans Jupyter après un nouveau démarrage. Windows, Linux, Colab et Kaggle n’ont pas été testés.

Two Rivers Home Repairs répare le chauffage, la plomberie et l’électricité dans les maisons des deux côtés de la rivière des Outaouais. L’entreprise travaille en Ontario et au Québec. Ses 150 techniciens travaillent en anglais ou en français, selon la préférence de chaque client. Après chaque visite, un technicien écrit une courte note : ses observations, son travail et les prochaines étapes.

Aujourd’hui, ils tapent les notes sur un téléphone, dans une fourgonnette, entre deux visites. Les notes sont courtes, arrivent tard et manquent parfois. Leila, la gestionnaire des opérations, veut la dictée : le technicien parle pendant environ 40 secondes, puis l’application affiche le texte. Le technicien le vérifie et l’enregistre.

Leila pose trois conditions :

  • Les deux langues doivent fonctionner. Une note en français doit être aussi utilisable qu’une note en anglais.
  • L’application doit servir tous les techniciens de façon égale. Des femmes et des hommes travaillent sur le terrain. L’application ne doit pas moins bien fonctionner pour un groupe.
  • L’audio reste dans l’entreprise. Les notes nomment les clients et leurs adresses. Le système fonctionne donc sur le serveur CPU de l’entreprise, et non sur un service hébergé. Hugo, le développeur, est responsable de ce serveur.

Inès, l’analyste de données de l’entreprise, doit recommander un système de reconnaissance. Elle n’a pas encore d’enregistrements des techniciens. Les enregistrer exige leur consentement et quelques semaines. Elle commence donc avec un jeu de données ouvert de parole réelle, pour choisir les candidats et préparer le test. Elle exécutera ensuite ce test sur les notes des techniciens.

Vous construirez une comparaison équitable de cinq systèmes de reconnaissance : les mêmes enregistrements réels bilingues, un guide de normalisation, un tableau. Vous examinerez les résultats par langue et par genre des locuteurs, avec les pires enregistrements. Puis vous recommanderez un système pour chaque langue. Vous donnerez son coût par heure d’audio sur un serveur CPU et préciserez ce qu’une personne doit encore vérifier. Enfin, vous exécuterez le système recommandé sur de nouveaux enregistrements, de bout en bout.

Un organigramme de gauche à droite. Parole réelle : les données de test FLEURS, 262 enregistrements en anglais et 230 en français. Puis une boîte avec le même audio pour chaque système de reconnaissance : Vosk small comme référence de base, puis Whisper tiny, base et small, avec medium sur un échantillon. Ensuite, un seul guide : le guide de normalisation du cours avec une règle pour les grands nombres. Puis les scores par groupe : langue croisée avec genre, avec le WER, le CER, le facteur temps réel et la mémoire. Ensuite, la décision : un système par langue et son coût par heure d'audio. Enfin, de nouvelles entrées : 20 enregistrements que personne n'a examinés.
L'étude de cas en six étapes : le même audio et le même guide pour chaque système, des scores par groupe, une décision et une vérification sur de nouveaux enregistrements.
Description textuelle du diagramme

L’étude de cas compte six étapes. Elle commence avec de la parole réelle : 262 enregistrements en anglais et 230 en français provenant de FLEURS. Chaque système reçoit le même audio : Vosk small comme référence de base, puis Whisper tiny, base et small. Whisper medium traite un échantillon. Un seul guide de normalisation prépare chaque transcription. Les scores sont répartis par langue et par genre. La décision nomme un système par langue et son coût. La dernière étape applique cette décision à 20 nouveaux enregistrements que personne n’a examinés auparavant.

FLEURS est un jeu de données ouvert de Google. Des bénévoles lisent des phrases à voix haute dans 102 langues. Les phrases proviennent d’articles de Wikipédia, et des traducteurs les traduisent dans chaque langue. L’anglais et le français ont donc les mêmes phrases. Chaque enregistrement contient son texte et le genre du locuteur tel que FLEURS l’indique.

Inès a aussi examiné Mozilla Common Voice : beaucoup de locuteurs, des données CC0, mais les téléchargements exigent maintenant un compte sur la plateforme de Mozilla. C’est une bonne option pour un test ultérieur, pas pour un carnet que chaque apprenant doit pouvoir exécuter.

Une ligne représente un enregistrement : un bénévole lit une phrase, enregistrée à 16 000 échantillons par seconde. Voici les colonnes utilisées dans l’étude de cas :

Colonne Signification
language en (anglais, États-Unis) ou fr (français, France)
sentence_id La phrase. Le même numéro désigne la même phrase dans les deux langues.
gender female (femme) ou male (homme), tel que FLEURS l’indique
seconds La durée de l’enregistrement
text Ce que le locuteur a lu : la référence

Premières vérifications : les mêmes phrases pour les deux groupes

Section intitulée « Premières vérifications : les mêmes phrases pour les deux groupes »

Dans les données de test, certaines phrases ont été lues par une femme et un homme. D’autres ont été lues par deux femmes ou deux hommes. Si les femmes et les hommes lisent des phrases différentes, un écart de scores pourrait venir des phrases, pas des voix. Inès garde donc seulement les phrases lues à la fois par une femme et un homme, avec un enregistrement de chacun :

Counter({('en', 'female'): 131, ('en', 'male'): 131, ('fr', 'female'): 115, ('fr', 'male'): 115})
en 262 recordings, 131 sentences, every sentence read twice: True, 44.2 minutes
fr 230 recordings, 115 sentences, every sentence read twice: True, 38.6 minutes

Ce que cela nous apprend. L’échantillon compte 262 enregistrements en anglais et 230 en français, d’environ 10 secondes chacun. Chaque groupe lit les mêmes phrases. Avec environ 5 810 mots de référence en anglais et 6 052 en français, une erreur sur un mot fait varier le WER d’une langue d’environ 0,017 et 0,017 points. Pour un seul genre, la variation est environ deux fois plus grande.

Écoutez une phrase lue par une femme et un homme en anglais, puis par un homme en français :

FLEURS, données de test en anglais, une bénévole (4,3 s). Parole réelle, CC BY 4.0.
FLEURS, données de test en anglais, un bénévole (6,1 s). Parole réelle, CC BY 4.0.

Transcription (les deux extraits en anglais) : « The scenes are displayed on the pyramids and the different pyramids are lit up. »

FLEURS, données de test en français, un bénévole (5 s). Parole réelle, CC BY 4.0.

Transcription (extrait en français) : « Les scènes sont affichées sur les pyramides et les différentes pyramides sont éclairées. » (En anglais : la même phrase que ci-dessus.)

Ce sont de vraies personnes, pas des voix synthétiques. Vous entendez la respiration, un peu de bruit de la pièce et le rythme propre à chaque locuteur.

Avant toute exécution, Inès écrit ce qu’elle mesure et ce que signifie « assez bon ». Si elle choisissait les cibles après les résultats, elle pourrait prendre celles qui font gagner son favori.

  • L’unité : un enregistrement, un locuteur, une phrase.
  • La mesure principale : le WER après un seul guide de normalisation, en additionnant les erreurs de tous les enregistrements avant la division. Le CER sert de deuxième mesure, car le français contient beaucoup de mots courts qu’une mauvaise lettre change.
  • La vitesse et la mémoire : le facteur temps réel (RTF : temps de calcul ÷ durée audio) sur 4 fils d’exécution CPU, et la mémoire maximale utilisée.
  • Les groupes : langue × genre. FLEURS ne donne ni l’accent ni l’âge; nous ne pouvons donc pas vérifier ces groupes ici.
  • Ce qu’une personne vérifie : le technicien lit chaque note avant de l’enregistrer.

Leila et Inès conviennent de ces cibles (une décision d’équipe, écrite avant les résultats) :

Cible Valeur Pourquoi
WER par langue au plus 10 % environ un mot sur dix à corriger dans une note
Écart entre les genres aucun écart clair supérieur à 2 points la deuxième condition de Leila
Facteur temps réel au plus 0,25 une note de 40 secondes revient en 10 secondes
Mémoire maximale au plus 2 Go le serveur exécute aussi l’application

Ce que FLEURS ne peut pas lui dire. Les bénévoles lisent des phrases claires dans une pièce calme. Les techniciens parlent librement, dans une fourgonnette ou un sous-sol, avec des termes de métier comme « backflow valve » ou « chauffe-eau ». FLEURS sert donc à choisir les candidats et à construire la méthode. Il ne prouve pas les chiffres finaux. Inès exécutera le même test sur 100 notes enregistrées avec consentement avant la mise en service de l’application.

Le guide de normalisation du cours a été écrit pour les appels de Larkfield. Les numéros de commande y sont dits chiffre par chiffre; le guide joint donc les chiffres (« 7 4 2 » → « 742 »). Les phrases de FLEURS contiennent de grands nombres et des années. Vosk écrit les nombres en lettres; Whisper écrit surtout des chiffres. Regardez un enregistrement :

said: Goats seem to have been first domesticated roughly 10,000 years ago in the Zagros Mountains of Iran.
Vosk wrote: good seem to have been first domesticated roughly ten thousand years ago and as are girls mountains of iran
course's guide: ... roughly 10000 years ago ... | ... roughly 10 thousand years ago ...
+ big_numbers: ... roughly 10000 years ago ... | ... roughly 10000 years ago ...

Ce que cela nous apprend. Avec le guide du cours seulement, « ten thousand » (dix mille) devient « 10 thousand ». Vosk perd deux mots même s’il a bien entendu le nombre. Un guide mal adapté aux données pénalise un système plus qu’un autre. Inès ajoute donc une règle pour ces données, big_numbers : un nombre en lettres contenant « hundred », « thousand » ou « million » devient des chiffres. En français, ces mots sont « cent », « mille » et « million ». Elle applique cette règle à chaque système et aux références, avant tout calcul de score.

WER après… Vosk small, anglais Vosk small, français Whisper small, anglais Whisper small, français
aucun guide (séparation aux espaces) 41,9 % 35,9 % 12,9 % 21,2 %
le guide du cours 25,2 % 19,6 % 6,8 % 13,6 %
le guide + big_numbers 24,6 % 18,8 % 6,7 % 13,6 %

La nouvelle règle fait varier Vosk de moins de 1 point, et Whisper presque pas. C’est peu, mais cela reste utile : les écarts entre systèmes doivent venir de ce qu’ils ont entendu, pas de l’écriture des nombres. Le guide compte beaucoup plus que la règle : sans guide, chaque WER est environ deux fois plus élevé.

Deux autres questions d’orthographe restent, et Inès les laisse comme erreurs. Les références anglaises utilisent l’orthographe britannique (« travellers »), et Whisper écrit l’orthographe américaine (« travelers »). Le guide supprime aussi « mm » comme mot de remplissage (filler). Ainsi, « 35 mm » (millimètres) perd son unité dans les deux textes. Ces deux cas sont rares ici. Notez ces règles quand vous les trouvez, et appliquez-les à tous les systèmes ou à aucun.

La référence de base est la méthode simple que toutes les autres doivent dépasser. Ici, c’est Vosk small : l’ancien pipeline de Du son au texte, environ 40 Mo par langue, un modèle par langue.

Vosk small WER CER RTF Mémoire maximale
Anglais 24,6 % 12,8 % 0,074 252 Mo
Français 18,8 % 8,0 % 0,13 298 Mo

Ce que cela nous apprend. Vosk small fait environ une erreur sur quatre mots en anglais, et une sur cinq en français. Il est léger : moins de 300 Mo de mémoire. Sur les appels téléphoniques synthétiques de Larkfield, Vosk obtenait 24,4 % en anglais et 39,4 % en français. Ici, le français est la langue plus facile pour Vosk. Gardez cela en tête : sur de la parole réelle, le classement des langues peut changer.

Les autres options sont Whisper tiny, base et small avec faster-whisper et des poids sur 8 bits. C’est la configuration de Les tailles de Whisper sur un portable. La langue est indiquée à chacun. Chaque système reçoit les mêmes 492 enregistrements, sur le même portable (Apple M4, 4 fils d’exécution CPU), avec le même guide. Leur exécution complète a pris environ 25 minutes. Le carnet ne les exécute pas à nouveau : il évalue les transcriptions enregistrées. Ses chiffres sont donc exactement ceux de cette page.

Voici le tableau. Chaque ligne utilise les mêmes enregistrements et le même guide.

Système de reconnaissance WER en anglais WER en français CER en anglais CER en français RTF (en / fr) Mémoire maximale (en / fr)
Vosk small (référence de base) 24,6 % 18,8 % 12,8 % 8,0 % 0,074 / 0,13 252 / 298 Mo
Whisper tiny 15,4 % 44,4 % 6,7 % 19,8 % 0,019 / 0,028 545 / 438 Mo
Whisper base 11,1 % 28,4 % 4,8 % 11,8 % 0,043 / 0,046 626 / 537 Mo
Whisper small 6,7 % 13,6 % 2,7 % 5,0 % 0,13 / 0,13 1 066 / 1 149 Mo
Deux nuages de points, anglais et français. Horizontalement : le facteur temps réel sur une échelle logarithmique; la gauche est plus rapide. Verticalement : le WER. Un coin ombré marque un WER d'au plus 10 % et un RTF d'au plus 0,25. Anglais : Vosk 24,6 % à un RTF de 0,074, tiny 15,4 % à 0,0189, base 11,1 % à 0,0425, small 6,7 % à 0,1343, medium sur 25 phrases 4,7 % à 0,2932. Français : Vosk 18,8 % à 0,1294, tiny 44,4 % à 0,0284, base 28,4 % à 0,0462, small 13,6 % à 0,13, medium sur tous les enregistrements français 7,4 % à 0,3395.
Erreur selon la vitesse sur de la parole réellement lue, en anglais et en français (FLEURS, un portable, 4 fils d'exécution CPU). Carré : Vosk small; cercles : Whisper. Whisper medium : un cercle vide en anglais (les 25 premières phrases seulement), un cercle plein en français (tous les enregistrements; voir la section suivante). Le coin ombré respecte les deux cibles : un WER d'au plus 10 % et un RTF d'au plus 0,25.
Description textuelle du diagramme

Chaque point représente un système de reconnaissance. Plus il est bas, plus il est exact; plus il est à gauche, plus il est rapide. En anglais, Whisper small a un WER inférieur à 10 %, à 6,7 %; base le dépasse légèrement, à 11,1 %. En français, Vosk et les trois petites tailles de Whisper dépassent toutes 10 %. Whisper small est le meilleur de ces modèles à 13,6 %, suivi de Vosk à 18,8 %. Whisper base (28,4 %) et tiny (44,4 %) font moins bien que Vosk. Whisper medium est le plus exact dans les deux langues, et le plus lent : la prochaine section l’examine.

Ce que cela nous apprend. Trois choses.

  1. En anglais, Whisper small respecte la cible d’erreur, et base y arrive presque. Small fait environ une erreur tous les quinze mots.
  2. En français, la référence de base bat deux tailles de Whisper. Vosk small (18,8 %) fait mieux que Whisper base (28,4 %) et beaucoup mieux que tiny (44,4 %). Les petites tailles de Whisper ont vu beaucoup plus d’anglais que de français pendant leur entraînement. Un modèle plus grand et plus récent n’est pas toujours meilleur dans toutes les langues : mesurez-le.
  3. Whisper est plus lent ici que sur les appels de Larkfield. Small a besoin d’un RTF d’environ 0,13, contre 0,075 sur les appels téléphoniques. La durée explique en partie cette différence : Whisper lit toujours une fenêtre de 30 secondes. Un enregistrement de 10 secondes exige donc 30 secondes de travail. La vérification ci-dessous mesure cet effet.

Inès fait une vérification rapide. Elle prend les 20 premiers enregistrements anglais et les traite avec Whisper, un à un. Puis elle réunit ces mêmes 20 enregistrements dans un long fichier et le traite une seule fois.

Taille de Whisper Un à un (environ 9,1 s chacun) Réunis dans un fichier
tiny RTF 0,017 RTF 0,011
small RTF 0,11 RTF 0,061
medium RTF 0,336 RTF 0,165

Ce que cela nous apprend. Le même audio demande environ deux fois moins de calcul lorsqu’il arrive en un seul long morceau. Les notes des techniciens durent environ 40 secondes, plus longtemps que ces phrases. Le RTF réel sera donc inférieur à celui du tableau. Les vitesses du tableau viennent aussi d’un portable qui effectuait d’autres tâches en même temps. Mesurez la vitesse sur le serveur que vous utiliserez, avec de l’audio de la durée réelle.

Deux personnes font une course à des jours différents : l’une sous la pluie, l’autre au soleil. Qui est plus rapide? Impossible de le savoir, car la météo a aussi changé. Faites-les courir sur la même piste le même jour, et la comparaison devient équitable.

Les scores par groupe présentent le même problème. Si les femmes lisent des phrases plus difficiles que les hommes, un écart de WER pourrait venir des phrases. Notre échantillon règle ce problème : chaque phrase a été lue une fois par une femme et une fois par un homme. Nous pouvons donc comparer à l’intérieur de chaque phrase et compter qui a fait le plus d’erreurs sur les mêmes mots. C’est une comparaison appariée.

Un organigramme. Une phrase des données de test. Une femme la lit : enregistrement 1. Un homme la lit : enregistrement 2. Les deux passent par le même système de reconnaissance et le même guide. Les erreurs de l'enregistrement 1 et celles de l'enregistrement 2 sont comparées : plus, moins ou autant? Les comptes sont additionnés pour toutes les phrases.
La comparaison appariée : la même phrase, lue par une femme et par un homme, avec le même système de reconnaissance et le même guide. Comptez quel enregistrement a obtenu le plus d'erreurs, pour toutes les phrases.
Description textuelle du diagramme

Une phrase est lue deux fois : une fois par une femme, une fois par un homme. Les deux enregistrements passent par le même système de reconnaissance et le même guide. Nous comparons leurs erreurs sur les mots : l’enregistrement de la femme en avait plus, moins ou autant. Nous faisons ce compte pour toutes les phrases. Comme les mots sont identiques, une différence vient des voix et des enregistrements, pas des phrases.

Un petit exemple, avec des nombres construits pour trois phrases :

Phrase Erreurs, femme Erreurs, homme Qui en avait le plus?
A 4 2 la femme
B 1 1 égalité
C 0 3 l’homme

Sur trois phrases, cela donne une fois chacun et une égalité : aucun signe d’écart. Sur 115 phrases, un écart réel apparaît comme un déséquilibre net. Pour chiffrer ce qui est « net », nous rééchantillonnons les phrases. Nous tirons 115 phrases au hasard, en permettant les répétitions, et calculons l’écart. Nous le faisons 2 000 fois. Les 95 % centraux de ces écarts forment l’intervalle à 95 %. S’il comprend 0, nous ne pouvons pas dire quel groupe le système de reconnaissance sert moins bien.

L’écart entre les genres pour chaque système de reconnaissance

Section intitulée « L’écart entre les genres pour chaque système de reconnaissance »
Deux graphiques à barres, anglais et français, avec une paire de barres par système de reconnaissance : le WER des femmes et celui des hommes sur les mêmes phrases. Anglais : Vosk 24,9 et 24,4, tiny 14,5 et 16,2, base 11,5 et 10,8, small 6,6 et 6,7. Français : Vosk 20,3 et 17,3, tiny 43,7 et 45,2, base 30,1 et 26,7, small 14,4 et 12,9, medium 8,2 et 6,6. Une ligne pointillée marque la cible de 10 %.
WER des locutrices et des locuteurs sur les mêmes phrases, pour chaque système de reconnaissance (échantillon de test FLEURS). La ligne pointillée représente la cible de 10 %.
Description textuelle du diagramme

Chaque paire de barres représente un système de reconnaissance : le WER des locutrices et celui des locuteurs, sur les mêmes phrases. En anglais, les paires sont proches pour tous les systèmes de reconnaissance. En français, la barre des femmes est plus haute pour Vosk (20,3 % contre 17,3 %), base (30,1 % contre 26,7 %), small (14,4 % contre 12,9 %) et medium (8,2 % contre 6,6 %), et plus basse pour tiny.

Système de reconnaissance Langue Écart (femmes − hommes) Intervalle à 95 % Phrases : femme moins bien / homme moins bien / égalité
Vosk small Anglais 0,5 −2,7 à 3,5 50 / 63 / 18
Vosk small Français 2,9 0,5 à 5,2 62 / 36 / 17
Whisper base Français 3,5 0,1 à 7,1 58 / 47 / 10
Whisper small Anglais −0,1 −1,5 à 1,3 38 / 43 / 50
Whisper small Français 1,5 −0,7 à 3,8 54 / 43 / 18
Whisper medium Français 1,7 0,1 à 3,3 49 / 31 / 35

Ce que cela nous apprend. En anglais, Whisper small sert les femmes et les hommes également : l’écart est de −0,1 points. Dans 50 des 131 phrases, les deux enregistrements avaient le même nombre d’erreurs. En français, Vosk small présente un écart net : les enregistrements des femmes ont obtenu plus d’erreurs dans 62 phrases, ceux des hommes dans 36. L’intervalle ne comprend pas 0. Whisper small en français tend dans le même sens (1,5 points), mais son intervalle comprend 0. Cet échantillon ne permet donc pas de trancher. C’est une raison de surveiller, pas une preuve d’équité.

Interprétez un écart avec prudence. Il indique que ce système de reconnaissance a fait plus d’erreurs sur les enregistrements de ces bénévoles. Il n’en donne pas la cause : les voix, les microphones et les pièces diffèrent tous entre les locuteurs. FLEURS n’a pas d’identifiants de locuteur; une même personne peut donc avoir lu plusieurs phrases. Et FLEURS ne consigne le genre qu’avec deux valeurs. Utilisez l’étiquette pour comparer les groupes, jamais pour deviner le genre d’une personne à partir de sa voix.

Une moyenne cache les enregistrements qui échouent. Voici les pires enregistrements français de Whisper small (au moins 8 mots) :

Paroles prononcées Whisper small a écrit WER
Tout dans l’Univers est fait de matière. Toute la matière est faite de minuscules particules appelées atomes. Tout est dans l'univers et fait de matière. Toute la matière est fait de minus que le particule a plié à tourne. 61,1 %
Sundarbans est une réserve naturelle depuis 1966, vous pourrez y trouver environ 400 tigres du Bengale royal et 30 000 cerfs tachetés. Sune d'Arban est une réserve naturelle depuis 1966. Vous pourrez trouver en faisant 4 centigres du Mengal Royal et 30 000 serres à râtocheter. 57,1 %

Ce que cela nous apprend. Les pires erreurs touchent les noms (« Sundarbans », « Bengale ») et les mots rares (« minuscules particules appelées atomes »). Les petits mots français comme « de », « l’ » et « est » posent aussi problème. Une note dictée contient aussi des noms : clients, rues, pièces. Inès compte deux types de mots importants, comme dans Les erreurs qui comptent. Les nombres sont tout ce qui est écrit avec des chiffres. Les noms sont les mots avec une majuscule qui ne commencent pas une phrase.

Éléments manqués Vosk small Whisper tiny Whisper base Whisper small
Nombres, anglais (sur 56) 26 13 8 6
Nombres, français (sur 62) 26 43 21 17
Noms, anglais (sur 434) 152 158 126 99
Noms, français (sur 240) 79 150 125 85

Whisper small manque peu de nombres anglais, mais plus d’un nombre français sur quatre. Il manque environ un nom anglais sur quatre, et un nom français sur trois. Vosk manque presque la moitié des nombres dans les deux langues. La personne qui lit la note doit donc vérifier les noms et les nombres en premier. C’est là qu’un mauvais mot coûte le plus cher : une mauvaise rue, un mauvais numéro de pièce.

Certains techniciens changent de langue d’un client à l’autre. Inès a aussi exécuté Whisper small sans lui indiquer la langue. Il a choisi la bonne langue pour les 492 enregistrements. Le WER n’a pas changé (6,7 % en anglais, 13,6 % en français). Son niveau de confiance le plus bas était de 0,828 sur un enregistrement anglais.

La détection fonctionne donc sur ces phrases claires. L’application garde tout de même le réglage de langue de chaque technicien et l’envoie avec la note. C’est ce que recommande Accents, bruit et deux langues. Une note qui commence par le nom d’un client pourrait tromper la détection. Un numéro de pièce anglais au début d’une note française aussi, et ce réglage ne coûte rien.

Aucun des quatre systèmes de reconnaissance n’a respecté la cible de 10 % en français. Inès avait aussi essayé Whisper medium sur un premier échantillon de 25 phrases par langue (50 enregistrements chacune). C’est une plus grande taille : environ 769 millions de paramètres, contre 244 millions pour small. Sur les mêmes 50 enregistrements français, medium avait 7,4 % et small 14,1 %. Cet écart est trop grand pour l’ignorer, et 50 enregistrements sont trop peu pour décider. Elle a donc exécuté medium sur tous les 230 enregistrements français :

Français, les 230 enregistrements WER CER WER femmes / hommes Écart, intervalle à 95 % RTF Mémoire maximale
Whisper small 13,6 % 5,0 % 14,4 % / 12,9 % −0,7 à 3,8 0,13 1 149 Mo
Whisper medium 7,4 % 2,6 % 8,2 % / 6,6 % 0,1 à 3,3 0,34 2 670 Mo

Ce que cela nous apprend. Medium réduit de moitié l’erreur en français : 7,4 % contre 13,6 %. Il manque moins de nombres français (15 sur 62, contre 17 pour small) et moins de noms (66 sur 240, contre 85). C’est le seul système de reconnaissance qui respecte la cible de 10 % en français.

Mais il ne respecte pas deux autres cibles. Son facteur temps réel sur ces extraits de 10 secondes est de 0,34, au-dessus de 0,25. Sur l’exécution complète, sa mémoire maximale a atteint 2 670 Mo, au-dessus de 2 Go. Sur les 50 premiers enregistrements, elle était de 1 864 Mo. La mémoire peut augmenter pendant une longue exécution; mesurez-la donc sur une longue exécution.

Les enregistrements des femmes obtiennent encore un peu plus d’erreurs : l’écart est de 1,7 points, avec un intervalle de 0,1 à 3,3. Il est probablement réel, et il reste sous la cible de 2 points. Inès le note pour le vérifier à nouveau sur les notes des techniciens.

Inès consigne la décision pour Leila et Hugo dans un tableau. Le coût est le facteur temps réel × le prix horaire du serveur. Le prix est de 0,17 $ US par heure pour un serveur CPU avec 4 vCPU et 16 Go. C’est une hypothèse tirée du fichier de coûts du cours, pas une offre de prix. Le volume est l’hypothèse du récit : 150 techniciens × 5 notes × 40 secondes × 22 jours ouvrables. Cela représente environ 183 heures d’audio par mois, 60 % en anglais et 40 % en français.

Anglais Français
Système de reconnaissance Whisper small (int8, langue indiquée) Whisper medium (int8, langue indiquée)
WER / CER 6,7 % / 2,7 % 7,4 % / 2,6 %
Femmes / hommes (mêmes phrases) 6,6 % / 6,7 % 8,2 % / 6,6 %
Facteur temps réel (extraits de 10 secondes; portable partagé) 0,13 0,34
Mémoire maximale 1 066 Mo 2 670 Mo
Coût par heure d’audio (hypothèse : 0,17 $ US par heure de serveur; limite supérieure, les notes plus longues demandent moins) 0,023 $ US 0,058 $ US
Coût par mois (110 et 73 heures d’audio) 2,51 $ US 4,23 $ US
Ce qu’une personne vérifie encore noms et nombres dans chaque note noms et nombres dans chaque note; petits mots français

Pourquoi pas les autres?

  • Vosk small est le plus léger, mais il manque environ un mot sur quatre en anglais. En français, il sert nettement moins bien les femmes.
  • Whisper base en anglais (11,1 %) dépasse légèrement la cible, avec trois fois moins de calcul que small. Si le serveur devient un jour la limite, base est la première solution de repli pour l’anglais.
  • Whisper small en français (13,6 %) ne respecte pas la cible. Il reste la solution de repli pour le français si medium est trop lent sur le serveur.

Vitesse et mémoire. Selon les mesures, medium ne respecte pas deux cibles, et Inès ne le cache pas. La vérification de vitesse ci-dessus montre une solution pour la vitesse : sur 20 enregistrements réunis, medium avait un RTF de 0,165. C’était 0,336 en les traitant un à un. Une note de 40 secondes ressemble davantage au cas réuni; le résultat devrait donc arriver en moins de 10 secondes. Hugo le confirmera sur le serveur. La mémoire représente un coût réel : environ 2,7 Go pour le français et 1,1 Go pour l’anglais, sur 16 Go. Leila accepte de porter la cible de mémoire à 3 Go. Elle la change ouvertement, par écrit, car l’exactitude en français compte plus pour elle que 700 Mo. Si le serveur ne peut pas les fournir, Whisper small reste la solution de repli en français, avec plus de révision.

Le calcul n’est pas la partie coûteuse. Un mois entier coûte quelques dollars. Une mauvaise adresse qui oblige un technicien à revenir coûte plus qu’un an de calcul. La question d’argent n’est donc pas « quel modèle est le moins cher? », mais « combien de mots une personne doit-elle corriger? ».

La décision sur de nouvelles entrées, de bout en bout

Section intitulée « La décision sur de nouvelles entrées, de bout en bout »

Une décision n’est utile que si elle fonctionne sur des enregistrements que personne n’a utilisés pour la prendre. Inès a gardé de côté 20 enregistrements des données de validation de FLEURS. Ils contiennent d’autres phrases, avec 5 femmes et 5 hommes par langue. Elle ne les a pas regardés avant d’avoir consigné la décision. Dans le code, la décision tient dans une petite fonction :

def transcribe_note(path, language):
"""The decision in code: one recording in, its text out, with the compute time."""
x, sr = sf.read(path, dtype="float32")
start = time.perf_counter()
segments, _ = model.transcribe(x, language=language, beam_size=1, condition_on_previous_text=False)
return " ".join(s.text.strip() for s in segments), time.perf_counter() - start

model correspond à Whisper small pour l’anglais et à Whisper medium pour le français, chargé une fois au début. Voici le résultat sur les 20 nouveaux enregistrements :

Nouveaux enregistrements Système de reconnaissance WER Noms manqués
10 en anglais Whisper small 4,8 % 3 sur 11
10 en français Whisper medium 9,3 % 3 sur 9
10 en français (pour comparer) Whisper small 10,7 % 5 sur 9

Un nouvel enregistrement français, tel que le technicien le verrait :

Texte
Paroles prononcées Le tronçon entre Point Marion et Fairmont présente les conditions de conduite les plus difficiles sur l’autoroute Buffalo-Pittsburgh, passant fréquemment par des terrains isolés de l’arrière-pays.
Whisper medium Le tronçon entre Pont-Marion et Fermont présente les conditions de conduite les plus difficiles sur l'autoroute Buffalo-Pittsburgh passant fréquemment par des terrains isolés de l'arrière pays.
Whisper small Le transeau entre ponts, marion et ferme on présente les conditions de conduite les plus difficiles sur l'autoroute Pufalo-Pittsburg passant fréquemment par des terrains isolés de l'arrière-pays

Ce que cela nous apprend. Sur de nouveaux enregistrements, la décision tient. L’anglais avec Whisper small : 4,8 %, proche des 6,7 % de l’échantillon. Le français avec Whisper medium : 9,3 %, proche des 7,4 % de l’échantillon, et meilleur que small sur les mêmes enregistrements. Avec seulement 10 enregistrements par langue, quelques points de plus ou de moins sont normaux. L’exemple montre ce qu’une personne doit encore examiner : medium écrit « Pont-Marion » et « Fermont » pour « Point Marion » et « Fairmont ». Le reste de la longue phrase est correct. Dans une note de technicien, ce seraient une rue et une ville : exactement ce qu’il faut vérifier avant d’enregistrer.

La parole réelle est plus difficile que les appels synthétiques de Larkfield

Section intitulée « La parole réelle est plus difficile que les appels synthétiques de Larkfield »

Le cours a évalué les mêmes systèmes de reconnaissance sur les appels synthétiques de Larkfield. Pour une comparaison équitable, on utilise leur version à bande large (wideband), à 16 000 échantillons par seconde comme FLEURS :

Deux graphiques à barres, anglais et français, avec deux barres par système de reconnaissance : le WER sur les appels synthétiques de Larkfield (bande large) et sur la parole réelle lue de FLEURS. Anglais : Vosk 21,6 et 24,6, tiny 5,5 et 15,4, base 5,4 et 11,1, small 3,7 et 6,7. Français : Vosk 22,4 et 18,8, tiny 31,9 et 44,4, base 20,7 et 28,4, small 12,4 et 13,6.
WER sur les appels synthétiques de Larkfield (audio à bande large, appels de test du cours) et sur la parole réelle lue de FLEURS, par langue. Les phrases et les locuteurs diffèrent : comparez la tendance, pas les points individuels.
Description textuelle du diagramme

Les barres grises représentent les appels synthétiques de Larkfield; les barres bleues, FLEURS. En anglais, chaque taille de Whisper fait environ deux à trois fois plus d’erreurs sur la parole réelle (small : 1,8 fois) : small 3,7 % contre 6,7 %, tiny 5,5 % contre 15,4 %. En français, Whisper fait un peu moins bien sur la parole réelle, et Vosk fait mieux : 22,4 % sur les appels synthétiques contre 18,8 % sur FLEURS.

Ce que cela nous apprend. Sur les appels synthétiques de Larkfield, l’anglais semblait presque résolu : 3,7 % pour Whisper small. Les locuteurs anglophones réels, même en lisant des phrases claires, multiplient les erreurs par environ deux à trois (1,8 pour small). En français, le cours avait déjà signalé que les trois voix françaises synthétiques rendaient la tâche plus difficile. Avec des locuteurs francophones réels, Vosk fait beaucoup mieux qu’avec ces voix. La leçon générale : les données de test doivent ressembler à la parole de vos utilisateurs. La parole synthétique sert bien à construire et à vérifier un système. Elle ne convient pas pour choisir un modèle ou promettre un résultat chiffré.

  • De la parole lue, pas de la dictée. Les techniciens parlent librement, avec des pauses, des termes de métier et du bruit. Attendez-vous à des WER plus élevés sur leurs notes.
  • Ni accents ni âges. FLEURS fournit de l’anglais américain et du français de France. Cette étude ne teste pas de locuteurs canadiens.
  • Petits groupes et aucun identifiant de locuteur. Les écarts inférieurs à environ 2 points sont difficiles à détecter. Une même personne peut avoir lu plusieurs phrases, donc les intervalles sont un peu trop étroits.
  • Une seule machine partagée. Le classement des systèmes de reconnaissance est fiable; les facteurs temps réel exacts ne le sont pas.
  • Les locuteurs sont de vraies personnes. Les bénévoles de FLEURS ont enregistré leur voix pour la recherche. Conservez l’attribution, ne tentez d’identifier personne et n’utilisez jamais ces voix pour entraîner un clone vocal.
  • L’étiquette de genre sert uniquement à vérifier l’équité. Ne construisez jamais un outil qui devine le genre d’une personne à partir de sa voix.
  • Les enregistrements des techniciens. L’entreprise demande le consentement avant tout enregistrement de test et supprime l’audio une fois la note enregistrée. Elle permet aussi au technicien de taper sa note. L’audio ne va jamais vers un service hébergé.
  • Une machine rédige un brouillon; une personne l’enregistre. L’application affiche la note comme un brouillon tant que le technicien ne l’a pas vérifiée.
  • Les données personnelles des clients. Les notes contiennent les noms et les adresses des clients. Les règles de Les données personnelles dans la voix s’appliquent au texte enregistré.
  • Surveillez les groupes après le lancement. Inès vérifie de nouveau l’écart entre les genres sur les notes des techniciens, puis tous les quelques mois.

Une étude de cas comme celle-ci montre à un employeur que vous choisissez un modèle avec des preuves, pas une impression. Personnalisez-la en changeant un élément. Essayez une autre paire de langues de FLEURS, un autre système de reconnaissance ou la version téléphonique des mêmes enregistrements. Puis rendez-la facile à lire en cinq minutes.

Quoi mettre dans le dépôt :

  • README.md (modèle ci-dessous).
  • Le carnet (notebook) Jupyter, exécuté du début à la fin, avec ses sorties.
  • results.csv : une ligne par système de reconnaissance, langue et genre, avec le WER, le CER, le RTF et la mémoire.
  • GUIDE.md : le guide de normalisation utilisé, avec la règle ajoutée et sa raison.
  • La source et la licence des données : FLEURS, CC BY 4.0, avec le texte d’attribution de l’encadré ci-dessus. Ajoutez un lien vers le jeu de données; n’hébergez pas vous-même son audio.

Un modèle de README :

# Choosing a speech recogniser for English and French dictation
## Question
Which local recogniser should a bilingual field-service app use for 40-second notes?
Targets: WER <= 10% per language, no clear gender gap > 2 points, RTF <= 0.25, memory <= 2 GB.
## Data and licence
FLEURS (Google, Conneau et al. 2022), CC BY 4.0, en_us and fr_fr test splits:
every sentence read by both a woman and a man (262 + 230 recordings).
## Approach
Vosk small (baseline) and Whisper tiny, base, small (medium on a sample), int8, 4 CPU threads,
told the language. One normalisation guide (+ a rule for big numbers). Scores by language
and gender; paired comparison and resampled 95% intervals; important words (numbers, names).
## Results
(your table: WER, CER, RTF, memory, gender gap per language)
## Decision and cost
(one recogniser per language, cost per audio hour on a CPU server, what a person checks)
## Limits
Read speech, not dictation; no accents or ages; no speaker IDs; one shared laptop.

Comment le décrire en entrevue, en deux phrases : « J’ai comparé cinq systèmes de reconnaissance de la parole ouverts sur de la parole réelle en anglais et en français, par langue et par genre des locuteurs, avec un seul guide de normalisation; la petite référence de base a battu deux tailles de Whisper en français. J’ai recommandé un système par langue avec son coût par heure d’audio, et un plan pour le confirmer sur les enregistrements de l’entreprise. »

Pour aller plus loin :

  • Faites passer les mêmes enregistrements dans le code de ligne téléphonique du cours (to_phone dans le projet), puis mesurez de nouveau les scores. Prédisez d’abord quel système de reconnaissance perdra le plus.
  • Ajoutez whisper.cpp de Les tailles de Whisper sur un portable comme ligne supplémentaire.
  • Donnez à Whisper une requête de vocabulaire contenant des noms, comme dans Aider le modèle avec vos mots. Comptez de nouveau les noms manqués.

Vérifiez votre compréhension

En français, Vosk small (18,8 %) a fait moins d'erreurs que Whisper base (28,4 %) et Whisper tiny (44,4 %). Un collègue dit : « Whisper est plus récent, donc il est toujours meilleur. » Que lui répondez-vous, et comment une équipe doit-elle choisir?

Afficher la réponse

Une famille de modèles plus récente n’est pas meilleure dans chaque langue et à chaque taille. Les petites tailles de Whisper ont appris sur beaucoup plus d’anglais que de français. Sur ces enregistrements français, le petit modèle Vosk en a battu deux. En anglais, chaque taille de Whisper a battu Vosk. L’équipe évalue donc chaque candidat sur les mêmes enregistrements, dans chaque langue nécessaire au produit. Elle utilise un seul guide et des cibles écrites avant les résultats. Ensuite, elle choisit par langue et peut retenir des systèmes de reconnaissance différents selon la langue.

Vérifiez votre compréhension

Vosk small en français : femmes 20,3 %, hommes 17,3 %, intervalle à 95 % de l'écart de 0,5 à 5,2. Whisper small en français : 14,4 % et 12,9 %, intervalle de −0,7 à 3,8. Que pouvez-vous conclure pour chacun, et pourquoi l'échantillon garde-t-il seulement les phrases lues à la fois par une femme et par un homme?

Afficher la réponse

Pour Vosk, l’intervalle n’inclut pas 0. Sur ces enregistrements, il donne de moins bons résultats pour les femmes, d’environ 2,9 points. Pour Whisper small, l’intervalle inclut 0. Cet échantillon ne permet pas de savoir s’il existe un écart. L’équipe continue donc de le surveiller sur ses propres enregistrements. Aucun résultat n’en indique la cause : les voix, les microphones et les pièces diffèrent tous. L’échantillon conserve les phrases lues par les deux groupes, ce qui rend la comparaison appariée. Les deux groupes lisent les mêmes mots. Un écart ne peut donc pas venir de phrases plus faciles ou plus difficiles.

Vérifiez votre compréhension

Avant de calculer les scores, l'analyste a ajouté une règle au guide de normalisation du cours : les nombres écrits en mots contenant cent ou mille deviennent des chiffres. Pourquoi était-elle nécessaire, pourquoi doit-elle s'appliquer à chaque système de reconnaissance, et quand ajouteriez-vous une telle règle?

Afficher la réponse

Le guide du cours visait les numéros de commande dictés chiffre par chiffre. FLEURS contient de grands nombres. Vosk les écrit en mots (« ten thousand », soit dix mille), et Whisper les écrit en chiffres. Sans cette règle, Vosk perdait des points pour des mots qu’il avait bien entendus. La comparaison était injuste envers un système de reconnaissance. Une règle doit s’appliquer aux transcriptions de référence et à chaque système de reconnaissance, sinon elle favorise un système. Ajoutez une règle quand une vérification des nouvelles données révèle une différence d’écriture, pas d’écoute. Notez-la et présentez les scores avec et sans cette règle.

Récapitulatif

  • Vous avez d’abord vérifié le guide de normalisation sur de nouvelles données. Vous avez ajouté une règle pour les grands nombres, appliquée à chaque système de reconnaissance.
  • En anglais, Whisper small a atteint les cibles : 6,7 % de WER, aucun écart entre les genres. En français, la référence de base Vosk a battu Whisper tiny et base. Seul Whisper medium est passé sous 10 % (7,4 %).
  • La comparaison appariée utilisait les mêmes phrases pour les femmes et les hommes. Vosk en français donnait des résultats nettement moins bons pour les femmes. Pour Whisper small, l’échantillon ne permettait pas de montrer un écart. Whisper medium tend dans le même sens, sous la cible de 2 points.
  • Les extraits courts demandent plus de calcul à Whisper par seconde, car il lit toujours une fenêtre de 30 secondes. Le calcul ne coûte quand même que quelques dollars par mois. Le vrai coût, c’est la personne qui vérifie les noms et les nombres.
  • La parole réelle lue produisait environ deux à trois fois plus d’erreurs en anglais que les appels synthétiques de Larkfield (small : 1,8 fois). Les données de test doivent ressembler à la parole de vos utilisateurs.

Ensuite, une autre tâche sur de la parole réelle : des enregistrements de réunions avec plusieurs locuteurs, à séparer avant la transcription.

Leçon suivante : Transcriptions de réunions avec les locuteurs