Choisir un système de reconnaissance pour deux langues
- Étude de cas 1
- 120 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Dans neuf modules, nous avons comparé des systèmes de reconnaissance sur les appels synthétiques de Larkfield. Dans cette étude de cas, nous utilisons de la parole réelle en anglais et en français d'un jeu de données ouvert. Nous comparons Vosk et les tailles de Whisper par groupe de locuteurs, puis nous en recommandons un.
Étude de cas 1 sur 4 · IA de la parole : transcrire, comprendre et parlerChoisir un système de reconnaissance pour deux langues
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Choisissez un système de reconnaissance de la parole pour un vrai produit bilingue, avec des preuves à présenter aux autres. Vous testerez cinq systèmes sur de la parole réelle en anglais et en français. Vous examinerez les groupes de locuteurs qu’une moyenne cache. Puis vous recommanderez un système par langue, avec ses erreurs, sa vitesse et son coût.
Le carnet (notebook) Jupyter exécute chaque étape de cette page, avec le même code et les mêmes résultats. Il ajoute deux tâches avec des vérifications. Il évalue les transcriptions enregistrées des cinq systèmes de reconnaissance, sans nécessiter des heures de calcul. À la fin, il exécute le système choisi sur 20 nouveaux enregistrements sur votre ordinateur. Ses cellules de préparation téléchargent environ 30 Mo de fichiers et le modèle Whisper (environ 480 Mo). Il s’exécute en environ 3 minutes sur un portable.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise toute la partie du cours sur la reconnaissance. Ces leçons sont les plus importantes :
- Le WER, le CER et l’alignement, dans Le taux d’erreur sur les mots, étape par étape.
- Le guide de normalisation, dans Normaliser avant de comparer.
- Les mots importants et les tranches, dans Les erreurs qui comptent.
- Vosk et Whisper, dans Du son au texte, puis les tailles, la vitesse et la mémoire, dans Les tailles de Whisper sur un portable.
- Les tranches avec des facteurs confondus et la détection de la langue, dans Accents, bruit et deux langues.
Ce qu’il vous faut sur votre ordinateur (uniquement pour l’exécution locale; le carnet n’a besoin de rien de cela)
- Python 3.12 dans un nouvel environnement virtuel, et le carnet téléchargé avec le lien ci-dessus, dans VS Code ou JupyterLab. La première cellule du carnet installe ses paquets. Votre projet
larkspeechconvient aussi; cette étude de cas ne modifie pas ses fichiers. - Environ 1 Go d’espace disque libre pour les fichiers et le modèle Whisper. La cellule de préparation place les fichiers dans un nouveau dossier
fleurs-recognisers. Pour recommencer, supprimez ce dossier.
Testé sur macOS (Apple M4, 16 Go) avec Python 3.12 et faster-whisper 1.2.1, dans Jupyter après un nouveau démarrage. Windows, Linux, Colab et Kaggle n’ont pas été testés.
La situation
Section intitulée « La situation »Two Rivers Home Repairs répare le chauffage, la plomberie et l’électricité dans les maisons des deux côtés de la rivière des Outaouais. L’entreprise travaille en Ontario et au Québec. Ses 150 techniciens travaillent en anglais ou en français, selon la préférence de chaque client. Après chaque visite, un technicien écrit une courte note : ses observations, son travail et les prochaines étapes.
Aujourd’hui, ils tapent les notes sur un téléphone, dans une fourgonnette, entre deux visites. Les notes sont courtes, arrivent tard et manquent parfois. Leila, la gestionnaire des opérations, veut la dictée : le technicien parle pendant environ 40 secondes, puis l’application affiche le texte. Le technicien le vérifie et l’enregistre.
Leila pose trois conditions :
- Les deux langues doivent fonctionner. Une note en français doit être aussi utilisable qu’une note en anglais.
- L’application doit servir tous les techniciens de façon égale. Des femmes et des hommes travaillent sur le terrain. L’application ne doit pas moins bien fonctionner pour un groupe.
- L’audio reste dans l’entreprise. Les notes nomment les clients et leurs adresses. Le système fonctionne donc sur le serveur CPU de l’entreprise, et non sur un service hébergé. Hugo, le développeur, est responsable de ce serveur.
Inès, l’analyste de données de l’entreprise, doit recommander un système de reconnaissance. Elle n’a pas encore d’enregistrements des techniciens. Les enregistrer exige leur consentement et quelques semaines. Elle commence donc avec un jeu de données ouvert de parole réelle, pour choisir les candidats et préparer le test. Elle exécutera ensuite ce test sur les notes des techniciens.
Ce que vous allez construire
Section intitulée « Ce que vous allez construire »Vous construirez une comparaison équitable de cinq systèmes de reconnaissance : les mêmes enregistrements réels bilingues, un guide de normalisation, un tableau. Vous examinerez les résultats par langue et par genre des locuteurs, avec les pires enregistrements. Puis vous recommanderez un système pour chaque langue. Vous donnerez son coût par heure d’audio sur un serveur CPU et préciserez ce qu’une personne doit encore vérifier. Enfin, vous exécuterez le système recommandé sur de nouveaux enregistrements, de bout en bout.
Description textuelle du diagramme
L’étude de cas compte six étapes. Elle commence avec de la parole réelle : 262 enregistrements en anglais et 230 en français provenant de FLEURS. Chaque système reçoit le même audio : Vosk small comme référence de base, puis Whisper tiny, base et small. Whisper medium traite un échantillon. Un seul guide de normalisation prépare chaque transcription. Les scores sont répartis par langue et par genre. La décision nomme un système par langue et son coût. La dernière étape applique cette décision à 20 nouveaux enregistrements que personne n’a examinés auparavant.
Les données
Section intitulée « Les données »FLEURS est un jeu de données ouvert de Google. Des bénévoles lisent des phrases à voix haute dans 102 langues. Les phrases proviennent d’articles de Wikipédia, et des traducteurs les traduisent dans chaque langue. L’anglais et le français ont donc les mêmes phrases. Chaque enregistrement contient son texte et le genre du locuteur tel que FLEURS l’indique.
Inès a aussi examiné Mozilla Common Voice : beaucoup de locuteurs, des données CC0, mais les téléchargements exigent maintenant un compte sur la plateforme de Mozilla. C’est une bonne option pour un test ultérieur, pas pour un carnet que chaque apprenant doit pouvoir exécuter.
Ce que signifie une ligne
Section intitulée « Ce que signifie une ligne »Une ligne représente un enregistrement : un bénévole lit une phrase, enregistrée à 16 000 échantillons par seconde. Voici les colonnes utilisées dans l’étude de cas :
| Colonne | Signification |
|---|---|
language |
en (anglais, États-Unis) ou fr (français, France) |
sentence_id |
La phrase. Le même numéro désigne la même phrase dans les deux langues. |
gender |
female (femme) ou male (homme), tel que FLEURS l’indique |
seconds |
La durée de l’enregistrement |
text |
Ce que le locuteur a lu : la référence |
Premières vérifications : les mêmes phrases pour les deux groupes
Section intitulée « Premières vérifications : les mêmes phrases pour les deux groupes »Dans les données de test, certaines phrases ont été lues par une femme et un homme. D’autres ont été lues par deux femmes ou deux hommes. Si les femmes et les hommes lisent des phrases différentes, un écart de scores pourrait venir des phrases, pas des voix. Inès garde donc seulement les phrases lues à la fois par une femme et un homme, avec un enregistrement de chacun :
Counter({('en', 'female'): 131, ('en', 'male'): 131, ('fr', 'female'): 115, ('fr', 'male'): 115})en 262 recordings, 131 sentences, every sentence read twice: True, 44.2 minutesfr 230 recordings, 115 sentences, every sentence read twice: True, 38.6 minutesCe que cela nous apprend. L’échantillon compte 262 enregistrements en anglais et 230 en français, d’environ 10 secondes chacun. Chaque groupe lit les mêmes phrases. Avec environ 5 810 mots de référence en anglais et 6 052 en français, une erreur sur un mot fait varier le WER d’une langue d’environ 0,017 et 0,017 points. Pour un seul genre, la variation est environ deux fois plus grande.
Écoutez une phrase lue par une femme et un homme en anglais, puis par un homme en français :
Transcription (les deux extraits en anglais) : « The scenes are displayed on the pyramids and the different pyramids are lit up. »
Transcription (extrait en français) : « Les scènes sont affichées sur les pyramides et les différentes pyramides sont éclairées. » (En anglais : la même phrase que ci-dessus.)
Ce sont de vraies personnes, pas des voix synthétiques. Vous entendez la respiration, un peu de bruit de la pièce et le rythme propre à chaque locuteur.
Définir le problème
Section intitulée « Définir le problème »Avant toute exécution, Inès écrit ce qu’elle mesure et ce que signifie « assez bon ». Si elle choisissait les cibles après les résultats, elle pourrait prendre celles qui font gagner son favori.
- L’unité : un enregistrement, un locuteur, une phrase.
- La mesure principale : le WER après un seul guide de normalisation, en additionnant les erreurs de tous les enregistrements avant la division. Le CER sert de deuxième mesure, car le français contient beaucoup de mots courts qu’une mauvaise lettre change.
- La vitesse et la mémoire : le facteur temps réel (RTF : temps de calcul ÷ durée audio) sur 4 fils d’exécution CPU, et la mémoire maximale utilisée.
- Les groupes : langue × genre. FLEURS ne donne ni l’accent ni l’âge; nous ne pouvons donc pas vérifier ces groupes ici.
- Ce qu’une personne vérifie : le technicien lit chaque note avant de l’enregistrer.
Leila et Inès conviennent de ces cibles (une décision d’équipe, écrite avant les résultats) :
| Cible | Valeur | Pourquoi |
|---|---|---|
| WER par langue | au plus 10 % | environ un mot sur dix à corriger dans une note |
| Écart entre les genres | aucun écart clair supérieur à 2 points | la deuxième condition de Leila |
| Facteur temps réel | au plus 0,25 | une note de 40 secondes revient en 10 secondes |
| Mémoire maximale | au plus 2 Go | le serveur exécute aussi l’application |
Ce que FLEURS ne peut pas lui dire. Les bénévoles lisent des phrases claires dans une pièce calme. Les techniciens parlent librement, dans une fourgonnette ou un sous-sol, avec des termes de métier comme « backflow valve » ou « chauffe-eau ». FLEURS sert donc à choisir les candidats et à construire la méthode. Il ne prouve pas les chiffres finaux. Inès exécutera le même test sur 100 notes enregistrées avec consentement avant la mise en service de l’application.
Vérifier le guide avant de comparer
Section intitulée « Vérifier le guide avant de comparer »Le guide de normalisation du cours a été écrit pour les appels de Larkfield. Les numéros de commande y sont dits chiffre par chiffre; le guide joint donc les chiffres (« 7 4 2 » → « 742 »). Les phrases de FLEURS contiennent de grands nombres et des années. Vosk écrit les nombres en lettres; Whisper écrit surtout des chiffres. Regardez un enregistrement :
said: Goats seem to have been first domesticated roughly 10,000 years ago in the Zagros Mountains of Iran.Vosk wrote: good seem to have been first domesticated roughly ten thousand years ago and as are girls mountains of irancourse's guide: ... roughly 10000 years ago ... | ... roughly 10 thousand years ago ...+ big_numbers: ... roughly 10000 years ago ... | ... roughly 10000 years ago ...Ce que cela nous apprend. Avec le guide du cours seulement, « ten thousand » (dix mille) devient « 10 thousand ». Vosk perd deux mots même s’il a bien entendu le nombre. Un guide mal adapté aux données pénalise un système plus qu’un autre. Inès ajoute donc une règle pour ces données, big_numbers : un nombre en lettres contenant « hundred », « thousand » ou « million » devient des chiffres. En français, ces mots sont « cent », « mille » et « million ». Elle applique cette règle à chaque système et aux références, avant tout calcul de score.
| WER après… | Vosk small, anglais | Vosk small, français | Whisper small, anglais | Whisper small, français |
|---|---|---|---|---|
| aucun guide (séparation aux espaces) | 41,9 % | 35,9 % | 12,9 % | 21,2 % |
| le guide du cours | 25,2 % | 19,6 % | 6,8 % | 13,6 % |
le guide + big_numbers |
24,6 % | 18,8 % | 6,7 % | 13,6 % |
La nouvelle règle fait varier Vosk de moins de 1 point, et Whisper presque pas. C’est peu, mais cela reste utile : les écarts entre systèmes doivent venir de ce qu’ils ont entendu, pas de l’écriture des nombres. Le guide compte beaucoup plus que la règle : sans guide, chaque WER est environ deux fois plus élevé.
Deux autres questions d’orthographe restent, et Inès les laisse comme erreurs. Les références anglaises utilisent l’orthographe britannique (« travellers »), et Whisper écrit l’orthographe américaine (« travelers »). Le guide supprime aussi « mm » comme mot de remplissage (filler). Ainsi, « 35 mm » (millimètres) perd son unité dans les deux textes. Ces deux cas sont rares ici. Notez ces règles quand vous les trouvez, et appliquez-les à tous les systèmes ou à aucun.
Une référence de base : Vosk small
Section intitulée « Une référence de base : Vosk small »La référence de base est la méthode simple que toutes les autres doivent dépasser. Ici, c’est Vosk small : l’ancien pipeline de Du son au texte, environ 40 Mo par langue, un modèle par langue.
| Vosk small | WER | CER | RTF | Mémoire maximale |
|---|---|---|---|---|
| Anglais | 24,6 % | 12,8 % | 0,074 | 252 Mo |
| Français | 18,8 % | 8,0 % | 0,13 | 298 Mo |
Ce que cela nous apprend. Vosk small fait environ une erreur sur quatre mots en anglais, et une sur cinq en français. Il est léger : moins de 300 Mo de mémoire. Sur les appels téléphoniques synthétiques de Larkfield, Vosk obtenait 24,4 % en anglais et 39,4 % en français. Ici, le français est la langue plus facile pour Vosk. Gardez cela en tête : sur de la parole réelle, le classement des langues peut changer.
Les autres options : trois tailles de Whisper
Section intitulée « Les autres options : trois tailles de Whisper »Les autres options sont Whisper tiny, base et small avec faster-whisper et des poids sur 8 bits. C’est la configuration de Les tailles de Whisper sur un portable. La langue est indiquée à chacun. Chaque système reçoit les mêmes 492 enregistrements, sur le même portable (Apple M4, 4 fils d’exécution CPU), avec le même guide. Leur exécution complète a pris environ 25 minutes. Le carnet ne les exécute pas à nouveau : il évalue les transcriptions enregistrées. Ses chiffres sont donc exactement ceux de cette page.
Une comparaison équitable avec une seule mesure
Section intitulée « Une comparaison équitable avec une seule mesure »Voici le tableau. Chaque ligne utilise les mêmes enregistrements et le même guide.
| Système de reconnaissance | WER en anglais | WER en français | CER en anglais | CER en français | RTF (en / fr) | Mémoire maximale (en / fr) |
|---|---|---|---|---|---|---|
| Vosk small (référence de base) | 24,6 % | 18,8 % | 12,8 % | 8,0 % | 0,074 / 0,13 | 252 / 298 Mo |
| Whisper tiny | 15,4 % | 44,4 % | 6,7 % | 19,8 % | 0,019 / 0,028 | 545 / 438 Mo |
| Whisper base | 11,1 % | 28,4 % | 4,8 % | 11,8 % | 0,043 / 0,046 | 626 / 537 Mo |
| Whisper small | 6,7 % | 13,6 % | 2,7 % | 5,0 % | 0,13 / 0,13 | 1 066 / 1 149 Mo |
Description textuelle du diagramme
Chaque point représente un système de reconnaissance. Plus il est bas, plus il est exact; plus il est à gauche, plus il est rapide. En anglais, Whisper small a un WER inférieur à 10 %, à 6,7 %; base le dépasse légèrement, à 11,1 %. En français, Vosk et les trois petites tailles de Whisper dépassent toutes 10 %. Whisper small est le meilleur de ces modèles à 13,6 %, suivi de Vosk à 18,8 %. Whisper base (28,4 %) et tiny (44,4 %) font moins bien que Vosk. Whisper medium est le plus exact dans les deux langues, et le plus lent : la prochaine section l’examine.
Ce que cela nous apprend. Trois choses.
- En anglais, Whisper small respecte la cible d’erreur, et base y arrive presque. Small fait environ une erreur tous les quinze mots.
- En français, la référence de base bat deux tailles de Whisper. Vosk small (18,8 %) fait mieux que Whisper base (28,4 %) et beaucoup mieux que tiny (44,4 %). Les petites tailles de Whisper ont vu beaucoup plus d’anglais que de français pendant leur entraînement. Un modèle plus grand et plus récent n’est pas toujours meilleur dans toutes les langues : mesurez-le.
- Whisper est plus lent ici que sur les appels de Larkfield. Small a besoin d’un RTF d’environ 0,13, contre 0,075 sur les appels téléphoniques. La durée explique en partie cette différence : Whisper lit toujours une fenêtre de 30 secondes. Un enregistrement de 10 secondes exige donc 30 secondes de travail. La vérification ci-dessous mesure cet effet.
L’audio court est-il plus lent?
Section intitulée « L’audio court est-il plus lent? »Inès fait une vérification rapide. Elle prend les 20 premiers enregistrements anglais et les traite avec Whisper, un à un. Puis elle réunit ces mêmes 20 enregistrements dans un long fichier et le traite une seule fois.
| Taille de Whisper | Un à un (environ 9,1 s chacun) | Réunis dans un fichier |
|---|---|---|
| tiny | RTF 0,017 | RTF 0,011 |
| small | RTF 0,11 | RTF 0,061 |
| medium | RTF 0,336 | RTF 0,165 |
Ce que cela nous apprend. Le même audio demande environ deux fois moins de calcul lorsqu’il arrive en un seul long morceau. Les notes des techniciens durent environ 40 secondes, plus longtemps que ces phrases. Le RTF réel sera donc inférieur à celui du tableau. Les vitesses du tableau viennent aussi d’un portable qui effectuait d’autres tâches en même temps. Mesurez la vitesse sur le serveur que vous utiliserez, avec de l’audio de la durée réelle.
Les groupes qu’une moyenne cache
Section intitulée « Les groupes qu’une moyenne cache »Un nouvel outil : la comparaison appariée
Section intitulée « Un nouvel outil : la comparaison appariée »Deux personnes font une course à des jours différents : l’une sous la pluie, l’autre au soleil. Qui est plus rapide? Impossible de le savoir, car la météo a aussi changé. Faites-les courir sur la même piste le même jour, et la comparaison devient équitable.
Les scores par groupe présentent le même problème. Si les femmes lisent des phrases plus difficiles que les hommes, un écart de WER pourrait venir des phrases. Notre échantillon règle ce problème : chaque phrase a été lue une fois par une femme et une fois par un homme. Nous pouvons donc comparer à l’intérieur de chaque phrase et compter qui a fait le plus d’erreurs sur les mêmes mots. C’est une comparaison appariée.
Description textuelle du diagramme
Une phrase est lue deux fois : une fois par une femme, une fois par un homme. Les deux enregistrements passent par le même système de reconnaissance et le même guide. Nous comparons leurs erreurs sur les mots : l’enregistrement de la femme en avait plus, moins ou autant. Nous faisons ce compte pour toutes les phrases. Comme les mots sont identiques, une différence vient des voix et des enregistrements, pas des phrases.
Un petit exemple, avec des nombres construits pour trois phrases :
| Phrase | Erreurs, femme | Erreurs, homme | Qui en avait le plus? |
|---|---|---|---|
| A | 4 | 2 | la femme |
| B | 1 | 1 | égalité |
| C | 0 | 3 | l’homme |
Sur trois phrases, cela donne une fois chacun et une égalité : aucun signe d’écart. Sur 115 phrases, un écart réel apparaît comme un déséquilibre net. Pour chiffrer ce qui est « net », nous rééchantillonnons les phrases. Nous tirons 115 phrases au hasard, en permettant les répétitions, et calculons l’écart. Nous le faisons 2 000 fois. Les 95 % centraux de ces écarts forment l’intervalle à 95 %. S’il comprend 0, nous ne pouvons pas dire quel groupe le système de reconnaissance sert moins bien.
L’écart entre les genres pour chaque système de reconnaissance
Section intitulée « L’écart entre les genres pour chaque système de reconnaissance »Description textuelle du diagramme
Chaque paire de barres représente un système de reconnaissance : le WER des locutrices et celui des locuteurs, sur les mêmes phrases. En anglais, les paires sont proches pour tous les systèmes de reconnaissance. En français, la barre des femmes est plus haute pour Vosk (20,3 % contre 17,3 %), base (30,1 % contre 26,7 %), small (14,4 % contre 12,9 %) et medium (8,2 % contre 6,6 %), et plus basse pour tiny.
| Système de reconnaissance | Langue | Écart (femmes − hommes) | Intervalle à 95 % | Phrases : femme moins bien / homme moins bien / égalité |
|---|---|---|---|---|
| Vosk small | Anglais | 0,5 | −2,7 à 3,5 | 50 / 63 / 18 |
| Vosk small | Français | 2,9 | 0,5 à 5,2 | 62 / 36 / 17 |
| Whisper base | Français | 3,5 | 0,1 à 7,1 | 58 / 47 / 10 |
| Whisper small | Anglais | −0,1 | −1,5 à 1,3 | 38 / 43 / 50 |
| Whisper small | Français | 1,5 | −0,7 à 3,8 | 54 / 43 / 18 |
| Whisper medium | Français | 1,7 | 0,1 à 3,3 | 49 / 31 / 35 |
Ce que cela nous apprend. En anglais, Whisper small sert les femmes et les hommes également : l’écart est de −0,1 points. Dans 50 des 131 phrases, les deux enregistrements avaient le même nombre d’erreurs. En français, Vosk small présente un écart net : les enregistrements des femmes ont obtenu plus d’erreurs dans 62 phrases, ceux des hommes dans 36. L’intervalle ne comprend pas 0. Whisper small en français tend dans le même sens (1,5 points), mais son intervalle comprend 0. Cet échantillon ne permet donc pas de trancher. C’est une raison de surveiller, pas une preuve d’équité.
Interprétez un écart avec prudence. Il indique que ce système de reconnaissance a fait plus d’erreurs sur les enregistrements de ces bénévoles. Il n’en donne pas la cause : les voix, les microphones et les pièces diffèrent tous entre les locuteurs. FLEURS n’a pas d’identifiants de locuteur; une même personne peut donc avoir lu plusieurs phrases. Et FLEURS ne consigne le genre qu’avec deux valeurs. Utilisez l’étiquette pour comparer les groupes, jamais pour deviner le genre d’une personne à partir de sa voix.
Les pires enregistrements et les mots qui comptent
Section intitulée « Les pires enregistrements et les mots qui comptent »Une moyenne cache les enregistrements qui échouent. Voici les pires enregistrements français de Whisper small (au moins 8 mots) :
| Paroles prononcées | Whisper small a écrit | WER |
|---|---|---|
| Tout dans l’Univers est fait de matière. Toute la matière est faite de minuscules particules appelées atomes. | Tout est dans l'univers et fait de matière. Toute la matière est fait de minus que le particule a plié à tourne. | 61,1 % |
| Sundarbans est une réserve naturelle depuis 1966, vous pourrez y trouver environ 400 tigres du Bengale royal et 30 000 cerfs tachetés. | Sune d'Arban est une réserve naturelle depuis 1966. Vous pourrez trouver en faisant 4 centigres du Mengal Royal et 30 000 serres à râtocheter. | 57,1 % |
Ce que cela nous apprend. Les pires erreurs touchent les noms (« Sundarbans », « Bengale ») et les mots rares (« minuscules particules appelées atomes »). Les petits mots français comme « de », « l’ » et « est » posent aussi problème. Une note dictée contient aussi des noms : clients, rues, pièces. Inès compte deux types de mots importants, comme dans Les erreurs qui comptent. Les nombres sont tout ce qui est écrit avec des chiffres. Les noms sont les mots avec une majuscule qui ne commencent pas une phrase.
| Éléments manqués | Vosk small | Whisper tiny | Whisper base | Whisper small |
|---|---|---|---|---|
| Nombres, anglais (sur 56) | 26 | 13 | 8 | 6 |
| Nombres, français (sur 62) | 26 | 43 | 21 | 17 |
| Noms, anglais (sur 434) | 152 | 158 | 126 | 99 |
| Noms, français (sur 240) | 79 | 150 | 125 | 85 |
Whisper small manque peu de nombres anglais, mais plus d’un nombre français sur quatre. Il manque environ un nom anglais sur quatre, et un nom français sur trois. Vosk manque presque la moitié des nombres dans les deux langues. La personne qui lit la note doit donc vérifier les noms et les nombres en premier. C’est là qu’un mauvais mot coûte le plus cher : une mauvaise rue, un mauvais numéro de pièce.
Whisper peut-il trouver la langue lui-même?
Section intitulée « Whisper peut-il trouver la langue lui-même? »Certains techniciens changent de langue d’un client à l’autre. Inès a aussi exécuté Whisper small sans lui indiquer la langue. Il a choisi la bonne langue pour les 492 enregistrements. Le WER n’a pas changé (6,7 % en anglais, 13,6 % en français). Son niveau de confiance le plus bas était de 0,828 sur un enregistrement anglais.
La détection fonctionne donc sur ces phrases claires. L’application garde tout de même le réglage de langue de chaque technicien et l’envoie avec la note. C’est ce que recommande Accents, bruit et deux langues. Une note qui commence par le nom d’un client pourrait tromper la détection. Un numéro de pièce anglais au début d’une note française aussi, et ce réglage ne coûte rien.
Une plus grande taille pour le français
Section intitulée « Une plus grande taille pour le français »Aucun des quatre systèmes de reconnaissance n’a respecté la cible de 10 % en français. Inès avait aussi essayé Whisper medium sur un premier échantillon de 25 phrases par langue (50 enregistrements chacune). C’est une plus grande taille : environ 769 millions de paramètres, contre 244 millions pour small. Sur les mêmes 50 enregistrements français, medium avait 7,4 % et small 14,1 %. Cet écart est trop grand pour l’ignorer, et 50 enregistrements sont trop peu pour décider. Elle a donc exécuté medium sur tous les 230 enregistrements français :
| Français, les 230 enregistrements | WER | CER | WER femmes / hommes | Écart, intervalle à 95 % | RTF | Mémoire maximale |
|---|---|---|---|---|---|---|
| Whisper small | 13,6 % | 5,0 % | 14,4 % / 12,9 % | −0,7 à 3,8 | 0,13 | 1 149 Mo |
| Whisper medium | 7,4 % | 2,6 % | 8,2 % / 6,6 % | 0,1 à 3,3 | 0,34 | 2 670 Mo |
Ce que cela nous apprend. Medium réduit de moitié l’erreur en français : 7,4 % contre 13,6 %. Il manque moins de nombres français (15 sur 62, contre 17 pour small) et moins de noms (66 sur 240, contre 85). C’est le seul système de reconnaissance qui respecte la cible de 10 % en français.
Mais il ne respecte pas deux autres cibles. Son facteur temps réel sur ces extraits de 10 secondes est de 0,34, au-dessus de 0,25. Sur l’exécution complète, sa mémoire maximale a atteint 2 670 Mo, au-dessus de 2 Go. Sur les 50 premiers enregistrements, elle était de 1 864 Mo. La mémoire peut augmenter pendant une longue exécution; mesurez-la donc sur une longue exécution.
Les enregistrements des femmes obtiennent encore un peu plus d’erreurs : l’écart est de 1,7 points, avec un intervalle de 0,1 à 3,3. Il est probablement réel, et il reste sous la cible de 2 points. Inès le note pour le vérifier à nouveau sur les notes des techniciens.
La recommandation
Section intitulée « La recommandation »Inès consigne la décision pour Leila et Hugo dans un tableau. Le coût est le facteur temps réel × le prix horaire du serveur. Le prix est de 0,17 $ US par heure pour un serveur CPU avec 4 vCPU et 16 Go. C’est une hypothèse tirée du fichier de coûts du cours, pas une offre de prix. Le volume est l’hypothèse du récit : 150 techniciens × 5 notes × 40 secondes × 22 jours ouvrables. Cela représente environ 183 heures d’audio par mois, 60 % en anglais et 40 % en français.
| Anglais | Français | |
|---|---|---|
| Système de reconnaissance | Whisper small (int8, langue indiquée) | Whisper medium (int8, langue indiquée) |
| WER / CER | 6,7 % / 2,7 % | 7,4 % / 2,6 % |
| Femmes / hommes (mêmes phrases) | 6,6 % / 6,7 % | 8,2 % / 6,6 % |
| Facteur temps réel (extraits de 10 secondes; portable partagé) | 0,13 | 0,34 |
| Mémoire maximale | 1 066 Mo | 2 670 Mo |
| Coût par heure d’audio (hypothèse : 0,17 $ US par heure de serveur; limite supérieure, les notes plus longues demandent moins) | 0,023 $ US | 0,058 $ US |
| Coût par mois (110 et 73 heures d’audio) | 2,51 $ US | 4,23 $ US |
| Ce qu’une personne vérifie encore | noms et nombres dans chaque note | noms et nombres dans chaque note; petits mots français |
Pourquoi pas les autres?
- Vosk small est le plus léger, mais il manque environ un mot sur quatre en anglais. En français, il sert nettement moins bien les femmes.
- Whisper base en anglais (11,1 %) dépasse légèrement la cible, avec trois fois moins de calcul que small. Si le serveur devient un jour la limite, base est la première solution de repli pour l’anglais.
- Whisper small en français (13,6 %) ne respecte pas la cible. Il reste la solution de repli pour le français si medium est trop lent sur le serveur.
Vitesse et mémoire. Selon les mesures, medium ne respecte pas deux cibles, et Inès ne le cache pas. La vérification de vitesse ci-dessus montre une solution pour la vitesse : sur 20 enregistrements réunis, medium avait un RTF de 0,165. C’était 0,336 en les traitant un à un. Une note de 40 secondes ressemble davantage au cas réuni; le résultat devrait donc arriver en moins de 10 secondes. Hugo le confirmera sur le serveur. La mémoire représente un coût réel : environ 2,7 Go pour le français et 1,1 Go pour l’anglais, sur 16 Go. Leila accepte de porter la cible de mémoire à 3 Go. Elle la change ouvertement, par écrit, car l’exactitude en français compte plus pour elle que 700 Mo. Si le serveur ne peut pas les fournir, Whisper small reste la solution de repli en français, avec plus de révision.
Le calcul n’est pas la partie coûteuse. Un mois entier coûte quelques dollars. Une mauvaise adresse qui oblige un technicien à revenir coûte plus qu’un an de calcul. La question d’argent n’est donc pas « quel modèle est le moins cher? », mais « combien de mots une personne doit-elle corriger? ».
La décision sur de nouvelles entrées, de bout en bout
Section intitulée « La décision sur de nouvelles entrées, de bout en bout »Une décision n’est utile que si elle fonctionne sur des enregistrements que personne n’a utilisés pour la prendre. Inès a gardé de côté 20 enregistrements des données de validation de FLEURS. Ils contiennent d’autres phrases, avec 5 femmes et 5 hommes par langue. Elle ne les a pas regardés avant d’avoir consigné la décision. Dans le code, la décision tient dans une petite fonction :
def transcribe_note(path, language): """The decision in code: one recording in, its text out, with the compute time.""" x, sr = sf.read(path, dtype="float32") start = time.perf_counter() segments, _ = model.transcribe(x, language=language, beam_size=1, condition_on_previous_text=False) return " ".join(s.text.strip() for s in segments), time.perf_counter() - startmodel correspond à Whisper small pour l’anglais et à Whisper medium pour le français, chargé une fois au début. Voici le résultat sur les 20 nouveaux enregistrements :
| Nouveaux enregistrements | Système de reconnaissance | WER | Noms manqués |
|---|---|---|---|
| 10 en anglais | Whisper small | 4,8 % | 3 sur 11 |
| 10 en français | Whisper medium | 9,3 % | 3 sur 9 |
| 10 en français (pour comparer) | Whisper small | 10,7 % | 5 sur 9 |
Un nouvel enregistrement français, tel que le technicien le verrait :
| Texte | |
|---|---|
| Paroles prononcées | Le tronçon entre Point Marion et Fairmont présente les conditions de conduite les plus difficiles sur l’autoroute Buffalo-Pittsburgh, passant fréquemment par des terrains isolés de l’arrière-pays. |
| Whisper medium | Le tronçon entre Pont-Marion et Fermont présente les conditions de conduite les plus difficiles sur l'autoroute Buffalo-Pittsburgh passant fréquemment par des terrains isolés de l'arrière pays. |
| Whisper small | Le transeau entre ponts, marion et ferme on présente les conditions de conduite les plus difficiles sur l'autoroute Pufalo-Pittsburg passant fréquemment par des terrains isolés de l'arrière-pays |
Ce que cela nous apprend. Sur de nouveaux enregistrements, la décision tient. L’anglais avec Whisper small : 4,8 %, proche des 6,7 % de l’échantillon. Le français avec Whisper medium : 9,3 %, proche des 7,4 % de l’échantillon, et meilleur que small sur les mêmes enregistrements. Avec seulement 10 enregistrements par langue, quelques points de plus ou de moins sont normaux. L’exemple montre ce qu’une personne doit encore examiner : medium écrit « Pont-Marion » et « Fermont » pour « Point Marion » et « Fairmont ». Le reste de la longue phrase est correct. Dans une note de technicien, ce seraient une rue et une ville : exactement ce qu’il faut vérifier avant d’enregistrer.
Constats et limites
Section intitulée « Constats et limites »La parole réelle est plus difficile que les appels synthétiques de Larkfield
Section intitulée « La parole réelle est plus difficile que les appels synthétiques de Larkfield »Le cours a évalué les mêmes systèmes de reconnaissance sur les appels synthétiques de Larkfield. Pour une comparaison équitable, on utilise leur version à bande large (wideband), à 16 000 échantillons par seconde comme FLEURS :
Description textuelle du diagramme
Les barres grises représentent les appels synthétiques de Larkfield; les barres bleues, FLEURS. En anglais, chaque taille de Whisper fait environ deux à trois fois plus d’erreurs sur la parole réelle (small : 1,8 fois) : small 3,7 % contre 6,7 %, tiny 5,5 % contre 15,4 %. En français, Whisper fait un peu moins bien sur la parole réelle, et Vosk fait mieux : 22,4 % sur les appels synthétiques contre 18,8 % sur FLEURS.
Ce que cela nous apprend. Sur les appels synthétiques de Larkfield, l’anglais semblait presque résolu : 3,7 % pour Whisper small. Les locuteurs anglophones réels, même en lisant des phrases claires, multiplient les erreurs par environ deux à trois (1,8 pour small). En français, le cours avait déjà signalé que les trois voix françaises synthétiques rendaient la tâche plus difficile. Avec des locuteurs francophones réels, Vosk fait beaucoup mieux qu’avec ces voix. La leçon générale : les données de test doivent ressembler à la parole de vos utilisateurs. La parole synthétique sert bien à construire et à vérifier un système. Elle ne convient pas pour choisir un modèle ou promettre un résultat chiffré.
Limites de cette étude
Section intitulée « Limites de cette étude »- De la parole lue, pas de la dictée. Les techniciens parlent librement, avec des pauses, des termes de métier et du bruit. Attendez-vous à des WER plus élevés sur leurs notes.
- Ni accents ni âges. FLEURS fournit de l’anglais américain et du français de France. Cette étude ne teste pas de locuteurs canadiens.
- Petits groupes et aucun identifiant de locuteur. Les écarts inférieurs à environ 2 points sont difficiles à détecter. Une même personne peut avoir lu plusieurs phrases, donc les intervalles sont un peu trop étroits.
- Une seule machine partagée. Le classement des systèmes de reconnaissance est fiable; les facteurs temps réel exacts ne le sont pas.
Utilisation responsable
Section intitulée « Utilisation responsable »- Les locuteurs sont de vraies personnes. Les bénévoles de FLEURS ont enregistré leur voix pour la recherche. Conservez l’attribution, ne tentez d’identifier personne et n’utilisez jamais ces voix pour entraîner un clone vocal.
- L’étiquette de genre sert uniquement à vérifier l’équité. Ne construisez jamais un outil qui devine le genre d’une personne à partir de sa voix.
- Les enregistrements des techniciens. L’entreprise demande le consentement avant tout enregistrement de test et supprime l’audio une fois la note enregistrée. Elle permet aussi au technicien de taper sa note. L’audio ne va jamais vers un service hébergé.
- Une machine rédige un brouillon; une personne l’enregistre. L’application affiche la note comme un brouillon tant que le technicien ne l’a pas vérifiée.
- Les données personnelles des clients. Les notes contiennent les noms et les adresses des clients. Les règles de Les données personnelles dans la voix s’appliquent au texte enregistré.
- Surveillez les groupes après le lancement. Inès vérifie de nouveau l’écart entre les genres sur les notes des techniciens, puis tous les quelques mois.
Faites-en un projet pour votre portfolio
Section intitulée « Faites-en un projet pour votre portfolio »Une étude de cas comme celle-ci montre à un employeur que vous choisissez un modèle avec des preuves, pas une impression. Personnalisez-la en changeant un élément. Essayez une autre paire de langues de FLEURS, un autre système de reconnaissance ou la version téléphonique des mêmes enregistrements. Puis rendez-la facile à lire en cinq minutes.
Quoi mettre dans le dépôt :
README.md(modèle ci-dessous).- Le carnet (notebook) Jupyter, exécuté du début à la fin, avec ses sorties.
results.csv: une ligne par système de reconnaissance, langue et genre, avec le WER, le CER, le RTF et la mémoire.GUIDE.md: le guide de normalisation utilisé, avec la règle ajoutée et sa raison.- La source et la licence des données : FLEURS, CC BY 4.0, avec le texte d’attribution de l’encadré ci-dessus. Ajoutez un lien vers le jeu de données; n’hébergez pas vous-même son audio.
Un modèle de README :
# Choosing a speech recogniser for English and French dictation
## QuestionWhich local recogniser should a bilingual field-service app use for 40-second notes?Targets: WER <= 10% per language, no clear gender gap > 2 points, RTF <= 0.25, memory <= 2 GB.
## Data and licenceFLEURS (Google, Conneau et al. 2022), CC BY 4.0, en_us and fr_fr test splits:every sentence read by both a woman and a man (262 + 230 recordings).
## ApproachVosk small (baseline) and Whisper tiny, base, small (medium on a sample), int8, 4 CPU threads,told the language. One normalisation guide (+ a rule for big numbers). Scores by languageand gender; paired comparison and resampled 95% intervals; important words (numbers, names).
## Results(your table: WER, CER, RTF, memory, gender gap per language)
## Decision and cost(one recogniser per language, cost per audio hour on a CPU server, what a person checks)
## LimitsRead speech, not dictation; no accents or ages; no speaker IDs; one shared laptop.Comment le décrire en entrevue, en deux phrases : « J’ai comparé cinq systèmes de reconnaissance de la parole ouverts sur de la parole réelle en anglais et en français, par langue et par genre des locuteurs, avec un seul guide de normalisation; la petite référence de base a battu deux tailles de Whisper en français. J’ai recommandé un système par langue avec son coût par heure d’audio, et un plan pour le confirmer sur les enregistrements de l’entreprise. »
Pour aller plus loin :
- Faites passer les mêmes enregistrements dans le code de ligne téléphonique du cours (
to_phonedans le projet), puis mesurez de nouveau les scores. Prédisez d’abord quel système de reconnaissance perdra le plus. - Ajoutez whisper.cpp de Les tailles de Whisper sur un portable comme ligne supplémentaire.
- Donnez à Whisper une requête de vocabulaire contenant des noms, comme dans Aider le modèle avec vos mots. Comptez de nouveau les noms manqués.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
En français, Vosk small (18,8 %) a fait moins d'erreurs que Whisper base (28,4 %) et Whisper tiny (44,4 %). Un collègue dit : « Whisper est plus récent, donc il est toujours meilleur. » Que lui répondez-vous, et comment une équipe doit-elle choisir?
Afficher la réponse
Une famille de modèles plus récente n’est pas meilleure dans chaque langue et à chaque taille. Les petites tailles de Whisper ont appris sur beaucoup plus d’anglais que de français. Sur ces enregistrements français, le petit modèle Vosk en a battu deux. En anglais, chaque taille de Whisper a battu Vosk. L’équipe évalue donc chaque candidat sur les mêmes enregistrements, dans chaque langue nécessaire au produit. Elle utilise un seul guide et des cibles écrites avant les résultats. Ensuite, elle choisit par langue et peut retenir des systèmes de reconnaissance différents selon la langue.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vosk small en français : femmes 20,3 %, hommes 17,3 %, intervalle à 95 % de l'écart de 0,5 à 5,2. Whisper small en français : 14,4 % et 12,9 %, intervalle de −0,7 à 3,8. Que pouvez-vous conclure pour chacun, et pourquoi l'échantillon garde-t-il seulement les phrases lues à la fois par une femme et par un homme?
Afficher la réponse
Pour Vosk, l’intervalle n’inclut pas 0. Sur ces enregistrements, il donne de moins bons résultats pour les femmes, d’environ 2,9 points. Pour Whisper small, l’intervalle inclut 0. Cet échantillon ne permet pas de savoir s’il existe un écart. L’équipe continue donc de le surveiller sur ses propres enregistrements. Aucun résultat n’en indique la cause : les voix, les microphones et les pièces diffèrent tous. L’échantillon conserve les phrases lues par les deux groupes, ce qui rend la comparaison appariée. Les deux groupes lisent les mêmes mots. Un écart ne peut donc pas venir de phrases plus faciles ou plus difficiles.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Avant de calculer les scores, l'analyste a ajouté une règle au guide de normalisation du cours : les nombres écrits en mots contenant cent ou mille deviennent des chiffres. Pourquoi était-elle nécessaire, pourquoi doit-elle s'appliquer à chaque système de reconnaissance, et quand ajouteriez-vous une telle règle?
Afficher la réponse
Le guide du cours visait les numéros de commande dictés chiffre par chiffre. FLEURS contient de grands nombres. Vosk les écrit en mots (« ten thousand », soit dix mille), et Whisper les écrit en chiffres. Sans cette règle, Vosk perdait des points pour des mots qu’il avait bien entendus. La comparaison était injuste envers un système de reconnaissance. Une règle doit s’appliquer aux transcriptions de référence et à chaque système de reconnaissance, sinon elle favorise un système. Ajoutez une règle quand une vérification des nouvelles données révèle une différence d’écriture, pas d’écoute. Notez-la et présentez les scores avec et sans cette règle.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Vous avez d’abord vérifié le guide de normalisation sur de nouvelles données. Vous avez ajouté une règle pour les grands nombres, appliquée à chaque système de reconnaissance.
- En anglais, Whisper small a atteint les cibles : 6,7 % de WER, aucun écart entre les genres. En français, la référence de base Vosk a battu Whisper tiny et base. Seul Whisper medium est passé sous 10 % (7,4 %).
- La comparaison appariée utilisait les mêmes phrases pour les femmes et les hommes. Vosk en français donnait des résultats nettement moins bons pour les femmes. Pour Whisper small, l’échantillon ne permettait pas de montrer un écart. Whisper medium tend dans le même sens, sous la cible de 2 points.
- Les extraits courts demandent plus de calcul à Whisper par seconde, car il lit toujours une fenêtre de 30 secondes. Le calcul ne coûte quand même que quelques dollars par mois. Le vrai coût, c’est la personne qui vérifie les noms et les nombres.
- La parole réelle lue produisait environ deux à trois fois plus d’erreurs en anglais que les appels synthétiques de Larkfield (small : 1,8 fois). Les données de test doivent ressembler à la parole de vos utilisateurs.
Ensuite, une autre tâche sur de la parole réelle : des enregistrements de réunions avec plusieurs locuteurs, à séparer avant la transcription.
Leçon suivante : Transcriptions de réunions avec les locuteurs