Accents, bruit et deux langues
- Leçon 14
- 35 min
- Module 4 : Reconnaissance de la parole : comparer les familles
Où nous en sommes
Le vocabulaire a aidé pour les appels en anglais. Larkfield reçoit aussi des appels en français, avec des accents et des lignes bruyantes. Dans cette leçon, nous examinons chaque système de reconnaissance avec deux langues, une alternance dans une phrase et du bruit. Pensez d'abord à un bulletin scolaire qui donne une seule note moyenne.
Leçon 14 sur 36 · IA de la parole : transcrire, comprendre et parlerAccents, bruit et deux langues
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Découvrez avec quels appelants un système de reconnaissance échoue, pas seulement à quelle fréquence il échoue en moyenne. Vous pourrez voir quand le résultat d’une tranche reflète en fait une autre tranche. Vous pourrez aussi décider quand détecter la langue de l’appelant avant de reconnaître la parole.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter évalue quatre systèmes de reconnaissance par langue, ligne, bruit et accent. Il subdivise les tranches de ligne et de bruit dans chaque langue. Il vérifie la détection de la langue de Whisper et fait écouter l’appelant francophone qui passe à l’anglais. Il télécharge seulement de petits fichiers et n’exécute aucun modèle. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le WER par tranche et les données de test par tranche, dans Les erreurs qui comptent. Le cours Apprentissage automatique : du problème à un modèle fiable explique les tranches en général, dans L’analyse par sous-groupes.
- La requête de vocabulaire (initial prompt), dans Aider le modèle avec vos mots.
Ce qu’il vous faut
- Votre projet
larkspeechà la fin du module 4 (identique à l’instantanéend-of-m04du dossier des exercices), avec le modèle Whisper small téléchargé. - Des écouteurs ou des haut-parleurs pour un extrait, dont la transcription figure sur la page.
Une seule note moyenne sur un bulletin scolaire
Section intitulée « Une seule note moyenne sur un bulletin scolaire »Le bulletin d’un élève indique : note moyenne de 70 %. Cela semble bien. Puis les parents regardent les matières : 90 % dans cinq matières et 20 % en mathématiques. La moyenne était juste, mais elle cachait la seule matière où l’élève avait besoin d’aide.
Le WER est aussi une moyenne. Sur les 60 appels de test de Larkfield, Whisper small a un WER de 8,6 %. Ce nombre mélange des appelants anglophones et francophones, trois lignes téléphoniques, trois ambiances sonores et plusieurs voix. Chacun de ces groupes est une tranche. Une bonne moyenne peut cacher une tranche où le modèle échoue.
Le problème : pour quels appelants le modèle échoue-t-il?
Section intitulée « Le problème : pour quels appelants le modèle échoue-t-il? »Les appelants de Larkfield ne sont pas tous semblables :
- Deux langues. 34 appels de test sont en anglais et 26 en français.
- Accents. Les voix des appelants anglophones viennent de deux groupes : anglais américain et anglais britannique.
- Trois lignes. Ligne fixe (G.711), ligne mobile (Opus à 8 kbit/s) et téléphone par Internet (VoIP, G.726 à 16 kbit/s).
- Ambiance sonore. Calme, conversations d’autres personnes en arrière-plan ou bruit de rue.
- Deux langues dans un appel. Les appelants francophones disent souvent les noms de produits en anglais. Certains disent une phrase entière en anglais.
Rappelez-vous que chaque appel est synthétique : des voix de synthèse vocale ouvertes lisent nos scripts. Les appels en anglais utilisent de nombreuses voix. Les appels en français utilisent seulement trois voix. Les résultats en français en disent donc moins sur les vrais appelants francophones. Une partie des erreurs en français vient des voix elles-mêmes.
Répartir par langue
Section intitulée « Répartir par langue »La langue crée la plus grande différence sur ces appels, pour chaque système de reconnaissance :
Description textuelle du diagramme
À gauche : chaque système de reconnaissance fait plus d’erreurs sur les appels en français que sur ceux en anglais. L’écart est le plus grand pour Whisper tiny : 7,0 % en anglais et 37,0 % en français. Whisper small atteint 3,1 % et 15,1 %. À droite : Whisper small par ligne. Tous appels confondus, la ligne VoIP semble la pire (12,2 %) et la ligne mobile la meilleure (5,9 %). En anglais seulement, les trois lignes sont proches : 3,1 %, 3,0 % et 3,5 %. En français seulement, elles atteignent 14,3 %, 17,1 % et 18,4 %, sur 20, 2 et 4 appels. Chaque barre montre son nombre d’appels en blanc.
Avec la cible de 10 % de Les tailles de Whisper sur un portable, toutes les tailles réussissent en anglais. Aucune ne réussit en français. Whisper medium, sur les 20 premiers appels de test seulement, atteignait 10,2 % sur ses 11 appels en français. C’est près de la cible, mais encore au-dessus, et lent.
Est-ce la langue ou la ligne?
Section intitulée « Est-ce la langue ou la ligne? »Regardez encore le graphique de droite. Tous appels confondus, la ligne VoIP semble doubler les erreurs : 12,2 % contre 5,9 % sur la ligne mobile. Cela semble révéler quelque chose sur les codecs. Mais regardez qui utilise chaque ligne dans les appels de test :
| Ligne | Appels en anglais | Appels en français |
|---|---|---|
| Ligne fixe | 23 | 20 |
| Ligne mobile | 8 | 2 |
| VoIP (G.726) | 3 | 4 |
Les appels mobiles sont surtout en anglais, et les appels VoIP surtout en français. Les appels en français ont plus d’erreurs. La tranche « ligne » mesurait donc surtout la langue. En anglais, les lignes diffèrent de moins de 1 point, ce qui relève du bruit. Quand deux facteurs changent ensemble, vous ne pouvez pas accuser l’un avant de subdiviser sa tranche selon l’autre. Ce mélange de deux causes s’appelle un biais de confusion (confounding).
Bruit : le même piège
Section intitulée « Bruit : le même piège »Les tranches de bruit racontent la même histoire. Tous appels confondus, les appels calmes semblent plus difficiles que ceux avec du bruit de rue :
| Ambiance sonore | Tous les appels | Anglais seulement | Appels (anglais / français) |
|---|---|---|---|
| Calme | 9,6 % | 2,3 % | 15 / 15 |
| Conversations en arrière-plan | 7,7 % | 3,3 % | 10 / 7 |
| Rue | 7,4 % | 4,3 % | 9 / 4 |
La moitié des appels calmes sont en français, mais seulement 4 des 13 appels avec du bruit de rue le sont. En anglais, le bruit produit l’effet attendu : les appels calmes ont le moins d’erreurs. Même ainsi, l’effet est faible par rapport à celui de la langue. Sur ces appels synthétiques, le bruit n’est pas la difficulté. C’est le français. Whisper tiny fait aussi le moins d’erreurs sur les appels calmes en anglais : 5,4 % au calme, 6,9 % dans la rue, 9,4 % avec des conversations en arrière-plan.
Les voix anglaises viennent de deux groupes. Whisper small atteint 2,6 % avec les voix d’anglais britannique (15 appels) et 3,5 % avec celles d’anglais américain (19 appels). Une erreur sur un mot change le WER en anglais d’environ 0,025 point. Un écart d’environ 1 point est donc faible. Sur ce jeu de données, nous ne pouvons pas affirmer qu’un accent est plus difficile. Avec peu de voix synthétiques dans chaque groupe, ces tranches en disent aussi peu sur les vrais accents. L’étude de cas Un serveur vocal pour des intentions dites à voix haute teste la reconnaissance avec de vrais locuteurs de plusieurs variétés d’anglais.
Pourquoi le français est plus difficile ici
Section intitulée « Pourquoi le français est plus difficile ici »Trois raisons agissent ensemble.
- Le modèle. Les auteurs de Whisper indiquent que ses données d’entraînement contenaient beaucoup plus d’anglais que de français. Les petites tailles en souffrent le plus : tiny passe de 7,0 % à 37,0 %.
- La ligne téléphonique. La ligne téléphonique dégrade davantage les appels en français que ceux en anglais. Avec l’audio à bande large (wideband), Whisper small atteint 12,4 % en français, contre 15,1 % au téléphone. Pour Vosk, le changement est très grand : 22,4 % à bande large contre 39,4 % au téléphone.
- Les voix. Seulement trois voix synthétiques lisent les appels en français, et elles ne prononcent pas toujours chaque son clairement. Lors de la création des appels, les voix françaises de Piper avertissaient que certains sons de voyelles nasales manquaient. « Un » est une voyelle nasale. Dans les appels C-0009 et C-0074, Whisper small a écrit « en » au lieu de « un » au début d’un numéro de commande. Cela a fait perdre le premier chiffre. Nous ne pouvons pas déterminer quelle part des erreurs en français vient des voix : c’est une limite des appels synthétiques.
Deux langues dans un appel
Section intitulée « Deux langues dans un appel »Les appelants francophones de Larkfield disent les noms de produits en anglais : « le Cedar raised bed », « mon Grow Hub ». Certains disent une phrase entière en anglais. Changer de langue dans un appel ou une phrase s’appelle l’alternance de langues. Écoutez le début de l’appel C-0009 :
Transcription. « Oui, bonjour. Franchement, le Cedar raised bed ne vaut pas ce que j’espérais. Je veux le retourner et récupérer mon argent. » Puis, en anglais : « Sorry, in English: the app says the device is offline. » (En anglais, la première partie est : « Yes, hello. Honestly, the Cedar raised bed is not worth what I hoped. I want to return it and get my money back. »)
Whisper small avait reçu l’indication que l’appel était en français. Voici ce qu’il a écrit, avec et sans la requête de vocabulaire de Larkfield :
| L’appelant a dit | Whisper small | Whisper small avec la requête | |
|---|---|---|---|
| Nom du produit | le Cedar raised bed | le SEDAR, le BED | le Cedar raised bed |
| Phrase en anglais | Sorry, in English: the app says the device is offline. | Soil, en anglais. The appseid de D.V. is offline. | Soil, in English. The appsaid of the village is offline. |
Avec l’indication « French », le modèle écrit des mots d’apparence française pour la parole anglaise : « en anglais » pour « in English ». La requête a corrigé le nom du produit, car elle le contient. Elle n’a pas corrigé la phrase en anglais.
Sur tous les appels de test en français, Whisper small a manqué 25 des 26 noms de produits sans la requête. Il en a manqué 7 avec elle. Pour un commerce bilingue, le vocabulaire aide surtout là où les langues se mélangent. Sur les 11 appels de test contenant une phrase anglaise insérée, le WER de Whisper small est de 15,3 %. Il est de 14,9 % sur les autres appels en français. Une phrase anglaise représente une petite partie d’un appel, donc la moyenne la cache encore. Regardez la phrase, pas le WER de l’appel.
Quand détecter la langue d’abord
Section intitulée « Quand détecter la langue d’abord »Whisper peut détecter la langue à partir des 30 premières secondes d’un appel. Comme l’a montré la dernière leçon, il a trouvé la bonne langue sur les 60 appels de test. Vosk ne peut pas détecter une langue : chaque modèle Vosk connaît une langue, donc vous devez d’abord choisir le modèle.
Description textuelle du diagramme
Un appel commence. Si la langue est connue, utilisez-la : l’appelant l’a choisie ou le numéro de téléphone est réservé à une langue. Sinon, laissez Whisper la détecter sur les 30 premières secondes. Si la détection est assez certaine, reconnaissez la parole avec cette langue. Sinon, demandez à l’appelant : « English or Français? », avec une courte requête qui attend ces deux mots. Tous les chemins se terminent par la même étape : reconnaître la parole avec cette langue et son vocabulaire.
Les règles :
- Appels enregistrés (traitement par lots) : la détection fonctionne bien quand chaque appel reste dans une langue, comme ceux de Larkfield. La détection lit seulement le début de l’appel. Elle classe donc comme français un appel qui commence par une salutation française et continue en anglais.
- Une ligne téléphonique qui répond aux appelants : la première réponse est courte (« Français »), trop courte pour détecter la langue. Le serveur vocal interactif (SVI, IVR) pose donc la question et garde le choix pour le reste de l’appel. Le module 7 construit ce système.
- Une phrase dans l’autre langue : ni la détection ni une langue fixe ne la traitent bien. La requête de vocabulaire aide pour les noms. Pour des phrases entières, il faut un système de reconnaissance entraîné sur de la parole bilingue. Sinon, vous acceptez les erreurs et les mesurez.
Exercice guidé : répartir les scores par tranche
Section intitulée « Exercice guidé : répartir les scores par tranche »-
Dans votre dossier
larkspeech, avec l’environnement actif, évaluez Whisper small par ligne et par bruit :Fenêtre de terminal speech score --method whisper-small --by linespeech score --method whisper-small --by noisewhisper-small, test calls, phone audio, normalisation fullslice calls words WER CER order nos wrong products wronglandline 43 5298 8.6% 4.0% 7 of 38 31 of 43mobile 10 1207 5.9% 3.1% 0 of 8 5 of 10voip_g726 7 829 12.2% 7.1% 1 of 6 5 of 7whisper-small, test calls, phone audio, normalisation fullslice calls words WER CER order nos wrong products wrongbabble 17 2151 7.7% 3.6% 0 of 16 15 of 17quiet 30 3593 9.6% 4.8% 8 of 25 18 of 30street 13 1590 7.4% 3.6% 0 of 11 8 of 13La commande
score(évaluer) répartit une seule colonne à la fois. Pour subdiviser une tranche dans une langue, utilisez la section 3 du carnet. -
Évaluez par accent :
Fenêtre de terminal speech score --method whisper-small --by accentwhisper-small, test calls, phone audio, normalisation fullslice calls words WER CER order nos wrong products wrongen-GB 15 1760 2.6% 1.3% 0 of 11 8 of 15en-US 19 2228 3.5% 2.1% 2 of 17 8 of 19fr-FR 26 3346 15.1% 7.0% 6 of 24 25 of 26 -
Exécutez maintenant Whisper small sur les 5 premiers appels de test en français, sans puis avec la requête de vocabulaire. Cela prend environ une minute sur un portable.
Fenêtre de terminal speech transcribe --model small --language fr --limit 5speech transcribe --model small --language fr --limit 5 --promptwhisper-small on 5 test calls (phone): WER 16.6%, CER 9.0%, order numbers wrong 1 of 4, real-time factor 0.067Wrote outputs/transcripts-whisper-small.jsonlwhisper-small-prompt on 5 test calls (phone): WER 11.6%, CER 5.1%, order numbers wrong 1 of 4, real-time factor 0.068Wrote outputs/transcripts-whisper-small-prompt.jsonlVos facteurs temps réel seront différents, et un ou deux mots pourraient changer.
À vous de jouer : Vosk sur les fichiers à bande large
Section intitulée « À vous de jouer : Vosk sur les fichiers à bande large »Faites une prédiction : Vosk small atteint 24,3 % en anglais et 39,4 % en français sur les fichiers téléphoniques. Sur les fichiers à bande large, quelle langue s’améliore le plus? Puis exécutez speech score --method vosk-small --by language --kind wideband.
Vérifiez votre réponse
vosk-small, test calls, wideband audio, normalisation fullslice calls words WER CER order nos wrong products wrongen 34 3988 21.6% 13.1% 10 of 28 22 of 34fr 26 3346 22.4% 11.4% 16 of 24 26 of 26Le français s’améliore beaucoup plus : de 39,4 % à 22,4 %, tandis que l’anglais passe de 24,3 % à 21,6 %. La ligne téléphonique nuit fortement au petit modèle français de Vosk. Si Larkfield utilisait Vosk, une ligne à bande large compterait surtout pour ses appelants francophones.
Erreur courante
Accuser la ligne plutôt que la langue
Symptôme : Malik, l’ingénieur en téléphonie, lit les tranches de ligne : VoIP 12,2 %, mobile 5,9 %. Il propose de transférer tous les clients VoIP à un autre fournisseur téléphonique, ce qui coûterait de l’argent.
Cause : les appels de test VoIP sont surtout en français (4 sur 7), et les appels mobiles surtout en anglais (8 sur 10). Les appels en français ont plus d’erreurs sur toutes les lignes. En anglais, les trois lignes diffèrent de moins de 1 point : 3,1 %, 3 % et 3,5 %.
Correction : avant d’accuser une tranche, subdivisez-la selon les autres grandes tranches, ici la langue. Vérifiez le nombre d’appels dans chaque cellule : avec 3 ou 4 appels, quelques points de différence relèvent du bruit. Si une tranche compte, recueillez plus d’appels pour elle.
Conséquence dans le travail en IA : une décision fondée sur une tranche faussée par un biais de confusion dépense de l’argent pour la mauvaise solution. Elle laisse le vrai problème (la reconnaissance du français) inchangé.
Vérifiez votre compréhension
Tous appels confondus : calme 9,6 %, rue 7,4 %. Anglais seulement : calme 2,3 %, rue 4,3 %. Expliquez comment les deux peuvent être vrais.
Afficher la réponse
La tranche calme contient 15 appels en anglais et 15 en français; la tranche rue, 9 en anglais et 4 en français. Les appels en français ont beaucoup plus d’erreurs. La tranche calme a donc une plus grande proportion de français, et son WER global est plus élevé. Dans une même langue, le bruit de rue ajoute bel et bien des erreurs. La langue crée un biais de confusion dans la tranche de bruit : répartissez d’abord par langue.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Un appelant francophone dit « le Cedar raised bed », puis une phrase en anglais. Whisper small a reçu l'indication « French ». Que prévoyez-vous dans la transcription, et qu'est-ce qui aide?
Afficher la réponse
Le nom du produit peut devenir des mots d’apparence française (« le SEDAR, le BED »). La phrase anglaise peut aussi devenir du texte d’apparence française (« en anglais » pour « in English »). La requête de vocabulaire aide pour les noms de produits. Whisper small a manqué 25 des 26 noms de produits en français sans elle, et 7 avec elle. Elle ne corrige pas une phrase anglaise entière. Mesurez ces erreurs ou utilisez un système de reconnaissance entraîné sur de la parole bilingue.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La tâche par lots de Larkfield devrait-elle détecter la langue de chaque appel, ou le SVI devrait-il demander à l'appelant? Expliquez chaque choix.
Afficher la réponse
Par lots : détecter. Chaque appel enregistré reste dans une langue. Whisper small a détecté la bonne langue sur les 60 appels de test, avec presque le même WER. Il atteignait 8,7 %, contre 8,6 % quand la langue était indiquée. SVI : demander. La première réponse de l’appelant contient un ou deux mots, trop peu pour une détection fiable. Le SVI demande donc « English or Français? » avec une courte requête qui attend ces mots. Il garde le choix pour le reste de l’appel.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un WER moyen cache des tranches : Whisper small atteint 3,1 % sur les appels en anglais et 15,1 % en français.
- Deux tranches qui changent ensemble créent un biais de confusion. La ligne VoIP et les appels calmes semblaient difficiles parce qu’ils contenaient plus d’appels en français. En anglais, la ligne et le bruit changeaient le WER d’environ 2 points au plus.
- Le français est plus difficile ici pour trois raisons : le modèle, la ligne téléphonique et les trois voix synthétiques. Pour Vosk en français : 39,4 % au téléphone, 22,4 % à bande large.
- Alternance de langues : avec l’indication « French », Whisper transcrit la parole anglaise en mots d’apparence française. La requête de vocabulaire corrige les noms de produits (25 sur 26 manqués → 7), pas les phrases entières.
- Détectez la langue pour les appels enregistrés qui restent dans une langue. Demandez à l’appelant sur une ligne téléphonique.
Dans ce module, vous avez comparé des systèmes de reconnaissance et choisi une taille. Vous avez aidé le modèle avec les mots de Larkfield et trouvé pour quels appelants il échoue. Mais une transcription ne dit toujours pas qui a dit chaque mot : l’agent ou l’appelant. Ensuite, vous séparerez chaque appel par locuteur, en commençant par la méthode la plus simple : les deux canaux du système téléphonique.
Leçon suivante : Séparer d'abord par canal