Aller au contenu
English

Accents, bruit et deux langues

  • Leçon 14
  • 35 min
  • Module 4 : Reconnaissance de la parole : comparer les familles

Où nous en sommes

Le vocabulaire a aidé pour les appels en anglais. Larkfield reçoit aussi des appels en français, avec des accents et des lignes bruyantes. Dans cette leçon, nous examinons chaque système de reconnaissance avec deux langues, une alternance dans une phrase et du bruit. Pensez d'abord à un bulletin scolaire qui donne une seule note moyenne.

Leçon 14 sur 36 · IA de la parole : transcrire, comprendre et parlerAccents, bruit et deux langues
Aperçu du cours

Ce que vous saurez faire

Découvrez avec quels appelants un système de reconnaissance échoue, pas seulement à quelle fréquence il échoue en moyenne. Vous pourrez voir quand le résultat d’une tranche reflète en fait une autre tranche. Vous pourrez aussi décider quand détecter la langue de l’appelant avant de reconnaître la parole.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter évalue quatre systèmes de reconnaissance par langue, ligne, bruit et accent. Il subdivise les tranches de ligne et de bruit dans chaque langue. Il vérifie la détection de la langue de Whisper et fait écouter l’appelant francophone qui passe à l’anglais. Il télécharge seulement de petits fichiers et n’exécute aucun modèle. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut

  • Votre projet larkspeech à la fin du module 4 (identique à l’instantané end-of-m04 du dossier des exercices), avec le modèle Whisper small téléchargé.
  • Des écouteurs ou des haut-parleurs pour un extrait, dont la transcription figure sur la page.

Le bulletin d’un élève indique : note moyenne de 70 %. Cela semble bien. Puis les parents regardent les matières : 90 % dans cinq matières et 20 % en mathématiques. La moyenne était juste, mais elle cachait la seule matière où l’élève avait besoin d’aide.

Le WER est aussi une moyenne. Sur les 60 appels de test de Larkfield, Whisper small a un WER de 8,6 %. Ce nombre mélange des appelants anglophones et francophones, trois lignes téléphoniques, trois ambiances sonores et plusieurs voix. Chacun de ces groupes est une tranche. Une bonne moyenne peut cacher une tranche où le modèle échoue.

Le problème : pour quels appelants le modèle échoue-t-il?

Section intitulée « Le problème : pour quels appelants le modèle échoue-t-il? »

Les appelants de Larkfield ne sont pas tous semblables :

  • Deux langues. 34 appels de test sont en anglais et 26 en français.
  • Accents. Les voix des appelants anglophones viennent de deux groupes : anglais américain et anglais britannique.
  • Trois lignes. Ligne fixe (G.711), ligne mobile (Opus à 8 kbit/s) et téléphone par Internet (VoIP, G.726 à 16 kbit/s).
  • Ambiance sonore. Calme, conversations d’autres personnes en arrière-plan ou bruit de rue.
  • Deux langues dans un appel. Les appelants francophones disent souvent les noms de produits en anglais. Certains disent une phrase entière en anglais.

Rappelez-vous que chaque appel est synthétique : des voix de synthèse vocale ouvertes lisent nos scripts. Les appels en anglais utilisent de nombreuses voix. Les appels en français utilisent seulement trois voix. Les résultats en français en disent donc moins sur les vrais appelants francophones. Une partie des erreurs en français vient des voix elles-mêmes.

La langue crée la plus grande différence sur ces appels, pour chaque système de reconnaissance :

Deux diagrammes à barres. À gauche : WER par langue sur les appels de test téléphoniques, pour quatre systèmes de reconnaissance, anglais et français côte à côte. Vosk 24,3 et 39,4. Whisper tiny 7,0 et 37,0. Whisper base 5,2 et 23,8. Whisper small 3,1 et 15,1. À droite : Whisper small par ligne, trois barres par ligne : tous les appels, anglais seulement et français seulement, avec le nombre d'appels dans chaque barre. Ligne fixe : tous 8,6 (43 appels), anglais 3,1 (23), français 14,3 (20). Ligne mobile : tous 5,9 (10), anglais 3,0 (8), français 17,1 (2). VoIP G.726 : tous 12,2 (7), anglais 3,5 (3), français 18,4 (4).
À gauche : WER par langue pour quatre systèmes de reconnaissance. À droite : Whisper small par ligne, pour tous les appels et pour chaque langue séparément; les nombres blancs indiquent les appels dans chaque barre. Appels de test téléphoniques, transcriptions enregistrées.
Description textuelle du diagramme

À gauche : chaque système de reconnaissance fait plus d’erreurs sur les appels en français que sur ceux en anglais. L’écart est le plus grand pour Whisper tiny : 7,0 % en anglais et 37,0 % en français. Whisper small atteint 3,1 % et 15,1 %. À droite : Whisper small par ligne. Tous appels confondus, la ligne VoIP semble la pire (12,2 %) et la ligne mobile la meilleure (5,9 %). En anglais seulement, les trois lignes sont proches : 3,1 %, 3,0 % et 3,5 %. En français seulement, elles atteignent 14,3 %, 17,1 % et 18,4 %, sur 20, 2 et 4 appels. Chaque barre montre son nombre d’appels en blanc.

Avec la cible de 10 % de Les tailles de Whisper sur un portable, toutes les tailles réussissent en anglais. Aucune ne réussit en français. Whisper medium, sur les 20 premiers appels de test seulement, atteignait 10,2 % sur ses 11 appels en français. C’est près de la cible, mais encore au-dessus, et lent.

Regardez encore le graphique de droite. Tous appels confondus, la ligne VoIP semble doubler les erreurs : 12,2 % contre 5,9 % sur la ligne mobile. Cela semble révéler quelque chose sur les codecs. Mais regardez qui utilise chaque ligne dans les appels de test :

Ligne Appels en anglais Appels en français
Ligne fixe 23 20
Ligne mobile 8 2
VoIP (G.726) 3 4

Les appels mobiles sont surtout en anglais, et les appels VoIP surtout en français. Les appels en français ont plus d’erreurs. La tranche « ligne » mesurait donc surtout la langue. En anglais, les lignes diffèrent de moins de 1 point, ce qui relève du bruit. Quand deux facteurs changent ensemble, vous ne pouvez pas accuser l’un avant de subdiviser sa tranche selon l’autre. Ce mélange de deux causes s’appelle un biais de confusion (confounding).

Les tranches de bruit racontent la même histoire. Tous appels confondus, les appels calmes semblent plus difficiles que ceux avec du bruit de rue :

Ambiance sonore Tous les appels Anglais seulement Appels (anglais / français)
Calme 9,6 % 2,3 % 15 / 15
Conversations en arrière-plan 7,7 % 3,3 % 10 / 7
Rue 7,4 % 4,3 % 9 / 4

La moitié des appels calmes sont en français, mais seulement 4 des 13 appels avec du bruit de rue le sont. En anglais, le bruit produit l’effet attendu : les appels calmes ont le moins d’erreurs. Même ainsi, l’effet est faible par rapport à celui de la langue. Sur ces appels synthétiques, le bruit n’est pas la difficulté. C’est le français. Whisper tiny fait aussi le moins d’erreurs sur les appels calmes en anglais : 5,4 % au calme, 6,9 % dans la rue, 9,4 % avec des conversations en arrière-plan.

Les voix anglaises viennent de deux groupes. Whisper small atteint 2,6 % avec les voix d’anglais britannique (15 appels) et 3,5 % avec celles d’anglais américain (19 appels). Une erreur sur un mot change le WER en anglais d’environ 0,025 point. Un écart d’environ 1 point est donc faible. Sur ce jeu de données, nous ne pouvons pas affirmer qu’un accent est plus difficile. Avec peu de voix synthétiques dans chaque groupe, ces tranches en disent aussi peu sur les vrais accents. L’étude de cas Un serveur vocal pour des intentions dites à voix haute teste la reconnaissance avec de vrais locuteurs de plusieurs variétés d’anglais.

Trois raisons agissent ensemble.

  1. Le modèle. Les auteurs de Whisper indiquent que ses données d’entraînement contenaient beaucoup plus d’anglais que de français. Les petites tailles en souffrent le plus : tiny passe de 7,0 % à 37,0 %.
  2. La ligne téléphonique. La ligne téléphonique dégrade davantage les appels en français que ceux en anglais. Avec l’audio à bande large (wideband), Whisper small atteint 12,4 % en français, contre 15,1 % au téléphone. Pour Vosk, le changement est très grand : 22,4 % à bande large contre 39,4 % au téléphone.
  3. Les voix. Seulement trois voix synthétiques lisent les appels en français, et elles ne prononcent pas toujours chaque son clairement. Lors de la création des appels, les voix françaises de Piper avertissaient que certains sons de voyelles nasales manquaient. « Un » est une voyelle nasale. Dans les appels C-0009 et C-0074, Whisper small a écrit « en » au lieu de « un » au début d’un numéro de commande. Cela a fait perdre le premier chiffre. Nous ne pouvons pas déterminer quelle part des erreurs en français vient des voix : c’est une limite des appels synthétiques.

Les appelants francophones de Larkfield disent les noms de produits en anglais : « le Cedar raised bed », « mon Grow Hub ». Certains disent une phrase entière en anglais. Changer de langue dans un appel ou une phrase s’appelle l’alternance de langues. Écoutez le début de l’appel C-0009 :

Appel C-0009, canal de l’appelant, de 8,52 à 20,26 s, ligne téléphonique. La voix est synthétique : Piper, entraîné sur le corpus français SIWIS.

Transcription. « Oui, bonjour. Franchement, le Cedar raised bed ne vaut pas ce que j’espérais. Je veux le retourner et récupérer mon argent. » Puis, en anglais : « Sorry, in English: the app says the device is offline. » (En anglais, la première partie est : « Yes, hello. Honestly, the Cedar raised bed is not worth what I hoped. I want to return it and get my money back. »)

Whisper small avait reçu l’indication que l’appel était en français. Voici ce qu’il a écrit, avec et sans la requête de vocabulaire de Larkfield :

L’appelant a dit Whisper small Whisper small avec la requête
Nom du produit le Cedar raised bed le SEDAR, le BED le Cedar raised bed
Phrase en anglais Sorry, in English: the app says the device is offline. Soil, en anglais. The appseid de D.V. is offline. Soil, in English. The appsaid of the village is offline.

Avec l’indication « French », le modèle écrit des mots d’apparence française pour la parole anglaise : « en anglais » pour « in English ». La requête a corrigé le nom du produit, car elle le contient. Elle n’a pas corrigé la phrase en anglais.

Sur tous les appels de test en français, Whisper small a manqué 25 des 26 noms de produits sans la requête. Il en a manqué 7 avec elle. Pour un commerce bilingue, le vocabulaire aide surtout là où les langues se mélangent. Sur les 11 appels de test contenant une phrase anglaise insérée, le WER de Whisper small est de 15,3 %. Il est de 14,9 % sur les autres appels en français. Une phrase anglaise représente une petite partie d’un appel, donc la moyenne la cache encore. Regardez la phrase, pas le WER de l’appel.

Whisper peut détecter la langue à partir des 30 premières secondes d’un appel. Comme l’a montré la dernière leçon, il a trouvé la bonne langue sur les 60 appels de test. Vosk ne peut pas détecter une langue : chaque modèle Vosk connaît une langue, donc vous devez d’abord choisir le modèle.

Un diagramme de flux. Un appel commence. Connaissons-nous la langue? Si oui, utilisez-la : l'appelant l'a choisie, ou la ligne est réservée à l'anglais. Sinon, détectez-la : Whisper écoute les 30 premières secondes. Assez certain? Si oui, reconnaissez la parole. Sinon, demandez à l'appelant : English or Français, une courte requête de deux mots. Tous les chemins se terminent par : reconnaître la parole avec cette langue et son vocabulaire.
Utilisez la langue quand vous la connaissez; détectez-la sinon; demandez à l'appelant quand la détection est incertaine. Puis reconnaissez la parole avec cette langue et son vocabulaire.
Description textuelle du diagramme

Un appel commence. Si la langue est connue, utilisez-la : l’appelant l’a choisie ou le numéro de téléphone est réservé à une langue. Sinon, laissez Whisper la détecter sur les 30 premières secondes. Si la détection est assez certaine, reconnaissez la parole avec cette langue. Sinon, demandez à l’appelant : « English or Français? », avec une courte requête qui attend ces deux mots. Tous les chemins se terminent par la même étape : reconnaître la parole avec cette langue et son vocabulaire.

Les règles :

  • Appels enregistrés (traitement par lots) : la détection fonctionne bien quand chaque appel reste dans une langue, comme ceux de Larkfield. La détection lit seulement le début de l’appel. Elle classe donc comme français un appel qui commence par une salutation française et continue en anglais.
  • Une ligne téléphonique qui répond aux appelants : la première réponse est courte (« Français »), trop courte pour détecter la langue. Le serveur vocal interactif (SVI, IVR) pose donc la question et garde le choix pour le reste de l’appel. Le module 7 construit ce système.
  • Une phrase dans l’autre langue : ni la détection ni une langue fixe ne la traitent bien. La requête de vocabulaire aide pour les noms. Pour des phrases entières, il faut un système de reconnaissance entraîné sur de la parole bilingue. Sinon, vous acceptez les erreurs et les mesurez.
  1. Dans votre dossier larkspeech, avec l’environnement actif, évaluez Whisper small par ligne et par bruit :

    Fenêtre de terminal
    speech score --method whisper-small --by line
    speech score --method whisper-small --by noise
    whisper-small, test calls, phone audio, normalisation full
    slice calls words WER CER order nos wrong products wrong
    landline 43 5298 8.6% 4.0% 7 of 38 31 of 43
    mobile 10 1207 5.9% 3.1% 0 of 8 5 of 10
    voip_g726 7 829 12.2% 7.1% 1 of 6 5 of 7
    whisper-small, test calls, phone audio, normalisation full
    slice calls words WER CER order nos wrong products wrong
    babble 17 2151 7.7% 3.6% 0 of 16 15 of 17
    quiet 30 3593 9.6% 4.8% 8 of 25 18 of 30
    street 13 1590 7.4% 3.6% 0 of 11 8 of 13

    La commande score (évaluer) répartit une seule colonne à la fois. Pour subdiviser une tranche dans une langue, utilisez la section 3 du carnet.

  2. Évaluez par accent :

    Fenêtre de terminal
    speech score --method whisper-small --by accent
    whisper-small, test calls, phone audio, normalisation full
    slice calls words WER CER order nos wrong products wrong
    en-GB 15 1760 2.6% 1.3% 0 of 11 8 of 15
    en-US 19 2228 3.5% 2.1% 2 of 17 8 of 19
    fr-FR 26 3346 15.1% 7.0% 6 of 24 25 of 26
  3. Exécutez maintenant Whisper small sur les 5 premiers appels de test en français, sans puis avec la requête de vocabulaire. Cela prend environ une minute sur un portable.

    Fenêtre de terminal
    speech transcribe --model small --language fr --limit 5
    speech transcribe --model small --language fr --limit 5 --prompt
    whisper-small on 5 test calls (phone): WER 16.6%, CER 9.0%, order numbers wrong 1 of 4, real-time factor 0.067
    Wrote outputs/transcripts-whisper-small.jsonl
    whisper-small-prompt on 5 test calls (phone): WER 11.6%, CER 5.1%, order numbers wrong 1 of 4, real-time factor 0.068
    Wrote outputs/transcripts-whisper-small-prompt.jsonl

    Vos facteurs temps réel seront différents, et un ou deux mots pourraient changer.

À vous de jouer : Vosk sur les fichiers à bande large

Section intitulée « À vous de jouer : Vosk sur les fichiers à bande large »

Faites une prédiction : Vosk small atteint 24,3 % en anglais et 39,4 % en français sur les fichiers téléphoniques. Sur les fichiers à bande large, quelle langue s’améliore le plus? Puis exécutez speech score --method vosk-small --by language --kind wideband.

Vérifiez votre réponse
vosk-small, test calls, wideband audio, normalisation full
slice calls words WER CER order nos wrong products wrong
en 34 3988 21.6% 13.1% 10 of 28 22 of 34
fr 26 3346 22.4% 11.4% 16 of 24 26 of 26

Le français s’améliore beaucoup plus : de 39,4 % à 22,4 %, tandis que l’anglais passe de 24,3 % à 21,6 %. La ligne téléphonique nuit fortement au petit modèle français de Vosk. Si Larkfield utilisait Vosk, une ligne à bande large compterait surtout pour ses appelants francophones.

Erreur courante

Accuser la ligne plutôt que la langue

Symptôme : Malik, l’ingénieur en téléphonie, lit les tranches de ligne : VoIP 12,2 %, mobile 5,9 %. Il propose de transférer tous les clients VoIP à un autre fournisseur téléphonique, ce qui coûterait de l’argent.

Cause : les appels de test VoIP sont surtout en français (4 sur 7), et les appels mobiles surtout en anglais (8 sur 10). Les appels en français ont plus d’erreurs sur toutes les lignes. En anglais, les trois lignes diffèrent de moins de 1 point : 3,1 %, 3 % et 3,5 %.

Correction : avant d’accuser une tranche, subdivisez-la selon les autres grandes tranches, ici la langue. Vérifiez le nombre d’appels dans chaque cellule : avec 3 ou 4 appels, quelques points de différence relèvent du bruit. Si une tranche compte, recueillez plus d’appels pour elle.

Conséquence dans le travail en IA : une décision fondée sur une tranche faussée par un biais de confusion dépense de l’argent pour la mauvaise solution. Elle laisse le vrai problème (la reconnaissance du français) inchangé.

Vérifiez votre compréhension

Tous appels confondus : calme 9,6 %, rue 7,4 %. Anglais seulement : calme 2,3 %, rue 4,3 %. Expliquez comment les deux peuvent être vrais.

Afficher la réponse

La tranche calme contient 15 appels en anglais et 15 en français; la tranche rue, 9 en anglais et 4 en français. Les appels en français ont beaucoup plus d’erreurs. La tranche calme a donc une plus grande proportion de français, et son WER global est plus élevé. Dans une même langue, le bruit de rue ajoute bel et bien des erreurs. La langue crée un biais de confusion dans la tranche de bruit : répartissez d’abord par langue.

Vérifiez votre compréhension

Un appelant francophone dit « le Cedar raised bed », puis une phrase en anglais. Whisper small a reçu l'indication « French ». Que prévoyez-vous dans la transcription, et qu'est-ce qui aide?

Afficher la réponse

Le nom du produit peut devenir des mots d’apparence française (« le SEDAR, le BED »). La phrase anglaise peut aussi devenir du texte d’apparence française (« en anglais » pour « in English »). La requête de vocabulaire aide pour les noms de produits. Whisper small a manqué 25 des 26 noms de produits en français sans elle, et 7 avec elle. Elle ne corrige pas une phrase anglaise entière. Mesurez ces erreurs ou utilisez un système de reconnaissance entraîné sur de la parole bilingue.

Vérifiez votre compréhension

La tâche par lots de Larkfield devrait-elle détecter la langue de chaque appel, ou le SVI devrait-il demander à l'appelant? Expliquez chaque choix.

Afficher la réponse

Par lots : détecter. Chaque appel enregistré reste dans une langue. Whisper small a détecté la bonne langue sur les 60 appels de test, avec presque le même WER. Il atteignait 8,7 %, contre 8,6 % quand la langue était indiquée. SVI : demander. La première réponse de l’appelant contient un ou deux mots, trop peu pour une détection fiable. Le SVI demande donc « English or Français? » avec une courte requête qui attend ces mots. Il garde le choix pour le reste de l’appel.

Récapitulatif

  • Un WER moyen cache des tranches : Whisper small atteint 3,1 % sur les appels en anglais et 15,1 % en français.
  • Deux tranches qui changent ensemble créent un biais de confusion. La ligne VoIP et les appels calmes semblaient difficiles parce qu’ils contenaient plus d’appels en français. En anglais, la ligne et le bruit changeaient le WER d’environ 2 points au plus.
  • Le français est plus difficile ici pour trois raisons : le modèle, la ligne téléphonique et les trois voix synthétiques. Pour Vosk en français : 39,4 % au téléphone, 22,4 % à bande large.
  • Alternance de langues : avec l’indication « French », Whisper transcrit la parole anglaise en mots d’apparence française. La requête de vocabulaire corrige les noms de produits (25 sur 26 manqués → 7), pas les phrases entières.
  • Détectez la langue pour les appels enregistrés qui restent dans une langue. Demandez à l’appelant sur une ligne téléphonique.

Dans ce module, vous avez comparé des systèmes de reconnaissance et choisi une taille. Vous avez aidé le modèle avec les mots de Larkfield et trouvé pour quels appelants il échoue. Mais une transcription ne dit toujours pas qui a dit chaque mot : l’agent ou l’appelant. Ensuite, vous séparerez chaque appel par locuteur, en commençant par la méthode la plus simple : les deux canaux du système téléphonique.

Leçon suivante : Séparer d'abord par canal