Aller au contenu
English

Parole ou silence?

  • Leçon 7
  • 35 min
  • Module 3 : Trouver la parole : la détection d'activité vocale

Où nous en sommes

Nos données de test montrent où le modèle fait des erreurs. Certaines viennent des passages de l'appel où personne ne parle. Dans cette leçon, nous trouvons la parole avec le détecteur le plus simple, un seuil d'énergie, et examinons ses limites.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 7 sur 36 · IA de la parole : transcrire, comprendre et parlerParole ou silence?
Aperçu du cours

Ce que vous saurez faire

Trouvez les passages d’un appel où quelqu’un parle. Utilisez le détecteur le plus simple possible : un seuil d’intensité sonore. Vous pourrez ensuite mesurer ses erreurs. Le modèle des prochains modules ne doit pas perdre de temps sur la musique et le silence, ni y écrire des mots.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet construit le détecteur d’énergie de cette leçon et l’évalue sur l’appel avec musique d’attente. Il l’exécute ensuite sur le jeu de bruits et vous demande de choisir un seuil pour six appels. Il télécharge seulement les fichiers nécessaires, sans modèle. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé; le carnet n’en a pas besoin)

  • Votre dossier de projet larkspeech de Préparer le projet de parole, avec les changements du module 2. Dans un terminal, dans ce dossier, avec .venv activé, pytest -q affiche 15 passed (15 tests réussis).
  • Le dossier des exercices nextia-learning-labs à côté de larkspeech, et les données du cours dans larkspeech/data, comme dans cette leçon. (Si vos données sont ailleurs, donnez à LARKSPEECH_DATA le chemin de leur dossier.)

Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) n’ont pas été exécutées.

Imaginez une agente de centre d’appels qui prend des notes pendant un appel téléphonique. Elle écrit quand l’appelant parle. Quand il dit « Attendez, je vais le trouver », elle pose son stylo et attend. Quand la musique d’attente joue, elle ne note pas la musique. Elle écrit seulement la parole.

Donnez maintenant le même appel à une agente qui ne peut pas poser son stylo. Elle doit écrire quelque chose pour chaque seconde de l’appel. Pendant 20 secondes de musique, elle devine des mots. Pendant un long silence, elle écrit ce qu’elle s’attend à entendre. Ses notes sont plus longues, ont pris plus de temps, et certains mots n’ont jamais été prononcés.

Un système de reconnaissance de la parole, comme Whisper dans le prochain module, ressemble à la deuxième agente. Il reçoit l’enregistrement complet, seconde par seconde. Les appels de Larkfield contiennent des passages sans parole : musique d’attente, appelant qui cherche un numéro de commande, bruit de fond.

Écoutez 10 secondes de l’appel C-0022. L’agent demande à l’appelant de patienter, puis la musique commence.

Appel C-0022, de 21,2 à 31,2 secondes, audio téléphonique (8 kHz). L’agent utilise une voix synthétique : Kokoro, voix am_michael. Notre code synthétise la musique d’attente. Tous les appels de Larkfield sont synthétiques : des voix ouvertes de synthèse vocale lisent des scripts que nous avons écrits.

Transcription. Agent : « Thank you. Let me check that for you. Please hold. » Puis de la musique d’attente (une mélodie simple) jusqu’à la fin de l’extrait.

Dans cet appel de 70,4 secondes, la musique dure 17,7 secondes. Le modèle consacre du temps de calcul à ces secondes. Et, comme vous le verrez dans Pourquoi la VAD améliore la reconnaissance, il écrit parfois des mots dans ces passages. Sur les 110 appels de validation et de test, 19 % du temps ne contient pas de parole. Cette part est de 8 % dans l’appel le plus chargé et de 48 % dans celui avec la plus longue attente. Larkfield reçoit environ 4 000 appels par mois. Cela représente beaucoup d’audio sans rien à écrire.

Tomás, l’ingénieur en IA, ne voit pas de problème : « Whisper est très bon. Envoyez-lui l’appel complet. » Priya, la scientifique des données, veut d’abord un chiffre. Quelle part d’un appel contient de la parole, et un programme peut-il la trouver?

La capacité de l’agente qui prend des notes porte un nom. La détection d’activité vocale, ou VAD, trouve les passages d’un enregistrement où quelqu’un parle. « Activité vocale » signifie qu’une voix est active, donc que quelqu’un parle. La VAD ne comprend pas les mots. Elle répond à une question pour chaque court moment d’audio : parole ou absence de parole?

La sortie d’une VAD est une liste de régions de parole : un début et une fin pour chaque passage parlé. Par exemple, [(0.98, 8.55), (9.36, 14.12)] indique de la parole de 0,98 à 8,55 secondes, puis de 9,36 à 14,12 secondes. Les étapes suivantes utilisent seulement ces régions.

Le détecteur le plus simple : un son fort est de la parole

Section intitulée « Le détecteur le plus simple : un son fort est de la parole »

La parole est plus forte qu’une ligne silencieuse. La VAD la plus simple fonctionne donc ainsi :

  1. Découpez l’audio en courtes trames de 30 millisecondes (ms).
  2. Mesurez l’intensité sonore de chaque trame en dBFS, comme dans L’audio comme des données. 0 dBFS correspond au son le plus fort possible, et une ligne téléphonique silencieuse se situe près de −60 dBFS.
  3. Classez une trame comme parole quand son intensité dépasse un seuil, par exemple −40 dBFS.
  4. Joignez les trames de parole voisines en régions.

C’est une VAD d’énergie : « énergie » est le mot technique qui désigne l’intensité sonore d’un signal. Deux petits réglages rendent ses régions utilisables :

  • Le délai de maintien (hangover) garde une région ouverte pendant une courte pause. Les gens font des pauses d’une fraction de seconde entre les mots. Sans délai de maintien, une phrase devient dix petites régions. Le projet utilise 0,3 seconde.
  • La durée minimale de parole élimine les régions de moins de 0,1 seconde, comme un clic sur la ligne.

Voici 12 trames : 0,36 seconde d’un enregistrement inventé, pour que tous les nombres tiennent sur la page. Quelqu’un prononce un mot court dans les trames 3 à 8, avec une toute petite pause dans la trame 6. Dans les trames 10 et 11, l’appelant tousse : le son est fort, mais ce n’est pas de la parole.

Trame 1 2 3 4 5 6 7 8 9 10 11 12
Intensité sonore (dBFS) −61 −58 −34 −29 −31 −52 −30 −27 −59 −33 −32 −60
Parole réelle non non oui oui oui oui oui oui non non non non
Plus fort que −40? non non oui oui oui non oui oui non oui oui non

Évaluez le détecteur comme dans les prochaines sections. Six trames contiennent de la parole réelle (3 à 8). Le détecteur en a manqué une, la trame 6, pendant la pause. Il a donc manqué 1 trame de parole sur 6 : 17 % de parole manquée. Six trames ne contiennent pas de parole (1, 2 et 9 à 12). Le détecteur en a classé deux comme parole, les trames 10 et 11, qui contiennent la toux. Cela donne 33 % de fausse parole.

Ajoutez maintenant un délai de maintien d’une trame (30 ms). Un trou d’une seule trame silencieuse reste ainsi dans une région. La trame 6 est maintenant classée comme parole, et la parole manquée tombe à 0 %. Mais la trame 9 est aussi un trou d’une trame, entre le mot et la toux. La région va maintenant de la trame 3 à la trame 11. La fausse parole passe à 3 sur 6 : 50 %. Un réglage a corrigé une erreur et en a aggravé une autre.

Les 12 trames du petit exemple (nombres inventés). En haut : l'intensité sonore de chaque trame et le seuil. En bas : la parole réelle, les trames au-dessus du seuil et la région après un délai de maintien d'une trame.
Description textuelle du graphique

Le panneau du haut montre l’intensité sonore de 12 trames en escalier, avec une ligne pointillée à −40 dBFS. Les trames 3 à 5, 7 et 8, et 10 et 11 sont au-dessus de la ligne. En dessous, trois rangées de barres apparaissent. La parole réelle couvre les trames 3 à 8, de 0,06 à 0,24 seconde. « Plus fort que −40 » a trois barres : trames 3 à 5, trames 7 et 8, et trames 10 et 11. « Avec un délai de maintien de 30 ms » a une barre de la trame 3 à la trame 11, de 0,06 à 0,33 seconde. Elle remplit la pause de la trame 6 et aussi le trou de la trame 9. Elle joint donc le mot et la toux.

Le petit exemple utilise les deux nombres qui évaluent chaque détecteur de ce module. Les deux sont des parts du temps, mesurées toutes les 10 ms par rapport aux tours de parole réels de l’appel :

  • La parole manquée est la part de la parole réelle que la VAD n’a pas trouvée. La parole manquée n’atteint jamais le modèle, donc ses mots sont perdus.
  • La fausse parole est la part du temps sans parole que la VAD a classée comme parole. La fausse parole coûte du calcul et permet au modèle d’écrire des mots que personne n’a dits.

Si vous avez suivi le cours Apprentissage automatique : du problème à un modèle fiable : la parole manquée vaut un moins le rappel de la parole, et la fausse parole est le taux de fausses alertes. Un bon détecteur garde les deux bas. Un seuil fait monter l’un et baisser l’autre. Vous devez donc choisir votre compromis. Nos appels permettent cette mesure : les temps des mots des voix donnent la parole réelle exacte, à quelques millisecondes près. Les enregistrements réels ont rarement de telles étiquettes.

Priya exécute la VAD d’énergie sur l’appel C-0022 à −40 dBFS, avec le délai de maintien du projet de 0,3 seconde. L’audio est l’enregistrement téléphonique à 8 kHz, avec les deux côtés de l’appel dans un seul canal.

Appel C-0022 (70,4 s, ligne fixe calme, synthétique). La VAD d'énergie à −40 dBFS trouve la parole, mais classe aussi comme parole 17,1 des 17,7 secondes de musique d'attente.
Description textuelle du graphique

Le panneau du haut montre l’intensité sonore de l’appel sur 70 secondes, avec une ligne pointillée de seuil à −40 dBFS. Pendant la parole, les trames les plus fortes se situent surtout entre −30 et −15 dBFS. Entre les tours de parole, l’intensité descend à environ −55 dBFS. De 25,1 à 42,8 secondes, la musique d’attente est ombrée. Son intensité reste près de −25 dBFS tout le temps, au-dessus du seuil. En dessous, deux rangées apparaissent. La parole réelle a 11 barres, une pour chaque tour de parole, avec un long trou pendant la musique. La VAD d’énergie a 22 régions. Elle couvre presque toute la parole réelle et contient aussi une longue région sur toute la musique d’attente.

Le graphique montre le problème d’un coup d’œil. La musique est aussi forte que les voix, donc la VAD d’énergie la classe comme parole. Le carnet fait le compte : 22 régions, 19,0 % de parole manquée et 62,6 % de fausse parole. Sur les 17,7 secondes de musique, 17,1 sont de la « parole ». La parole manquée vient des débuts et des fins de mots peu sonores, qui passent sous −40 dBFS.

Malik, l’ingénieur en téléphonie, n’est pas surpris. « La musique d’attente doit être forte. Les appelants raccrochent quand ils pensent que la ligne est coupée. » Un seuil d’intensité sonore ne peut pas distinguer une mélodie forte d’une voix forte.

Les données du cours contiennent un jeu de bruits : 20 secondes de chaque type de son sans parole, transmis par notre ligne téléphonique. Quelle part de chacun la VAD d’énergie classe-t-elle comme parole?

La VAD d'énergie à −40 dBFS sur 20 secondes de chaque bruit (mesurées) : musique d'attente, conversations en arrière-plan, bruit de rue et souffle de ligne. Elle classe toute la musique et presque toutes les conversations en arrière-plan comme parole, ainsi qu'un tiers du bruit de rue. Elle ne classe aucun souffle de ligne peu sonore comme parole.
Description textuelle du graphique

Un graphique à colonnes avec quatre colonnes sur un axe de 0 à 100 %. Musique (musique d’attente) : 100 %. Conversations (conversations en arrière-plan) : 97 %. Rue : 33 %. Souffle (souffle de ligne) : 0 %. Les trois premiers sont des sons autres que la parole de l’appelant. Le détecteur en classe pourtant une grande part comme parole, car ils sont forts.

Seul le souffle de ligne peu sonore réussit le test. Les conversations en arrière-plan sont le cas le plus difficile, car elles sont de la parole, mais pas celle de l’appelant. Aucun détecteur de ce module ne peut savoir à qui appartient la voix qu’il entend. Le module 5 traite de la question « qui a parlé? ».

Le cours a mesuré la VAD d’énergie sur les 50 appels de validation, regroupés par bruit du côté de l’appelant. À −40 dBFS :

Bruit Appels Parole manquée Fausse parole
Calme 23 15,2 % 3,7 %
Conversations en arrière-plan 13 2,9 % 75,7 %
Rue 14 10,5 % 17,0 %
Les 50 50 10,7 % 26,1 %

Sur les appels calmes, la VAD d’énergie fonctionne assez bien : elle garde la plupart de la parole et peu d’autres sons. Avec les conversations en arrière-plan, les trois quarts du temps sans parole deviennent de la « parole ». Elle ne coûte presque rien : 0,15 ms de calcul pour une minute d’audio. Ces nombres proviennent des appels synthétiques de Larkfield; les appels réels donneront d’autres résultats.

Ajoutez maintenant les détecteurs de ce module à votre projet. Le fichier vad.py contient trois détecteurs : la VAD d’énergie de cette leçon et deux autres comparés dans la prochaine leçon. La commande speech vad en exécute un sur les appels et l’évalue.

  1. Ouvrez un terminal dans votre dossier de projet larkspeech, et activez .venv.

  2. Copiez les trois fichiers du module depuis l’instantané end-of-m03.

    Fenêtre de terminal
    cp ../nextia-learning-labs/C41/snapshots/end-of-m03/larkspeech/vad.py larkspeech/
    cp ../nextia-learning-labs/C41/snapshots/end-of-m03/larkspeech/commands/vad.py larkspeech/commands/
    cp ../nextia-learning-labs/C41/snapshots/end-of-m03/tests/test_vad.py tests/
  3. Copiez le nouveau requirements.txt depuis le même instantané (cp ou Copy-Item, comme ci-dessus). Il ajoute un paquet, WebRTC VAD, pour la prochaine leçon.

  4. Installez le nouveau paquet :

    Fenêtre de terminal
    pip install -r requirements.txt

    La dernière ligne devrait être Successfully installed webrtcvad-wheels-2.0.14.post1 (installation réussie de webrtcvad-wheels-2.0.14.post1).

  5. Exécutez les tests :

    Fenêtre de terminal
    pytest -q

    Vous devriez voir 18 passed (18 tests réussis) : les 15 tests du module 2 et 3 nouveaux tests pour les détecteurs.

  6. Exécutez la VAD d’énergie sur les 20 premiers appels de validation :

    Fenêtre de terminal
    speech vad --method energy --limit 20

    La sortie sur l’ordinateur du cours :

    energy on 20 validation calls (phone audio)
    noise calls missed speech false speech ms per minute
    babble 7 4.8% 70.7% 0.2
    quiet 9 17.8% 8.5% 0.2
    street 4 15.9% 21.0% 0.2

    « babble » désigne les conversations en arrière-plan. Les millisecondes par minute seront différentes sur votre ordinateur.

Il s’agit de 20 appels, pas de 50. Les nombres diffèrent donc du tableau ci-dessus. La commande compte aussi chaque tour de parole du début à la fin, avec les courts silences aux deux extrémités. Le tableau compte du premier mot au dernier. La tendance reste la même : les conversations en arrière-plan remplissent la colonne de fausse parole.

Changez un réglage : le seuil. Avant d’exécuter les deux commandes ci-dessous, prédisez pour chacune : la parole manquée augmente-t-elle ou diminue-t-elle? Et la fausse parole?

Fenêtre de terminal
speech vad --method energy --threshold -30 --limit 20
speech vad --method energy --threshold -50 --limit 20
Afficher la réponse

À −30 dBFS, moins de trames sont assez fortes. La parole manquée augmente, et la fausse parole diminue :

energy {'threshold_db': -30.0} on 20 validation calls (phone audio)
noise calls missed speech false speech ms per minute
babble 7 39.7% 0.0% 0.2
quiet 9 31.3% 8.4% 0.2
street 4 33.3% 16.8% 0.2

À −50 dBFS, presque tout est assez fort. La parole manquée diminue, et la fausse parole augmente. Avec les conversations en arrière-plan, 99,1 % du temps sans parole devient maintenant de la « parole » :

energy {'threshold_db': -50.0} on 20 validation calls (phone audio)
noise calls missed speech false speech ms per minute
babble 7 0.0% 99.1% 0.2
quiet 9 12.7% 10.7% 0.2
street 4 2.6% 81.5% 0.2

Aucun seuil ne réduit les deux colonnes sur les appels bruyants. Dans le carnet, −30 dBFS donne la somme la plus faible des deux nombres sur six appels. Même là, la somme est de 0,47.

Erreur courante

Le même seuil échoue sur une ligne moins sonore

Symptôme : la VAD d’énergie fonctionnait sur les appels de la semaine dernière. Cette semaine, la parole manquée est très élevée, même si le code n’a pas changé.

Cause : un seuil en décibels suppose une certaine intensité sonore. Une autre ligne téléphonique, un autre casque ou un gain d’enregistrement plus faible rend chaque appel moins sonore. Dans le carnet, l’appel C-0022 réduit de 20 dB perd 75,4 % de sa parole à −40 dBFS, contre 19,0 % avant.

Diagnostic : vérifiez l’intensité sonore des nouveaux appels avec speech inspect, de Préparer le projet de parole. Comparez-la à celle des appels utilisés pour choisir le seuil.

Correction : réglez le seuil à partir de chaque appel. Par exemple, placez-le quelques décibels au-dessus de l’intensité de ses trames les plus silencieuses. Ou utilisez un détecteur qui ne dépend pas de l’intensité sonore, comme dans la prochaine leçon.

Erreur courante

Une phrase devient plusieurs petites régions

Symptôme : la VAD trouve des centaines de régions dans un court appel, et la parole manquée est élevée.

Cause : le délai de maintien est nul ou très court. Chaque courte pause entre les mots termine donc une région. Les fins de mots peu sonores passent aussi sous le seuil.

Correction : gardez un délai de maintien d’environ 0,3 seconde. Le carnet montre le compromis : un long délai d’une seconde joint tout, et la fausse parole augmente.

Utilisez-la quand la ligne est silencieuse et que son intensité sonore est connue. Par exemple, dans un studio d’enregistrement, avec un casque dans un bureau calme, ou comme premier filtre éliminant le silence complet. Elle ne coûte presque rien, et vous pouvez expliquer chacune de ses décisions.

Ne l’utilisez pas seule pour des appels avec musique d’attente, conversations en arrière-plan ou bruit de rue. C’est le cas de la plupart des appels de Larkfield. Elle classe ces sons comme parole. Vous perdez alors le temps que la VAD devait faire gagner, et les mots inventés reviennent.

Vérifiez votre compréhension

Tomás dit : « Whisper est très bon. Envoyez-lui l'appel complet. » Utilisez l'appel C-0022 pour expliquer à quoi sert la VAD.

Afficher la réponse

C-0022 contient 17,7 secondes de musique d’attente sur un appel de 70,4 secondes : un quart de l’audio ne contient aucune parole. Si vous envoyez l’appel complet, le modèle consacre des ressources de calcul à ces secondes. Il peut aussi écrire des mots là où personne ne parle. La VAD trouve d’abord les régions de parole. Le modèle reçoit ainsi seulement les parties où quelqu’un parle. La VAD doit toutefois être efficace : sur C-0022, la VAD d’énergie a classé comme parole 17,1 des 17,7 secondes de musique.

Vérifiez votre compréhension

Faites une prédiction : vous abaissez le seuil d'énergie de −40 à −50 dBFS. Que deviennent la parole manquée et la fausse parole, et pourquoi?

Afficher la réponse

Plus de trames dépassent −50 dBFS, donc le détecteur classe une plus grande partie de l’appel comme parole. La parole manquée diminue, car les débuts et les fins de mots peu sonores dépassent maintenant le seuil. La fausse parole augmente, car davantage de bruit dépasse aussi le seuil. Sur les 20 appels de validation, les appels avec des conversations en arrière-plan montrent le mieux cet effet. Leur fausse parole est passée de 70,7 % à 99,1 %, et leur parole manquée de 4,8 % à 0,0 %.

Vérifiez votre compréhension

Vérification pratique : exécutez speech vad --method energy sur les 50 appels de validation. Quel groupe de bruit produit le plus de fausse parole? Pourquoi un seuil plus élevé ou plus bas ne peut-il pas régler ce problème?

Afficher la réponse

speech vad --method energy affiche les résultats suivants : babble (conversations en arrière-plan), 4,1 % de parole manquée et 73,7 % de fausse parole; quiet (calme), 19,6 % et 3,5 %; street (rue), 14,5 % et 16,1 %. Les conversations en arrière-plan produisent le plus de fausse parole. Ces personnes parlent aussi fort que l’appelant. Tout seuil qui conserve la voix de l’appelant conserve donc aussi les voix en arrière-plan. Relever le seuil à −30 dBFS élimine les conversations en arrière-plan. Mais le détecteur manque alors aussi environ 40 % de la parole de l’appelant.

Récapitulatif

  • La détection d’activité vocale (VAD) trouve les régions de parole d’un enregistrement. Les étapes suivantes peuvent ainsi ignorer la musique et le silence.
  • La VAD d’énergie classe une trame de 30 ms comme parole lorsque son intensité sonore dépasse un seuil. Un délai de maintien (hangover) de 0,3 s garde une phrase dans une seule région.
  • Deux valeurs évaluent une VAD par rapport aux vrais tours de parole : parole manquée (mots perdus) et fausse parole (bruit conservé). Le seuil fait monter l’une et baisser l’autre.
  • Sur l’appel C-0022, la VAD d’énergie à −40 dBFS a classé comme parole 17,1 des 17,7 secondes de musique. Sur le jeu de bruits, elle a classé comme parole 100 % de la musique. Elle a aussi classé ainsi 97 % des conversations en arrière-plan et 33 % du bruit de rue.
  • Votre projet contient maintenant vad.py et speech vad, avec 18 tests.

Vous pouvez maintenant trouver la parole grâce à son intensité sonore et mesurer le résultat. Mais la musique forte et les voix en arrière-plan passent pour de la parole. Une ligne moins sonore rend aussi le seuil inefficace. Ensuite, nous essaierons deux détecteurs qui examinent la forme du son, et pas seulement son intensité sonore.

Leçon suivante : WebRTC VAD et Silero VAD