Parole ou silence?
- Leçon 7
- 35 min
- Module 3 : Trouver la parole : la détection d'activité vocale
Où nous en sommes
Nos données de test montrent où le modèle fait des erreurs. Certaines viennent des passages de l'appel où personne ne parle. Dans cette leçon, nous trouvons la parole avec le détecteur le plus simple, un seuil d'énergie, et examinons ses limites.
Leçon 7 sur 36 · IA de la parole : transcrire, comprendre et parlerParole ou silence?
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Trouvez les passages d’un appel où quelqu’un parle. Utilisez le détecteur le plus simple possible : un seuil d’intensité sonore. Vous pourrez ensuite mesurer ses erreurs. Le modèle des prochains modules ne doit pas perdre de temps sur la musique et le silence, ni y écrire des mots.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet construit le détecteur d’énergie de cette leçon et l’évalue sur l’appel avec musique d’attente. Il l’exécute ensuite sur le jeu de bruits et vous demande de choisir un seuil pour six appels. Il télécharge seulement les fichiers nécessaires, sans modèle. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La fréquence d’échantillonnage, les trames et l’intensité sonore en dBFS, vus dans Intensité sonore et silence, dans L’audio comme des données.
- Les données de test et le taux d’erreur sur les mots, vus dans Le taux d’erreur sur les mots, étape par étape.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé; le carnet n’en a pas besoin)
- Votre dossier de projet
larkspeechde Préparer le projet de parole, avec les changements du module 2. Dans un terminal, dans ce dossier, avec.venvactivé,pytest -qaffiche15 passed(15 tests réussis). - Le dossier des exercices
nextia-learning-labsà côté delarkspeech, et les données du cours danslarkspeech/data, comme dans cette leçon. (Si vos données sont ailleurs, donnez àLARKSPEECH_DATAle chemin de leur dossier.)
Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) n’ont pas été exécutées.
Une agente qui prend des notes au téléphone
Section intitulée « Une agente qui prend des notes au téléphone »Imaginez une agente de centre d’appels qui prend des notes pendant un appel téléphonique. Elle écrit quand l’appelant parle. Quand il dit « Attendez, je vais le trouver », elle pose son stylo et attend. Quand la musique d’attente joue, elle ne note pas la musique. Elle écrit seulement la parole.
Donnez maintenant le même appel à une agente qui ne peut pas poser son stylo. Elle doit écrire quelque chose pour chaque seconde de l’appel. Pendant 20 secondes de musique, elle devine des mots. Pendant un long silence, elle écrit ce qu’elle s’attend à entendre. Ses notes sont plus longues, ont pris plus de temps, et certains mots n’ont jamais été prononcés.
Le problème : le modèle entend tout
Section intitulée « Le problème : le modèle entend tout »Un système de reconnaissance de la parole, comme Whisper dans le prochain module, ressemble à la deuxième agente. Il reçoit l’enregistrement complet, seconde par seconde. Les appels de Larkfield contiennent des passages sans parole : musique d’attente, appelant qui cherche un numéro de commande, bruit de fond.
Écoutez 10 secondes de l’appel C-0022. L’agent demande à l’appelant de patienter, puis la musique commence.
Transcription. Agent : « Thank you. Let me check that for you. Please hold. » Puis de la musique d’attente (une mélodie simple) jusqu’à la fin de l’extrait.
Dans cet appel de 70,4 secondes, la musique dure 17,7 secondes. Le modèle consacre du temps de calcul à ces secondes. Et, comme vous le verrez dans Pourquoi la VAD améliore la reconnaissance, il écrit parfois des mots dans ces passages. Sur les 110 appels de validation et de test, 19 % du temps ne contient pas de parole. Cette part est de 8 % dans l’appel le plus chargé et de 48 % dans celui avec la plus longue attente. Larkfield reçoit environ 4 000 appels par mois. Cela représente beaucoup d’audio sans rien à écrire.
Tomás, l’ingénieur en IA, ne voit pas de problème : « Whisper est très bon. Envoyez-lui l’appel complet. » Priya, la scientifique des données, veut d’abord un chiffre. Quelle part d’un appel contient de la parole, et un programme peut-il la trouver?
L’idée : trouver d’abord la parole
Section intitulée « L’idée : trouver d’abord la parole »La capacité de l’agente qui prend des notes porte un nom. La détection d’activité vocale, ou VAD, trouve les passages d’un enregistrement où quelqu’un parle. « Activité vocale » signifie qu’une voix est active, donc que quelqu’un parle. La VAD ne comprend pas les mots. Elle répond à une question pour chaque court moment d’audio : parole ou absence de parole?
La sortie d’une VAD est une liste de régions de parole : un début et une fin pour chaque passage parlé. Par exemple, [(0.98, 8.55), (9.36, 14.12)] indique de la parole de 0,98 à 8,55 secondes, puis de 9,36 à 14,12 secondes. Les étapes suivantes utilisent seulement ces régions.
Le détecteur le plus simple : un son fort est de la parole
Section intitulée « Le détecteur le plus simple : un son fort est de la parole »La parole est plus forte qu’une ligne silencieuse. La VAD la plus simple fonctionne donc ainsi :
- Découpez l’audio en courtes trames de 30 millisecondes (ms).
- Mesurez l’intensité sonore de chaque trame en dBFS, comme dans L’audio comme des données. 0 dBFS correspond au son le plus fort possible, et une ligne téléphonique silencieuse se situe près de −60 dBFS.
- Classez une trame comme parole quand son intensité dépasse un seuil, par exemple −40 dBFS.
- Joignez les trames de parole voisines en régions.
C’est une VAD d’énergie : « énergie » est le mot technique qui désigne l’intensité sonore d’un signal. Deux petits réglages rendent ses régions utilisables :
- Le délai de maintien (hangover) garde une région ouverte pendant une courte pause. Les gens font des pauses d’une fraction de seconde entre les mots. Sans délai de maintien, une phrase devient dix petites régions. Le projet utilise 0,3 seconde.
- La durée minimale de parole élimine les régions de moins de 0,1 seconde, comme un clic sur la ligne.
Un petit exemple avec 12 trames
Section intitulée « Un petit exemple avec 12 trames »Voici 12 trames : 0,36 seconde d’un enregistrement inventé, pour que tous les nombres tiennent sur la page. Quelqu’un prononce un mot court dans les trames 3 à 8, avec une toute petite pause dans la trame 6. Dans les trames 10 et 11, l’appelant tousse : le son est fort, mais ce n’est pas de la parole.
| Trame | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Intensité sonore (dBFS) | −61 | −58 | −34 | −29 | −31 | −52 | −30 | −27 | −59 | −33 | −32 | −60 |
| Parole réelle | non | non | oui | oui | oui | oui | oui | oui | non | non | non | non |
| Plus fort que −40? | non | non | oui | oui | oui | non | oui | oui | non | oui | oui | non |
Évaluez le détecteur comme dans les prochaines sections. Six trames contiennent de la parole réelle (3 à 8). Le détecteur en a manqué une, la trame 6, pendant la pause. Il a donc manqué 1 trame de parole sur 6 : 17 % de parole manquée. Six trames ne contiennent pas de parole (1, 2 et 9 à 12). Le détecteur en a classé deux comme parole, les trames 10 et 11, qui contiennent la toux. Cela donne 33 % de fausse parole.
Ajoutez maintenant un délai de maintien d’une trame (30 ms). Un trou d’une seule trame silencieuse reste ainsi dans une région. La trame 6 est maintenant classée comme parole, et la parole manquée tombe à 0 %. Mais la trame 9 est aussi un trou d’une trame, entre le mot et la toux. La région va maintenant de la trame 3 à la trame 11. La fausse parole passe à 3 sur 6 : 50 %. Un réglage a corrigé une erreur et en a aggravé une autre.
Description textuelle du graphique
Le panneau du haut montre l’intensité sonore de 12 trames en escalier, avec une ligne pointillée à −40 dBFS. Les trames 3 à 5, 7 et 8, et 10 et 11 sont au-dessus de la ligne. En dessous, trois rangées de barres apparaissent. La parole réelle couvre les trames 3 à 8, de 0,06 à 0,24 seconde. « Plus fort que −40 » a trois barres : trames 3 à 5, trames 7 et 8, et trames 10 et 11. « Avec un délai de maintien de 30 ms » a une barre de la trame 3 à la trame 11, de 0,06 à 0,33 seconde. Elle remplit la pause de la trame 6 et aussi le trou de la trame 9. Elle joint donc le mot et la toux.
Deux nombres pour évaluer une VAD
Section intitulée « Deux nombres pour évaluer une VAD »Le petit exemple utilise les deux nombres qui évaluent chaque détecteur de ce module. Les deux sont des parts du temps, mesurées toutes les 10 ms par rapport aux tours de parole réels de l’appel :
- La parole manquée est la part de la parole réelle que la VAD n’a pas trouvée. La parole manquée n’atteint jamais le modèle, donc ses mots sont perdus.
- La fausse parole est la part du temps sans parole que la VAD a classée comme parole. La fausse parole coûte du calcul et permet au modèle d’écrire des mots que personne n’a dits.
Si vous avez suivi le cours Apprentissage automatique : du problème à un modèle fiable : la parole manquée vaut un moins le rappel de la parole, et la fausse parole est le taux de fausses alertes. Un bon détecteur garde les deux bas. Un seuil fait monter l’un et baisser l’autre. Vous devez donc choisir votre compromis. Nos appels permettent cette mesure : les temps des mots des voix donnent la parole réelle exacte, à quelques millisecondes près. Les enregistrements réels ont rarement de telles étiquettes.
Larkfield : l’appel avec musique d’attente
Section intitulée « Larkfield : l’appel avec musique d’attente »Priya exécute la VAD d’énergie sur l’appel C-0022 à −40 dBFS, avec le délai de maintien du projet de 0,3 seconde. L’audio est l’enregistrement téléphonique à 8 kHz, avec les deux côtés de l’appel dans un seul canal.
Description textuelle du graphique
Le panneau du haut montre l’intensité sonore de l’appel sur 70 secondes, avec une ligne pointillée de seuil à −40 dBFS. Pendant la parole, les trames les plus fortes se situent surtout entre −30 et −15 dBFS. Entre les tours de parole, l’intensité descend à environ −55 dBFS. De 25,1 à 42,8 secondes, la musique d’attente est ombrée. Son intensité reste près de −25 dBFS tout le temps, au-dessus du seuil. En dessous, deux rangées apparaissent. La parole réelle a 11 barres, une pour chaque tour de parole, avec un long trou pendant la musique. La VAD d’énergie a 22 régions. Elle couvre presque toute la parole réelle et contient aussi une longue région sur toute la musique d’attente.
Le graphique montre le problème d’un coup d’œil. La musique est aussi forte que les voix, donc la VAD d’énergie la classe comme parole. Le carnet fait le compte : 22 régions, 19,0 % de parole manquée et 62,6 % de fausse parole. Sur les 17,7 secondes de musique, 17,1 sont de la « parole ». La parole manquée vient des débuts et des fins de mots peu sonores, qui passent sous −40 dBFS.
Malik, l’ingénieur en téléphonie, n’est pas surpris. « La musique d’attente doit être forte. Les appelants raccrochent quand ils pensent que la ligne est coupée. » Un seuil d’intensité sonore ne peut pas distinguer une mélodie forte d’une voix forte.
Le jeu de bruits
Section intitulée « Le jeu de bruits »Les données du cours contiennent un jeu de bruits : 20 secondes de chaque type de son sans parole, transmis par notre ligne téléphonique. Quelle part de chacun la VAD d’énergie classe-t-elle comme parole?
Description textuelle du graphique
Un graphique à colonnes avec quatre colonnes sur un axe de 0 à 100 %. Musique (musique d’attente) : 100 %. Conversations (conversations en arrière-plan) : 97 %. Rue : 33 %. Souffle (souffle de ligne) : 0 %. Les trois premiers sont des sons autres que la parole de l’appelant. Le détecteur en classe pourtant une grande part comme parole, car ils sont forts.
Seul le souffle de ligne peu sonore réussit le test. Les conversations en arrière-plan sont le cas le plus difficile, car elles sont de la parole, mais pas celle de l’appelant. Aucun détecteur de ce module ne peut savoir à qui appartient la voix qu’il entend. Le module 5 traite de la question « qui a parlé? ».
Les 50 appels de validation
Section intitulée « Les 50 appels de validation »Le cours a mesuré la VAD d’énergie sur les 50 appels de validation, regroupés par bruit du côté de l’appelant. À −40 dBFS :
| Bruit | Appels | Parole manquée | Fausse parole |
|---|---|---|---|
| Calme | 23 | 15,2 % | 3,7 % |
| Conversations en arrière-plan | 13 | 2,9 % | 75,7 % |
| Rue | 14 | 10,5 % | 17,0 % |
| Les 50 | 50 | 10,7 % | 26,1 % |
Sur les appels calmes, la VAD d’énergie fonctionne assez bien : elle garde la plupart de la parole et peu d’autres sons. Avec les conversations en arrière-plan, les trois quarts du temps sans parole deviennent de la « parole ». Elle ne coûte presque rien : 0,15 ms de calcul pour une minute d’audio. Ces nombres proviennent des appels synthétiques de Larkfield; les appels réels donneront d’autres résultats.
Exercice guidé : ajouter la VAD au projet
Section intitulée « Exercice guidé : ajouter la VAD au projet »Ajoutez maintenant les détecteurs de ce module à votre projet. Le fichier vad.py contient trois détecteurs : la VAD d’énergie de cette leçon et deux autres comparés dans la prochaine leçon. La commande speech vad en exécute un sur les appels et l’évalue.
-
Ouvrez un terminal dans votre dossier de projet
larkspeech, et activez.venv. -
Copiez les trois fichiers du module depuis l’instantané
end-of-m03.Fenêtre de terminal cp ../nextia-learning-labs/C41/snapshots/end-of-m03/larkspeech/vad.py larkspeech/cp ../nextia-learning-labs/C41/snapshots/end-of-m03/larkspeech/commands/vad.py larkspeech/commands/cp ../nextia-learning-labs/C41/snapshots/end-of-m03/tests/test_vad.py tests/Fenêtre de terminal Copy-Item ..\nextia-learning-labs\C41\snapshots\end-of-m03\larkspeech\vad.py larkspeech\Copy-Item ..\nextia-learning-labs\C41\snapshots\end-of-m03\larkspeech\commands\vad.py larkspeech\commands\Copy-Item ..\nextia-learning-labs\C41\snapshots\end-of-m03\tests\test_vad.py tests\ -
Copiez le nouveau
requirements.txtdepuis le même instantané (cpouCopy-Item, comme ci-dessus). Il ajoute un paquet, WebRTC VAD, pour la prochaine leçon. -
Installez le nouveau paquet :
Fenêtre de terminal pip install -r requirements.txtLa dernière ligne devrait être
Successfully installed webrtcvad-wheels-2.0.14.post1(installation réussie de webrtcvad-wheels-2.0.14.post1). -
Exécutez les tests :
Fenêtre de terminal pytest -qVous devriez voir
18 passed(18 tests réussis) : les 15 tests du module 2 et 3 nouveaux tests pour les détecteurs. -
Exécutez la VAD d’énergie sur les 20 premiers appels de validation :
Fenêtre de terminal speech vad --method energy --limit 20La sortie sur l’ordinateur du cours :
energy on 20 validation calls (phone audio)noise calls missed speech false speech ms per minutebabble 7 4.8% 70.7% 0.2quiet 9 17.8% 8.5% 0.2street 4 15.9% 21.0% 0.2« babble » désigne les conversations en arrière-plan. Les millisecondes par minute seront différentes sur votre ordinateur.
Il s’agit de 20 appels, pas de 50. Les nombres diffèrent donc du tableau ci-dessus. La commande compte aussi chaque tour de parole du début à la fin, avec les courts silences aux deux extrémités. Le tableau compte du premier mot au dernier. La tendance reste la même : les conversations en arrière-plan remplissent la colonne de fausse parole.
À vous : déplacer le seuil
Section intitulée « À vous : déplacer le seuil »Changez un réglage : le seuil. Avant d’exécuter les deux commandes ci-dessous, prédisez pour chacune : la parole manquée augmente-t-elle ou diminue-t-elle? Et la fausse parole?
speech vad --method energy --threshold -30 --limit 20speech vad --method energy --threshold -50 --limit 20Afficher la réponse
À −30 dBFS, moins de trames sont assez fortes. La parole manquée augmente, et la fausse parole diminue :
energy {'threshold_db': -30.0} on 20 validation calls (phone audio)noise calls missed speech false speech ms per minutebabble 7 39.7% 0.0% 0.2quiet 9 31.3% 8.4% 0.2street 4 33.3% 16.8% 0.2À −50 dBFS, presque tout est assez fort. La parole manquée diminue, et la fausse parole augmente. Avec les conversations en arrière-plan, 99,1 % du temps sans parole devient maintenant de la « parole » :
energy {'threshold_db': -50.0} on 20 validation calls (phone audio)noise calls missed speech false speech ms per minutebabble 7 0.0% 99.1% 0.2quiet 9 12.7% 10.7% 0.2street 4 2.6% 81.5% 0.2Aucun seuil ne réduit les deux colonnes sur les appels bruyants. Dans le carnet, −30 dBFS donne la somme la plus faible des deux nombres sur six appels. Même là, la somme est de 0,47.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
Le même seuil échoue sur une ligne moins sonore
Symptôme : la VAD d’énergie fonctionnait sur les appels de la semaine dernière. Cette semaine, la parole manquée est très élevée, même si le code n’a pas changé.
Cause : un seuil en décibels suppose une certaine intensité sonore. Une autre ligne téléphonique, un autre casque ou un gain d’enregistrement plus faible rend chaque appel moins sonore. Dans le carnet, l’appel C-0022 réduit de 20 dB perd 75,4 % de sa parole à −40 dBFS, contre 19,0 % avant.
Diagnostic : vérifiez l’intensité sonore des nouveaux appels avec speech inspect, de Préparer le projet de parole. Comparez-la à celle des appels utilisés pour choisir le seuil.
Correction : réglez le seuil à partir de chaque appel. Par exemple, placez-le quelques décibels au-dessus de l’intensité de ses trames les plus silencieuses. Ou utilisez un détecteur qui ne dépend pas de l’intensité sonore, comme dans la prochaine leçon.
Erreur courante
Une phrase devient plusieurs petites régions
Symptôme : la VAD trouve des centaines de régions dans un court appel, et la parole manquée est élevée.
Cause : le délai de maintien est nul ou très court. Chaque courte pause entre les mots termine donc une région. Les fins de mots peu sonores passent aussi sous le seuil.
Correction : gardez un délai de maintien d’environ 0,3 seconde. Le carnet montre le compromis : un long délai d’une seconde joint tout, et la fausse parole augmente.
Quand utiliser une VAD d’énergie
Section intitulée « Quand utiliser une VAD d’énergie »Utilisez-la quand la ligne est silencieuse et que son intensité sonore est connue. Par exemple, dans un studio d’enregistrement, avec un casque dans un bureau calme, ou comme premier filtre éliminant le silence complet. Elle ne coûte presque rien, et vous pouvez expliquer chacune de ses décisions.
Ne l’utilisez pas seule pour des appels avec musique d’attente, conversations en arrière-plan ou bruit de rue. C’est le cas de la plupart des appels de Larkfield. Elle classe ces sons comme parole. Vous perdez alors le temps que la VAD devait faire gagner, et les mots inventés reviennent.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Tomás dit : « Whisper est très bon. Envoyez-lui l'appel complet. » Utilisez l'appel C-0022 pour expliquer à quoi sert la VAD.
Afficher la réponse
C-0022 contient 17,7 secondes de musique d’attente sur un appel de 70,4 secondes : un quart de l’audio ne contient aucune parole. Si vous envoyez l’appel complet, le modèle consacre des ressources de calcul à ces secondes. Il peut aussi écrire des mots là où personne ne parle. La VAD trouve d’abord les régions de parole. Le modèle reçoit ainsi seulement les parties où quelqu’un parle. La VAD doit toutefois être efficace : sur C-0022, la VAD d’énergie a classé comme parole 17,1 des 17,7 secondes de musique.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Faites une prédiction : vous abaissez le seuil d'énergie de −40 à −50 dBFS. Que deviennent la parole manquée et la fausse parole, et pourquoi?
Afficher la réponse
Plus de trames dépassent −50 dBFS, donc le détecteur classe une plus grande partie de l’appel comme parole. La parole manquée diminue, car les débuts et les fins de mots peu sonores dépassent maintenant le seuil. La fausse parole augmente, car davantage de bruit dépasse aussi le seuil. Sur les 20 appels de validation, les appels avec des conversations en arrière-plan montrent le mieux cet effet. Leur fausse parole est passée de 70,7 % à 99,1 %, et leur parole manquée de 4,8 % à 0,0 %.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : exécutez speech vad --method energy sur les 50 appels de validation. Quel groupe de bruit produit le plus de fausse parole? Pourquoi un seuil plus élevé ou plus bas ne peut-il pas régler ce problème?
Afficher la réponse
speech vad --method energy affiche les résultats suivants : babble (conversations en arrière-plan), 4,1 % de parole manquée et 73,7 % de fausse parole; quiet (calme), 19,6 % et 3,5 %; street (rue), 14,5 % et 16,1 %. Les conversations en arrière-plan produisent le plus de fausse parole. Ces personnes parlent aussi fort que l’appelant. Tout seuil qui conserve la voix de l’appelant conserve donc aussi les voix en arrière-plan. Relever le seuil à −30 dBFS élimine les conversations en arrière-plan. Mais le détecteur manque alors aussi environ 40 % de la parole de l’appelant.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- La détection d’activité vocale (VAD) trouve les régions de parole d’un enregistrement. Les étapes suivantes peuvent ainsi ignorer la musique et le silence.
- La VAD d’énergie classe une trame de 30 ms comme parole lorsque son intensité sonore dépasse un seuil. Un délai de maintien (hangover) de 0,3 s garde une phrase dans une seule région.
- Deux valeurs évaluent une VAD par rapport aux vrais tours de parole : parole manquée (mots perdus) et fausse parole (bruit conservé). Le seuil fait monter l’une et baisser l’autre.
- Sur l’appel C-0022, la VAD d’énergie à −40 dBFS a classé comme parole 17,1 des 17,7 secondes de musique. Sur le jeu de bruits, elle a classé comme parole 100 % de la musique. Elle a aussi classé ainsi 97 % des conversations en arrière-plan et 33 % du bruit de rue.
- Votre projet contient maintenant
vad.pyetspeech vad, avec 18 tests.
Vous pouvez maintenant trouver la parole grâce à son intensité sonore et mesurer le résultat. Mais la musique forte et les voix en arrière-plan passent pour de la parole. Une ligne moins sonore rend aussi le seuil inefficace. Ensuite, nous essaierons deux détecteurs qui examinent la forme du son, et pas seulement son intensité sonore.
Leçon suivante : WebRTC VAD et Silero VAD