Aller au contenu
English

WebRTC VAD et Silero VAD

  • Leçon 8
  • 35 min
  • Module 3 : Trouver la parole : la détection d'activité vocale

Où nous en sommes

Le seuil d'énergie classe la musique d'attente comme de la « parole ». De meilleurs détecteurs existent et fonctionnent sur un portable. Dans cette leçon, nous comparons WebRTC VAD et Silero VAD sur le jeu de bruits. Nous mesurons la parole manquée, la fausse parole et la vitesse.

Leçon 8 sur 36 · IA de la parole : transcrire, comprendre et parlerWebRTC VAD et Silero VAD
Aperçu du cours

Ce que vous saurez faire

Comparez deux détecteurs d’activité vocale qui examinent la forme du son : WebRTC VAD et Silero VAD. Comparez-les au seuil d’énergie de la leçon précédente. Mesurez ce que chacun manque, les bruits qu’il conserve et sa vitesse. Choisissez ensuite un détecteur et un réglage pour la ligne téléphonique de Larkfield.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter exécute les trois détecteurs sur l’appel avec musique d’attente et sur le jeu de bruits. Il affiche les probabilités de Silero, chronomètre chaque détecteur et montre l’erreur de fréquence d’échantillonnage de cette leçon. Ensuite, il vous demande de choisir un seuil de Silero pour six appels. Il installe WebRTC VAD et faster-whisper (qui inclut Silero VAD) et ne télécharge aucun système de reconnaissance. Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

  • La VAD d’énergie, le délai de maintien (hangover), la parole manquée et la fausse parole, vus dans Parole ou silence?.
  • Les fréquences d’échantillonnage : l’audio téléphonique compte 8 000 échantillons par seconde, l’audio à bande large (wideband) 16 000, vus dans L’audio comme des données.

Ce qu’il vous faut sur votre ordinateur (pour l’exercice guidé seulement)

  • Votre dossier de projet larkspeech avec les fichiers de la leçon précédente : pytest -q affiche 18 passed (18 tests réussis), et speech vad --method energy --limit 20 fonctionne.

Testé sur macOS avec Python 3.12.13.

Vous êtes dans un café animé avec un ami. La radio joue une chanson. Une tasse tombe au sol. Des gens parlent à la table voisine. Votre ami commence une phrase, et vous le remarquez aussitôt. Vous ne cherchez pas le son le plus fort : la chanson et la tasse sont plus fortes que votre ami. Vous cherchez la forme d’une voix.

Une voix a une forme que la musique et le bruit n’ont pas. Sa hauteur monte et descend. Elle arrive en syllabes, quelques-unes par seconde. Son timbre change sans cesse : d’une voyelle à une consonne, puis de nouveau à une voyelle. Une note de musique garde la même hauteur. Une tasse qui tombe produit un seul bruit bref. Votre oreille a appris ces formes au fil des années.

La VAD d’énergie de la leçon précédente n’a pas d’oreille pour les formes. Elle mesure seulement l’intensité sonore. Sur le jeu de bruits, elle a classé comme parole 100 % de la musique d’attente. Elle a aussi classé comme parole 97 % des conversations en arrière-plan et 33 % du bruit de rue. Sur l’appel C-0022, elle a classé comme parole 17,1 des 17,7 secondes de musique. Et une ligne téléphonique moins sonore lui a fait manquer les trois quarts de la parole.

Priya a besoin d’un détecteur qui distingue une voix d’une mélodie. Deux détecteurs gratuits fonctionnent sur un portable et servent dans de nombreux produits. Cette leçon les compare à la VAD d’énergie, sur les mêmes appels et avec les deux mêmes mesures.

WebRTC VAD vient du projet WebRTC, le code source ouvert que les navigateurs utilisent pour les appels vocaux et vidéo. Google l’a d’abord écrit, et il devait donc être très petit et très rapide. Pour chaque trame de 10, 20 ou 30 ms, il mesure l’énergie dans six bandes de fréquences, des basses aux hautes. Il compare ce profil à un modèle simple de parole et à un modèle simple de bruit. Il continue de mettre à jour le modèle de bruit pendant l’appel. Il répond oui ou non. Son mode, de 0 à 3, règle sa sévérité : au mode 3, il dit « parole » le moins souvent.

Silero VAD est un petit réseau de neurones : un modèle composé de nombreux nombres qui a appris à partir d’exemples. Ici, ces exemples sont de nombreuses heures de parole et de bruit. (Le cours L’apprentissage profond et les transformeurs expliqués explique comment un tel modèle apprend.) Le fichier du modèle ne fait que 1,2 Mo, et il est gratuit (licence MIT). Pour chaque segment de 32 ms d’audio à 16 kHz, il donne une probabilité de parole : un nombre entre 0 et 1. Un seuil transforme la probabilité en oui ou non. faster-whisper est la bibliothèque de reconnaissance de la parole de ce cours. Elle inclut une copie de Silero, donc votre projet l’a déjà.

Les deux détecteurs ont encore besoin des règles supplémentaires de la leçon précédente. Une région commence quand un segment dépasse le seuil. Elle se termine seulement après une courte suite de segments sous ce seuil : 0,3 seconde dans le projet. Silero utilise aussi un second seuil plus bas, de 0,15 sous le premier, pour décider que la parole a cessé.

L’appel C-0022 est l’appel avec musique d’attente de la leçon précédente. De 21,9 à 24,9 secondes, l’agent dit « Thank you. Let me check that for you. Please hold. » Voici les probabilités de Silero pour 10 segments au milieu de cette phrase, soit un tiers de seconde au total. Ces nombres ont été mesurés sur l’appel :

Début du segment (s) 22,75 22,78 22,82 22,85 22,88 22,91 22,94 22,98 23,01 23,04
Probabilité 0,476 0,506 0,501 0,485 0,446 0,337 0,216 0,264 0,496 0,469
Parole à 0,5? non oui oui non non non non non non non
Parole à 0,3? oui oui oui oui oui oui non non oui oui

L’agent parle dans les 10 segments. Il y a seulement une courte pause entre deux mots, à 22,94 et 22,98 secondes. Pourtant, au seuil habituel de 0,5, seulement 2 des 10 segments sont de la « parole ». À 0,3, il y en a 8 sur 10. Silero est incertain devant cette voix : ses probabilités restent près de 0,5 plutôt que près de 1. Le graphique ci-dessous montre que c’est vrai pour tout le passage, pas seulement pour ces 10 segments.

Probabilité de Silero pour chaque segment de 32 ms de C-0022, de 18,4 à 26,0 secondes (mesurée, audio téléphonique). Pendant la parole, elle reste surtout entre 0,3 et 0,6. À 0,5, Silero manque presque la moitié de la phrase de l'agent; à 0,3, il la trouve presque entièrement.
Description textuelle du graphique

Le panneau du haut montre une courbe proche de 0 entre les tours de parole. Elle monte entre environ 0,3 et 0,6 pendant la parole. Deux lignes pointillées marquent les seuils de 0,5 et de 0,3. Pendant le tour de l’appelant (19,1 à 21,1 s) et celui de l’agent (21,9 à 24,9 s), la courbe dépasse brièvement 0,5. Elle reste au-dessus de 0,3 la plupart du temps. À 25,4 s, la musique commence : la courbe monte à environ 0,4, puis descend lentement. En dessous, il y a trois rangées. La parole réelle a deux barres, une par tour de parole. Silero à 0,5 a trois barres. Une couvre le tour de l’appelant. Deux ne couvrent que des parties du tour de l’agent, avec un espace de presque une seconde au milieu. Silero à 0,3 couvre presque entièrement les deux tours. Il a aussi une courte barre de 25,3 à 26,2 secondes, là où la musique commence.

Pourquoi Silero est-il incertain? La ligne téléphonique est une raison probable. La ligne supprime tous les sons au-dessus de 3 400 Hz, où se trouve une grande partie de la « forme » d’une voix. Pour vérifier cela, le cours a exécuté Silero à 0,5 sur les copies à bande large des mêmes 50 appels de validation. Leur audio est à 16 kHz, sans la coupure de la ligne téléphonique. Sur ces copies, Silero a manqué 4,4 % de la parole, contre 18,8 % sur l’audio téléphonique. Le même détecteur, avec les mêmes voix, perd quatre fois plus de parole sur la ligne téléphonique.

Priya exécute les trois détecteurs sur l’appel C-0022 avec les réglages par défaut du projet. Ce sont l’énergie à −40 dBFS, WebRTC VAD au mode 2 et Silero à 0,5.

Appel C-0022 (70,4 s, synthétique) : l'énergie et WebRTC VAD classent la musique d'attente comme parole; Silero VAD ne le fait pas, mais manque 41 % de la parole.
Description textuelle du graphique

Quatre rangées de barres sur 70 secondes, avec la musique d’attente ombrée de 25,1 à 42,8 secondes. La parole réelle a 11 barres, une par tour de parole. La VAD d’énergie couvre la parole et toute la musique d’attente : parole manquée 19,0 %, fausse parole 62,6 %. WebRTC VAD semble presque identique : il couvre la parole et la musique, avec 10,6 % de parole manquée et 63,8 % de fausse parole. Silero VAD à 0,5 n’a rien pendant la musique, mais ses barres ne couvrent que des parties de chaque tour : parole manquée 41,1 %, fausse parole 1,6 %.

L’énergie et WebRTC VAD classent la musique comme parole : 17,1 et 17,2 des 17,7 secondes. Silero n’en classe aucune partie comme parole. C’est le seul détecteur ici qui distingue une mélodie d’une voix. Mais sur cet appel, il le paie avec 41,1 % de parole manquée, le pire résultat des trois. À 0,3, Silero manque 12,0 % de la parole dans C-0022. Et il ne classe toujours que 0,9 seconde de musique comme parole.

Tomás aime le résultat : « Silero est un réseau de neurones. Il gagne. » Priya répond : « Il gagne sur la musique. À son seuil par défaut, il perd le plus de mots. Mesurons-le sur plus d’un appel. »

Le jeu de bruits fournit 20 secondes de chaque son qui n’est pas de la parole, par la ligne téléphonique. Voici la part de chaque son que les détecteurs classent comme parole (mesurée) :

Bruit Énergie (−40 dBFS) WebRTC VAD (mode 2) Silero VAD (0,5)
Musique d’attente 100 % 100 % 3 %
Conversations en arrière-plan 97 % 100 % 100 %
Rue 33 % 25 % 0 %
Souffle de la ligne 0 % 0 % 0 %

Silero rejette la musique et la rue. WebRTC VAD fait un peu mieux que l’énergie sur la rue, et pas mieux sur la musique. Et tous les détecteurs classent les conversations en arrière-plan comme parole, parce que c’est de la parole. Un détecteur de voix ne peut pas savoir si la voix vient d’une personne dans la pièce de l’appelant plutôt que de l’appelant lui-même.

Le cours a mesuré chaque détecteur sur les 50 appels de validation, selon le bruit du côté de l’appelant. Le graphique place les deux mesures côte à côte pour chaque détecteur. La parole manquée augmente vers la gauche : ce sont des mots perdus. La fausse parole augmente vers la droite : c’est du bruit que le système de reconnaissance doit encore traiter.

Parole manquée (à gauche) et fausse parole (à droite) sur les 50 appels de validation, selon le bruit du côté de l'appelant (mesurées, audio téléphonique, réglages par défaut). Silero conserve le moins de bruit, et sur ces appels téléphoniques, il manque le plus de parole.
Description textuelle du graphique

Trois groupes de trois rangées. Ligne calme, 23 appels. L’énergie manque 15,2 % de la parole et conserve 3,7 % de fausse parole. WebRTC VAD : 9,1 % et 10,2 %. Silero : 19,0 % et 10,4 %. Conversations en arrière-plan, 13 appels. Énergie : 2,9 % et 75,7 %. WebRTC VAD : 0,3 % et 95,2 %. Silero : 29,3 % et 27,2 %. Bruit de rue, 14 appels. Énergie : 10,5 % et 17,0 %. WebRTC VAD : 7,5 % et 19,9 %. Silero : 8,8 % et 12,7 %. Dans chaque groupe, la barre de Silero à droite est courte ou la plus courte, et sa barre à gauche est longue. Les conversations en arrière-plan donnent les plus longues barres à droite pour l’énergie et WebRTC VAD.

Trois choses à lire dans le graphique :

  1. Les conversations en arrière-plan sont le cas difficile pour tous. WebRTC VAD classe 95 % du temps sans parole comme parole, et l’énergie, 76 %. Silero en conserve moins, 27 %, mais il manque aussi 29 % de la parole sur ces appels.
  2. Sur les lignes calmes, les trois sont proches. La simple VAD d’énergie n’y fait pas moins bien.
  3. Silero à 0,5 manque le plus de parole sur la ligne téléphonique : 18,8 % sur l’ensemble des 50 appels.

Le réglage déplace chaque détecteur le long du même compromis. Le tableau donne aussi la vitesse : les millisecondes (ms) de calcul pour une minute d’audio. Ces mesures utilisent 4 fils d’exécution du processeur du portable du cours.

Détecteur et réglage Parole manquée Fausse parole ms par minute d’audio
Énergie, −50 dBFS 5,3 % 51,6 % 0,15
Énergie, −40 dBFS 10,7 % 26,1 % 0,15
Énergie, −30 dBFS 28,9 % 3,8 % 0,15
WebRTC VAD, mode 0 4,5 % 45,3 % 3,2 à 12
WebRTC VAD, mode 2 6,4 % 35,0 % 3,2
WebRTC VAD, mode 3 8,1 % 28,9 % 3,1
Silero VAD, 0,3 7,2 % 30,0 % 93
Silero VAD, 0,5 18,8 % 15,4 % 84
Silero VAD, 0,7 46,6 % 6,9 % 85

Silero est environ 25 fois plus lent que WebRTC VAD et 500 fois plus lent que l’énergie. Cela semble grave, mais regardez les ordres de grandeur. Larkfield reçoit environ 4 000 appels par mois d’environ 44 secondes chacun : environ 2 900 minutes d’audio. À 90 ms par minute, Silero a besoin d’environ 4 minutes de calcul par mois. La vitesse ne décide pas ici. Les deux mesures d’erreur décident.

L’erreur qui compte le plus dépend de l’usage de la VAD. Demandez-vous ce qui se passe après la VAD :

  • Avant le système de reconnaissance, la parole manquée est l’erreur coûteuse. Un mot supprimé par la VAD n’atteint jamais le système de reconnaissance, et rien ne peut le récupérer. La fausse parole coûte seulement du calcul, et le système de reconnaissance n’écrit souvent rien pour le bruit. Gardez donc la parole manquée faible et acceptez un peu de fausse parole.
  • Pour un compte rapide, par exemple « combien de secondes l’appelant a-t-il attendu en silence? », la fausse parole compte autant que la parole manquée.

Pour les transcriptions de Larkfield, le premier cas s’applique. Priya n’utilise donc pas Silero à son seuil par défaut de 0,5 sur la ligne téléphonique. À 0,3, Silero manque 7,2 % de la parole, près de WebRTC VAD au mode 2 (6,4 %). Et il rejette encore la musique d’attente. WebRTC VAD est le choix rapide si la musique est rare. Malik ajoute un fait du système téléphonique : la musique d’attente joue dans de nombreux appels de Larkfield. Cela fait de Silero à un seuil plus bas le meilleur candidat.

Ce choix repose sur 50 appels de validation synthétiques, avec la parole manquée comptée en durée. La prochaine leçon le vérifie là où cela compte : les erreurs du système de reconnaissance et son temps de calcul.

Vous avez ajouté vad.py dans la leçon précédente, donc les deux détecteurs sont déjà dans votre projet.

  1. Dans votre dossier de projet larkspeech, avec .venv activé, exécutez WebRTC VAD sur les 20 premiers appels de validation :

    Fenêtre de terminal
    speech vad --method webrtc --limit 20

    La sortie sur l’ordinateur du cours :

    webrtc on 20 validation calls (phone audio)
    noise calls missed speech false speech ms per minute
    babble 7 0.6% 94.1% 3.3
    quiet 9 11.3% 12.8% 3.6
    street 4 11.7% 24.0% 3.9
  2. Exécutez Silero VAD sur les mêmes appels. La première exécution prend environ 15 secondes, surtout pour démarrer Python et charger le modèle.

    Fenêtre de terminal
    speech vad --method silero --limit 20
    silero on 20 validation calls (phone audio)
    noise calls missed speech false speech ms per minute
    babble 7 33.5% 20.0% 85.3
    quiet 9 18.1% 5.1% 85.4
    street 4 12.7% 6.5% 85.2
  3. Exécutez Silero de nouveau avec un seuil plus bas :

    Fenêtre de terminal
    speech vad --method silero --threshold 0.3 --limit 20
    silero {'threshold': 0.3} on 20 validation calls (phone audio)
    noise calls missed speech false speech ms per minute
    babble 7 13.9% 50.6% 96.5
    quiet 9 8.4% 15.3% 101.6
    street 4 7.7% 15.0% 100.0

    La parole manquée diminue dans chaque groupe, et la fausse parole augmente. Vos millisecondes seront différentes.

Changez un réglage. Exécutez WebRTC VAD au mode 3, le plus strict. Avant de l’exécuter, faites une prédiction : sur les appels avec conversations en arrière-plan, la fausse parole diminue-t-elle peu ou beaucoup? Et que devient la parole manquée?

Fenêtre de terminal
speech vad --method webrtc --mode 3 --limit 20
Afficher la réponse
webrtc {'mode': 3} on 20 validation calls (phone audio)
noise calls missed speech false speech ms per minute
babble 7 2.8% 77.2% 3.4
quiet 9 13.2% 11.1% 3.5
street 4 14.2% 20.2% 3.5

La fausse parole sur les appels avec conversations en arrière-plan passe de 94,1 % à 77,2 %. C’est encore la majeure partie du temps sans parole. La parole manquée augmente dans chaque groupe. Un mode plus strict ne peut pas supprimer les voix en arrière-plan, parce que ce sont des voix.

Erreur courante

Silero reçoit de l'audio à 8 kHz, et tous les temps valent la moitié des temps réels

Symptôme : les régions de Silero se terminent toutes dans la première moitié de l’appel, et la parole manquée est très élevée. Aucun message d’erreur ne s’affiche.

Cause : la copie de Silero dans faster-whisper attend 16 000 échantillons par seconde. Un appel téléphonique en a 8 000. Avec de l’audio à 8 kHz, le code compte 16 000 échantillons comme une seconde. Chaque temps vaut donc la moitié de sa valeur réelle. Dans le carnet, la dernière région de C-0022 se termine à 24,2 secondes, mais l’appel dure 70,4 secondes. Sur les 50 appels de validation, la parole manquée passe de 18,8 % à 82,0 %.

Diagnostic : comparez la fin de la dernière région à la durée de l’appel. Si elle est environ à la moitié, la fréquence d’échantillonnage est incorrecte.

Correction : rééchantillonnez à 16 kHz avant Silero. La fonction silero() du projet dans vad.py le fait pour vous : if sr != 16000: x = resample(x, sr, 16000).

Erreur courante

Un meilleur détecteur, et les conversations en arrière-plan restent de la « parole »

Symptôme : vous passez de l’énergie à WebRTC VAD ou à Silero. La fausse parole sur les appels avec conversations en arrière-plan reste élevée.

Cause : les conversations en arrière-plan sont de la vraie parole. Une VAD répond à « est-ce que quelqu’un parle? », pas à « est-ce que l’appelant parle? ».

Correction : utilisez la structure de l’appel. De nombreux appels de Larkfield enregistrent l’agent et l’appelant sur des canaux distincts. Le module 5 utilise ces canaux pour trouver qui parle.

Détecteur Points forts Points faibles Coût
Énergie Lignes calmes avec une intensité sonore connue Musique, conversations en arrière-plan, ligne moins sonore Presque rien (0,15 ms par minute)
WebRTC VAD Rapide; manque peu de parole sur la ligne téléphonique Musique d’attente, conversations en arrière-plan 3 ms par minute
Silero VAD Musique et bruit de rue Parole téléphonique au seuil par défaut de 0,5 : baissez le seuil Environ 90 ms par minute, reste faible

Ne choisissez pas selon le nom ou la réputation. Choisissez sur votre propre audio, en comptant séparément la parole manquée et la fausse parole. Gardez aussi en tête l’utilisation après la VAD.

Vérifiez votre compréhension

Tomás dit : « Silero est un réseau de neurones, donc il est meilleur dans tout. » Répondez-lui avec deux mesures de cette leçon.

Afficher la réponse

Silero rejette mieux le bruit qui n’est pas une voix. Il a classé 3 % de la musique d’attente comme parole, contre 100 % pour l’énergie et WebRTC VAD. Il n’a classé aucun bruit de rue comme parole. Mais l’audio téléphonique de Larkfield lui pose problème à son seuil par défaut de 0,5. Il a manqué 18,8 % de la parole dans les 50 appels de validation, le plus des trois détecteurs. L’énergie en a manqué 10,7 %, et WebRTC VAD, 6,4 %. Sur C-0022, il en a manqué 41,1 %. Il classe aussi les conversations en arrière-plan comme parole, comme les autres. Sur l’audio à bande large, il n’en a manqué que 4,4 %. La ligne téléphonique explique donc une partie du problème.

Vérifiez votre compréhension

Faites une prédiction : vous augmentez le seuil de Silero de 0,5 à 0,7. Que deviennent la parole manquée et la fausse parole? Est-ce une bonne idée avant le système de reconnaissance?

Afficher la réponse

Moins de segments dépassent 0,7, donc la parole manquée augmente et la fausse parole diminue. Sur les 50 appels de validation, la parole manquée est passée de 18,8 % à 46,6 %. La fausse parole est passée de 15,4 % à 6,9 %. Avant le système de reconnaissance, c’est une mauvaise idée : près de la moitié de la parole ne serait jamais transcrite. Les mots manqués sont irrécupérables; la fausse parole ne coûte que du calcul.

Vérifiez votre compréhension

Vérification pratique : exécutez speech vad --method silero --threshold 0.3 --limit 20 et comparez les résultats au seuil par défaut de 0,5. Quel seuil choisissez-vous pour les transcriptions de Larkfield, et pourquoi?

Afficher la réponse

À 0,3, la parole manquée diminue dans chaque groupe : babble (brouhaha), de 33,5 % à 13,9 %; quiet (calme), de 18,1 % à 8,4 %; street (rue), de 12,7 % à 7,7 %. La fausse parole augmente, par exemple de 20,0 % à 50,6 % pour babble. Pour les transcriptions, 0,3 est le meilleur choix. La parole manquée fait perdre des mots, et la fausse parole ne coûte que du calcul. Silero à 0,3 rejette encore la musique d’attente, contrairement à WebRTC VAD. Il faut vérifier ce choix avec les erreurs du système de reconnaissance, pas seulement avec les proportions de temps.

Récapitulatif

  • WebRTC VAD compare l’énergie dans six bandes de fréquences à des modèles simples de parole et de bruit. Son mode (0 à 3) définit son degré de sévérité. Il est rapide (3 ms par minute) et classe la musique comme parole.
  • Silero VAD est un petit réseau de neurones. Il donne une probabilité de parole pour chaque segment de 32 ms. Un seuil transforme cette probabilité en oui ou non. Il rejette la musique (3 %) et le bruit de rue (0 %).
  • Tous les détecteurs classent les conversations en arrière-plan comme parole, parce que c’est de la parole.
  • Sur l’audio téléphonique de Larkfield, Silero à 0,5 hésite : il a manqué 18,8 % de la parole. Sur les copies à bande large, il n’en a manqué que 4,4 %. À 0,3, il en manque 7,2 %.
  • Donnez à Silero de l’audio à 16 kHz. Avec de l’audio à 8 kHz, tous les temps diminuent de moitié et la parole manquée grimpe à 82,0 %.

Vous pouvez maintenant choisir un détecteur et un seuil selon la parole manquée et la fausse parole. Mais une proportion de secondes n’est pas encore une proportion de mots. Ensuite, nous plaçons la VAD avant Whisper. Nous mesurons son effet sur le texte inventé, le taux d’erreur sur les mots et le coût d’une heure d’audio.

Leçon suivante : Pourquoi la VAD améliore la reconnaissance