Aller au contenu
English

Pourquoi la VAD améliore la reconnaissance

  • Leçon 9
  • 40 min
  • Module 3 : Trouver la parole : la détection d'activité vocale

Où nous en sommes

Nous pouvons maintenant trouver la parole dans un appel. Est-ce utile au modèle? Dans cette leçon, nous coupons les longs silences avant la reconnaissance. Nous voyons Whisper cesser d'inventer du texte et mesurons le changement des erreurs et du coût par heure d'audio.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 9 sur 36 · IA de la parole : transcrire, comprendre et parlerPourquoi la VAD améliore la reconnaissance
Aperçu du cours

Ce que vous saurez faire

Placez la détection d’activité vocale avant Whisper et mesurez ce qu’elle change vraiment. Examinez le texte que Whisper invente dans les silences, le taux d’erreur sur les mots et le coût d’une heure d’audio. Réglez ensuite le détecteur pour qu’il retire le texte inventé sans supprimer les mots de l’appelant.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet repère les phrases inventées dans les transcriptions enregistrées. Il évalue Whisper small avec et sans VAD sur les 60 appels de test. Ensuite, il exécute Whisper tiny en direct sur huit appels pour vous permettre de régler le seuil vous-même. Il télécharge Whisper tiny (environ 75 Mo) une seule fois. Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé)

  • Votre dossier de projet larkspeech avec les fichiers de ce module : pytest -q affiche 18 passed (18 tests réussis).

Testé sur macOS avec Python 3.12.13.

Un assistant qui touche l’épaule de la preneuse de notes

Section intitulée « Un assistant qui touche l’épaule de la preneuse de notes »

Revenons à la preneuse de notes de la première leçon de ce module, celle qui ne peut pas poser son stylo. Donnez-lui un assistant. Il écoute aussi et lui touche l’épaule quand personne ne parle : « Arrêtez d’écrire maintenant. » Pendant la musique d’attente, elle s’arrête. Ses notes deviennent plus courtes et plus claires, et elle termine plus vite.

Mais l’assistant doit lui toucher l’épaule au bon moment. S’il le fait chaque fois que l’appelant parle doucement, elle cesse d’écrire au milieu d’une vraie réponse. Ses notes sont maintenant claires et fausses : il manque ce que l’appelant a dit. Un assistant n’est utile que s’il intervient au bon moment.

Le problème : Whisper écrit des mots que personne n’a dits

Section intitulée « Le problème : Whisper écrit des mots que personne n’a dits »

Dans l’appel C-0251, l’appelant veut annuler une commande. L’agent demande le numéro de commande. L’appelant dit « Hold on, let me find it. » (Attendez, je vais le trouver.) Ensuite, l’appelant reste silencieux pendant 21,4 secondes. Écoutez 8 secondes au milieu de cette attente :

Appel C-0251, de 23,0 à 31,0 secondes, audio téléphonique (8 kHz, ligne mobile). Personne ne parle dans l’appel. Notre code a créé les conversations discrètes en arrière-plan du côté de l’appelant avec d’autres voix synthétiques (Piper et Kokoro). Tous les appels de Larkfield sont synthétiques.

Transcription. Aucun mot de l’agent ou de l’appelant. Conversations discrètes en arrière-plan : plusieurs voix au loin, comme dans une pièce animée.

Whisper small a transcrit cet appel sans VAD. C’est le modèle de reconnaissance le plus exact utilisé dans ce module. Voici ce qu’il a écrit pour toute l’attente, entre « Hold on, let me find it. » et le « Sorry about that » (Désolé) de l’appelant :

Hello there, could you please explain how do I travel last year? Hi, I’m good morning. Could you please tell me how to train you to buy a pair of shoes? I’m a fan of my iRomite, so I can buy a pair of shoes. I appreciate your help with my car.

Personne n’a dit cela à Larkfield. Whisper a pris un murmure en arrière-plan et écrit des phrases complètes, avec assurance. Elles figurent au milieu de la transcription comme si l’appelant les avait dites. Une recherche de « pair of shoes » (paire de chaussures) trouve maintenant cet appel. Un modèle de résumé, dans le module 6, pourrait les interpréter comme les mots de l’appelant.

C’est la deuxième preneuse de notes de la première leçon : on demande à Whisper d’écrire quelque chose, alors il écrit quelque chose. Whisper a appris à partir d’une très grande quantité d’audio accompagné de transcriptions. Pour chaque passage audio, il produit le texte le plus probable à cet endroit dans une transcription. Là où il n’y a pas de parole claire, il peut quand même produire un texte qui semble plausible. On appelle cela une hallucination; ce cours parle de texte inventé. Voici d’autres exemples tirés de nos appels :

Modèle de reconnaissance Appel Ce qui remplit l’attente Ce qu’il y a écrit
Whisper small C-0104 (français) Musique d’attente « Merci. Merci. »
Whisper small C-0230 (français) Souffle de la ligne seulement « Bonjour. »
Whisper base C-0251 Conversations en arrière-plan « I just forgot. »
Whisper tiny C-0230 (français) Souffle de la ligne seulement « Les olympiques, »

Sur les 15 appels de validation et de test avec une longue attente insérée, Whisper small a écrit 65 mots pendant les attentes. Whisper tiny et base en ont écrit moins : 3 chacun.

Le travail de l’assistant prend une forme simple dans le code. faster-whisper, la bibliothèque qui exécute Whisper dans ce cours, propose l’option vad_filter=True. Avec cette option, faster-whisper fait quatre choses :

  1. Il exécute Silero VAD sur tout l’appel, avec ses propres réglages par défaut. Le seuil est de 0,5. Une région se termine après 2 secondes sous le seuil. Chaque région reçoit une marge de 0,4 seconde de chaque côté.
  2. Il conserve seulement les régions de parole et les joint bout à bout pour créer un enregistrement plus court.
  3. Il transcrit cet enregistrement plus court.
  4. Il replace chaque temps à sa position dans l’appel original pour que les temps des mots restent justes.

Prenez un appel fictif de 60 secondes. Quelqu’un parle pendant les 18 premières secondes et les 22 dernières. Entre les deux, l’appelant cherche un numéro de commande pendant 20 secondes.

Un appel fictif. La VAD conserve deux régions avec une marge de 0,4 s de chaque côté, et faster-whisper les joint. Whisper reçoit 40,6 secondes au lieu de 60.
Description textuelle du graphique

Trois rangées sur un axe de 0 à 60 secondes, avec l’attente de 18 à 38 secondes ombrée. La rangée de l’appel contient deux barres : parole de 0,5 à 18 secondes, puis de 38 à 59,5 secondes. La rangée de la VAD contient deux barres légèrement plus larges, de 0,1 à 18,4 et de 37,6 à 59,9 secondes, grâce aux marges. La dernière rangée montre ce que Whisper reçoit : les deux régions jointes bout à bout, sans attente entre elles. Elles vont de 0 à 18,3 et de 18,3 à 40,6 secondes.

Passons au coût, en montrant chaque étape. Supposons que le facteur temps réel de Whisper soit de 0,09 sur cet ordinateur. Silero nécessite 90 ms de calcul pour une minute d’audio (la dernière leçon a mesuré de 84 à 93 ms).

Étape Sans VAD Avec VAD
Audio que Whisper transcrit 60 s 18,3 + 22,3 = 40,6 s
Calcul de Whisper (× 0,09) 5,4 s 3,65 s
Calcul de Silero (1 minute × 90 ms) aucun 0,09 s
Calcul total 5,4 s 3,74 s
Facteur temps réel (total ÷ 60 s) 0,090 0,062
Coût par heure d’audio (RTF × 0,17 $ US) 0,0153 $ US 0,0105 $ US

La dernière rangée utilise l’hypothèse du cours pour un serveur CPU : 0,17 $ US par heure pour 4 CPU virtuels (costs.json). Une heure d’audio nécessite RTF heures de calcul. Le coût par heure d’audio est donc le RTF multiplié par 0,17 $ US. Ici, la VAD économise environ 31 % du calcul, car un tiers de l’appel était une attente.

Priya mesure le résultat réel avec Whisper small et la VAD de faster-whisper réglée par défaut.

D’abord, les 15 appels de validation et de test avec une longue attente insérée (musique d’attente ou souffle de la ligne) :

Whisper small, 15 appels avec une longue attente Sans VAD Avec VAD (par défaut)
Mots écrits pendant les attentes 65 1
Mots insérés (toutes les erreurs de ce type) 99 22
Facteur temps réel 0,092 0,053
Coût par heure d’audio (× 0,17 $ US) 0,0156 $ US 0,0090 $ US
Taux d’erreur sur les mots 13,2 % 16,1 %

La VAD a fait ce que l’assistant doit faire. Les mots inventés disparaissent presque : de 65 à 1. Le calcul diminue de 42 %. Pourtant, le taux d’erreur sur les mots augmente, de 13,2 % à 16,1 %. Autre chose s’est dégradé.

Priya vérifie toutes les données de test, avec le même modèle de reconnaissance et le même guide de normalisation :

  • Sans VAD (WER de 8,6 %)
  • Avec VAD, réglages par défaut (WER de 13,9 %)
Whisper small sur les 60 appels de test (environ 7 300 mots de référence, transcriptions enregistrées). Avec la VAD par défaut, les suppressions passent de 115 à 511; les autres erreurs changent à peine.
Description textuelle du graphique

Un diagramme à colonnes avec trois paires de colonnes. Substitutions : 371 sans VAD, 371 avec VAD. Suppressions : 115 sans VAD, 511 avec VAD. Insertions : 142 sans VAD, 138 avec VAD. Seules les suppressions changent beaucoup : elles sont plus de quatre fois plus nombreuses avec la VAD.

Le taux d’erreur sur les mots passe de 8,6 % à 13,9 %. Presque toutes les erreurs supplémentaires sont des suppressions : des mots dits par l’appelant ou l’agent qui manquent dans la transcription. Dans ces appels, la plupart des attentes sont courtes, donc les insertions changent à peine. Le facteur temps réel bouge aussi très peu, de 0,075 à 0,073, car la VAD conserve 85 % de l’audio. Dans les appels normaux, il y a peu de silence à couper.

Tomás est surpris : « La VAD devrait améliorer la reconnaissance. C’est dans le titre de cette leçon. » Priya : « Elle a retiré le texte inventé. Elle a aussi retiré de vrais mots. On compte les deux. »

Les suppressions viennent du problème de la dernière leçon : Silero est incertain devant la parole téléphonique. Au seuil par défaut de 0,5, la VAD de faster-whisper a manqué 9,0 % du temps de parole des 60 appels de test. (Elle en manque moins que le réglage du projet de la dernière leçon, soit 18,8 %, car faster-whisper ajoute une marge de 0,4 seconde à chaque région.) Les mots des passages manqués n’atteignent jamais Whisper.

L’appel qui a perdu le plus de mots est C-0194, un appel sur ligne fixe avec du bruit de rue. Avec la VAD, 63 mots de plus sont supprimés. Le graphique montre pourquoi.

Appel C-0194 (43,7 s, bruit de rue, synthétique). Au seuil par défaut de 0,5, la VAD manque 55 % du temps de parole. À 0,3, elle en manque 1,5 %.
Description textuelle du graphique

Trois rangées sur 44 secondes. La parole réelle contient neuf barres, une par tour de parole, qui couvrent la majeure partie de l’appel. La VAD à 0,5 contient six régions : une pour les 8,6 premières secondes, puis seulement de courts passages entre 22 et 41 secondes. De 8,6 à 22,8 secondes, un passage de trois tours, elle ne trouve aucune parole : 55,1 % manquée. La VAD à 0,3 contient deux longues régions qui couvrent presque tout l’appel : 1,5 % manquée.

À 0,5, la VAD retire 14 secondes au milieu de cet appel, soit trois tours de parole complets. À 0,3, elle conserve presque tout. La solution est donc celle suggérée dans la dernière leçon : abaisser le seuil pour la ligne téléphonique. Mais un seuil plus bas conserve aussi davantage d’attentes, et c’est dans les attentes que le texte inventé apparaît. Existe-t-il un réglage qui conserve les deux avantages?

Priya essaie cinq réglages avec Whisper small. Elle choisit sur les 50 appels de validation. Ensuite, elle vérifie le réglage choisi une seule fois sur les appels de test. La leçon Données d’entraînement, de validation et de test, dans le cours Apprentissage automatique : du problème à un modèle fiable, explique pourquoi. Les mots inventés sont comptés sur les 15 appels avec une attente insérée (appels de validation et de test réunis). C’est une vérification spéciale, pas un score.

Les cinq réglages changent deux choses. Le seuil détermine à quel point Silero doit être sûr. Le silence minimal détermine combien de temps un passage sous le seuil doit durer avant que la VAD le coupe. Le réglage par défaut de faster-whisper est de 2 secondes. À 4 secondes, la VAD coupe seulement les longues attentes et conserve les courtes pauses à l’intérieur d’un tour de parole. C’est exactement l’objectif de la leçon : couper les longs silences, pas la parole à voix basse.

Réglage WER (validation) Suppressions Insertions Numéros de commande manqués Mots pendant les attentes (15 appels) RTF
Sans VAD 7,2 % 41 158 5 sur 38 72 0,084
Seuil de 0,5 (par défaut) 11,8 % 378 76 10 sur 38 1 0,077
Seuil de 0,3 8,2 % 88 174 6 sur 38 97 0,073
Seuil de 0,2 7,2 % 47 147 6 sur 38 71 0,086
Seuil de 0,3, silence minimal de 4 s 7,9 % 65 177 6 sur 38 43 0,079

Ces exécutions viennent d’une même session sur l’ordinateur du cours, plus occupé que lors de la première mesure. Ici, l’exécution sans VAD a écrit 72 mots pendant les attentes, pas 65, et ses RTF sont plus élevés. Comparez les rangées entre elles, pas avec les tableaux précédents.

  • Sans VAD
  • Seuil 0,5 (par défaut)
  • Seuil 0,3
  • Seuil 0,2
  • 0,3 et silence minimal de 4 s
Chaque point représente un réglage de la VAD avec Whisper small (mesuré). Vers le bas : moins d'erreurs; vers la gauche : moins de texte inventé. Aucun réglage n'est le meilleur sur les deux critères. Le seuil de 0,3 avec un silence minimal de 4 secondes s'en approche le plus.
Description textuelle du graphique

Un nuage de points avec cinq points. Sans VAD : 72 mots inventés, WER de 7,2 %, en bas et à droite. Seuil de 0,2 : 71 mots, 7,2 %, juste à côté. Seuil de 0,3 : 97 mots, 8,2 %, le plus à droite. Seuil de 0,3 avec un silence minimal de 4 secondes : 43 mots, 7,9 %. Seuil de 0,5, par défaut : 1 mot, 11,8 %, en haut à gauche. Sans le seuil de 0,3, les points forment une courbe : moins de texte inventé se paie par un WER plus élevé.

Lisez le graphique comme un compromis, comme pour chaque seuil de ce module :

  1. Aucun réglage ne fait mieux que « sans VAD » pour le WER. Sur la validation, Whisper small sans VAD fait le moins d’erreurs, soit 7,2 %. Le seuil de 0,2 en est proche, avec seulement 3 erreurs de plus. Chaque réglage de la VAD retire une partie de la parole.
  2. Le réglage par défaut retire le texte inventé au prix de 4,6 points de WER. Cela représente 337 mots supprimés de plus sur 50 appels, et 5 numéros de commande manqués de plus.
  3. Le seuil de 0,3 avec un silence minimal de 4 secondes garde le WER à moins de 1 point du résultat sans VAD (7,9 %). Il réduit les mots inventés de 72 à 43.
  4. Le seuil de 0,2 ramène presque tout le texte inventé (71 mots). Il conserve presque toutes les attentes, donc il ne change presque rien.
  5. Le seuil de 0,3 seul a écrit encore plus que sans VAD (97 mots). 94 d’entre eux sont dans un seul appel, C-0251, où Whisper a écrit les mêmes phrases inventées encore et encore.

Priya choisit le seuil de 0,3 avec un silence minimal de 4 secondes pour les transcriptions par lots de Larkfield. Grace est d’accord : un numéro de commande manqué coûte un appel de suivi, et une phrase inventée peut fausser un résumé. Moins d’un point de WER pour 40 % de texte inventé en moins est un compromis raisonnable ici.

Priya exécute le réglage choisi une seule fois sur les 60 appels de test. Les autres réglages de la même session servent à comparer :

Appels de test, même session Sans VAD Par défaut (0,5) Choisi (0,3, 4 s)
WER 8,5 % 14,0 % 7,9 %
Suppressions 115 508 83
Numéros de commande manqués 8 sur 52 12 sur 52 5 sur 52
Négations manquées (« not », « pas ») 1 sur 29 3 sur 29 0 sur 29
RTF 0,087 0,081 0,073
Coût par heure d’audio (× 0,17 $ US) 0,0147 $ US 0,0138 $ US 0,0124 $ US

Sur les appels de test, le réglage choisi fait même un peu mieux que sans VAD. La différence de 0,6 point est dans le niveau de bruit de ces 60 appels. Le résumé honnête est le suivant : la VAD réglée ne cause aucune perte nette d’exactitude. Elle retire 40 % du texte inventé et économise environ 16 % du calcul. La VAD par défaut coûte 5,5 points.

Même le réglage choisi laisse 43 mots inventés. La plupart sont dans un seul appel, C-0251, celui avec des conversations en arrière-plan pendant l’attente. Au seuil de 0,3, Whisper y a écrit : « Could you please tell me what you’re finding on my diorhobitarracotoraphera? » La VAD conserve cette attente parce que les conversations en arrière-plan sont de la parole. Aucun seuil ne peut les retirer sans retirer aussi l’appelant. Cet appel nécessite un autre outil : le canal propre à l’appelant, et l’identification de qui parle et quand, dans le module 5.

Le projet ajoutera l’option --vad à speech transcribe dans le prochain module. Pour l’instant, ajustez les réglages dans le carnet (notebook) Jupyter de cette leçon, avec Whisper tiny sur huit appels de validation. Sa cellule principale exécute le modèle avec et sans VAD :

segments, _ = model.transcribe(audio16[call_id], language=c["language"], beam_size=1,
vad_filter=threshold is not None,
vad_parameters=None if threshold is None else VadOptions(threshold=threshold),
condition_on_previous_text=False)

Le carnet l’exécute sans VAD, puis avec quatre seuils, sur environ 7 minutes d’audio. Voici la sortie du carnet corrigé sur l’ordinateur du cours. Votre rtf sera différent; les mots étaient identiques à chaque exécution :

no VAD: {'wer': 0.099, 'deletions': 16, 'insertions': 20, 'rtf': 0.015}
0.5 {'wer': 0.238, 'deletions': 160, 'insertions': 12, 'rtf': 0.013}
0.4 {'wer': 0.155, 'deletions': 68, 'insertions': 19, 'rtf': 0.015}
0.3 {'wer': 0.119, 'deletions': 34, 'insertions': 20, 'rtf': 0.017}
0.2 {'wer': 0.097, 'deletions': 15, 'insertions': 18, 'rtf': 0.017}

La tendance est la même qu’avec Whisper small, mais plus marquée. Au seuil par défaut de 0,5, Whisper tiny perd 160 mots sur huit appels. Le WER fait plus que doubler. Chaque seuil plus bas redonne des mots au modèle. Tiny invente peu de texte pendant les attentes. Sur ces appels, le seuil le plus bas donne donc le meilleur résultat.

Dans votre projet, comparez la parole manquée par Silero au seuil par défaut et à 0,3, sur les 50 appels de validation. Cette comparaison utilise les réglages du projet de la leçon précédente. Les nombres diffèrent donc de ceux de la VAD de faster-whisper, qui ajoute des marges :

Fenêtre de terminal
speech vad --method silero
speech vad --method silero --threshold 0.3

Voici la sortie sur l’ordinateur du cours :

silero on 50 validation calls (phone audio)
noise calls missed speech false speech ms per minute
babble 13 31.3% 24.8% 98.6
quiet 23 21.7% 3.8% 99.1
street 14 11.8% 4.6% 100.7
silero {'threshold': 0.3} on 50 validation calls (phone audio)
noise calls missed speech false speech ms per minute
babble 13 11.8% 56.5% 100.9
quiet 23 10.0% 11.0% 101.1
street 14 7.3% 13.1% 101.3

À 0,3, la parole manquée diminue d’environ la moitié dans chaque groupe. C’est la parole qui revient au modèle de reconnaissance.

Erreur courante

« Activer la VAD » comme solution, sans mesurer

Symptôme : une équipe ajoute vad_filter=True parce que « ça arrête les hallucinations ». Le texte inventé disparaît. Personne ne remarque que les transcriptions omettent maintenant des mots.

Cause : les concepteurs de la VAD ont choisi ses réglages par défaut sur d’autres données audio. Sur la ligne téléphonique de Larkfield, le seuil par défaut de 0,5 élimine la parole peu sonore. Les suppressions sont passées de 115 à 511 sur les appels de test.

Diagnostic : évaluez le modèle de reconnaissance avec et sans VAD sur les mêmes appels. Examinez séparément les suppressions et les insertions, pas seulement le WER. Trouvez les appels qui ont perdu le plus de mots et tracez leurs chronologies.

Correction : ajustez le seuil sur les appels de validation. Vérifiez une fois le réglage choisi sur les appels de test. Gardez les anciennes transcriptions pour comparer.

Erreur courante

Une seule exécution indique que le texte inventé a disparu

Symptôme : vous exécutez Whisper une fois sur quelques appels et ne voyez aucun texte inventé. Vous concluez que le problème a disparu.

Cause : le texte inventé varie. Lors d’une nouvelle exécution de Whisper small sans VAD pour le cours, l’appel C-0195 a reçu 8 mots dans la musique d’attente : « The call is reached. I appreciate your help. » La première exécution n’avait rien écrit à cet endroit. Dans l’appel C-0251, la VAD conserve presque toute l’attente, car elle entend les voix en arrière-plan. Whisper écrit ou non des mots à cet endroit selon l’exécution.

Correction : comptez les mots inventés sur de nombreux appels avec des attentes connues, et sur plusieurs exécutions. Nos appels contiennent des attentes insérées volontairement, donc le compte est exact. Sur de vrais appels, écoutez un échantillon des attentes.

Quand utiliser une VAD avant le modèle de reconnaissance

Section intitulée « Quand utiliser une VAD avant le modèle de reconnaissance »

Utilisez-la quand vos appels contiennent de longues périodes sans parole. Par exemple : de la musique d’attente, un appelant qui cherche un document ou une ligne laissée ouverte. Elle élimine la plupart des textes inventés à ces endroits et réduit les calculs en proportion du silence. Ajustez d’abord son seuil sur vos propres données audio et mesurez les suppressions.

Réfléchissez avant de l’utiliser quand les appels contiennent surtout de la parole, comme la plupart des appels de Larkfield. L’économie de calcul est faible : le RTF passe de 0,075 à 0,073 sur les appels de test. Chaque passage manqué représente des mots perdus. Une VAD ne peut pas non plus éliminer les conversations en arrière-plan, car il s’agit de parole.

Son coût : Silero ajoute environ 90 ms de calcul par minute d’audio. Cela représente quelques minutes par mois pour tous les appels de Larkfield. Le vrai coût est le risque de perdre des mots et le temps nécessaire pour le mesurer.

Vérifiez votre compréhension

Montrez un passage de texte inventé que la VAD élimine, avec les nombres.

Afficher la réponse

Dans l’appel C-0251, l’appelant reste silencieux pendant 21,4 secondes tandis que des voix parlent doucement en arrière-plan. Sans VAD, Whisper small a écrit à cet endroit « Could you please tell me how to train you to buy a pair of shoes? I’m a fan of my iRomite, so I can buy a pair of shoes. » Personne n’a dit cela dans l’appel. Avec la VAD de faster-whisper, il n’a rien écrit à cet endroit. Sur les 15 appels avec une attente insérée, les mots dans les attentes sont passés de 65 à 1. Les insertions sont passées de 99 à 22. Le RTF est passé de 0,092 à 0,053. Cela représente environ 0,0156 $ US à 0,0090 $ US par heure d’audio, à 0,17 $ US par heure de serveur. Mais le WER sur ces appels est passé de 12,1 % à 16,1 %.

Vérifiez votre compréhension

Tomás dit : « La VAD élimine les hallucinations, donc activez-la partout. » Que se passe-t-il sur les appels de test de Larkfield avec les réglages par défaut, et pourquoi?

Afficher la réponse

Le WER de Whisper small passe de 8,6 % à 13,9 %. Les suppressions passent de 115 à 511, tandis que les substitutions et les insertions changent à peine. La cause est Silero à son seuil par défaut de 0,5. Il reconnaît mal la parole téléphonique et a manqué 9,0 % du temps de parole. Ces mots n’atteignent donc jamais Whisper. Sur C-0194, il a éliminé trois tours de parole entiers. L’économie de calcul est faible sur les appels normaux : le RTF passe de 0,075 à 0,073. Ces appels contiennent surtout de la parole.

Vérifiez votre compréhension

Vérification pratique : choisissez un réglage de VAD pour les transcriptions par lots de Larkfield. Donnez les résultats sur le taux d'erreur sur les mots, les mots inventés et les calculs. Expliquez votre choix.

Afficher la réponse

Un seuil de 0,3 avec un silence minimal de 4 secondes. Choisissez-le sur les 50 appels de validation. Sur ces appels, son WER est de 7,9 %, contre 7,2 % sans VAD et 11,8 % avec les réglages par défaut. Il invente 43 mots dans les attentes de 15 appels, contre 72 sans VAD. Vérifiez-le une fois sur les appels de test : WER de 7,9 %. Dans la même session, le WER sans VAD est de 8,5 %, et celui avec les réglages par défaut, de 14,0 %. Il manque 5 numéros de commande sur 52, contre 12 avec les réglages par défaut. Son RTF est de 0,073 contre 0,087. Cela représente environ 0,0124 $ US contre 0,0147 $ US par heure d’audio, à 0,17 $ US par heure de serveur. Il n’élimine pas le texte inventé dans C-0251, car les conversations en arrière-plan sont de la parole.

Récapitulatif

  • Whisper peut écrire du texte inventé pendant de longues périodes sans parole de l’appelant. Il a écrit 65 mots dans les attentes de 15 appels, comme « how to train you to buy a pair of shoes ».
  • L’option vad_filter=True de faster-whisper exécute Silero, conserve les régions de parole, les joint et rétablit les temps d’origine. Le coût par heure d’audio est le RTF multiplié par le prix horaire du serveur.
  • Avec les réglages par défaut, la VAD a éliminé les mots inventés, de 65 à 1. Elle a réduit les calculs sur ces appels : le RTF est passé de 0,092 à 0,053. Mais elle a augmenté le WER sur les appels de test, de 8,6 % à 13,9 %. Les suppressions sont passées de 115 à 511.
  • La parole téléphonique manquée en est la cause. Ajustez le seuil sur les appels de validation et vérifiez-le une fois sur les appels de test. Comptez séparément les suppressions, les insertions et les mots inventés.
  • Le texte inventé varie : mesurez-le sur de nombreux appels, plusieurs fois.

Le module 3 en un paragraphe. Un détecteur d’activité vocale trouve la parole dans un appel. La VAD d’énergie ne coûte presque rien, mais classe la musique et les conversations en arrière-plan comme parole. WebRTC VAD est rapide et manque peu de parole, mais classe aussi la musique comme parole. Silero VAD rejette la musique et le bruit de rue. Mais sur la ligne téléphonique de Larkfield, il reconnaît mal la parole, donc il faut baisser son seuil. Avant Whisper, une VAD élimine le texte inventé dans les longues attentes. Une VAD mal réglée élimine de vrais mots. Vous mesurez les deux, en temps et en mots, sur les appels synthétiques de Larkfield.

Vous pouvez maintenant trouver la parole et envoyer seulement celle-ci à un modèle de reconnaissance. Mais lequel choisir? Whisper existe en plusieurs tailles, de tiny à large. Des systèmes plus anciens répondent encore sur de nombreuses lignes téléphoniques. Nous verrons ensuite comment un modèle de reconnaissance transforme le son en texte, pour comparer les familles équitablement.

Leçon suivante : Du son au texte