Pourquoi la VAD améliore la reconnaissance
- Leçon 9
- 40 min
- Module 3 : Trouver la parole : la détection d'activité vocale
Où nous en sommes
Nous pouvons maintenant trouver la parole dans un appel. Est-ce utile au modèle? Dans cette leçon, nous coupons les longs silences avant la reconnaissance. Nous voyons Whisper cesser d'inventer du texte et mesurons le changement des erreurs et du coût par heure d'audio.
Leçon 9 sur 36 · IA de la parole : transcrire, comprendre et parlerPourquoi la VAD améliore la reconnaissance
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Placez la détection d’activité vocale avant Whisper et mesurez ce qu’elle change vraiment. Examinez le texte que Whisper invente dans les silences, le taux d’erreur sur les mots et le coût d’une heure d’audio. Réglez ensuite le détecteur pour qu’il retire le texte inventé sans supprimer les mots de l’appelant.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet repère les phrases inventées dans les transcriptions enregistrées. Il évalue Whisper small avec et sans VAD sur les 60 appels de test. Ensuite, il exécute Whisper tiny en direct sur huit appels pour vous permettre de régler le seuil vous-même. Il télécharge Whisper tiny (environ 75 Mo) une seule fois. Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Silero VAD, son seuil et la parole manquée, dans WebRTC VAD et Silero VAD.
- Les substitutions, suppressions et insertions dans le taux d’erreur sur les mots, dans Le taux d’erreur sur les mots, étape par étape.
- Le facteur temps réel (RTF) : temps de calcul divisé par durée de l’audio, dans Lire le résultat, dans Préparer le projet de parole. Un RTF de 0,05 signifie 3 secondes de calcul pour une minute d’audio.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé)
- Votre dossier de projet
larkspeechavec les fichiers de ce module :pytest -qaffiche18 passed(18 tests réussis).
Testé sur macOS avec Python 3.12.13.
Un assistant qui touche l’épaule de la preneuse de notes
Section intitulée « Un assistant qui touche l’épaule de la preneuse de notes »Revenons à la preneuse de notes de la première leçon de ce module, celle qui ne peut pas poser son stylo. Donnez-lui un assistant. Il écoute aussi et lui touche l’épaule quand personne ne parle : « Arrêtez d’écrire maintenant. » Pendant la musique d’attente, elle s’arrête. Ses notes deviennent plus courtes et plus claires, et elle termine plus vite.
Mais l’assistant doit lui toucher l’épaule au bon moment. S’il le fait chaque fois que l’appelant parle doucement, elle cesse d’écrire au milieu d’une vraie réponse. Ses notes sont maintenant claires et fausses : il manque ce que l’appelant a dit. Un assistant n’est utile que s’il intervient au bon moment.
Le problème : Whisper écrit des mots que personne n’a dits
Section intitulée « Le problème : Whisper écrit des mots que personne n’a dits »Dans l’appel C-0251, l’appelant veut annuler une commande. L’agent demande le numéro de commande. L’appelant dit « Hold on, let me find it. » (Attendez, je vais le trouver.) Ensuite, l’appelant reste silencieux pendant 21,4 secondes. Écoutez 8 secondes au milieu de cette attente :
Transcription. Aucun mot de l’agent ou de l’appelant. Conversations discrètes en arrière-plan : plusieurs voix au loin, comme dans une pièce animée.
Whisper small a transcrit cet appel sans VAD. C’est le modèle de reconnaissance le plus exact utilisé dans ce module. Voici ce qu’il a écrit pour toute l’attente, entre « Hold on, let me find it. » et le « Sorry about that » (Désolé) de l’appelant :
Hello there, could you please explain how do I travel last year? Hi, I’m good morning. Could you please tell me how to train you to buy a pair of shoes? I’m a fan of my iRomite, so I can buy a pair of shoes. I appreciate your help with my car.
Personne n’a dit cela à Larkfield. Whisper a pris un murmure en arrière-plan et écrit des phrases complètes, avec assurance. Elles figurent au milieu de la transcription comme si l’appelant les avait dites. Une recherche de « pair of shoes » (paire de chaussures) trouve maintenant cet appel. Un modèle de résumé, dans le module 6, pourrait les interpréter comme les mots de l’appelant.
C’est la deuxième preneuse de notes de la première leçon : on demande à Whisper d’écrire quelque chose, alors il écrit quelque chose. Whisper a appris à partir d’une très grande quantité d’audio accompagné de transcriptions. Pour chaque passage audio, il produit le texte le plus probable à cet endroit dans une transcription. Là où il n’y a pas de parole claire, il peut quand même produire un texte qui semble plausible. On appelle cela une hallucination; ce cours parle de texte inventé. Voici d’autres exemples tirés de nos appels :
| Modèle de reconnaissance | Appel | Ce qui remplit l’attente | Ce qu’il y a écrit |
|---|---|---|---|
| Whisper small | C-0104 (français) | Musique d’attente | « Merci. Merci. » |
| Whisper small | C-0230 (français) | Souffle de la ligne seulement | « Bonjour. » |
| Whisper base | C-0251 | Conversations en arrière-plan | « I just forgot. » |
| Whisper tiny | C-0230 (français) | Souffle de la ligne seulement | « Les olympiques, » |
Sur les 15 appels de validation et de test avec une longue attente insérée, Whisper small a écrit 65 mots pendant les attentes. Whisper tiny et base en ont écrit moins : 3 chacun.
L’idée : envoyer seulement la parole à Whisper
Section intitulée « L’idée : envoyer seulement la parole à Whisper »Le travail de l’assistant prend une forme simple dans le code. faster-whisper, la bibliothèque qui exécute Whisper dans ce cours, propose l’option vad_filter=True. Avec cette option, faster-whisper fait quatre choses :
- Il exécute Silero VAD sur tout l’appel, avec ses propres réglages par défaut. Le seuil est de 0,5. Une région se termine après 2 secondes sous le seuil. Chaque région reçoit une marge de 0,4 seconde de chaque côté.
- Il conserve seulement les régions de parole et les joint bout à bout pour créer un enregistrement plus court.
- Il transcrit cet enregistrement plus court.
- Il replace chaque temps à sa position dans l’appel original pour que les temps des mots restent justes.
Un petit exemple : une attente de 20 secondes
Section intitulée « Un petit exemple : une attente de 20 secondes »Prenez un appel fictif de 60 secondes. Quelqu’un parle pendant les 18 premières secondes et les 22 dernières. Entre les deux, l’appelant cherche un numéro de commande pendant 20 secondes.
Description textuelle du graphique
Trois rangées sur un axe de 0 à 60 secondes, avec l’attente de 18 à 38 secondes ombrée. La rangée de l’appel contient deux barres : parole de 0,5 à 18 secondes, puis de 38 à 59,5 secondes. La rangée de la VAD contient deux barres légèrement plus larges, de 0,1 à 18,4 et de 37,6 à 59,9 secondes, grâce aux marges. La dernière rangée montre ce que Whisper reçoit : les deux régions jointes bout à bout, sans attente entre elles. Elles vont de 0 à 18,3 et de 18,3 à 40,6 secondes.
Passons au coût, en montrant chaque étape. Supposons que le facteur temps réel de Whisper soit de 0,09 sur cet ordinateur. Silero nécessite 90 ms de calcul pour une minute d’audio (la dernière leçon a mesuré de 84 à 93 ms).
| Étape | Sans VAD | Avec VAD |
|---|---|---|
| Audio que Whisper transcrit | 60 s | 18,3 + 22,3 = 40,6 s |
| Calcul de Whisper (× 0,09) | 5,4 s | 3,65 s |
| Calcul de Silero (1 minute × 90 ms) | aucun | 0,09 s |
| Calcul total | 5,4 s | 3,74 s |
| Facteur temps réel (total ÷ 60 s) | 0,090 | 0,062 |
| Coût par heure d’audio (RTF × 0,17 $ US) | 0,0153 $ US | 0,0105 $ US |
La dernière rangée utilise l’hypothèse du cours pour un serveur CPU : 0,17 $ US par heure pour 4 CPU virtuels (costs.json). Une heure d’audio nécessite RTF heures de calcul. Le coût par heure d’audio est donc le RTF multiplié par 0,17 $ US. Ici, la VAD économise environ 31 % du calcul, car un tiers de l’appel était une attente.
Larkfield : la mesure
Section intitulée « Larkfield : la mesure »Priya mesure le résultat réel avec Whisper small et la VAD de faster-whisper réglée par défaut.
Sur les appels avec une longue attente
Section intitulée « Sur les appels avec une longue attente »D’abord, les 15 appels de validation et de test avec une longue attente insérée (musique d’attente ou souffle de la ligne) :
| Whisper small, 15 appels avec une longue attente | Sans VAD | Avec VAD (par défaut) |
|---|---|---|
| Mots écrits pendant les attentes | 65 | 1 |
| Mots insérés (toutes les erreurs de ce type) | 99 | 22 |
| Facteur temps réel | 0,092 | 0,053 |
| Coût par heure d’audio (× 0,17 $ US) | 0,0156 $ US | 0,0090 $ US |
| Taux d’erreur sur les mots | 13,2 % | 16,1 % |
La VAD a fait ce que l’assistant doit faire. Les mots inventés disparaissent presque : de 65 à 1. Le calcul diminue de 42 %. Pourtant, le taux d’erreur sur les mots augmente, de 13,2 % à 16,1 %. Autre chose s’est dégradé.
Sur les 60 appels de test
Section intitulée « Sur les 60 appels de test »Priya vérifie toutes les données de test, avec le même modèle de reconnaissance et le même guide de normalisation :
- Sans VAD (WER de 8,6 %)
- Avec VAD, réglages par défaut (WER de 13,9 %)
Description textuelle du graphique
Un diagramme à colonnes avec trois paires de colonnes. Substitutions : 371 sans VAD, 371 avec VAD. Suppressions : 115 sans VAD, 511 avec VAD. Insertions : 142 sans VAD, 138 avec VAD. Seules les suppressions changent beaucoup : elles sont plus de quatre fois plus nombreuses avec la VAD.
Le taux d’erreur sur les mots passe de 8,6 % à 13,9 %. Presque toutes les erreurs supplémentaires sont des suppressions : des mots dits par l’appelant ou l’agent qui manquent dans la transcription. Dans ces appels, la plupart des attentes sont courtes, donc les insertions changent à peine. Le facteur temps réel bouge aussi très peu, de 0,075 à 0,073, car la VAD conserve 85 % de l’audio. Dans les appels normaux, il y a peu de silence à couper.
Tomás est surpris : « La VAD devrait améliorer la reconnaissance. C’est dans le titre de cette leçon. » Priya : « Elle a retiré le texte inventé. Elle a aussi retiré de vrais mots. On compte les deux. »
Où sont passés les mots
Section intitulée « Où sont passés les mots »Les suppressions viennent du problème de la dernière leçon : Silero est incertain devant la parole téléphonique. Au seuil par défaut de 0,5, la VAD de faster-whisper a manqué 9,0 % du temps de parole des 60 appels de test. (Elle en manque moins que le réglage du projet de la dernière leçon, soit 18,8 %, car faster-whisper ajoute une marge de 0,4 seconde à chaque région.) Les mots des passages manqués n’atteignent jamais Whisper.
L’appel qui a perdu le plus de mots est C-0194, un appel sur ligne fixe avec du bruit de rue. Avec la VAD, 63 mots de plus sont supprimés. Le graphique montre pourquoi.
Description textuelle du graphique
Trois rangées sur 44 secondes. La parole réelle contient neuf barres, une par tour de parole, qui couvrent la majeure partie de l’appel. La VAD à 0,5 contient six régions : une pour les 8,6 premières secondes, puis seulement de courts passages entre 22 et 41 secondes. De 8,6 à 22,8 secondes, un passage de trois tours, elle ne trouve aucune parole : 55,1 % manquée. La VAD à 0,3 contient deux longues régions qui couvrent presque tout l’appel : 1,5 % manquée.
À 0,5, la VAD retire 14 secondes au milieu de cet appel, soit trois tours de parole complets. À 0,3, elle conserve presque tout. La solution est donc celle suggérée dans la dernière leçon : abaisser le seuil pour la ligne téléphonique. Mais un seuil plus bas conserve aussi davantage d’attentes, et c’est dans les attentes que le texte inventé apparaît. Existe-t-il un réglage qui conserve les deux avantages?
Régler le détecteur pour la ligne téléphonique
Section intitulée « Régler le détecteur pour la ligne téléphonique »Priya essaie cinq réglages avec Whisper small. Elle choisit sur les 50 appels de validation. Ensuite, elle vérifie le réglage choisi une seule fois sur les appels de test. La leçon Données d’entraînement, de validation et de test, dans le cours Apprentissage automatique : du problème à un modèle fiable, explique pourquoi. Les mots inventés sont comptés sur les 15 appels avec une attente insérée (appels de validation et de test réunis). C’est une vérification spéciale, pas un score.
Les cinq réglages changent deux choses. Le seuil détermine à quel point Silero doit être sûr. Le silence minimal détermine combien de temps un passage sous le seuil doit durer avant que la VAD le coupe. Le réglage par défaut de faster-whisper est de 2 secondes. À 4 secondes, la VAD coupe seulement les longues attentes et conserve les courtes pauses à l’intérieur d’un tour de parole. C’est exactement l’objectif de la leçon : couper les longs silences, pas la parole à voix basse.
| Réglage | WER (validation) | Suppressions | Insertions | Numéros de commande manqués | Mots pendant les attentes (15 appels) | RTF |
|---|---|---|---|---|---|---|
| Sans VAD | 7,2 % | 41 | 158 | 5 sur 38 | 72 | 0,084 |
| Seuil de 0,5 (par défaut) | 11,8 % | 378 | 76 | 10 sur 38 | 1 | 0,077 |
| Seuil de 0,3 | 8,2 % | 88 | 174 | 6 sur 38 | 97 | 0,073 |
| Seuil de 0,2 | 7,2 % | 47 | 147 | 6 sur 38 | 71 | 0,086 |
| Seuil de 0,3, silence minimal de 4 s | 7,9 % | 65 | 177 | 6 sur 38 | 43 | 0,079 |
Ces exécutions viennent d’une même session sur l’ordinateur du cours, plus occupé que lors de la première mesure. Ici, l’exécution sans VAD a écrit 72 mots pendant les attentes, pas 65, et ses RTF sont plus élevés. Comparez les rangées entre elles, pas avec les tableaux précédents.
- Sans VAD
- Seuil 0,5 (par défaut)
- Seuil 0,3
- Seuil 0,2
- 0,3 et silence minimal de 4 s
Description textuelle du graphique
Un nuage de points avec cinq points. Sans VAD : 72 mots inventés, WER de 7,2 %, en bas et à droite. Seuil de 0,2 : 71 mots, 7,2 %, juste à côté. Seuil de 0,3 : 97 mots, 8,2 %, le plus à droite. Seuil de 0,3 avec un silence minimal de 4 secondes : 43 mots, 7,9 %. Seuil de 0,5, par défaut : 1 mot, 11,8 %, en haut à gauche. Sans le seuil de 0,3, les points forment une courbe : moins de texte inventé se paie par un WER plus élevé.
Lisez le graphique comme un compromis, comme pour chaque seuil de ce module :
- Aucun réglage ne fait mieux que « sans VAD » pour le WER. Sur la validation, Whisper small sans VAD fait le moins d’erreurs, soit 7,2 %. Le seuil de 0,2 en est proche, avec seulement 3 erreurs de plus. Chaque réglage de la VAD retire une partie de la parole.
- Le réglage par défaut retire le texte inventé au prix de 4,6 points de WER. Cela représente 337 mots supprimés de plus sur 50 appels, et 5 numéros de commande manqués de plus.
- Le seuil de 0,3 avec un silence minimal de 4 secondes garde le WER à moins de 1 point du résultat sans VAD (7,9 %). Il réduit les mots inventés de 72 à 43.
- Le seuil de 0,2 ramène presque tout le texte inventé (71 mots). Il conserve presque toutes les attentes, donc il ne change presque rien.
- Le seuil de 0,3 seul a écrit encore plus que sans VAD (97 mots). 94 d’entre eux sont dans un seul appel, C-0251, où Whisper a écrit les mêmes phrases inventées encore et encore.
Priya choisit le seuil de 0,3 avec un silence minimal de 4 secondes pour les transcriptions par lots de Larkfield. Grace est d’accord : un numéro de commande manqué coûte un appel de suivi, et une phrase inventée peut fausser un résumé. Moins d’un point de WER pour 40 % de texte inventé en moins est un compromis raisonnable ici.
La vérification sur les appels de test
Section intitulée « La vérification sur les appels de test »Priya exécute le réglage choisi une seule fois sur les 60 appels de test. Les autres réglages de la même session servent à comparer :
| Appels de test, même session | Sans VAD | Par défaut (0,5) | Choisi (0,3, 4 s) |
|---|---|---|---|
| WER | 8,5 % | 14,0 % | 7,9 % |
| Suppressions | 115 | 508 | 83 |
| Numéros de commande manqués | 8 sur 52 | 12 sur 52 | 5 sur 52 |
| Négations manquées (« not », « pas ») | 1 sur 29 | 3 sur 29 | 0 sur 29 |
| RTF | 0,087 | 0,081 | 0,073 |
| Coût par heure d’audio (× 0,17 $ US) | 0,0147 $ US | 0,0138 $ US | 0,0124 $ US |
Sur les appels de test, le réglage choisi fait même un peu mieux que sans VAD. La différence de 0,6 point est dans le niveau de bruit de ces 60 appels. Le résumé honnête est le suivant : la VAD réglée ne cause aucune perte nette d’exactitude. Elle retire 40 % du texte inventé et économise environ 16 % du calcul. La VAD par défaut coûte 5,5 points.
Ce qu’une VAD ne peut pas corriger
Section intitulée « Ce qu’une VAD ne peut pas corriger »Même le réglage choisi laisse 43 mots inventés. La plupart sont dans un seul appel, C-0251, celui avec des conversations en arrière-plan pendant l’attente. Au seuil de 0,3, Whisper y a écrit : « Could you please tell me what you’re finding on my diorhobitarracotoraphera? » La VAD conserve cette attente parce que les conversations en arrière-plan sont de la parole. Aucun seuil ne peut les retirer sans retirer aussi l’appelant. Cet appel nécessite un autre outil : le canal propre à l’appelant, et l’identification de qui parle et quand, dans le module 5.
Exercice guidé : ajustez les réglages vous-même
Section intitulée « Exercice guidé : ajustez les réglages vous-même »Le projet ajoutera l’option --vad à speech transcribe dans le prochain module. Pour l’instant, ajustez les réglages dans le carnet (notebook) Jupyter de cette leçon, avec Whisper tiny sur huit appels de validation. Sa cellule principale exécute le modèle avec et sans VAD :
segments, _ = model.transcribe(audio16[call_id], language=c["language"], beam_size=1, vad_filter=threshold is not None, vad_parameters=None if threshold is None else VadOptions(threshold=threshold), condition_on_previous_text=False)Le carnet l’exécute sans VAD, puis avec quatre seuils, sur environ 7 minutes d’audio. Voici la sortie du carnet corrigé sur l’ordinateur du cours. Votre rtf sera différent; les mots étaient identiques à chaque exécution :
no VAD: {'wer': 0.099, 'deletions': 16, 'insertions': 20, 'rtf': 0.015}0.5 {'wer': 0.238, 'deletions': 160, 'insertions': 12, 'rtf': 0.013}0.4 {'wer': 0.155, 'deletions': 68, 'insertions': 19, 'rtf': 0.015}0.3 {'wer': 0.119, 'deletions': 34, 'insertions': 20, 'rtf': 0.017}0.2 {'wer': 0.097, 'deletions': 15, 'insertions': 18, 'rtf': 0.017}La tendance est la même qu’avec Whisper small, mais plus marquée. Au seuil par défaut de 0,5, Whisper tiny perd 160 mots sur huit appels. Le WER fait plus que doubler. Chaque seuil plus bas redonne des mots au modèle. Tiny invente peu de texte pendant les attentes. Sur ces appels, le seuil le plus bas donne donc le meilleur résultat.
Dans votre projet, comparez la parole manquée par Silero au seuil par défaut et à 0,3, sur les 50 appels de validation. Cette comparaison utilise les réglages du projet de la leçon précédente. Les nombres diffèrent donc de ceux de la VAD de faster-whisper, qui ajoute des marges :
speech vad --method silerospeech vad --method silero --threshold 0.3Voici la sortie sur l’ordinateur du cours :
silero on 50 validation calls (phone audio)noise calls missed speech false speech ms per minutebabble 13 31.3% 24.8% 98.6quiet 23 21.7% 3.8% 99.1street 14 11.8% 4.6% 100.7silero {'threshold': 0.3} on 50 validation calls (phone audio)noise calls missed speech false speech ms per minutebabble 13 11.8% 56.5% 100.9quiet 23 10.0% 11.0% 101.1street 14 7.3% 13.1% 101.3À 0,3, la parole manquée diminue d’environ la moitié dans chaque groupe. C’est la parole qui revient au modèle de reconnaissance.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
« Activer la VAD » comme solution, sans mesurer
Symptôme : une équipe ajoute vad_filter=True parce que « ça arrête les hallucinations ». Le texte inventé disparaît. Personne ne remarque que les transcriptions omettent maintenant des mots.
Cause : les concepteurs de la VAD ont choisi ses réglages par défaut sur d’autres données audio. Sur la ligne téléphonique de Larkfield, le seuil par défaut de 0,5 élimine la parole peu sonore. Les suppressions sont passées de 115 à 511 sur les appels de test.
Diagnostic : évaluez le modèle de reconnaissance avec et sans VAD sur les mêmes appels. Examinez séparément les suppressions et les insertions, pas seulement le WER. Trouvez les appels qui ont perdu le plus de mots et tracez leurs chronologies.
Correction : ajustez le seuil sur les appels de validation. Vérifiez une fois le réglage choisi sur les appels de test. Gardez les anciennes transcriptions pour comparer.
Erreur courante
Une seule exécution indique que le texte inventé a disparu
Symptôme : vous exécutez Whisper une fois sur quelques appels et ne voyez aucun texte inventé. Vous concluez que le problème a disparu.
Cause : le texte inventé varie. Lors d’une nouvelle exécution de Whisper small sans VAD pour le cours, l’appel C-0195 a reçu 8 mots dans la musique d’attente : « The call is reached. I appreciate your help. » La première exécution n’avait rien écrit à cet endroit. Dans l’appel C-0251, la VAD conserve presque toute l’attente, car elle entend les voix en arrière-plan. Whisper écrit ou non des mots à cet endroit selon l’exécution.
Correction : comptez les mots inventés sur de nombreux appels avec des attentes connues, et sur plusieurs exécutions. Nos appels contiennent des attentes insérées volontairement, donc le compte est exact. Sur de vrais appels, écoutez un échantillon des attentes.
Quand utiliser une VAD avant le modèle de reconnaissance
Section intitulée « Quand utiliser une VAD avant le modèle de reconnaissance »Utilisez-la quand vos appels contiennent de longues périodes sans parole. Par exemple : de la musique d’attente, un appelant qui cherche un document ou une ligne laissée ouverte. Elle élimine la plupart des textes inventés à ces endroits et réduit les calculs en proportion du silence. Ajustez d’abord son seuil sur vos propres données audio et mesurez les suppressions.
Réfléchissez avant de l’utiliser quand les appels contiennent surtout de la parole, comme la plupart des appels de Larkfield. L’économie de calcul est faible : le RTF passe de 0,075 à 0,073 sur les appels de test. Chaque passage manqué représente des mots perdus. Une VAD ne peut pas non plus éliminer les conversations en arrière-plan, car il s’agit de parole.
Son coût : Silero ajoute environ 90 ms de calcul par minute d’audio. Cela représente quelques minutes par mois pour tous les appels de Larkfield. Le vrai coût est le risque de perdre des mots et le temps nécessaire pour le mesurer.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Montrez un passage de texte inventé que la VAD élimine, avec les nombres.
Afficher la réponse
Dans l’appel C-0251, l’appelant reste silencieux pendant 21,4 secondes tandis que des voix parlent doucement en arrière-plan. Sans VAD, Whisper small a écrit à cet endroit « Could you please tell me how to train you to buy a pair of shoes? I’m a fan of my iRomite, so I can buy a pair of shoes. » Personne n’a dit cela dans l’appel. Avec la VAD de faster-whisper, il n’a rien écrit à cet endroit. Sur les 15 appels avec une attente insérée, les mots dans les attentes sont passés de 65 à 1. Les insertions sont passées de 99 à 22. Le RTF est passé de 0,092 à 0,053. Cela représente environ 0,0156 $ US à 0,0090 $ US par heure d’audio, à 0,17 $ US par heure de serveur. Mais le WER sur ces appels est passé de 12,1 % à 16,1 %.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Tomás dit : « La VAD élimine les hallucinations, donc activez-la partout. » Que se passe-t-il sur les appels de test de Larkfield avec les réglages par défaut, et pourquoi?
Afficher la réponse
Le WER de Whisper small passe de 8,6 % à 13,9 %. Les suppressions passent de 115 à 511, tandis que les substitutions et les insertions changent à peine. La cause est Silero à son seuil par défaut de 0,5. Il reconnaît mal la parole téléphonique et a manqué 9,0 % du temps de parole. Ces mots n’atteignent donc jamais Whisper. Sur C-0194, il a éliminé trois tours de parole entiers. L’économie de calcul est faible sur les appels normaux : le RTF passe de 0,075 à 0,073. Ces appels contiennent surtout de la parole.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : choisissez un réglage de VAD pour les transcriptions par lots de Larkfield. Donnez les résultats sur le taux d'erreur sur les mots, les mots inventés et les calculs. Expliquez votre choix.
Afficher la réponse
Un seuil de 0,3 avec un silence minimal de 4 secondes. Choisissez-le sur les 50 appels de validation. Sur ces appels, son WER est de 7,9 %, contre 7,2 % sans VAD et 11,8 % avec les réglages par défaut. Il invente 43 mots dans les attentes de 15 appels, contre 72 sans VAD. Vérifiez-le une fois sur les appels de test : WER de 7,9 %. Dans la même session, le WER sans VAD est de 8,5 %, et celui avec les réglages par défaut, de 14,0 %. Il manque 5 numéros de commande sur 52, contre 12 avec les réglages par défaut. Son RTF est de 0,073 contre 0,087. Cela représente environ 0,0124 $ US contre 0,0147 $ US par heure d’audio, à 0,17 $ US par heure de serveur. Il n’élimine pas le texte inventé dans C-0251, car les conversations en arrière-plan sont de la parole.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Whisper peut écrire du texte inventé pendant de longues périodes sans parole de l’appelant. Il a écrit 65 mots dans les attentes de 15 appels, comme « how to train you to buy a pair of shoes ».
- L’option
vad_filter=Truede faster-whisper exécute Silero, conserve les régions de parole, les joint et rétablit les temps d’origine. Le coût par heure d’audio est le RTF multiplié par le prix horaire du serveur. - Avec les réglages par défaut, la VAD a éliminé les mots inventés, de 65 à 1. Elle a réduit les calculs sur ces appels : le RTF est passé de 0,092 à 0,053. Mais elle a augmenté le WER sur les appels de test, de 8,6 % à 13,9 %. Les suppressions sont passées de 115 à 511.
- La parole téléphonique manquée en est la cause. Ajustez le seuil sur les appels de validation et vérifiez-le une fois sur les appels de test. Comptez séparément les suppressions, les insertions et les mots inventés.
- Le texte inventé varie : mesurez-le sur de nombreux appels, plusieurs fois.
Le module 3 en un paragraphe. Un détecteur d’activité vocale trouve la parole dans un appel. La VAD d’énergie ne coûte presque rien, mais classe la musique et les conversations en arrière-plan comme parole. WebRTC VAD est rapide et manque peu de parole, mais classe aussi la musique comme parole. Silero VAD rejette la musique et le bruit de rue. Mais sur la ligne téléphonique de Larkfield, il reconnaît mal la parole, donc il faut baisser son seuil. Avant Whisper, une VAD élimine le texte inventé dans les longues attentes. Une VAD mal réglée élimine de vrais mots. Vous mesurez les deux, en temps et en mots, sur les appels synthétiques de Larkfield.
Vous pouvez maintenant trouver la parole et envoyer seulement celle-ci à un modèle de reconnaissance. Mais lequel choisir? Whisper existe en plusieurs tailles, de tiny à large. Des systèmes plus anciens répondent encore sur de nombreuses lignes téléphoniques. Nous verrons ensuite comment un modèle de reconnaissance transforme le son en texte, pour comparer les familles équitablement.
Leçon suivante : Du son au texte