Préparer le projet de parole
- Leçon 3
- 35 min
- Module 1 : Le problème de la parole et son coût
Où nous en sommes
Nous savons maintenant lire une forme d'onde et un spectrogramme. Ensuite, nous ouvrons les vrais appels de Larkfield. Dans cette leçon, nous installons les outils, écoutons et transcrivons un appel, le comparons à sa référence et apprenons à réinitialiser les données. D'abord, pensez à la première journée d'une nouvelle agente avec son casque.
Leçon 3 sur 36 · IA de la parole : transcrire, comprendre et parlerPréparer le projet de parole
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Récupérez les appels de Larkfield et le projet du cours sur votre ordinateur, puis vérifiez leur fonctionnement. Vous transcrivez un appel, le comparez à sa référence et apprenez à repartir de zéro. Sans une première exécution réussie, vous ne pourrez pas savoir si un mauvais résultat vient du modèle ou de votre installation.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter ouvre l’appel C-0225 sous forme de nombres et le joue avec sa transcription de référence. Il trace les spectrogrammes de l’appel, le transcrit avec Whisper tiny et montre l’erreur de la mauvaise fréquence d’échantillonnage. Ses cellules de préparation installent les paquets et téléchargent seulement les fichiers nécessaires. Aucune installation locale n’est donc nécessaire. Environ 30 minutes. Le projet du cours sur votre ordinateur vient ensuite sur cette page : vous en aurez besoin dès le module 2.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La fréquence d’échantillonnage, les canaux, le mu-law et les spectrogrammes, dans L’audio comme des données.
- Comment ouvrir un terminal, changer de dossier avec
cdet créer un environnement virtuel Python. Si ces notions sont nouvelles, consultez d’abord Isoler les dépendances dans Python pour l’ingénierie de l’IA en pratique.
Ce qu’il vous faut sur votre ordinateur
- Python 3.12. Le projet a été testé seulement avec Python 3.12. Vérifiez la version :
python3.12 --versionsur macOS ou Linux,py -3.12 --versionsur Windows. - Git, pour récupérer les fichiers du cours (ou un navigateur, pour les télécharger sous forme de fichier ZIP).
- Environ 700 Mo d’espace disque libre : les appels (190 Mo), les paquets Python (environ 340 Mo) et le plus petit modèle Whisper (environ 75 Mo).
- Une connexion Internet pour la première exécution. Aucun compte, aucune clé et aucune carte graphique.
Testé sur macOS (Apple M4) avec Python 3.12.13. L’équipe du cours n’a pas exécuté les commandes Windows (PowerShell) et Linux ci-dessous.
La première journée d’une nouvelle agente
Section intitulée « La première journée d’une nouvelle agente »Pensez à une nouvelle agente lors de sa première journée au centre d’assistance de Larkfield. Elle reçoit un casque, un ordinateur et un identifiant de connexion. Avant qu’elle prenne un vrai appel, son chef d’équipe fait un appel de test : « M’entendez-vous? Relisez-moi ce numéro de commande. » Si l’appel de test fonctionne, tout problème ultérieur vient de l’appel, pas de son casque. Sinon, elle sait où chercher. Et elle peut recommencer : se déconnecter, rebrancher le casque et réessayer.
Votre installation a besoin des trois mêmes éléments : une première exécution réussie, un résultat visible et un moyen de repartir de zéro.
Pourquoi un appel de test compte pour la parole
Section intitulée « Pourquoi un appel de test compte pour la parole »Le code de traitement de la parole échoue en silence. Le carnet de cette leçon montre une erreur courante avec Whisper, le système de reconnaissance ouvert de ce cours. Il donne à Whisper l’audio téléphonique à 8 000 échantillons par seconde, mais Whisper en attend 16 000. Pour Whisper, l’appel joue alors deux fois plus vite et une octave plus haut. Aucun message d’erreur ne s’affiche. Le modèle écrit des absurdités avec assurance : « This is going to be a good one for quality injury. Let me help you today. How many times have you found a new thing in the program? » Son taux d’erreur sur les mots (WER), la proportion de mots erronés, est de 0,802 plutôt que de 0,055.
Le projet a donc son propre appel de test. speech check transcrit un appel connu et compare le résultat à ce qui a vraiment été dit. Si le résultat est proche de celui attendu, l’installation fonctionne.
Le projet du cours
Section intitulée « Le projet du cours »Le projet du cours est un paquet Python nommé larkspeech. Sa commande est speech. Vous le construisez par étapes durant le cours : chaque module ajoute des fichiers et des commandes. Le cours vous donne le projet à la fin de chaque module sous forme d’instantané : une copie complète du projet à ce moment-là. Ce module vous donne le premier, start.
Les instantanés et les appels se trouvent dans le dépôt des laboratoires du cours, nextia-learning-labs, sur GitHub. Vous copiez une seule fois l’instantané et les appels dans votre propre dossier, larkspeech, puis vous y travaillez. Vous ne modifiez jamais le dossier des laboratoires.
Description textuelle du diagramme
Votre dossier de travail, projects, contient deux dossiers. Le premier, nextia-learning-labs/C41, contient les fichiers du cours : le dossier data avec les appels, étiquettes, enregistrements et sommes de contrôle, et l’instantané snapshots/start. Vous ne le modifiez pas. Le second, larkspeech, est votre copie. Vous y copiez l’instantané une fois, et le dossier data une fois. Il reçoit aussi un dossier .venv avec Python et les paquets, et un dossier outputs pour ce que les commandes écrivent. speech reset supprime outputs et vérifie data.
Préparer le projet
Section intitulée « Préparer le projet »-
Ouvrez un terminal. Allez dans le dossier où vous gardez vos projets, par exemple
~/projects. Créez-le d’abord s’il n’existe pas (mkdir ~/projects).Fenêtre de terminal cd ~/projects -
Récupérez les fichiers du cours. Si vous avez Git, clonez le dépôt des laboratoires une seule fois. Si vous l’avez déjà cloné, exécutez plutôt
git -C nextia-learning-labs pull.Fenêtre de terminal git clone https://github.com/Nextia-Intelligence/nextia-learning-labs.gitSans Git, téléchargez le fichier ZIP du dépôt et décompressez-le dans
~/projects. Son dossier se nomme alorsnextia-learning-labs-main. Utilisez ce nom dans les étapes suivantes. -
Copiez l’instantané
startdans un nouveau dossierlarkspeech. Copiez-y ensuite les appels, puis allez dans ce dossier.Fenêtre de terminal cp -R nextia-learning-labs/C41/snapshots/start larkspeechcp -R nextia-learning-labs/C41/data larkspeech/datacd larkspeechFenêtre de terminal Copy-Item -Recurse nextia-learning-labs\C41\snapshots\start larkspeechCopy-Item -Recurse nextia-learning-labs\C41\data larkspeech\datacd larkspeech -
Créez un environnement virtuel avec Python 3.12, puis activez-le. Votre invite commence alors par
(.venv).Fenêtre de terminal python3.12 -m venv .venvsource .venv/bin/activateFenêtre de terminal py -3.12 -m venv .venv.venv\Scripts\Activate.ps1 -
Installez les paquets et le projet. Cela prend une ou deux minutes.
Fenêtre de terminal python -m pip install -r requirements.txt -e .La dernière ligne commence par
Successfully installed(installation réussie). La partie-e .installe le projet lui-même, ce qui rend la commandespeechutilisable. Les paquets sont NumPy, SciPy et soundfile (l’audio sous forme de nombres), faster-whisper (le système de reconnaissance) et pytest (les tests). Chacun utilise une version fixe. -
Exécutez les tests. Ils utilisent un minuscule dossier de fausses données et n’ont donc besoin d’aucun téléchargement.
Fenêtre de terminal python -m pytest -q............ [100%]12 passed in 0.54sVotre durée sera différente. La première exécution est plus lente.
Examiner les appels
Section intitulée « Examiner les appels »-
Demandez au projet ce que contiennent les données.
Fenêtre de terminal speech infoCalls: 150 train (transcripts only), 50 validation, 60 test; audio for 110 calls (1.39 hours, phone and wideband)Languages: 68 English, 42 French; lines: 70 landline, 24 mobile, 16 voip_g726Stereo (agent and caller apart): 66; mono: 44IVR test calls: 60; orders in the fake order system: 160Every call is synthetic: open text-to-speech voices read invented scripts. The hidden test calls are not here.Seuls les appels de validation et de test ont de l’audio : 110 appels, 1,39 heure. Les autres lignes comptent ces 110 appels. Les 150 appels d’entraînement ont seulement leurs transcriptions et leurs étiquettes.
-
Examinez cinq appels sous forme de fichiers audio.
speech inspectaffiche les cinq premiers appels de test par défaut.Fenêtre de terminal speech inspectcall rate ch seconds loudness silence formatC-0009 8000 2 52.6 -32.0 dB 14% WAV ULAWC-0011 8000 2 36.4 -28.4 dB 45% WAV ULAWC-0018 8000 2 49.5 -31.6 dB 14% WAV ULAWC-0020 8000 2 45.0 -30.3 dB 45% WAV ULAWC-0026 8000 2 56.6 -28.9 dB 12% WAV ULAWVous connaissez chaque colonne depuis la dernière leçon.
rate(fréquence) est la fréquence d’échantillonnage, etch(canaux) est le nombre de canaux.loudness(intensité sonore) est le niveau en dBFS après le mélange des deux canaux par la commande.silenceest la proportion de trames de 30 ms sous −45 dBFS.WAV ULAWdésigne un fichier WAV avec des échantillons en mu-law. -
Examinez la version à bande large (wideband) d’un appel.
Fenêtre de terminal speech inspect C-0225 --kind widebandcall rate ch seconds loudness silence formatC-0225 16000 1 23.3 -21.3 dB 22% FLAC PCM_16Le même appel : 16 000 échantillons par seconde, un canal, des échantillons de 16 bits dans un fichier FLAC.
Écouter un appel et lire sa référence
Section intitulée « Écouter un appel et lire sa référence »Le premier appel de test du projet est C-0225. Un appelant demande comment assembler un Cedar raised bed, un bac de jardinage surélevé. Écoutez-le avant de le transcrire.
Appel C-0225 sur la ligne téléphonique (8 000 échantillons par seconde, les deux canaux additionnés). Les deux voix sont synthétiques. L’agente, Chloe, utilise Piper entraîné sur le corpus LibriTTS-R (locuteur 5401). L’appelant utilise Piper entraîné sur le corpus VCTK (locuteur p288).
La transcription de référence est ce qui a vraiment été dit. Pour un vrai appel, des personnes l’écriraient en écoutant. Pour les appels de Larkfield, elle vient du scénario que les voix lisent; elle est donc exacte. Elle se trouve dans data/calls/calls.jsonl, une ligne par appel, dans le champ turns :
| Temps | Qui | Référence |
|---|---|---|
| 0,6–5,8 s | Agente | Thank you for calling Larkfield, this is Chloe. This call is recorded for quality and training. How can I help you today? |
| 6,1–9,6 s | Appelant | Hi. Please explain how to assemble the Cedar raised bed before I fill it with soil. |
| 9,9–14,3 s | Agente | Good question. For the Cedar raised bed, the first step is to charge it fully before you set it up. |
| 14,7–16,9 s | Agente | I will email you the setup guide with pictures today. |
| 17,1–18,6 s | Agente | Is there anything else I can help you with? |
| 18,7–20,1 s | Appelant | That’s everything, thank you. |
| 20,4–22,5 s | Agente | Thank you for calling Larkfield. Have a good day. |
Avez-vous remarqué la troisième ligne? Un bac de jardinage surélevé n’a pas de batterie à charger. C’est une erreur dans nos propres scénarios : la réponse aux questions sur les produits dit « charge it fully » (chargez-le complètement) pour chaque produit. Nous l’avons gardée, car un nouveau scénario imposerait un nouvel audio et de nouvelles mesures pour tout le cours. Cela ne change rien dans cette leçon : le système de reconnaissance doit écrire ce qui a été dit, correct ou non.
Lancer la vérification de l’installation
Section intitulée « Lancer la vérification de l’installation »speech check est l’appel de test du projet. Le schéma montre ce qu’il fait.
Description textuelle du diagramme
La vérification lit le fichier téléphonique de l’appel C-0225 : 8 000 échantillons par seconde, deux canaux. Elle mélange les deux canaux en un et passe la fréquence d’échantillonnage à 16 000, celle que Whisper attend. Ensuite, Whisper tiny, la plus petite taille, transcrit l’appel sur le processeur de l’ordinateur, et la vérification le chronomètre. Puis, elle normalise la transcription du modèle et la référence de la même façon : minuscules, sans ponctuation, nombres en chiffres. Enfin, elle compare les deux textes mot par mot. Elle affiche le taux d’erreur sur les mots et le facteur temps réel.
-
Lancez la vérification. La première fois, elle télécharge Whisper tiny (environ 75 Mo) depuis Hugging Face, à une version fixe.
Fenêtre de terminal speech checkCall C-0225 (en, landline line, phone audio, 23.3 s, synthetic)Model: Thank you for calling Larkfield. This is Chloe. This call is recorded for quality and training. How can I help you today? Hi. Please explain how to assemble the ...Reference: Thank you for calling Larkfield, this is Chloe. This call is recorded for quality and training. How can I help you today? Hi. Please explain how to assemble the ...WER 5.5% after the normalisation guide; real-time factor 0.019 (0.4 s of compute for 23.3 s of audio)Setup check passed.Pendant la première exécution, vous voyez aussi la ligne
Fetching 6 files(récupération de 6 fichiers). Un avertissement signale également des requêtes non authentifiées au Hugging Face Hub. Vous pouvez l’ignorer : le modèle est public, et vous n’avez besoin d’aucun compte. -
Vérifiez le WER. Il devrait être de 5,5 %, ou très proche. Le modèle et ses paramètres sont fixes, mais sur un autre ordinateur, un mot peut parfois changer. Si votre WER est loin de 5,5 %, consultez l’erreur courante à la fin de cette page.
-
Examinez le facteur temps réel. Le vôtre sera différent : il dépend de votre ordinateur.
Lire le résultat
Section intitulée « Lire le résultat »La ligne Model (modèle) est ce que Whisper tiny a écrit. La ligne Reference (référence) est ce qui a été dit. Les deux lignes sont coupées après 160 caractères. Elles diffèrent déjà : le modèle a écrit « Larkfield. This is Chloe. » avec un point. La référence contient « Larkfield, this is Chloe. » avec une virgule. Est-ce une erreur?
Pour Larkfield, non. Une virgule ne change la décision de personne. Avant de compter les erreurs, le projet transforme donc les deux textes selon les mêmes règles écrites. C’est le guide de normalisation : minuscules, sans ponctuation, nombres en chiffres et quelques autres règles. Le module 2 construit ce guide. Sans lui, la même transcription a un WER de 12,2 % plutôt que de 5,5 %, seulement à cause des majuscules et des virgules.
Après l’application du guide, 5,5 % des mots de référence sont encore erronés. Le carnet affiche la transcription complète. Les erreurs portent sur le nom du produit et un verbe. Le modèle a écrit « the C-Draise Bed » pour « the Cedar raised bed », deux fois. Il a aussi écrit « before I fed it with soil » pour « before I fill it with soil ». Les noms sont difficiles pour un système de reconnaissance qui ne les a jamais entendus. Le module 2 compte séparément les erreurs sur les noms et les numéros de commande.
Le facteur temps réel (RTF) est le temps de calcul divisé par la durée de l’audio. Ici, 0,4 seconde de calcul pour 23,3 secondes d’audio donne 0,019. Un RTF de 0,1 signifie une heure d’audio en six minutes. Un RTF inférieur à 1 signifie un traitement plus rapide que la lecture de l’audio. Sur le portable du cours, la même vérification a donné entre 0,015 et 0,027 selon les exécutions. Votre ordinateur peut être plus lent ou plus rapide.
Réinitialiser
Section intitulée « Réinitialiser »speech reset vous permet de repartir de zéro. Cette commande supprime le dossier outputs, où les commandes suivantes écrivent leurs résultats. Ensuite, elle compare chaque fichier de données à sa somme de contrôle : un court code calculé à partir des octets du fichier. Si un seul octet change, la somme de contrôle change. La liste des sommes de contrôle se trouve dans data/SHA256SUMS.
speech resetReset: removed nothing; data: all 507 files are right.« Removed nothing » (rien supprimé) signifie que le dossier outputs n’existait pas encore. Le dossier de données contient 508 fichiers : les 507 couverts par les sommes de contrôle, et la liste elle-même.
Lire la fiche de données
Section intitulée « Lire la fiche de données »Le dossier de données contient une fiche de données : data/dataset-card.md. Cette fiche décrit brièvement le jeu de données, sa création et ses faiblesses. Ouvrez-la dans votre éditeur et lisez-la une fois. Cela prend cinq minutes. Trois parties comptent pour tout le cours :
- Ce qui se trouve ici : chaque fichier et dossier, et chaque champ de
calls.jsonl. - Comment les appels ont été créés : les scénarios, les voix et leurs licences, et les lignes téléphoniques. Cette partie liste aussi les problèmes d’exercice insérés volontairement, comme les longs silences.
- Limites : les voix synthétiques sont plus nettes que celles des personnes, et une partie des erreurs en français vient des voix. Les appels sont courts et suivent quelques modèles. Lisez cette partie avant de vous fier à un nombre.
Exercice guidé dans le carnet
Section intitulée « Exercice guidé dans le carnet »Le carnet utilise le même appel, étape par étape, avec le code visible. Ouvrez-le depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La cellule de données se termine par
Ready: 8 files in larkfield-calls.(prêt : 8 fichiers dans larkfield-calls). - Dans la section 1, exécutez la première cellule. Le fichier téléphonique a
8000échantillons par seconde et2canaux; le fichier à bande large en a16000et1. L’intensité sonore est de-30.0dBFS. - Exécutez la cellule du silence. Vous voyez
0.42: c’est la proportion de trames silencieuses dans l’appel. - Dans la section 2, lancez la lecture dans le lecteur. Lisez la transcription que la cellule affiche.
- Dans la section 3, prévoyez quel spectrogramme a des zones lumineuses au-dessus de 3 400 Hz. Puis exécutez la cellule.
- Dans la section 4, chargez Whisper tiny, puis transcrivez l’appel. Vous voyez
WER after the guide: 0.055(WER après le guide : 0,055). - Dans la section 5, prévoyez si le WER augmente ou diminue sans le guide. Puis exécutez la cellule. Vous voyez
0.122. - Dans la section 6, exécutez la cellule avec la mauvaise fréquence d’échantillonnage. Vous voyez une transcription erronée et un WER d’environ
0.80.
À vous de jouer : cinq appels et un appel en français
Section intitulée « À vous de jouer : cinq appels et un appel en français »Dans le carnet, section 7 : créez un tableau de cinq appels (C-0225, C-0083, C-0089, C-0219 et C-0102). Pour chaque appel, indiquez sa fréquence d’échantillonnage, ses canaux, sa durée, son intensité sonore et sa proportion de silence. Exécutez les trois vérifications. Avant de regarder, faites une prédiction : quel appel contient le plus de silence?
Afficher la réponse
table = []for call_id in ["C-0225", "C-0083", "C-0089", "C-0219", "C-0102"]: path = f"data/calls/phone/{call_id}.wav" info = sf.info(path) x, sr = read_audio(path) table.append({"call_id": call_id, "rate": info.samplerate, "channels": info.channels, "seconds": round(info.duration, 1), "loudness": round(dbfs(x), 1), "silence": round(silence_share(x, sr), 2)})for row in table: print(row){'call_id': 'C-0225', 'rate': 8000, 'channels': 2, 'seconds': 23.3, 'loudness': -30.0, 'silence': 0.42}{'call_id': 'C-0083', 'rate': 8000, 'channels': 1, 'seconds': 32.3, 'loudness': -22.2, 'silence': 0.14}{'call_id': 'C-0089', 'rate': 8000, 'channels': 1, 'seconds': 56.9, 'loudness': -23.2, 'silence': 0.1}{'call_id': 'C-0219', 'rate': 8000, 'channels': 2, 'seconds': 64.9, 'loudness': -30.6, 'silence': 0.57}{'call_id': 'C-0102', 'rate': 8000, 'channels': 1, 'seconds': 32.5, 'loudness': -23.5, 'silence': 0.32}C-0219 contient le plus de silence (0,57), suivi de C-0225 (0,42). Les deux appels sont stéréo. C-0219 contient aussi une longue pause d’environ 12 secondes au milieu de l’appel. Le code mélange les deux canaux en calculant leur moyenne. Chaque tour de parole a donc environ la moitié de l’intensité sonore. Ainsi, davantage de trames peu sonores passent sous −45 dBFS. Les appels mono sont environ 7 dB plus forts. La proportion de silence dépend donc de l’enregistrement, pas seulement du temps pendant lequel les gens parlent. Gardez cela en tête pour le module 3, qui repère la parole.
Sur votre ordinateur, changez une chose dans la vérification de l’installation : l’appel. Exécutez-la sur un appel en français, C-0065. Avant de l’exécuter, faites une prédiction : le WER sera-t-il supérieur ou inférieur à 5,5 %?
speech check --call C-0065Afficher la réponse
Call C-0065 (fr, landline line, phone audio, 35.6 s, synthetic)Model: Merci d'avoir la pluie, ici Juliette. C'est à peine, c'est enregistré pour la qualité et la formation. Comment vous avez aujourd'hui? Bonjour, Madame. Comment s ...Reference: Merci d'avoir appelé Larkfield, ici Julien. Cet appel est enregistré pour la qualité et la formation. Comment puis-je vous aider aujourd'hui? Bonjour madame. Co ...WER 37.0% after the normalisation guide; real-time factor 0.023 (0.8 s of compute for 35.6 s of audio)Setup check passed.Le WER est beaucoup plus élevé : 37,0 %. Whisper tiny a écrit « Merci d’avoir la pluie » (« merci pour la pluie ») pour « Merci d’avoir appelé Larkfield ». Il a aussi écrit « Juliette » pour « Julien ». Trois facteurs se combinent ici : le plus petit modèle, le français et les voix synthétiques françaises. Ces voix sont plus difficiles à comprendre que les voix anglaises. Le fichier à bande large donne le même résultat de 37,0 % (speech check --call C-0065 --kind wideband). La ligne téléphonique n’est donc pas le problème dans cet appel.
Remarquez aussi la dernière ligne. La vérification indique « passed » (réussie), car elle sert seulement à prouver que votre installation fonctionne. Elle réussit pour tout WER inférieur à 50 %. Une vérification de l’installation n’est pas un test de qualité. Le module 4 compare les tailles de Whisper de façon rigoureuse, sur tous les appels de test.
Erreur courante
Dossier de données absent ou fichier de données modifié
Symptôme 1 : vous exécutez une commande et voyez ceci :
Error: no data folder found (set LARKSPEECH_DATA, or copy the course's data folder here)Cause : vous n’êtes pas dans le dossier larkspeech, ou le dossier data est absent. Le projet cherche data dans le dossier courant, puis un et deux niveaux plus haut.
Correction : allez dans le dossier du projet (cd ~/projects/larkspeech) et vérifiez que data/calls/calls.jsonl existe. Sinon, copiez les données à nouveau, comme à l’étape 3 de l’installation.
Symptôme 2 : speech check donne un WER différent de 5,5 %, ou une commande ultérieure donne des résultats étranges. Exécutez speech reset. Si un fichier a changé ou est absent, la commande le signale :
Reset: removed outputs; data: 2 problems: changed: calls/phone/C-0225.wav missing: calls/wideband/C-0127.flacDownload the data folder again, or copy the broken files from the course's labs repository.Correction : copiez à nouveau les fichiers indiqués depuis nextia-learning-labs/C41/data, par exemple cp ../nextia-learning-labs/C41/data/calls/phone/C-0225.wav data/calls/phone/. Ensuite, exécutez encore speech reset, jusqu’à ce qu’il indique all 507 files are right (les 507 fichiers sont corrects).
Conséquence pour le travail en IA : un fichier audio modifié donne un WER différent sans message d’erreur, comme une mauvaise fréquence d’échantillonnage. Sans somme de contrôle, vous compareriez des modèles sur des données différentes sans le savoir.
Vérifiez votre compréhension
Pourquoi le projet vérifie-t-il l'installation avec un appel connu et un résultat attendu? Que prouve cette vérification, et que ne prouve-t-elle pas?
Afficher la réponse
Le code de traitement de la parole peut échouer sans le signaler. Une mauvaise fréquence d’échantillonnage ou un fichier modifié donne une mauvaise transcription sans message d’erreur. La mauvaise fréquence a donné un WER de 0,802 au lieu de 0,055. Un appel connu avec un résultat connu montre que les données, les paquets et le modèle fonctionnent ensemble. Whisper tiny doit donner 5,5 % sur C-0225. La vérification ne prouve pas que le modèle est bon. Elle réussit pour tout WER inférieur à 50 %. L’appel en français C-0065 donne 37,0 % et « réussit » quand même. La qualité du modèle est mesurée plus tard, sur tous les appels de test.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le modèle a écrit « Larkfield. This is Chloe. » et la référence est « Larkfield, this is Chloe. ». Faut-il compter cela comme une erreur? Que fait le projet à ce sujet, et de combien cela change-t-il le WER de cet appel?
Afficher la réponse
Cela ne devrait pas compter comme une erreur pour Larkfield : aucune décision ne dépend d’une virgule ou d’une majuscule. Avant de comparer les textes, le projet applique les mêmes règles écrites aux deux : celles du guide de normalisation. Il utilise des minuscules, retire la ponctuation et écrit les nombres en chiffres. Pour cet appel, le WER est de 5,5 % avec le guide et de 12,2 % sans lui. Les erreurs qui restent après l’application du guide sont réelles : le nom du produit (« C-Draise Bed ») et un verbe (« fed » pour « fill »).
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La vérification de votre collègue prend 4,1 secondes de calcul pour l'appel de 23,3 secondes. Quel est le facteur temps réel? Combien de temps prendraient 1 000 heures d'appels sur cet ordinateur?
Afficher la réponse
RTF = temps de calcul ÷ durée de l’audio = 4,1 ÷ 23,3 ≈ 0,18. (4,1 ÷ 23,3 = 0,176.) Ainsi, 1 000 heures d’audio demandent environ 0,176 × 1 000 = 176 heures de calcul sur cet ordinateur, avec ce modèle. Sur le portable du cours (RTF d’environ 0,02), le même travail prend environ 20 heures. Le RTF dépend de l’ordinateur, de la taille du modèle et de ses réglages. Mesurez-le donc sur l’ordinateur qui fera le travail.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Vous avez copié l’instantané
startet les appels danslarkspeech, créé un environnement virtuel et installé le projet. Les tests indiquent12 passed(12 tests réussis). speech infoetspeech inspectprésentent les appels comme des données : 110 appels avec audio. Ils existent en format téléphonique (8 000 échantillons par seconde, mu-law) et à bande large (16 000, FLAC).- La transcription de référence correspond à ce qui a été dit. Pour les appels synthétiques de Larkfield, elle vient du scénario, donc elle est exacte.
speech checkexécute l’appel de test. Whisper tiny sur C-0225 donne un WER de 5,5 % après l’application du guide de normalisation. Son facteur temps réel est proche de 0,02 sur le portable du cours.speech resetsupprimeoutputset vérifie les sommes de contrôle des 507 fichiers de données. La fiche de données explique comment les appels ont été créés et quelles sont leurs limites.
Vous pouvez maintenant transcrire un appel et obtenir un nombre qui mesure sa qualité. Mais qu’est-ce qu’une erreur sur un mot, exactement? Pourquoi une virgule a-t-elle fait passer le WER de 5,5 % à 12,2 %? Ensuite, vous calculerez le taux d’erreur sur les mots à la main, étape par étape.
Leçon suivante : Le taux d'erreur sur les mots, étape par étape