Aller au contenu
English

Préparer le projet de parole

  • Leçon 3
  • 35 min
  • Module 1 : Le problème de la parole et son coût

Où nous en sommes

Nous savons maintenant lire une forme d'onde et un spectrogramme. Ensuite, nous ouvrons les vrais appels de Larkfield. Dans cette leçon, nous installons les outils, écoutons et transcrivons un appel, le comparons à sa référence et apprenons à réinitialiser les données. D'abord, pensez à la première journée d'une nouvelle agente avec son casque.

Leçon 3 sur 36 · IA de la parole : transcrire, comprendre et parlerPréparer le projet de parole
Aperçu du cours

Ce que vous saurez faire

Récupérez les appels de Larkfield et le projet du cours sur votre ordinateur, puis vérifiez leur fonctionnement. Vous transcrivez un appel, le comparez à sa référence et apprenez à repartir de zéro. Sans une première exécution réussie, vous ne pourrez pas savoir si un mauvais résultat vient du modèle ou de votre installation.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter ouvre l’appel C-0225 sous forme de nombres et le joue avec sa transcription de référence. Il trace les spectrogrammes de l’appel, le transcrit avec Whisper tiny et montre l’erreur de la mauvaise fréquence d’échantillonnage. Ses cellules de préparation installent les paquets et téléchargent seulement les fichiers nécessaires. Aucune installation locale n’est donc nécessaire. Environ 30 minutes. Le projet du cours sur votre ordinateur vient ensuite sur cette page : vous en aurez besoin dès le module 2.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

  • La fréquence d’échantillonnage, les canaux, le mu-law et les spectrogrammes, dans L’audio comme des données.
  • Comment ouvrir un terminal, changer de dossier avec cd et créer un environnement virtuel Python. Si ces notions sont nouvelles, consultez d’abord Isoler les dépendances dans Python pour l’ingénierie de l’IA en pratique.

Ce qu’il vous faut sur votre ordinateur

  • Python 3.12. Le projet a été testé seulement avec Python 3.12. Vérifiez la version : python3.12 --version sur macOS ou Linux, py -3.12 --version sur Windows.
  • Git, pour récupérer les fichiers du cours (ou un navigateur, pour les télécharger sous forme de fichier ZIP).
  • Environ 700 Mo d’espace disque libre : les appels (190 Mo), les paquets Python (environ 340 Mo) et le plus petit modèle Whisper (environ 75 Mo).
  • Une connexion Internet pour la première exécution. Aucun compte, aucune clé et aucune carte graphique.

Testé sur macOS (Apple M4) avec Python 3.12.13. L’équipe du cours n’a pas exécuté les commandes Windows (PowerShell) et Linux ci-dessous.

Pensez à une nouvelle agente lors de sa première journée au centre d’assistance de Larkfield. Elle reçoit un casque, un ordinateur et un identifiant de connexion. Avant qu’elle prenne un vrai appel, son chef d’équipe fait un appel de test : « M’entendez-vous? Relisez-moi ce numéro de commande. » Si l’appel de test fonctionne, tout problème ultérieur vient de l’appel, pas de son casque. Sinon, elle sait où chercher. Et elle peut recommencer : se déconnecter, rebrancher le casque et réessayer.

Votre installation a besoin des trois mêmes éléments : une première exécution réussie, un résultat visible et un moyen de repartir de zéro.

Le code de traitement de la parole échoue en silence. Le carnet de cette leçon montre une erreur courante avec Whisper, le système de reconnaissance ouvert de ce cours. Il donne à Whisper l’audio téléphonique à 8 000 échantillons par seconde, mais Whisper en attend 16 000. Pour Whisper, l’appel joue alors deux fois plus vite et une octave plus haut. Aucun message d’erreur ne s’affiche. Le modèle écrit des absurdités avec assurance : « This is going to be a good one for quality injury. Let me help you today. How many times have you found a new thing in the program? » Son taux d’erreur sur les mots (WER), la proportion de mots erronés, est de 0,802 plutôt que de 0,055.

Le projet a donc son propre appel de test. speech check transcrit un appel connu et compare le résultat à ce qui a vraiment été dit. Si le résultat est proche de celui attendu, l’installation fonctionne.

Le projet du cours est un paquet Python nommé larkspeech. Sa commande est speech. Vous le construisez par étapes durant le cours : chaque module ajoute des fichiers et des commandes. Le cours vous donne le projet à la fin de chaque module sous forme d’instantané : une copie complète du projet à ce moment-là. Ce module vous donne le premier, start.

Les instantanés et les appels se trouvent dans le dépôt des laboratoires du cours, nextia-learning-labs, sur GitHub. Vous copiez une seule fois l’instantané et les appels dans votre propre dossier, larkspeech, puis vous y travaillez. Vous ne modifiez jamais le dossier des laboratoires.

Deux dossiers côte à côte dans projects, votre dossier de travail. Le premier est nextia-learning-labs/C41, les fichiers du cours que vous ne modifiez pas; il contient data (les appels, étiquettes, enregistrements et sommes de contrôle) et snapshots/start (le projet à la fin de ce module). Le second est larkspeech, votre copie; il contient larkspeech et tests (le code et ses tests), data (une copie des appels), .venv (Python et les paquets) et outputs (ce que les commandes écrivent; speech reset le supprime). Deux flèches portent chacune l'étiquette copier une fois : de snapshots/start vers le code, et de data vers la copie des appels.
Vos dossiers après l'installation. Le dossier des laboratoires reste intact; vous travaillez dans larkspeech.
Description textuelle du diagramme

Votre dossier de travail, projects, contient deux dossiers. Le premier, nextia-learning-labs/C41, contient les fichiers du cours : le dossier data avec les appels, étiquettes, enregistrements et sommes de contrôle, et l’instantané snapshots/start. Vous ne le modifiez pas. Le second, larkspeech, est votre copie. Vous y copiez l’instantané une fois, et le dossier data une fois. Il reçoit aussi un dossier .venv avec Python et les paquets, et un dossier outputs pour ce que les commandes écrivent. speech reset supprime outputs et vérifie data.

  1. Ouvrez un terminal. Allez dans le dossier où vous gardez vos projets, par exemple ~/projects. Créez-le d’abord s’il n’existe pas (mkdir ~/projects).

    Fenêtre de terminal
    cd ~/projects
  2. Récupérez les fichiers du cours. Si vous avez Git, clonez le dépôt des laboratoires une seule fois. Si vous l’avez déjà cloné, exécutez plutôt git -C nextia-learning-labs pull.

    Fenêtre de terminal
    git clone https://github.com/Nextia-Intelligence/nextia-learning-labs.git

    Sans Git, téléchargez le fichier ZIP du dépôt et décompressez-le dans ~/projects. Son dossier se nomme alors nextia-learning-labs-main. Utilisez ce nom dans les étapes suivantes.

  3. Copiez l’instantané start dans un nouveau dossier larkspeech. Copiez-y ensuite les appels, puis allez dans ce dossier.

    Fenêtre de terminal
    cp -R nextia-learning-labs/C41/snapshots/start larkspeech
    cp -R nextia-learning-labs/C41/data larkspeech/data
    cd larkspeech
  4. Créez un environnement virtuel avec Python 3.12, puis activez-le. Votre invite commence alors par (.venv).

    Fenêtre de terminal
    python3.12 -m venv .venv
    source .venv/bin/activate
  5. Installez les paquets et le projet. Cela prend une ou deux minutes.

    Fenêtre de terminal
    python -m pip install -r requirements.txt -e .

    La dernière ligne commence par Successfully installed (installation réussie). La partie -e . installe le projet lui-même, ce qui rend la commande speech utilisable. Les paquets sont NumPy, SciPy et soundfile (l’audio sous forme de nombres), faster-whisper (le système de reconnaissance) et pytest (les tests). Chacun utilise une version fixe.

  6. Exécutez les tests. Ils utilisent un minuscule dossier de fausses données et n’ont donc besoin d’aucun téléchargement.

    Fenêtre de terminal
    python -m pytest -q
    ............ [100%]
    12 passed in 0.54s

    Votre durée sera différente. La première exécution est plus lente.

  1. Demandez au projet ce que contiennent les données.

    Fenêtre de terminal
    speech info
    Calls: 150 train (transcripts only), 50 validation, 60 test; audio for 110 calls (1.39 hours, phone and wideband)
    Languages: 68 English, 42 French; lines: 70 landline, 24 mobile, 16 voip_g726
    Stereo (agent and caller apart): 66; mono: 44
    IVR test calls: 60; orders in the fake order system: 160
    Every call is synthetic: open text-to-speech voices read invented scripts. The hidden test calls are not here.

    Seuls les appels de validation et de test ont de l’audio : 110 appels, 1,39 heure. Les autres lignes comptent ces 110 appels. Les 150 appels d’entraînement ont seulement leurs transcriptions et leurs étiquettes.

  2. Examinez cinq appels sous forme de fichiers audio. speech inspect affiche les cinq premiers appels de test par défaut.

    Fenêtre de terminal
    speech inspect
    call rate ch seconds loudness silence format
    C-0009 8000 2 52.6 -32.0 dB 14% WAV ULAW
    C-0011 8000 2 36.4 -28.4 dB 45% WAV ULAW
    C-0018 8000 2 49.5 -31.6 dB 14% WAV ULAW
    C-0020 8000 2 45.0 -30.3 dB 45% WAV ULAW
    C-0026 8000 2 56.6 -28.9 dB 12% WAV ULAW

    Vous connaissez chaque colonne depuis la dernière leçon. rate (fréquence) est la fréquence d’échantillonnage, et ch (canaux) est le nombre de canaux. loudness (intensité sonore) est le niveau en dBFS après le mélange des deux canaux par la commande. silence est la proportion de trames de 30 ms sous −45 dBFS. WAV ULAW désigne un fichier WAV avec des échantillons en mu-law.

  3. Examinez la version à bande large (wideband) d’un appel.

    Fenêtre de terminal
    speech inspect C-0225 --kind wideband
    call rate ch seconds loudness silence format
    C-0225 16000 1 23.3 -21.3 dB 22% FLAC PCM_16

    Le même appel : 16 000 échantillons par seconde, un canal, des échantillons de 16 bits dans un fichier FLAC.

Le premier appel de test du projet est C-0225. Un appelant demande comment assembler un Cedar raised bed, un bac de jardinage surélevé. Écoutez-le avant de le transcrire.

Appel C-0225 sur la ligne téléphonique (8 000 échantillons par seconde, les deux canaux additionnés). Les deux voix sont synthétiques. L’agente, Chloe, utilise Piper entraîné sur le corpus LibriTTS-R (locuteur 5401). L’appelant utilise Piper entraîné sur le corpus VCTK (locuteur p288).

La transcription de référence est ce qui a vraiment été dit. Pour un vrai appel, des personnes l’écriraient en écoutant. Pour les appels de Larkfield, elle vient du scénario que les voix lisent; elle est donc exacte. Elle se trouve dans data/calls/calls.jsonl, une ligne par appel, dans le champ turns :

Temps Qui Référence
0,6–5,8 s Agente Thank you for calling Larkfield, this is Chloe. This call is recorded for quality and training. How can I help you today?
6,1–9,6 s Appelant Hi. Please explain how to assemble the Cedar raised bed before I fill it with soil.
9,9–14,3 s Agente Good question. For the Cedar raised bed, the first step is to charge it fully before you set it up.
14,7–16,9 s Agente I will email you the setup guide with pictures today.
17,1–18,6 s Agente Is there anything else I can help you with?
18,7–20,1 s Appelant That’s everything, thank you.
20,4–22,5 s Agente Thank you for calling Larkfield. Have a good day.

Avez-vous remarqué la troisième ligne? Un bac de jardinage surélevé n’a pas de batterie à charger. C’est une erreur dans nos propres scénarios : la réponse aux questions sur les produits dit « charge it fully » (chargez-le complètement) pour chaque produit. Nous l’avons gardée, car un nouveau scénario imposerait un nouvel audio et de nouvelles mesures pour tout le cours. Cela ne change rien dans cette leçon : le système de reconnaissance doit écrire ce qui a été dit, correct ou non.

speech check est l’appel de test du projet. Le schéma montre ce qu’il fait.

Un flux de gauche à droite (de haut en bas sur un téléphone). C-0225.wav, le fichier téléphonique à 8 000 échantillons par seconde et 2 canaux, passe par : mélanger deux canaux en un; puis rééchantillonner de 8 000 à 16 000 échantillons par seconde; puis Whisper tiny, sur le processeur, avec chronométrage. La transcription de Whisper passe par : normaliser les deux textes, minuscules, sans virgules, nombres en chiffres. La référence, les mots du scénario dans calls.jsonl, passe aussi par la normalisation des deux textes. La dernière case est le résultat : WER, la proportion de mots erronés, et le facteur temps réel.
Ce que speech check fait avec un appel : la bonne fréquence d'échantillonnage pour Whisper, la même normalisation pour les deux textes, puis deux nombres.
Description textuelle du diagramme

La vérification lit le fichier téléphonique de l’appel C-0225 : 8 000 échantillons par seconde, deux canaux. Elle mélange les deux canaux en un et passe la fréquence d’échantillonnage à 16 000, celle que Whisper attend. Ensuite, Whisper tiny, la plus petite taille, transcrit l’appel sur le processeur de l’ordinateur, et la vérification le chronomètre. Puis, elle normalise la transcription du modèle et la référence de la même façon : minuscules, sans ponctuation, nombres en chiffres. Enfin, elle compare les deux textes mot par mot. Elle affiche le taux d’erreur sur les mots et le facteur temps réel.

  1. Lancez la vérification. La première fois, elle télécharge Whisper tiny (environ 75 Mo) depuis Hugging Face, à une version fixe.

    Fenêtre de terminal
    speech check
    Call C-0225 (en, landline line, phone audio, 23.3 s, synthetic)
    Model: Thank you for calling Larkfield. This is Chloe. This call is recorded for quality and training. How can I help you today? Hi. Please explain how to assemble the ...
    Reference: Thank you for calling Larkfield, this is Chloe. This call is recorded for quality and training. How can I help you today? Hi. Please explain how to assemble the ...
    WER 5.5% after the normalisation guide; real-time factor 0.019 (0.4 s of compute for 23.3 s of audio)
    Setup check passed.

    Pendant la première exécution, vous voyez aussi la ligne Fetching 6 files (récupération de 6 fichiers). Un avertissement signale également des requêtes non authentifiées au Hugging Face Hub. Vous pouvez l’ignorer : le modèle est public, et vous n’avez besoin d’aucun compte.

  2. Vérifiez le WER. Il devrait être de 5,5 %, ou très proche. Le modèle et ses paramètres sont fixes, mais sur un autre ordinateur, un mot peut parfois changer. Si votre WER est loin de 5,5 %, consultez l’erreur courante à la fin de cette page.

  3. Examinez le facteur temps réel. Le vôtre sera différent : il dépend de votre ordinateur.

La ligne Model (modèle) est ce que Whisper tiny a écrit. La ligne Reference (référence) est ce qui a été dit. Les deux lignes sont coupées après 160 caractères. Elles diffèrent déjà : le modèle a écrit « Larkfield. This is Chloe. » avec un point. La référence contient « Larkfield, this is Chloe. » avec une virgule. Est-ce une erreur?

Pour Larkfield, non. Une virgule ne change la décision de personne. Avant de compter les erreurs, le projet transforme donc les deux textes selon les mêmes règles écrites. C’est le guide de normalisation : minuscules, sans ponctuation, nombres en chiffres et quelques autres règles. Le module 2 construit ce guide. Sans lui, la même transcription a un WER de 12,2 % plutôt que de 5,5 %, seulement à cause des majuscules et des virgules.

Après l’application du guide, 5,5 % des mots de référence sont encore erronés. Le carnet affiche la transcription complète. Les erreurs portent sur le nom du produit et un verbe. Le modèle a écrit « the C-Draise Bed » pour « the Cedar raised bed », deux fois. Il a aussi écrit « before I fed it with soil » pour « before I fill it with soil ». Les noms sont difficiles pour un système de reconnaissance qui ne les a jamais entendus. Le module 2 compte séparément les erreurs sur les noms et les numéros de commande.

Le facteur temps réel (RTF) est le temps de calcul divisé par la durée de l’audio. Ici, 0,4 seconde de calcul pour 23,3 secondes d’audio donne 0,019. Un RTF de 0,1 signifie une heure d’audio en six minutes. Un RTF inférieur à 1 signifie un traitement plus rapide que la lecture de l’audio. Sur le portable du cours, la même vérification a donné entre 0,015 et 0,027 selon les exécutions. Votre ordinateur peut être plus lent ou plus rapide.

speech reset vous permet de repartir de zéro. Cette commande supprime le dossier outputs, où les commandes suivantes écrivent leurs résultats. Ensuite, elle compare chaque fichier de données à sa somme de contrôle : un court code calculé à partir des octets du fichier. Si un seul octet change, la somme de contrôle change. La liste des sommes de contrôle se trouve dans data/SHA256SUMS.

Fenêtre de terminal
speech reset
Reset: removed nothing; data: all 507 files are right.

« Removed nothing » (rien supprimé) signifie que le dossier outputs n’existait pas encore. Le dossier de données contient 508 fichiers : les 507 couverts par les sommes de contrôle, et la liste elle-même.

Le dossier de données contient une fiche de données : data/dataset-card.md. Cette fiche décrit brièvement le jeu de données, sa création et ses faiblesses. Ouvrez-la dans votre éditeur et lisez-la une fois. Cela prend cinq minutes. Trois parties comptent pour tout le cours :

  • Ce qui se trouve ici : chaque fichier et dossier, et chaque champ de calls.jsonl.
  • Comment les appels ont été créés : les scénarios, les voix et leurs licences, et les lignes téléphoniques. Cette partie liste aussi les problèmes d’exercice insérés volontairement, comme les longs silences.
  • Limites : les voix synthétiques sont plus nettes que celles des personnes, et une partie des erreurs en français vient des voix. Les appels sont courts et suivent quelques modèles. Lisez cette partie avant de vous fier à un nombre.

Le carnet utilise le même appel, étape par étape, avec le code visible. Ouvrez-le depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.

  1. Exécutez les cellules de préparation. La cellule de données se termine par Ready: 8 files in larkfield-calls. (prêt : 8 fichiers dans larkfield-calls).
  2. Dans la section 1, exécutez la première cellule. Le fichier téléphonique a 8000 échantillons par seconde et 2 canaux; le fichier à bande large en a 16000 et 1. L’intensité sonore est de -30.0 dBFS.
  3. Exécutez la cellule du silence. Vous voyez 0.42 : c’est la proportion de trames silencieuses dans l’appel.
  4. Dans la section 2, lancez la lecture dans le lecteur. Lisez la transcription que la cellule affiche.
  5. Dans la section 3, prévoyez quel spectrogramme a des zones lumineuses au-dessus de 3 400 Hz. Puis exécutez la cellule.
  6. Dans la section 4, chargez Whisper tiny, puis transcrivez l’appel. Vous voyez WER after the guide: 0.055 (WER après le guide : 0,055).
  7. Dans la section 5, prévoyez si le WER augmente ou diminue sans le guide. Puis exécutez la cellule. Vous voyez 0.122.
  8. Dans la section 6, exécutez la cellule avec la mauvaise fréquence d’échantillonnage. Vous voyez une transcription erronée et un WER d’environ 0.80.

À vous de jouer : cinq appels et un appel en français

Section intitulée « À vous de jouer : cinq appels et un appel en français »

Dans le carnet, section 7 : créez un tableau de cinq appels (C-0225, C-0083, C-0089, C-0219 et C-0102). Pour chaque appel, indiquez sa fréquence d’échantillonnage, ses canaux, sa durée, son intensité sonore et sa proportion de silence. Exécutez les trois vérifications. Avant de regarder, faites une prédiction : quel appel contient le plus de silence?

Afficher la réponse
table = []
for call_id in ["C-0225", "C-0083", "C-0089", "C-0219", "C-0102"]:
path = f"data/calls/phone/{call_id}.wav"
info = sf.info(path)
x, sr = read_audio(path)
table.append({"call_id": call_id, "rate": info.samplerate, "channels": info.channels,
"seconds": round(info.duration, 1), "loudness": round(dbfs(x), 1),
"silence": round(silence_share(x, sr), 2)})
for row in table:
print(row)
{'call_id': 'C-0225', 'rate': 8000, 'channels': 2, 'seconds': 23.3, 'loudness': -30.0, 'silence': 0.42}
{'call_id': 'C-0083', 'rate': 8000, 'channels': 1, 'seconds': 32.3, 'loudness': -22.2, 'silence': 0.14}
{'call_id': 'C-0089', 'rate': 8000, 'channels': 1, 'seconds': 56.9, 'loudness': -23.2, 'silence': 0.1}
{'call_id': 'C-0219', 'rate': 8000, 'channels': 2, 'seconds': 64.9, 'loudness': -30.6, 'silence': 0.57}
{'call_id': 'C-0102', 'rate': 8000, 'channels': 1, 'seconds': 32.5, 'loudness': -23.5, 'silence': 0.32}

C-0219 contient le plus de silence (0,57), suivi de C-0225 (0,42). Les deux appels sont stéréo. C-0219 contient aussi une longue pause d’environ 12 secondes au milieu de l’appel. Le code mélange les deux canaux en calculant leur moyenne. Chaque tour de parole a donc environ la moitié de l’intensité sonore. Ainsi, davantage de trames peu sonores passent sous −45 dBFS. Les appels mono sont environ 7 dB plus forts. La proportion de silence dépend donc de l’enregistrement, pas seulement du temps pendant lequel les gens parlent. Gardez cela en tête pour le module 3, qui repère la parole.

Sur votre ordinateur, changez une chose dans la vérification de l’installation : l’appel. Exécutez-la sur un appel en français, C-0065. Avant de l’exécuter, faites une prédiction : le WER sera-t-il supérieur ou inférieur à 5,5 %?

Fenêtre de terminal
speech check --call C-0065
Afficher la réponse
Call C-0065 (fr, landline line, phone audio, 35.6 s, synthetic)
Model: Merci d'avoir la pluie, ici Juliette. C'est à peine, c'est enregistré pour la qualité et la formation. Comment vous avez aujourd'hui? Bonjour, Madame. Comment s ...
Reference: Merci d'avoir appelé Larkfield, ici Julien. Cet appel est enregistré pour la qualité et la formation. Comment puis-je vous aider aujourd'hui? Bonjour madame. Co ...
WER 37.0% after the normalisation guide; real-time factor 0.023 (0.8 s of compute for 35.6 s of audio)
Setup check passed.

Le WER est beaucoup plus élevé : 37,0 %. Whisper tiny a écrit « Merci d’avoir la pluie » (« merci pour la pluie ») pour « Merci d’avoir appelé Larkfield ». Il a aussi écrit « Juliette » pour « Julien ». Trois facteurs se combinent ici : le plus petit modèle, le français et les voix synthétiques françaises. Ces voix sont plus difficiles à comprendre que les voix anglaises. Le fichier à bande large donne le même résultat de 37,0 % (speech check --call C-0065 --kind wideband). La ligne téléphonique n’est donc pas le problème dans cet appel.

Remarquez aussi la dernière ligne. La vérification indique « passed » (réussie), car elle sert seulement à prouver que votre installation fonctionne. Elle réussit pour tout WER inférieur à 50 %. Une vérification de l’installation n’est pas un test de qualité. Le module 4 compare les tailles de Whisper de façon rigoureuse, sur tous les appels de test.

Erreur courante

Dossier de données absent ou fichier de données modifié

Symptôme 1 : vous exécutez une commande et voyez ceci :

Error: no data folder found (set LARKSPEECH_DATA, or copy the course's data folder here)

Cause : vous n’êtes pas dans le dossier larkspeech, ou le dossier data est absent. Le projet cherche data dans le dossier courant, puis un et deux niveaux plus haut.

Correction : allez dans le dossier du projet (cd ~/projects/larkspeech) et vérifiez que data/calls/calls.jsonl existe. Sinon, copiez les données à nouveau, comme à l’étape 3 de l’installation.

Symptôme 2 : speech check donne un WER différent de 5,5 %, ou une commande ultérieure donne des résultats étranges. Exécutez speech reset. Si un fichier a changé ou est absent, la commande le signale :

Reset: removed outputs; data: 2 problems:
changed: calls/phone/C-0225.wav
missing: calls/wideband/C-0127.flac
Download the data folder again, or copy the broken files from the course's labs repository.

Correction : copiez à nouveau les fichiers indiqués depuis nextia-learning-labs/C41/data, par exemple cp ../nextia-learning-labs/C41/data/calls/phone/C-0225.wav data/calls/phone/. Ensuite, exécutez encore speech reset, jusqu’à ce qu’il indique all 507 files are right (les 507 fichiers sont corrects).

Conséquence pour le travail en IA : un fichier audio modifié donne un WER différent sans message d’erreur, comme une mauvaise fréquence d’échantillonnage. Sans somme de contrôle, vous compareriez des modèles sur des données différentes sans le savoir.

Vérifiez votre compréhension

Pourquoi le projet vérifie-t-il l'installation avec un appel connu et un résultat attendu? Que prouve cette vérification, et que ne prouve-t-elle pas?

Afficher la réponse

Le code de traitement de la parole peut échouer sans le signaler. Une mauvaise fréquence d’échantillonnage ou un fichier modifié donne une mauvaise transcription sans message d’erreur. La mauvaise fréquence a donné un WER de 0,802 au lieu de 0,055. Un appel connu avec un résultat connu montre que les données, les paquets et le modèle fonctionnent ensemble. Whisper tiny doit donner 5,5 % sur C-0225. La vérification ne prouve pas que le modèle est bon. Elle réussit pour tout WER inférieur à 50 %. L’appel en français C-0065 donne 37,0 % et « réussit » quand même. La qualité du modèle est mesurée plus tard, sur tous les appels de test.

Vérifiez votre compréhension

Le modèle a écrit « Larkfield. This is Chloe. » et la référence est « Larkfield, this is Chloe. ». Faut-il compter cela comme une erreur? Que fait le projet à ce sujet, et de combien cela change-t-il le WER de cet appel?

Afficher la réponse

Cela ne devrait pas compter comme une erreur pour Larkfield : aucune décision ne dépend d’une virgule ou d’une majuscule. Avant de comparer les textes, le projet applique les mêmes règles écrites aux deux : celles du guide de normalisation. Il utilise des minuscules, retire la ponctuation et écrit les nombres en chiffres. Pour cet appel, le WER est de 5,5 % avec le guide et de 12,2 % sans lui. Les erreurs qui restent après l’application du guide sont réelles : le nom du produit (« C-Draise Bed ») et un verbe (« fed » pour « fill »).

Vérifiez votre compréhension

La vérification de votre collègue prend 4,1 secondes de calcul pour l'appel de 23,3 secondes. Quel est le facteur temps réel? Combien de temps prendraient 1 000 heures d'appels sur cet ordinateur?

Afficher la réponse

RTF = temps de calcul ÷ durée de l’audio = 4,1 ÷ 23,3 ≈ 0,18. (4,1 ÷ 23,3 = 0,176.) Ainsi, 1 000 heures d’audio demandent environ 0,176 × 1 000 = 176 heures de calcul sur cet ordinateur, avec ce modèle. Sur le portable du cours (RTF d’environ 0,02), le même travail prend environ 20 heures. Le RTF dépend de l’ordinateur, de la taille du modèle et de ses réglages. Mesurez-le donc sur l’ordinateur qui fera le travail.

Récapitulatif

  • Vous avez copié l’instantané start et les appels dans larkspeech, créé un environnement virtuel et installé le projet. Les tests indiquent 12 passed (12 tests réussis).
  • speech info et speech inspect présentent les appels comme des données : 110 appels avec audio. Ils existent en format téléphonique (8 000 échantillons par seconde, mu-law) et à bande large (16 000, FLAC).
  • La transcription de référence correspond à ce qui a été dit. Pour les appels synthétiques de Larkfield, elle vient du scénario, donc elle est exacte.
  • speech check exécute l’appel de test. Whisper tiny sur C-0225 donne un WER de 5,5 % après l’application du guide de normalisation. Son facteur temps réel est proche de 0,02 sur le portable du cours.
  • speech reset supprime outputs et vérifie les sommes de contrôle des 507 fichiers de données. La fiche de données explique comment les appels ont été créés et quelles sont leurs limites.

Vous pouvez maintenant transcrire un appel et obtenir un nombre qui mesure sa qualité. Mais qu’est-ce qu’une erreur sur un mot, exactement? Pourquoi une virgule a-t-elle fait passer le WER de 5,5 % à 12,2 %? Ensuite, vous calculerez le taux d’erreur sur les mots à la main, étape par étape.

Leçon suivante : Le taux d'erreur sur les mots, étape par étape