Les tailles de Whisper sur un portable
- Leçon 11
- 40 min
- Module 4 : Reconnaissance de la parole : comparer les familles
Où nous en sommes
Nous savons comment Vosk et Whisper transforment le son en texte. Whisper existe en plusieurs tailles, et Tomás veut la plus grande. Dans cette leçon, nous exécutons ces tailles sur le CPU d'un portable. Nous comparons les erreurs par tranche à la vitesse, à la mémoire et au coût. Pensez d'abord à un magasin qui doit choisir une fourgonnette de livraison.
Leçon 11 sur 36 · IA de la parole : transcrire, comprendre et parlerLes tailles de Whisper sur un portable
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Choisissez une taille de Whisper pour les appels de Larkfield à partir de mesures. Comparez ses erreurs sur les tranches importantes à sa vitesse, sa mémoire et son coût sur un ordinateur ordinaire. « La plus grande, par précaution » est aussi un choix, et il a un prix.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter évalue les transcriptions enregistrées de Vosk small et de Whisper tiny, base et small, par tranche. Il trace les erreurs par rapport à la vitesse et exécute Whisper tiny sur trois appels sur votre ordinateur. Ses cellules de préparation installent faster-whisper et téléchargent les fichiers nécessaires (environ 80 Mo avec le modèle). Environ 40 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Comment fonctionnent l’encodeur et le décodeur de Whisper, selon Du son au texte.
- Le facteur temps réel, présenté dans Lire le résultat de Préparer le projet de parole, et le WER par tranche, présenté dans Construire des données de test par tranche.
Ce qu’il vous faut
- Votre dossier
larkspeechà la fin du module 3, avec son environnement.venv, les données du cours et, à côté, le dossiernextia-learning-labs. - Environ 600 Mo d’espace disque libre pour les modèles Whisper tiny, base et small, téléchargés à la première utilisation. Une connexion Internet est nécessaire la première fois.
- Testé sur macOS (Apple M4, 16 Go) avec Python 3.12 et faster-whisper 1.2.1. Les commandes Windows sont fournies, mais n’ont pas été exécutées.
Choisir une fourgonnette de livraison
Section intitulée « Choisir une fourgonnette de livraison »Un petit magasin a besoin d’une fourgonnette de livraison. Une grande fourgonnette transporte plus de boîtes, alors elle semble un choix prudent. Mais elle coûte plus cher à l’achat, consomme plus de carburant à chaque trajet et ne passe pas dans les rues étroites. Si le magasin livre vingt petits colis par jour, une petite fourgonnette fait le même travail à moindre coût. La bonne question n’est pas « quelle fourgonnette est la plus grande? » mais « quelle est la plus petite qui transporte notre charge? »
C’est la même chose pour un modèle de parole. Un plus grand modèle fait moins d’erreurs, mais demande plus de mémoire et de temps pour chaque minute d’audio. Larkfield doit trouver le plus petit modèle assez exact sur ses propres appels.
Le problème : « utiliser le plus grand, par précaution »
Section intitulée « Le problème : « utiliser le plus grand, par précaution » »Tomás, l’ingénieur en IA, dit : « La reconnaissance de la parole est un problème résolu. Utilisons le plus grand Whisper, et on n’y pense plus jamais. » Whisper existe en plusieurs tailles, de tiny (39 millions de paramètres) à medium (769 millions) et au-delà. La leçon Du son au texte les présentait.
Priya, la scientifique des données, a mesuré les tailles sur le même portable et les mêmes appels de test. Medium était trop lent pour les 60 appels, alors elle l’a exécuté sur les 20 premiers. Comparez les résultats sur ces 20 appels :
| Taille | WER sur les 20 premiers appels de test | Facteur temps réel | Mémoire maximale |
|---|---|---|---|
| tiny | 24,6 % | 0,019 | 554 Mo |
| base | 15,7 % | 0,030 | 784 Mo |
| small | 10,7 % | 0,075 | 1 267 Mo |
| medium | 6,9 % | 0,19 | 1 851 Mo |
Medium fait moins d’erreurs. Il prend aussi environ 2,5 fois plus de temps que small pour chaque minute d’audio. Est-ce que cela en vaut la peine? Sans cible et sans les tranches, nous ne pouvons pas répondre.
Deux nombres pour chaque modèle : erreur et vitesse
Section intitulée « Deux nombres pour chaque modèle : erreur et vitesse »Vous avez rencontré le facteur temps réel (RTF) dans la leçon de préparation : le temps de calcul divisé par la durée de l’audio. Un RTF de 0,075 signifie 7,5 secondes de calcul pour 100 secondes d’audio. Plus il est petit, plus le modèle est rapide. Sous 1, le modèle est plus rapide que la lecture de l’audio.
Chaque modèle a maintenant deux nombres : son erreur (WER) et sa vitesse (RTF). Un modèle est meilleur qu’un autre seulement s’il est meilleur sur les deux mesures. Sinon, le gain sur l’une doit valoir la perte sur l’autre. L’équipe doit décider ce qui est « assez bon » avant de regarder les résultats. Autrement, elle choisit la cible qui fait gagner son modèle préféré.
Priya et Grace s’entendent sur deux cibles pour la transcription par lots des appels enregistrés :
- WER d’au plus 10 % sur les appels téléphoniques de test, après application du guide de normalisation.
- RTF d’au plus 0,1, pour qu’un serveur CPU transcrive une heure d’appels en 6 minutes ou moins.
Ces cibles sont une décision de l’équipe, pas une loi. Une ligne téléphonique qui répond aux appelants exige une cible de vitesse plus stricte, comme le montre le module 8.
Petit exemple détaillé : un mois d’appels
Section intitulée « Petit exemple détaillé : un mois d’appels »Larkfield reçoit environ 4 000 appels par mois, soit environ 49 heures d’audio. Le temps de calcul mensuel est la durée de l’audio × le RTF :
| Taille | RTF | Calcul pour 49 heures d’audio | Coût à 0,17 $ US l’heure (hypothèse) |
|---|---|---|---|
| tiny | 0,019 | 49 × 0,019 = 0,9 heures | 0,16 $ US |
| base | 0,030 | 49 × 0,030 = 1,5 heures | 0,25 $ US |
| small | 0,075 | 49 × 0,075 = 3,7 heures | 0,62 $ US |
| medium | 0,19 | 49 × 0,19 = 9,3 heures | 1,58 $ US |
Le prix horaire d’un serveur CPU (4 cœurs, 16 Go) est une hypothèse tirée du fichier des coûts du cours. Au volume de Larkfield, même medium coûte moins de deux dollars de calcul par mois. Pour le traitement par lots, la vitesse n’est donc pas une question d’argent ici. Elle compte lorsque le volume est cent fois plus grand, ou lorsqu’un appelant attend une réponse.
Erreur par rapport à la vitesse : le graphique
Section intitulée « Erreur par rapport à la vitesse : le graphique »Voici tous les systèmes de reconnaissance mesurés par Priya sur les 60 appels téléphoniques de test. Le coin ombré indique où les deux cibles sont atteintes.
Description textuelle du diagramme
Chaque point représente un système de reconnaissance. Plus à gauche, il est plus rapide; plus bas, il est plus exact. Le coin ombré, sous un WER de 10 % et à gauche d’un RTF de 0,1, atteint les deux cibles. Seul Whisper small s’y trouve : 8,6 % avec un RTF de 0,075, et 8,2 % à 0,087 avec des poids float32. Whisper tiny (20,7 %) et base (13,7 %) sont plus rapides, mais font trop d’erreurs. Medium est plus exact (6,9 %, sur 20 appels seulement), mais plus lent que la cible, à 0,19. Vosk small est à la fois plus lent et moins exact que Whisper base. Les points whisper.cpp sont verts pour le CPU et orange pour le GPU Apple. Ce sont les mêmes modèles tiny et base, exécutés par un autre programme : plus rapides, avec à peu près les mêmes erreurs.
Pour la transcription par lots, Whisper small est donc le plus petit modèle qui atteint les deux cibles. Medium fait moins d’erreurs, mais ne respecte pas la cible de vitesse. Le choisir reviendrait à choisir une plus grande fourgonnette « par précaution ».
Pourquoi le même modèle s’exécute à différentes vitesses
Section intitulée « Pourquoi le même modèle s’exécute à différentes vitesses »Poids sur 8 bits : quantification int8
Section intitulée « Poids sur 8 bits : quantification int8 »Les paramètres d’un modèle sont des nombres. On les stocke habituellement sous forme de nombres à virgule flottante sur 32 bits (float32). La quantification stocke chacun avec moins de bits. Avec int8, chacun est un entier sur 8 bits, accompagné d’un facteur d’échelle. C’est comme écrire les prix au cent près plutôt qu’au millième de cent près : un peu moins exact, mais beaucoup plus petit.
Le cours utilise int8 pour chaque exécution de Whisper. Pour Whisper small, Priya a mesuré les deux :
| Poids | WER | RTF | Mémoire maximale |
|---|---|---|---|
| float32 | 8,2 % | 0,087 | 2,21 Go |
| int8 | 8,6 % | 0,075 | 1,27 Go |
Le WER est proche : float32 fait 26 erreurs de moins sur 7 334 mots, soit 0,4 point. La mémoire est presque réduite de moitié. C’est pourquoi le projet du cours exécute faster-whisper avec des poids int8.
- poids int8
- poids float32
Description textuelle du graphique
Cinq colonnes. Avec des poids int8, Whisper tiny demande 554 Mo, base 784 Mo et small 1 267 Mo. Small avec des poids float32 demande 2 214 Mo, plus que medium avec des poids int8 (1 851 Mo). Sur un portable de 16 Go, ils tiennent tous en mémoire. Sur un petit serveur infonuagique qui exécute aussi d’autres programmes, la version float32 pourrait ne pas tenir en mémoire.
whisper.cpp et le GPU Apple
Section intitulée « whisper.cpp et le GPU Apple »faster-whisper est un programme qui exécute les modèles de Whisper. whisper.cpp en est un autre, écrit en C++. Priya a exécuté les mêmes modèles tiny et base deux fois dans whisper.cpp : sur le CPU, puis sur le GPU Apple du portable (Metal). whisper.cpp utilise le GPU par défaut lorsqu’il en trouve un.
| Modèle | faster-whisper, CPU | whisper.cpp, CPU | whisper.cpp, GPU Apple |
|---|---|---|---|
| tiny | 20,7 %, RTF 0,019 | 21,7 %, RTF 0,011 | 22,8 %, RTF 0,008 |
| base | 13,7 %, RTF 0,030 | 15,3 %, RTF 0,020 | 15,2 %, RTF 0,012 |
Les erreurs sont proches : le modèle est le même. Les petites différences viennent de la façon dont chaque programme cherche et arrondit. La vitesse dépend du programme et du matériel qu’il trouve. Une vitesse mesurée sur une machine est un fait propre à cette machine. Faites vos mesures sur l’ordinateur que vous utiliserez.
Tranches : quand le nombre global cache le problème
Section intitulée « Tranches : quand le nombre global cache le problème »Le WER global mélange l’anglais et le français, trois types de lignes et trois types de bruits de fond. Voici les deux plus grandes tranches, par langue :
| Taille | Anglais (34 appels) | Français (26 appels) |
|---|---|---|
| tiny | 7,0 % | 37,0 % |
| base | 5,2 % | 23,8 % |
| small | 3,1 % | 15,1 % |
Sur les appels en anglais, même tiny est sous la cible de 10 %. Sur les appels en français, même small la dépasse. Donc, « Whisper small atteint la cible » est vrai en moyenne, mais faux pour chaque appelant francophone. La dernière leçon de ce module examine les langues, les lignes et le bruit.
La ligne elle-même
Section intitulée « La ligne elle-même »Chaque appel existe aussi en version à bande large (wideband), à 16 000 échantillons par seconde. Les mêmes modèles font moins d’erreurs sur ces versions des mêmes appels. Tiny obtient 17,6 % contre 20,7 % au téléphone, base 12,4 % contre 13,7 %, et small 7,7 % contre 8,6 %. La ligne téléphonique réduit l’exactitude de chaque taille. Si Larkfield obtenait des enregistrements à bande large de son fournisseur téléphonique, chaque modèle s’améliorerait sans coût de calcul supplémentaire.
Nos appels sont plus faciles que les vrais appels
Section intitulée « Nos appels sont plus faciles que les vrais appels »Voici une surprise, dite honnêtement. Beaucoup disent : « un modèle obtient 6 % sur les livres audio et 24 % au téléphone ». Sur les appels en anglais de Larkfield, cela ne s’est pas produit avec Whisper. Whisper small y obtient un WER de seulement 3,1 %.
Comme le montrait Les erreurs qui comptent, le même Whisper small fait 7,8 % d’erreurs sur de vraies phrases lues de LibriSpeech. Il en fait 8,1 % avec notre ligne téléphonique. C’est plus du double du taux d’erreur sur nos appels en anglais. Nos appelants synthétiques lisent des scripts propres. Donc, chaque nombre de ce cours s’entend « sur les appels synthétiques de Larkfield », et de vrais appels obtiendraient de moins bons résultats. L’écart apparaît tout de même lorsqu’un modèle est faible. Vosk small obtient 24,3 % sur les appels téléphoniques en anglais, et Whisper tiny 37,0 % sur ceux en français.
Priya a aussi gardé 40 appels cachés jusqu’à la fin. Elle y a exécuté Whisper small une seule fois : WER de 10,7 % (anglais 4,6 %, français 17,1 %). C’est plus que les 8,6 % des appels de test, et juste au-dessus de la cible de 10 %. Les appels en français font la plupart des erreurs. Nous avons reconstruit les appels cachés, et leurs appels en français utilisent maintenant une version plus récente d’une voix française. C’est pourquoi le score est un peu au-dessus de la cible. Le nouveau nom de l’agente n’y est pour rien. Un choix fait sur les appels de test n’a quand même qu’une petite marge.
Exercice guidé : exécutez vous-même les tailles de Whisper
Section intitulée « Exercice guidé : exécutez vous-même les tailles de Whisper »Jusqu’ici, chaque nombre venait de transcriptions enregistrées. Vous ajoutez maintenant la commande transcribe (transcrire) à votre projet et exécutez Whisper sur votre propre ordinateur.
-
Dans un terminal, allez dans votre dossier
larkspeechet activez l’environnement (source .venv/bin/activate, ou.venv\Scripts\Activate.ps1sur Windows). Copiez le nouveau fichier de commande de l’instantanéend-of-m04dans votre projet.macOS et Linux :
Fenêtre de terminal cp ../nextia-learning-labs/C41/snapshots/end-of-m04/larkspeech/commands/transcribe.py larkspeech/commands/Windows PowerShell :
Fenêtre de terminal Copy-Item ..\nextia-learning-labs\C41\snapshots\end-of-m04\larkspeech\commands\transcribe.py larkspeech\commands\La commande
speechtrouve ses sous-commandes grâce à leurs fichiers, alors rien d’autre ne change. -
Vérifiez que la commande est présente :
Fenêtre de terminal speech transcribe --helpusage: speech transcribe [-h] [--model {tiny,base,small,medium}][--split SPLIT] [--kind {phone,wideband}][--limit LIMIT] [--vad] [--prompt][--language {en,fr}]options:-h, --help show this help message and exit--model {tiny,base,small,medium}--split SPLIT--kind {phone,wideband}--limit LIMIT only the first N calls (0 for all)--vad cut the silences first (Silero VAD)--prompt give Whisper the Larkfield vocabulary--language {en,fr} only calls in this language -
Exécutez Whisper tiny sur les 5 premiers appels de test. La première exécution télécharge le modèle (environ 75 Mo).
Fenêtre de terminal speech transcribe --model tiny --limit 5whisper-tiny on 5 test calls (phone): WER 36.0%, CER 19.7%, order numbers wrong 2 of 4, real-time factor 0.022Wrote outputs/transcripts-whisper-tiny.jsonlLa commande transcrit chaque appel, sauvegarde les transcriptions dans
outputs/et les évalue avec le même guide quespeech score. Cinq appels forment un petit échantillon : un seul appel difficile change beaucoup le WER. Vos nombres peuvent différer un peu de ceux-ci; la note après les étapes explique pourquoi. La première exécution affiche aussi la progression du téléchargement (Fetching 6 files, récupération de 6 fichiers). Elle affiche également un avertissement sur les requêtes non authentifiées à Hugging Face. Vous pouvez ignorer les deux. -
Exécutez base et small sur les mêmes 5 appels. Small télécharge environ 480 Mo la première fois.
Fenêtre de terminal speech transcribe --model base --limit 5speech transcribe --model small --limit 5whisper-base on 5 test calls (phone): WER 22.6%, CER 11.3%, order numbers wrong 2 of 4, real-time factor 0.063Wrote outputs/transcripts-whisper-base.jsonlwhisper-small on 5 test calls (phone): WER 11.3%, CER 5.0%, order numbers wrong 0 of 4, real-time factor 0.085Wrote outputs/transcripts-whisper-small.jsonl
Vos facteurs temps réel seront différents : ils dépendent de votre processeur et des autres tâches de l’ordinateur. Dans un carnet infonuagique gratuit, ils sont souvent de 2 à 5 fois plus grands. Même sur un seul ordinateur, 5 appels donnent une vitesse instable. Une deuxième exécution de base sur les mêmes appels a donné ici un RTF de 0,102, pendant que d’autres programmes travaillaient. L’exécution enregistrée des 60 appels a donné 0,030. Le WER devrait être identique ou très proche, car le modèle et ses réglages sont fixés. Notre deuxième exécution a donné 23,1 % au lieu de 22,6 %. Les calculs du programme sur plusieurs fils d’exécution du CPU peuvent changer un mot de temps en temps. Mesurez la vitesse sur de nombreux appels, sur un ordinateur peu occupé.
À vous de jouer : la version à bande large
Section intitulée « À vous de jouer : la version à bande large »Faites une prédiction : sur les fichiers à bande large des mêmes 5 appels, le WER de Whisper tiny va-t-il diminuer? De combien? Exécutez ensuite le modèle avec --kind wideband.
Vérifiez votre réponse
speech transcribe --model tiny --limit 5 --kind widebandwhisper-tiny on 5 test calls (wideband): WER 22.9%, CER 11.1%, order numbers wrong 2 of 4, real-time factor 0.028Wrote outputs/transcripts-whisper-tiny.jsonlSur les 60 appels de test, tiny passe de 20,7 % au téléphone à 17,6 % en bande large. Sur 5 appels, le changement peut être plus grand ou plus petit. Comparez avec le tableau complet, pas avec vos 5 appels.
Erreur courante
Comparer des modèles sur des appels différents
Symptôme : Tomás place deux nombres côte à côte : Whisper medium 6,9 %, Whisper small 8,6 %. « Medium ne gagne que 1,7 point », dit-il. La semaine suivante, il dit le contraire.
Cause : medium a traité seulement les 20 premiers appels de test, et small, les 60 appels. Les 20 premiers appels sont plus difficiles que la moyenne. Sur ces mêmes 20 appels, small atteint 10,7 %. Medium y gagne donc 3,8 points. Les deux nombres de la première phrase mesurent des appels différents.
Correction : comparez les modèles seulement sur les mêmes appels, avec le même guide de normalisation. Si un modèle a traité moins d’appels, évaluez aussi les autres sur ces appels, et précisez-le.
Conséquence dans le travail en IA : une comparaison sur des données de test différentes peut inverser une décision. Pour cette raison, le tableau comparatif du cours utilise les mêmes données de test pour chaque méthode.
Vérifiez votre compréhension
Whisper small a un WER de 8,6 % et un RTF de 0,075. Whisper medium atteint 6,9 % (sur 20 appels) et un RTF de 0,19. Avec les cibles WER ≤ 10 % et RTF ≤ 0,1, lequel choisissez-vous pour la transcription par lots? Qu'est-ce qui vous ferait changer d'avis?
Afficher la réponse
Whisper small : c’est le plus petit modèle qui atteint les deux cibles. Medium n’atteint pas la cible de vitesse. De plus, son gain sur l’erreur a été mesuré sur seulement 20 appels. Vous reverriez votre choix si small manquait la cible sur une tranche importante, par exemple les appels en français à 15,1 %. Il faudrait aussi que medium corrige ce problème sur les mêmes appels. Vous devriez alors mesurer medium sur tous ces appels et tenir compte de sa vitesse.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Votre RTF pour Whisper tiny est de 0,06 sur votre portable, et la leçon indique 0,019. Votre installation est-elle défectueuse?
Afficher la réponse
Probablement pas. Le RTF dépend de l’ordinateur : son processeur, le nombre de fils d’exécution et l’utilisation ou non d’un GPU par le programme. Vérifiez que le WER est identique ou très proche, car le modèle et les réglages sont fixes. Si le WER correspond, votre installation est correcte et votre ordinateur est plus lent. Assurez-vous aussi de ne pas avoir chronométré la première exécution, qui comprend le téléchargement du modèle.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi le cours exécute-t-il Whisper avec des poids int8? Donnez les nombres pour Whisper small.
Afficher la réponse
int8 stocke chaque paramètre sur 8 bits plutôt que 32. Pour Whisper small, le WER est proche (8,6 % contre 8,2 % avec float32, soit 26 erreurs de plus sur 7 334 mots). Le RTF est plus bas (0,075 contre 0,087). La mémoire maximale est presque réduite de moitié (1,27 Go contre 2,21 Go). Ici, int8 coûte donc un peu d’exactitude et économise de la mémoire et du temps.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Chaque modèle a deux nombres : son erreur (WER) et sa vitesse (RTF). Convenez de cibles pour les deux avant de regarder les résultats.
- Sur les 60 appels téléphoniques de test synthétiques de Larkfield, Whisper small (8,6 %, RTF 0,075) est le plus petit modèle qui atteint WER ≤ 10 % et RTF ≤ 0,1. Medium est plus exact, mais plus lent, et a été mesuré sur seulement 20 appels.
- Les poids int8 changent peu le WER et réduisent la mémoire de moitié. La vitesse dépend aussi du programme (faster-whisper ou whisper.cpp) et du matériel qu’il détecte.
- Le nombre global cache les tranches : small atteint 3,1 % sur les appels en anglais et 15,1 % sur ceux en français.
- Nos appels synthétiques sont plus faciles que la parole réelle. Whisper small atteint 7,8 % sur les phrases réelles de LibriSpeech et 3,1 % sur nos appels en anglais.
- Comparez les modèles seulement sur les mêmes appels.
Vous pouvez maintenant choisir une taille de Whisper à partir de résultats mesurés et l’exécuter sur votre portable. Mais Larkfield pourrait aussi payer une entreprise pour transcrire ses appels. Vous verrez ensuite ce qu’une API de reconnaissance hébergée apporte, ce qu’elle coûte et où va l’audio des appelants.
Leçon suivante : Une API de reconnaissance hébergée