Détecter des commandes sur un petit appareil
- Étude de cas 3
- 150 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Dans neuf modules, nous avons cherché des mots importants dans les transcriptions. Dans cette étude de cas, nous détectons de courtes commandes vocales directement dans l'audio. Nous comparons un petit CNN à Whisper tiny et comptons les fausses alertes par heure.
Étude de cas 3 sur 4 · IA de la parole : transcrire, comprendre et parlerDétecter des commandes sur un petit appareil
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Choisissez un détecteur de mots-clés pour un petit appareil, à partir de vrais enregistrements de vraies personnes. Vous comparerez une référence de base par gabarits, un petit réseau convolutif, Whisper tiny avec une liste de mots et Vosk avec une grammaire. Vous les jugerez comme l’équipe produit : commandes détectées, fausses alertes par heure, vitesse et taille. Ensuite, choisissez un seuil sur les données de validation, testez une seule fois et exécutez le gagnant sur un nouvel enregistrement.
Le carnet (notebook) Jupyter exécute chaque étape de cette page avec le même code. Il télécharge environ 36 Mo : les extraits sous forme d’images log-mel, 24 extraits audio et les sorties enregistrées de Whisper tiny et Vosk. Il entraîne le réseau de neurones convolutif (CNN) sur votre ordinateur en moins d’une minute. Une cellule facultative exécute Whisper tiny et Vosk en direct sur six extraits. Aucun compte ni aucune clé ne sont nécessaires.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise des idées de tout le cours. Ces leçons sont les plus importantes :
- La détection de mots-clés, le rappel et les fausses alertes, dans Phrases de conformité et détection de mots-clés.
- Le spectrogramme, dans L’audio comme des données, et le détecteur d’énergie, dans Parole ou silence?.
- Une requête avec vos propres mots, dans Aider le modèle avec vos mots, et l’ancien pipeline Vosk, dans Du son au texte.
- Un seuil choisi sur les données de validation et les données de test utilisées une seule fois, dans le cours Apprentissage automatique : du problème à un modèle fiable : Seuils et calibration et Données d’entraînement, de validation et de test.
- La boucle d’entraînement, dans le cours L’apprentissage profond et les transformeurs expliqués : Lots, époques et validation.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet n’a besoin de rien de cela)
- Un environnement virtuel avec NumPy, SciPy, soundfile, matplotlib et PyTorch 2.15.0 (CPU). Pour la cellule facultative en direct : faster-whisper 1.2.1 et Vosk 0.3.44. L’environnement du projet
larkspeechdu module 4 convient après l’ajout de PyTorch et Vosk. Cette étude de cas ne modifie pas les fichiers du projet. - Le carnet, téléchargé à partir du lien ci-dessus. Sa cellule de préparation crée un nouveau dossier
speech-commands. Pour recommencer, supprimez ce dossier.
Testé sur macOS avec Python 3.12. Windows, Linux, Colab et Kaggle n’ont pas été testés.
La situation
Section intitulée « La situation »Le ventilateur Mistral est un produit de Larkfield Basics, la marque maison de Larkfield. Omar, le gestionnaire de produit, veut que le prochain modèle obéisse aux commandes vocales : « on », « off », « up » et « down » pour la vitesse, « left » et « right » pour tourner, « stop » et « go » pour l’oscillation, et « yes » et « no » pour confirmer. Le ventilateur possède une petite puce et aucune connexion Internet. Le détecteur doit donc fonctionner sur le ventilateur, et aucun audio ne doit quitter la pièce.
Omar nomme les deux erreurs qui comptent :
- Une fausse alerte. Le ventilateur agit sans que personne ait donné de commande. Les gens retournent un ventilateur qui démarre la nuit ou s’éteint pendant un appel. Omar fixe un budget : au plus 10 fausses alertes par heure de parole et de bruit sans commande. C’est encore une toutes les six minutes. Il s’agit donc d’une première cible, pas d’une cible finale.
- Une commande manquée. La personne dit « off » et rien ne se passe. Elle le répète, un peu agacée. C’est mauvais, mais moins qu’un ventilateur qui agit tout seul.
Tomás a déjà une réponse : « Mettez Whisper dessus. Il comprend tout. » Priya, la scientifique des données du cours, veut d’abord mesurer. Elle se demande quelle méthode respecte le budget, combien de commandes elle détecte et si elle tient sur la puce.
Ce que vous allez construire
Section intitulée « Ce que vous allez construire »Un détecteur de mots-clés fonctionne en boucle. Il écoute la dernière seconde de son, encore et encore, et décide chaque fois : une commande ou rien?
Description textuelle du diagramme
Le microphone fournit 16 000 nombres par seconde. Toutes les 100 millisecondes, l’appareil prend la dernière seconde de son et la transforme en image log-mel. Cette image compte 40 bandes sur 98 trames. Le détecteur lit l’image et fournit un mot ainsi qu’un score indiquant son degré de certitude. Si le mot est une commande et que le score atteint le seuil, l’appareil agit, puis attend une seconde. Sinon, il ne fait rien et ne conserve pas l’audio.
Vous essaierez quatre détecteurs dans la case centrale, sur les mêmes extraits et avec les mêmes mesures :
- Énergie et gabarits (la référence de base) : vérifier l’intensité sonore, puis trouver la « forme moyenne de mot » la plus proche.
- Un petit CNN entraîné sur des images log-mel : 45 132 poids, assez petit pour une puce.
- Whisper tiny avec une liste de mots : le modèle de reconnaissance du cours, avec les dix commandes comme requête.
- Vosk avec une grammaire : l’ancien modèle de reconnaissance du cours, autorisé à répondre seulement avec les dix commandes ou « unknown ».
Vous choisissez ensuite le seuil de chaque méthode sur les données de validation pour respecter le budget, puis testez une seule fois. Enfin, comparez la vitesse et la taille, puis exécutez le gagnant sur un nouvel enregistrement.
Les données
Section intitulée « Les données »Les données proviennent de Speech Commands v0.02. Ce jeu contient 105 829 extraits d’une seconde de 35 mots anglais. Les 2 618 bénévoles les ont enregistrés sur leurs propres téléphones et portables, dans leurs propres pièces. Ils ont enregistré ces mots à cette fin, au moyen d’une page Web. Il y a aussi six enregistrements plus longs de bruit de fond.
C’est de la vraie parole. Les appels de Larkfield du cours sont synthétiques : des voix claires lisent des textes préparés. Ici, les gens marmonnent, parlent loin du microphone ou coupent la fin du mot. Attendez-vous à plus de difficulté qu’avec les appels de Larkfield.
Écoutez deux extraits des données de test.
Transcription. « Yes. »
Transcription. « Bed. » Ce n’est pas une commande. Un détecteur qui agit sur ce mot produit une fausse alerte.
Ce que nous utilisons
Section intitulée « Ce que nous utilisons »| Partie | Description | Utilisation |
|---|---|---|
| Les dix commandes | yes, no, up, down, left, right, on, off, stop, go | Ce que le ventilateur doit détecter |
| Autres mots | les 25 autres mots, comme bed, happy, follow et les chiffres | Parole sans commande : fausses alertes |
| Bruit | six enregistrements : vaisselle, chat, vélo stationnaire, robinet ouvert, bruit rose et bruit blanc | Son sans parole : fausses alertes |
speaker |
un identifiant aléatoire pour chaque bénévole | Garder chaque personne dans une seule partition et trouver les locuteurs aux moins bons résultats |
Le jeu de données n’a conservé ni l’âge, ni le genre, ni l’accent, ni le lieu des bénévoles. Cette étude de cas peut donc comparer les mots et les locuteurs, mais pas les groupes de personnes.
La partition et l’échantillon
Section intitulée « La partition et l’échantillon »Le jeu de données possède sa propre règle de partition. Un hachage de l’identifiant du locuteur (une façon fixe de transformer un texte en nombre) place tous les extraits d’une personne dans la même partition. Priya conserve cette règle et prend un échantillon fixe pour limiter la taille du téléchargement :
| Partition | Commandes | Autres mots | Fenêtres de bruit | Locuteurs |
|---|---|---|---|---|
| Entraînement | 2 985 | 1 600 | 1 416 | 1 522 |
| Validation | 600 | 1 200 | 152 | 240 |
| Test | 1 000 | 1 800 | 152 | 242 |
Les fenêtres de bruit durent une seconde, avec une fenêtre toutes les demi-secondes. Chaque fichier de bruit est découpé dans le temps : les premiers 60 % pour l’entraînement, les 20 % suivants pour la validation et les derniers 20 % pour le test. Les données de test originales du jeu ne suivent pas cette règle. Leurs extraits de « silence » sont découpés au hasard dans les mêmes fichiers de bruit que ceux utilisés pour l’entraînement. Nous ne les utilisons pas.
Le carnet vérifie la partition :
people = {s: set(speaker[(split == s) & (label != "noise")]) for s in ["train", "valid", "test"]}shared = len(people["train"] & people["test"]) + len(people["train"] & people["valid"]) + len(people["valid"] & people["test"])print("speakers in two splits:", shared)speakers in two splits: 0Ce que cela nous dit. Aucun bénévole ne figure dans deux partitions. Le test contient donc seulement de nouvelles voix, comme pour un vrai ventilateur.
Définir le problème
Section intitulée « Définir le problème »- L’unité : une seconde de son, toutes les 100 ms sur l’appareil. Dans les mesures, un extrait ou une fenêtre de bruit.
- La décision : agir sur une commande ou ne rien faire.
- Détectées : la proportion d’extraits de commande où le détecteur agit avec le bon mot. Un mauvais mot (« up » entendu comme « off ») est pire qu’une commande manquée; il est donc compté séparément.
- Fausses alertes par heure : le nombre de fois où le détecteur agit sur d’autres mots ou du bruit, divisé par les heures de cet audio. Un extrait d’un autre mot compte pour une seconde; une fenêtre de bruit ajoute une demi-seconde.
- La règle : choisir le seuil de chaque méthode sur les données de validation. Prendre le seuil le plus bas qui respecte la limite de 10 fausses alertes par heure. Puis mesurer une seule fois sur les données de test.
Combien d’heures pouvons-nous mesurer?
Section intitulée « Combien d’heures pouvons-nous mesurer? »Les données de validation contiennent 1 200 extraits d’autres mots et 152 fenêtres de bruit : 1 276 secondes, environ 21 minutes. Une seule fausse alerte correspond déjà à 2,8 par heure. Le budget de 10 permet donc 3 fausses alertes dans les données de validation.
C’est la difficulté des fausses alertes. Voici une règle pratique, la règle de trois : si vous n’observez aucune fausse alerte en N heures, le taux réel peut encore atteindre environ 3 ÷ N par heure, avec une confiance de 95 %. Avec nos 21 minutes, « aucune fausse alerte » permet encore environ 8,5 par heure. Nous pouvons tester un budget de 10, mais pas « une par jour ». Cela exige des jours d’audio sans commande.
Explorer ce qu’exige la décision
Section intitulée « Explorer ce qu’exige la décision »Le son comme image : le spectrogramme log-mel
Section intitulée « Le son comme image : le spectrogramme log-mel »Dans L’audio comme des données, un spectrogramme montrait le temps à l’horizontale et la hauteur du son à la verticale. Un spectrogramme log-mel est la même image avec deux changements qui imitent l’oreille humaine. D’abord, il regroupe les hauteurs en 40 bandes mel. Les bandes sont étroites dans les graves et larges dans les aigus, car l’oreille distingue mieux les sons graves. Ensuite, l’intensité sonore est en décibels, sur une échelle logarithmique. L’oreille perçoit un son dix fois plus fort comme seulement « un peu plus fort ». Une seconde devient une petite image : 40 bandes sur 98 trames de 10 ms. Chaque détecteur de cette étude de cas lit cette image.

Description textuelle du diagramme
Les trois images partagent les mêmes axes : de 0 à 1 seconde à l’horizontale, et 40 bandes mel des graves aux aigus à la verticale. « Yes » est une forme brillante au milieu de la seconde. Ses bandes inférieures brillent pendant la voyelle, puis les bandes supérieures s’allument à la fin pour le « s » sifflant. « Bed » est une forme plus courte, surtout dans les bandes inférieures. Le robinet ouvert remplit toute l’image d’une texture uniforme, dans chaque bande, sans début ni fin.
Le carnet calcule l’image avec environ 15 lignes de NumPy (log_mel) et la compare à l’image stockée, à 0,25 dB près.
Ce que cela nous dit. Un mot a un début, une forme et une fin; le bruit n’en a pas. Mais deux mots peuvent avoir des formes semblables. Le détecteur doit donc distinguer les formes, pas seulement le son du silence.
Une référence de base : énergie et gabarits
Section intitulée « Une référence de base : énergie et gabarits »Avant tout modèle, Priya essaie la méthode la plus ancienne. Elle comporte deux étapes :
- Énergie : additionner l’intensité sonore de toutes les bandes de chaque trame, comme le détecteur d’énergie de Parole ou silence?. Si la trame la plus forte est sous 10 dB, il n’y a pas de parole : ne rien faire.
- Gabarits : extraire la partie forte de l’extrait et l’étirer à 32 trames. La comparer à un gabarit de chaque commande : la forme moyenne du mot dans les extraits d’entraînement. Il existe aussi un gabarit pour les « autres mots ». Le gabarit de commande le plus proche gagne. Le score mesure à quel point l’extrait est plus proche de ce gabarit que de celui des « autres mots ».
templates = {}for c in COMMANDS + ["other"]: # the mean shape of each word in the training clips templates[c] = np.mean([s for s, s_split, s_label in zip(shapes, split, label) if s is not None and s_split == "train" and s_label == c], axis=0)Sur les données de validation, sans aucun seuil :
{'right': 0.502, 'wrong word': 0.428, 'missed': 0.07, 'false alarms (other)': 1094, 'per hour (other)': 3282.0, 'false alarms (noise)': 131, 'per hour (noise)': 6205.3, 'false alarms per hour': 3456.1}Ce que cela nous dit. La référence de base reconnaît correctement la moitié des commandes. Mais elle agit sur 1 094 des 1 200 autres mots et sur 131 des 152 fenêtres de bruit. Cela représente environ 3 456 fausses alertes par heure. Une seule forme moyenne par mot ne peut pas représenter des milliers de voix. Et le bruit fort passe la vérification d’énergie. C’est le niveau minimal que toute autre méthode doit dépasser.
Trois possibilités
Section intitulée « Trois possibilités »Un petit CNN sur les images
Section intitulée « Un petit CNN sur les images »Le cours L’apprentissage profond et les transformeurs expliqués a construit un réseau convolutif pour les photos dans Classer des images de vêtements. L’idée repose sur un petit filtre : un ensemble de poids qui glisse sur l’entrée. Il produit un nombre élevé là où son motif apparaît. Ici, le filtre couvre les 40 bandes et 5 trames (50 ms), et glisse seulement dans le temps. Un filtre qui a appris « une voyelle commence ici » s’active au début de la voyelle dans « yes ». Cela fonctionne peu importe où le mot se trouve dans la seconde.

Description textuelle du diagramme
La partie supérieure montre l’image log-mel de « yes » avec un rectangle blanc. Le rectangle fait 5 trames de largeur et couvre les 40 bandes. Une flèche montre qu’il glisse dans le temps. La partie inférieure montre la réponse du filtre à chacune des 98 trames. Elle est presque nulle partout. Un seul pic net apparaît à l’emplacement du rectangle, à la trame 43, où commence la voyelle de « yes ».
Le réseau possède quatre couches de ce type, avec 48 filtres chacune. Après chaque couche, il garde la plus grande valeur de chaque paire de trames. Les filtres suivants voient ainsi des parties plus longues du mot. À la fin, il garde la réponse la plus forte de chaque filtre sur toute la seconde. Une dernière couche transforme ces 48 nombres en probabilités pour 12 classes : les dix commandes, « other » et « noise ». Il possède 45 132 poids. Chaque image est d’abord mise à l’échelle selon son point le plus intense. Une voix faible et une voix forte se ressemblent donc.
cnn = nn.Sequential(*block(40, 48), *block(48, 48), *block(48, 48), *block(48, 48), nn.AdaptiveMaxPool1d(1), nn.Flatten(), nn.Dropout(0.2), nn.Linear(48, len(CLASSES)))L’entraînement prend 12 époques sur les 6 001 éléments d’entraînement. Chaque mot est déplacé aléatoirement dans le temps, jusqu’à 60 ms. Sur le portable du cours, cela a pris environ 30 secondes avec deux fils d’exécution du processeur. Le mot du détecteur est la classe la plus probable; son score est la probabilité de cette classe. Sur les données de validation, sans seuil :
{'right': 0.902, 'wrong word': 0.047, 'missed': 0.052, 'false alarms (other)': 72, 'per hour (other)': 216.0, 'false alarms (noise)': 0, 'per hour (noise)': 0.0, 'false alarms per hour': 203.1}Ce que cela nous apprend. 90,2 % de réponses correctes, et aucune fausse alerte sur le bruit : la classe « noise » fonctionne. Mais le modèle agit encore sur 72 des 1 200 autres mots, surtout ceux qui ressemblent à une commande.
Whisper tiny avec une liste de mots
Section intitulée « Whisper tiny avec une liste de mots »L’idée de Tomás, à faible coût : le plus petit Whisper présenté dans Les tailles de Whisper sur un portable. On lui indique la langue (l’anglais) et les dix commandes comme requête (prompt), comme dans Aider le modèle avec vos mots. Whisper écrit du texte; le détecteur a donc besoin d’une règle. Il prend le premier mot après application du guide de normalisation du cours. Si c’est une commande, c’est le mot entendu. Le score est la probabilité moyenne des mots de Whisper.
Exécuter Whisper sur 4 904 éléments prend du temps. L’équipe du cours l’a donc exécuté une fois et a enregistré chaque sortie. Le carnet (notebook) Jupyter les réutilise, et une cellule facultative exécute Whisper directement sur six extraits. Voici ce qu’il a écrit pour certains éléments de test :
| Ce qui a été dit | Ce que Whisper a écrit (le plus fréquent d’abord) |
|---|---|
| « on » | « on. » 52, « On. » 17, « on » 13, « Come on. » 2 |
| « off » | « off. » 79, « up. » 5, « Off. » 3, « Oh. » 2 |
| chiffres (autres mots) | « 7 » 81, « 9 » 68, « Zero. » 57, « 6. » 56 |
| bruit | « you » 142, rien 9, « yes, no, up, down. » 1 |
Ce que cela nous apprend. Whisper entend bien les mots et transcrit les autres mots tels quels. Ils sont donc faciles à ignorer. Sur le bruit, il écrit « you » : le texte inventé décrit dans Pourquoi la VAD améliore la reconnaissance. Une fois, il a réécrit sa propre requête : une requête peut se retrouver dans la sortie.
Vosk avec une grammaire
Section intitulée « Vosk avec une grammaire »Vosk small, le système de reconnaissance plus ancien du cours, accepte une grammaire : la liste des seuls mots qu’il peut répondre. Ici : les dix commandes et [unk] (inconnu). Dans Phrases de conformité et détection de mots-clés, cela faisait de Vosk un détecteur rapide. Le score est le degré de confiance de Vosk dans le mot. Ses sorties ont été enregistrées de la même façon.
Les quatre méthodes sur les données de validation, avant tout seuil
Section intitulée « Les quatre méthodes sur les données de validation, avant tout seuil »| Méthode | Correct | Mauvais mot | Manqué | Fausses alertes par heure |
|---|---|---|---|---|
| Énergie + gabarit | 50,2 % | 42,8 % | 7,0 % | 3 456 |
| Petit CNN | 90,2 % | 4,7 % | 5,2 % | 203 |
| Whisper tiny + liste de mots | 91,2 % | 2,5 % | 6,3 % | 51 |
| Vosk + grammaire | 95,2 % | 1,2 % | 3,7 % | 344 |
Vosk détecte le plus de commandes, et Whisper produit le moins de fausses alertes. Mais personne ne livrerait ces méthodes telles quelles : le budget est de 10 par heure.
Une comparaison équitable : un budget, une règle de seuil
Section intitulée « Une comparaison équitable : un budget, une règle de seuil »Chaque méthode a un score. Un seuil plus élevé donne moins de fausses alertes et plus de commandes manquées. Le graphique montre tout le compromis sur les données de validation : chaque point représente un seuil.
- Petit CNN
- Whisper tiny
- Vosk
- Énergie + gabarit
- Budget : 10 par heure
Description textuelle du graphique
Un graphique à courbes. À l’horizontale : les fausses alertes par heure sur les données de validation, de 0 à 200. À la verticale : la proportion de commandes détectées, de 0 à 100 %. Une ligne verticale pointillée marque le budget de 10 par heure. La courbe de Whisper tiny monte le plus vite : au budget, il détecte 78,3 % des commandes. Celle du CNN est un peu plus basse près du budget, à 71,2 %. Elle dépasse 85 % lorsque davantage de fausses alertes sont permises. Vosk apparaît seulement à droite. Même à son degré de confiance maximal, il produit environ 135 fausses alertes par heure et détecte environ 91 % des commandes. La référence de base par gabarit reste près du bas : environ 4 % au budget.
Les seuils de Priya, choisis uniquement sur les données de validation :
| Méthode | Seuil | Correct (validation) | Fausses alertes par heure (validation) |
|---|---|---|---|
| Énergie + gabarit | 136,0 | 4,3 % | 8,5 |
| Petit CNN | 0,947 | 71,2 % | 8,5 |
| Whisper tiny + liste de mots | 0,613 | 78,3 % | 8,5 |
| Vosk + grammaire | 1,000 (son maximum) | 90,8 % | 135,4 |
Ce que cela nous apprend. Trois méthodes respectent le budget (3 fausses alertes en 21 minutes). Vosk ne le peut pas : la plupart de ses réponses, correctes ou non, ont un degré de confiance d’exactement 1,0. Un score qui ne distingue pas les réponses ne laisse aucun seuil à ajuster.
Le test final, une seule fois
Section intitulée « Le test final, une seule fois »Les données de test n’ont servi à aucun choix. Priya exécute chaque méthode une fois, avec son seuil de validation.
for name, (h, s) in methods.items(): r = evaluate(h, s, thresholds[name], "test") # the test split, once, at the validation threshold| Méthode | Correct | Mauvais mot | Manqué | Fausses alertes par heure : autres mots | bruit | total |
|---|---|---|---|---|---|---|
| Énergie + gabarit | 3,7 % | 0,0 % | 96,3 % | 2,0 | 0,0 | 1,9 |
| Petit CNN | 67,7 % | 0,1 % | 32,2 % | 14,0 | 0,0 | 13,4 |
| Whisper tiny + liste de mots | 76,0 % | 0,6 % | 23,4 % | 10,0 | 0,0 | 9,6 |
| Vosk + grammaire (aucun seuil ne respecte le budget) | 93,7 % | 0,2 % | 6,1 % | 152,0 | 0,0 | 145,8 |
Ce que cela nous apprend. Le test concorde avec la validation, avec une surprise qu’il faut reconnaître. Les fausses alertes du CNN sont passées de 8,5 à 13,4 par heure, un peu au-dessus du budget. Cela représente 7 fausses alertes en 31 minutes plutôt que 3 en 21 minutes. Avec si peu d’événements, le hasard peut expliquer la différence. Whisper tiny détecte environ 3 commandes sur 4, et le CNN, environ 2 sur 3. Les mauvais mots disparaissent presque : la plupart des réponses incorrectes étaient incertaines, et le seuil les élimine.
Plus de données : le même réseau sur tous les extraits d’entraînement
Section intitulée « Plus de données : le même réseau sur tous les extraits d’entraînement »Le CNN du carnet a appris à partir de 2 985 extraits de commandes et de 1 600 autres mots. Cela limite l’entraînement à une demi-minute. Les données d’entraînement du jeu de données contiennent 84 843 extraits. Priya entraîne le même réseau avec la même recette une fois sur tous les extraits. Cela prend environ sept minutes sur le portable du cours. Seules les données d’entraînement changent. Les mêmes extraits de validation servent à choisir le seuil, et les mêmes extraits de test servent à le mesurer.
| Petit CNN | Extraits d’entraînement | Seuil | Correct (test) | Fausses alertes par heure (test) |
|---|---|---|---|---|
| L’échantillon du carnet | 4 585 + bruit | 0,947 | 67,7 % | 13,4 |
| Tous les extraits d’entraînement (une exécution par l’équipe du cours) | 84 843 + bruit | 0,838 | 90,3 % | 3,8 |
Description textuelle du graphique
Un graphique à cinq colonnes, de 0 à 100 %. Gabarit : 3,7 %. CNN sur l’échantillon : 67,7 %. Whisper tiny : 76,0 %. Vosk : 93,7 %, mais avec 145,8 fausses alertes par heure, bien au-dessus du budget de 10. Le même CNN entraîné sur tous les extraits d’entraînement : 90,3 %, avec 3,8 fausses alertes par heure.
Ce que cela nous apprend. Avec 18 fois plus d’extraits d’entraînement, les mêmes 45 132 poids détectent 9 commandes sur 10. Ils produisent seulement 2 fausses alertes en 31 minutes. Chaque mot atteint maintenant 83 % ou plus, et le locuteur médian obtient toutes les commandes. Les chiffres du carnet illustrent la méthode; le modèle à livrer a besoin de toutes les données. Avec le modèle complet, le dixième des locuteurs aux pires résultats n’est encore détecté que 43,7 % du temps.
Les pires cas : mots et locuteurs
Section intitulée « Les pires cas : mots et locuteurs »Une moyenne cache les personnes qui ont un problème. Voici chaque commande, sur les données de test :
| Mot | Gabarit | CNN | Whisper tiny | Vosk |
|---|---|---|---|---|
| yes | 3 % | 81 % | 94 % | 98 % |
| no | 2 % | 50 % | 74 % | 98 % |
| up | 0 % | 67 % | 80 % | 82 % |
| down | 0 % | 59 % | 73 % | 93 % |
| left | 1 % | 74 % | 82 % | 91 % |
| right | 9 % | 70 % | 83 % | 96 % |
| on | 0 % | 68 % | 36 % | 93 % |
| off | 0 % | 78 % | 66 % | 93 % |
| stop | 22 % | 85 % | 91 % | 96 % |
| go | 0 % | 45 % | 81 % | 97 % |
Ce que cela nous apprend. Chaque méthode a un mot faible différent. Whisper tiny détecte « on » seulement 36 % du temps, même s’il écrit « on » dans 84 extraits sur 100. Un mot d’une syllabe obtient une faible probabilité moyenne, et un seuil commun à tous les mots l’élimine. Le CNN est le plus faible sur « go » (45 %) et « no » (50 %). Ce sont des mots courts avec une seule voyelle, proches d’autres mots du jeu, comme « dog » et « four ».
Et par locuteur : les données de test contiennent 122 bénévoles ayant au moins trois extraits de commandes.
| Méthode | Locuteur médian | Dixième des locuteurs aux pires résultats | Pire locuteur |
|---|---|---|---|
| Petit CNN | 74,2 % | 6,0 % | 0 % |
| Whisper tiny + liste de mots | 80,0 % | 24,9 % | 0 % |
| Vosk (au-dessus du budget) | 100 % | 51,8 % | 0 % |
Ce que cela nous apprend. Pour une personne sur dix, le CNN n’agit presque jamais. Sa voix, son microphone ou sa pièce diffèrent beaucoup de la plupart des extraits d’entraînement. Les données n’indiquent ni l’âge, ni le genre, ni l’accent; nous ne pouvons donc pas savoir qui sont ces personnes. Un projet pilote avec de vrais acheteurs doit poser ces questions.
Vitesse, taille et coût
Section intitulée « Vitesse, taille et coût »La puce d’un ventilateur est petite. Le cours a mesuré le temps de chaque méthode pour une décision : une seconde d’audio, avec l’image log-mel incluse. La mesure utilise un seul fil d’exécution du processeur du portable du cours, un Apple M4 :
| Méthode | Temps par décision | Taille du modèle | Tient sur une petite puce? |
|---|---|---|---|
| Énergie + gabarit | 0,25 ms | 0,06 Mo | oui |
| Petit CNN | 0,31 ms | 0,18 Mo (45 132 poids × 4 octets; environ 0,05 Mo à 8 bits) | oui |
| Vosk small + grammaire | 4,4 ms | 70,9 Mo | non : nécessite un petit ordinateur, comme un ordinateur monocarte |
| Whisper tiny | 275,7 ms | 78,2 Mo | non |
L’appareil prend une décision toutes les 100 ms. Whisper tiny a besoin de 276 ms par décision sur un cœur de portable. Il ne peut donc pas suivre le rythme, même sur cet appareil. Une petite puce est beaucoup plus lente qu’un portable; les 0,31 ms du CNN augmenteront aussi. Le cours n’a pas fait de mesure sur une puce : mesurez sur la vraie puce avant de promettre une vitesse.
Et un serveur? Tomás propose : « Alors, envoyons l’audio à un serveur avec Whisper. » Prenons l’hypothèse du cours : un serveur à processeur coûte 0,17 $ US par heure pour 4 processeurs virtuels. Cela représente environ 0,0425 $ US par heure-cœur. Si Whisper décide chaque demi-seconde, un cœur travaille 2 × 0,276 = 0,55 seconde par seconde d’audio. Cela représente environ 0,023 $ US par heure d’écoute pour un ventilateur. Un ventilateur qui écoute toute la journée coûte environ 205 $ US par année. Le CNN sur le ventilateur ne coûte rien par heure : la puce est déjà dans le ventilateur. Et le serveur reçoit chaque seconde du son de la pièce hors de la maison. Cela enfreint la première règle d’Omar.
La recommandation
Section intitulée « La recommandation »Priya écrit à Omar, avec les mots d’Omar :
- Utilisez le petit CNN sur la puce du ventilateur. C’est la seule méthode assez exacte et assez petite. Il fait 0,18 Mo et prend bien moins d’une milliseconde par décision sur un portable. Whisper tiny est 430 fois plus volumineux et environ 900 fois plus lent. Vosk ne peut pas respecter le budget de fausses alertes, et il est aussi trop volumineux.
- Entraînez-le sur tous les extraits d’entraînement, avec un seuil de 0,838. Au test, ce modèle a détecté 90,3 % des commandes. Il a produit 3,8 fausses alertes par heure sur des autres mots isolés, et aucune sur le bruit. Le plus petit modèle du carnet (67,7 %) montre la méthode, pas le produit.
- Attendez la fin du mot avant d’agir à nouveau. Dans l’enregistrement de cuisine ci-dessous, le modèle complet a agi deux fois sur un seul « yes ». La règle « attendre une seconde » est trop courte.
- Ajoutez une confirmation pour les commandes risquées. Pour « off » et « stop », agissez tout de suite; ces commandes sont sans danger. Pour « on » la nuit, un bref bip et un deuxième « yes » coûtent une seconde. Cela élimine la plupart des conséquences d’une fausse alerte.
- Ce qu’une personne vérifie encore : un projet pilote dans de vraies maisons, avec le consentement des propriétaires. Le ventilateur consigne seulement les heures et les mots qui ont déclenché une action, jamais l’audio. Une personne lit le journal et demande au propriétaire quelles actions étaient incorrectes.
Et pour quoi ne pas l’utiliser : tout ce qui doit savoir qui parle, tout usage critique pour la sécurité, ou une autre langue sans nouvelles données.
De bout en bout sur une nouvelle entrée : l’enregistrement de cuisine
Section intitulée « De bout en bout sur une nouvelle entrée : l’enregistrement de cuisine »Un extrait de test contient un seul mot clair. Dans une vraie pièce, un mot apparaît quelque part dans un flux de bruit. Priya construit un nouvel enregistrement à partir de parties que le modèle n’a jamais vues. Elle prend les derniers 20 % du bruit de vaisselle (la partie de test) et y place six extraits de test. C’est un exemple construit à partir de vrais enregistrements.
Transcription. À 2,0 s : « yes ». À 5,0 s : « bed ». À 8,0 s : « stop ». À 11,0 s : « go ». À 14,0 s : « seven ». À 16,5 s : « off ». Bruit de vaisselle tout au long.
Le CNN examine la dernière seconde toutes les 100 ms. Il agit lorsque son score atteint au moins son seuil, puis attend une seconde. Chaque ligne indique le début de la seconde qui a déclenché l’action, le mot et le score. D’abord, le CNN du carnet (seuil de 0,947) :
said: [(2.0, 'yes'), (5.0, 'bed'), (8.0, 'stop'), (11.0, 'go'), (14.0, 'seven'), (16.5, 'off')]acted: [(1.7, 'yes', 0.982), (7.5, 'stop', 0.978)]Ensuite, le même réseau entraîné sur tous les extraits (seuil de 0,838) :
acted: [(1.4, 'yes', 0.911), (2.4, 'yes', 0.965), (7.4, 'stop', 0.873), (8.4, 'up', 0.891), (10.5, 'go', 0.841), (16.4, 'off', 0.985)]Description textuelle du diagramme
La forme d’onde montre le bruit de vaisselle tout au long, avec six rectangles ombragés aux emplacements des mots. En dessous se trouvent les mots prononcés : yes, bed, stop, go, seven et off. En orange, le CNN du carnet a agi deux fois : sur « yes » et sur « stop ». En vert, le CNN entraîné sur tous les extraits a agi six fois. Il a agi deux fois sur « yes », puis sur « stop ». Ensuite, il a détecté « up » alors que « stop » se terminait encore, puis « go » et « off ». Aucun modèle n’a agi sur « bed » ou « seven ».
Ce que cela nous apprend. Les deux modèles ont ignoré le bruit et les deux autres mots. Le modèle du carnet a détecté deux commandes sur quatre. « go » était déjà son mot le plus faible, et dans le bruit, son score est tombé sous le seuil. Le modèle complet a détecté les quatre commandes, mais il a agi deux fois sur un seul « yes ». Il a aussi entendu « up » à la fin de « stop ». Ces deux actions supplémentaires viennent de la boucle, pas des tests sur les extraits. Un mot peut remplir deux fenêtres; « attendre une seconde » est donc trop court. Une meilleure règle attend que le score retombe sous le seuil. Les images d’entraînement contenaient aussi du bruit ou de la parole, jamais les deux ensemble. Mélanger les mots d’entraînement avec du bruit est le prochain changement à essayer.
Constats et limites
Section intitulée « Constats et limites »- Les fausses alertes déterminent le seuil, et le seuil détermine la méthode. Avant tout seuil, les trois autres méthodes détectent plus de 90 % des commandes. À 10 fausses alertes par heure, le CNN de l’échantillon en détecte 68 % et Whisper tiny, 76 %. Vosk ne peut pas respecter ce budget.
- Les données comptent plus que la taille du modèle. Le même petit CNN est passé de 67,7 % à 90,3 % avec tous les extraits d’entraînement. Il a dépassé Whisper tiny, qui est 430 fois plus gros.
- La boucle autour du modèle compte. Les tests sur des extraits ne révèlent pas les doubles actions; un enregistrement avec des mots dans du bruit le fait.
- Un bon système de reconnaissance n’est pas forcément un bon détecteur de mots-clés. Whisper écrit « on » correctement, mais sa probabilité est faible pour un mot court. La grammaire de Vosk accorde une confiance totale aux mauvais mots. Un détecteur a besoin d’un score qui distingue les bonnes réponses des mauvaises.
- La vraie parole est plus difficile que les appels synthétiques de Larkfield. Sur les appels de Larkfield, le détecteur Vosk a trouvé 56 % des avis d’enregistrement sans fausse alerte. Il n’y avait que 3 appels sans avis. Ici, avec 1 800 autres mots, ses fausses alertes sont mesurables, et trop nombreuses.
- Limites. Des mots isolés ne représentent pas un salon avec des phrases, la télévision et de la musique. Les 31 minutes de tests négatifs ne permettent pas d’établir un taux comme « une par jour ». Les vitesses proviennent d’un seul cœur de portable. Et les données ne contiennent aucun groupe de personnes, seulement des locuteurs et des mots.
Utilisation responsable
Section intitulée « Utilisation responsable »- Aucun audio ne quitte l’appareil, et aucun n’est conservé. C’est la principale raison d’exécuter le détecteur sur le ventilateur. Écrivez-le dans l’avis de confidentialité du produit, et respectez cet engagement à chaque mise à jour.
- Dites aux gens que le ventilateur écoute. Un voyant indique « écoute en cours », et un interrupteur désactive le microphone.
- Testez avec les personnes qui l’utiliseront. Même le modèle complet détecte les commandes moins d’une fois sur deux chez les 10 % de locuteurs les moins bien reconnus. Avant le lancement, recrutez des testeurs d’âges, d’accents et de voix variés, avec leur consentement.
- Les voix des bénévoles. De vraies personnes ont fourni ces extraits pour ce type de recherche, sous licence CC BY 4.0. Citez le jeu de données, utilisez les extraits pour détecter des mots, et ne tentez jamais d’identifier ou d’imiter un locuteur. Aucun extrait de cette étude de cas n’a été envoyé à un modèle hébergé.
Faites-en un projet pour votre portfolio
Section intitulée « Faites-en un projet pour votre portfolio »Cette étude de cas montre que vous pouvez passer des données à une décision pour un appareil avec un modèle de parole. Vous utilisez les mesures d’une équipe produit. Appropriez-vous le projet avec un changement. Ajoutez du bruit aux mots d’entraînement, ajoutez des seuils par mot, ou corrigez la double action dans la boucle. Ou essayez une autre langue du Multilingual Spoken Words Corpus (CC BY 4.0). Rendez ensuite le projet public et facile à lire en cinq minutes.
Quoi mettre dans le dépôt :
README.md(modèle ci-dessous).- Le carnet (notebook) Jupyter, exécuté du début à la fin, avec ses sorties.
results.csv: une ligne par méthode, avec le seuil, les commandes correctes, les mauvais mots, les commandes manquées et les fausses alertes par heure, sur validation et test.MODEL_CARD.md: l’usage prévu (dix commandes anglaises, sur l’appareil) et les usages exclus. Ajoutez les données, le budget, les résultats par mot et par locuteur, et les limites.- La source et la licence des données, avec le texte d’attribution de l’encadré ci-dessus.
Un modèle de README :
# A keyword spotter for a small device
## ProblemA fan obeys ten spoken commands, on the device, with no internet.Budget: at most 10 false alarms per hour of speech and noise that is not a command.
## Data and licenceSpeech Commands v0.02 (Warden, 2018), CC BY 4.0, https://arxiv.org/abs/1804.03209.Fixed sample: train 2,985 commands + 1,600 other words + noise; validation and test by thedataset's speaker split. Noise files cut in time so test noise is new.
## ApproachLog-mel pictures (40 x 98). Four spotters: energy + templates, a 45k-weight CNN,Whisper tiny with the commands as prompt, Vosk with a grammar. Thresholds chosen onvalidation for the budget; test used once.
## Results (test, once)CNN trained on all 84,843 training clips: 90.3% caught at 3.8 false alarms/hour,0.3 ms per decision on a laptop core, 0.18 MB. The same CNN on a 4,585-clip sample:67.7% at 13.4/hour. Whisper tiny 76.0% at 9.6/hour, but 276 ms and 78 MB.Vosk 93.7% but 146 false alarms/hour at its strictest.
## LimitsIsolated words, 31 minutes of test negatives, no speaker groups, speed measured on a laptop.Comment le décrire en entrevue, en deux phrases : « J’ai comparé quatre détecteurs de mots-clés pour un appareil sans Internet, avec des seuils choisis sur validation pour 10 fausses alertes par heure. Sur de nouveaux locuteurs, un CNN de 45 000 poids a détecté 90 % des commandes à moins de 4 fausses alertes par heure; Whisper tiny en a détecté 76 % et était 900 fois plus lent. »
Pour aller plus loin :
- Mélangez les mots d’entraînement avec le bruit d’entraînement, réentraînez le modèle et réexécutez l’enregistrement de la cuisine. Pour les images, additionnez la puissance des deux (
10 ** (db / 10)) à un volume aléatoire, puis reprenez le logarithme. Prédisez d’abord si « go » sera de nouveau détecté. - Donnez à chaque mot son propre seuil sur validation, pour le même budget total. Quels mots s’améliorent?
- Ajoutez une règle en deux étapes : agissez seulement quand deux fenêtres consécutives concordent. Mesurez l’effet sur les fausses alertes et sur le délai.
- Quantifiez le CNN sur 8 bits et mesurez le changement d’exactitude.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Avant tout seuil, Vosk avec une grammaire détecte 95,2 % des commandes de validation, le meilleur résultat des quatre méthodes. Omar demande pourquoi on ne le choisit pas. Que répondez-vous?
Afficher la réponse
Parce que le principal risque du ventilateur est d’agir tout seul, et que Vosk ne peut pas respecter le budget. La plupart de ses réponses ont une confiance d’exactement 1.0, qu’elles soient bonnes ou mauvaises. Même à son seuil le plus élevé, il produit donc environ 135 fausses alertes par heure sur validation. Sur test, c’est 145,8, contre un budget de 10. Un seuil aide seulement quand le score distingue les bonnes réponses des mauvaises. Vosk fait aussi environ 71 Mo, ce qui est trop gros pour la puce du ventilateur.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Les données de validation contiennent environ 21 minutes d'autres mots et de bruit. Le CNN n'a produit aucune fausse alerte sur le bruit. Tomás dit : « Donc, le problème du bruit est réglé. » Que pouvez-vous vraiment dire, et de quoi auriez-vous besoin pour en dire plus?
Afficher la réponse
La partie bruit de la validation ne contient que 76 secondes de nouveau bruit. « Zéro fausse alerte » constitue donc une preuve faible. Selon la règle de trois, zéro événement en N heures permet encore un taux allant jusqu’à environ 3 ÷ N par heure. Pour 76 secondes, cela dépasse 140 par heure. Vous pouvez dire qu’aucune fausse alerte n’est survenue sur ces six types de bruit. Pour en dire plus, il faut de nombreuses heures de vrais sons domestiques sans commande : télévision, musique et conversations. Comptez ensuite les fausses alertes sur ces sons.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Whisper tiny écrit « on » correctement dans 84 des 100 extraits de test. Mais à son seuil, il n'en détecte que 36 %. Expliquez pourquoi, et proposez une correction qui ne change pas le modèle.
Afficher la réponse
Le score est la probabilité moyenne des mots de Whisper. Un seul mot court comme « on » reçoit souvent une faible probabilité, même quand il est correct. Les fausses alertes de tous les mots réunis déterminent le seuil commun aux dix mots. Ce seuil élimine beaucoup de bonnes réponses « on ». Une correction : choisissez un seuil par mot sur validation, plus bas pour « on », en respectant le budget total de fausses alertes. Vérifiez ensuite une seule fois sur test que « on » s’améliore et que les fausses alertes restent près de 10 par heure.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un détecteur exécute une commande ou ne fait rien, toutes les 100 ms. Évaluez-le avec les commandes détectées, les mauvais mots et les fausses alertes par heure, séparément sur les autres mots et le bruit.
- Une image log-mel représente une seconde de son en 40 bandes mel et 98 trames, en dB. Les mots sont des formes, le bruit est une texture.
- Choisissez le seuil sur validation selon le budget de fausses alertes, puis testez une seule fois. À 10 par heure, le CNN de l’échantillon a détecté 67,7 % des commandes de test et Whisper tiny, 76,0 %. Vosk n’a pas pu respecter le budget, et la référence de base par gabarit en a détecté 3,7 %.
- Seul le petit CNN convient au ventilateur : 45 132 poids, 0,18 Mo, 0,31 ms par décision sur un cœur de portable. Entraîné sur les 84 843 extraits d’entraînement, il a détecté 90,3 % des commandes à 3,8 fausses alertes par heure. Whisper tiny est 900 fois plus lent.
- Vérifiez les mots et les locuteurs les moins bien reconnus : Whisper a manqué « on », le CNN a manqué « go ». Pour un locuteur sur dix, le CNN n’agit presque jamais.
- Peu d’heures de tests négatifs limitent ce que vous pouvez affirmer : aucune fausse alerte en N heures permet encore environ 3 ÷ N par heure.
Ensuite, la dernière étude de cas : un SVI pour les demandes orales d’une banque, testé par groupe de locuteurs.
Leçon suivante : Un serveur vocal pour des intentions dites à voix haute