Aller au contenu
English

Détecter des commandes sur un petit appareil

  • Étude de cas 3
  • 150 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Dans neuf modules, nous avons cherché des mots importants dans les transcriptions. Dans cette étude de cas, nous détectons de courtes commandes vocales directement dans l'audio. Nous comparons un petit CNN à Whisper tiny et comptons les fausses alertes par heure.

Étude de cas 3 sur 4 · IA de la parole : transcrire, comprendre et parlerDétecter des commandes sur un petit appareil
Aperçu du cours

Ce que vous saurez faire

Choisissez un détecteur de mots-clés pour un petit appareil, à partir de vrais enregistrements de vraies personnes. Vous comparerez une référence de base par gabarits, un petit réseau convolutif, Whisper tiny avec une liste de mots et Vosk avec une grammaire. Vous les jugerez comme l’équipe produit : commandes détectées, fausses alertes par heure, vitesse et taille. Ensuite, choisissez un seuil sur les données de validation, testez une seule fois et exécutez le gagnant sur un nouvel enregistrement.

Étude de casPièce de portfolio

Licence
CC BY 4.0
Durée
Environ 2,5 heures
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Spectrogramme log-mel
  • Référence de base par gabarits
  • Petit CNN dans PyTorch
  • Whisper avec une liste de mots
  • Vosk avec une grammaire
  • Fausses alertes par heure
  • Seuil pour un budget
  • Latence et taille du modèle

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Le carnet (notebook) Jupyter exécute chaque étape de cette page avec le même code. Il télécharge environ 36 Mo : les extraits sous forme d’images log-mel, 24 extraits audio et les sorties enregistrées de Whisper tiny et Vosk. Il entraîne le réseau de neurones convolutif (CNN) sur votre ordinateur en moins d’une minute. Une cellule facultative exécute Whisper tiny et Vosk en direct sur six extraits. Aucun compte ni aucune clé ne sont nécessaires.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

Ce que vous devez savoir

Cette étude de cas utilise des idées de tout le cours. Ces leçons sont les plus importantes :

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet n’a besoin de rien de cela)

  • Un environnement virtuel avec NumPy, SciPy, soundfile, matplotlib et PyTorch 2.15.0 (CPU). Pour la cellule facultative en direct : faster-whisper 1.2.1 et Vosk 0.3.44. L’environnement du projet larkspeech du module 4 convient après l’ajout de PyTorch et Vosk. Cette étude de cas ne modifie pas les fichiers du projet.
  • Le carnet, téléchargé à partir du lien ci-dessus. Sa cellule de préparation crée un nouveau dossier speech-commands. Pour recommencer, supprimez ce dossier.

Testé sur macOS avec Python 3.12. Windows, Linux, Colab et Kaggle n’ont pas été testés.

Le ventilateur Mistral est un produit de Larkfield Basics, la marque maison de Larkfield. Omar, le gestionnaire de produit, veut que le prochain modèle obéisse aux commandes vocales : « on », « off », « up » et « down » pour la vitesse, « left » et « right » pour tourner, « stop » et « go » pour l’oscillation, et « yes » et « no » pour confirmer. Le ventilateur possède une petite puce et aucune connexion Internet. Le détecteur doit donc fonctionner sur le ventilateur, et aucun audio ne doit quitter la pièce.

Omar nomme les deux erreurs qui comptent :

  • Une fausse alerte. Le ventilateur agit sans que personne ait donné de commande. Les gens retournent un ventilateur qui démarre la nuit ou s’éteint pendant un appel. Omar fixe un budget : au plus 10 fausses alertes par heure de parole et de bruit sans commande. C’est encore une toutes les six minutes. Il s’agit donc d’une première cible, pas d’une cible finale.
  • Une commande manquée. La personne dit « off » et rien ne se passe. Elle le répète, un peu agacée. C’est mauvais, mais moins qu’un ventilateur qui agit tout seul.

Tomás a déjà une réponse : « Mettez Whisper dessus. Il comprend tout. » Priya, la scientifique des données du cours, veut d’abord mesurer. Elle se demande quelle méthode respecte le budget, combien de commandes elle détecte et si elle tient sur la puce.

Un détecteur de mots-clés fonctionne en boucle. Il écoute la dernière seconde de son, encore et encore, et décide chaque fois : une commande ou rien?

Un flux de gauche à droite. Microphone, 16 000 nombres par seconde. La dernière seconde, reprise toutes les 100 ms. Image log-mel, 40 bandes sur 98 trames. Détecteur, un mot et un score qui indique son degré de certitude. Une question : une commande, avec un score au moins égal au seuil? Oui : agir, puis attendre 1 seconde. Non : ne rien faire; l'audio n'est pas conservé.
La boucle du détecteur sur l'appareil. Chaque méthode de cette étude de cas remplit la case « détecteur »; le seuil est choisi pour le budget de fausses alertes.
Description textuelle du diagramme

Le microphone fournit 16 000 nombres par seconde. Toutes les 100 millisecondes, l’appareil prend la dernière seconde de son et la transforme en image log-mel. Cette image compte 40 bandes sur 98 trames. Le détecteur lit l’image et fournit un mot ainsi qu’un score indiquant son degré de certitude. Si le mot est une commande et que le score atteint le seuil, l’appareil agit, puis attend une seconde. Sinon, il ne fait rien et ne conserve pas l’audio.

Vous essaierez quatre détecteurs dans la case centrale, sur les mêmes extraits et avec les mêmes mesures :

  1. Énergie et gabarits (la référence de base) : vérifier l’intensité sonore, puis trouver la « forme moyenne de mot » la plus proche.
  2. Un petit CNN entraîné sur des images log-mel : 45 132 poids, assez petit pour une puce.
  3. Whisper tiny avec une liste de mots : le modèle de reconnaissance du cours, avec les dix commandes comme requête.
  4. Vosk avec une grammaire : l’ancien modèle de reconnaissance du cours, autorisé à répondre seulement avec les dix commandes ou « unknown ».

Vous choisissez ensuite le seuil de chaque méthode sur les données de validation pour respecter le budget, puis testez une seule fois. Enfin, comparez la vitesse et la taille, puis exécutez le gagnant sur un nouvel enregistrement.

Les données proviennent de Speech Commands v0.02. Ce jeu contient 105 829 extraits d’une seconde de 35 mots anglais. Les 2 618 bénévoles les ont enregistrés sur leurs propres téléphones et portables, dans leurs propres pièces. Ils ont enregistré ces mots à cette fin, au moyen d’une page Web. Il y a aussi six enregistrements plus longs de bruit de fond.

C’est de la vraie parole. Les appels de Larkfield du cours sont synthétiques : des voix claires lisent des textes préparés. Ici, les gens marmonnent, parlent loin du microphone ou coupent la fin du mot. Attendez-vous à plus de difficulté qu’avec les appels de Larkfield.

Écoutez deux extraits des données de test.

Une commande : « yes » (extrait de test yes/43fc47a7_nohash_0). Une personne bénévole de Speech Commands, CC BY 4.0. Une seconde, 16 kHz.

Transcription. « Yes. »

Un autre mot : « bed » (extrait de test bed/1b4c9b89_nohash_0). Une personne bénévole de Speech Commands, CC BY 4.0. Une seconde, 16 kHz.

Transcription. « Bed. » Ce n’est pas une commande. Un détecteur qui agit sur ce mot produit une fausse alerte.

Partie Description Utilisation
Les dix commandes yes, no, up, down, left, right, on, off, stop, go Ce que le ventilateur doit détecter
Autres mots les 25 autres mots, comme bed, happy, follow et les chiffres Parole sans commande : fausses alertes
Bruit six enregistrements : vaisselle, chat, vélo stationnaire, robinet ouvert, bruit rose et bruit blanc Son sans parole : fausses alertes
speaker un identifiant aléatoire pour chaque bénévole Garder chaque personne dans une seule partition et trouver les locuteurs aux moins bons résultats

Le jeu de données n’a conservé ni l’âge, ni le genre, ni l’accent, ni le lieu des bénévoles. Cette étude de cas peut donc comparer les mots et les locuteurs, mais pas les groupes de personnes.

Le jeu de données possède sa propre règle de partition. Un hachage de l’identifiant du locuteur (une façon fixe de transformer un texte en nombre) place tous les extraits d’une personne dans la même partition. Priya conserve cette règle et prend un échantillon fixe pour limiter la taille du téléchargement :

Partition Commandes Autres mots Fenêtres de bruit Locuteurs
Entraînement 2 985 1 600 1 416 1 522
Validation 600 1 200 152 240
Test 1 000 1 800 152 242

Les fenêtres de bruit durent une seconde, avec une fenêtre toutes les demi-secondes. Chaque fichier de bruit est découpé dans le temps : les premiers 60 % pour l’entraînement, les 20 % suivants pour la validation et les derniers 20 % pour le test. Les données de test originales du jeu ne suivent pas cette règle. Leurs extraits de « silence » sont découpés au hasard dans les mêmes fichiers de bruit que ceux utilisés pour l’entraînement. Nous ne les utilisons pas.

Le carnet vérifie la partition :

people = {s: set(speaker[(split == s) & (label != "noise")]) for s in ["train", "valid", "test"]}
shared = len(people["train"] & people["test"]) + len(people["train"] & people["valid"]) + len(people["valid"] & people["test"])
print("speakers in two splits:", shared)
speakers in two splits: 0

Ce que cela nous dit. Aucun bénévole ne figure dans deux partitions. Le test contient donc seulement de nouvelles voix, comme pour un vrai ventilateur.

  • L’unité : une seconde de son, toutes les 100 ms sur l’appareil. Dans les mesures, un extrait ou une fenêtre de bruit.
  • La décision : agir sur une commande ou ne rien faire.
  • Détectées : la proportion d’extraits de commande où le détecteur agit avec le bon mot. Un mauvais mot (« up » entendu comme « off ») est pire qu’une commande manquée; il est donc compté séparément.
  • Fausses alertes par heure : le nombre de fois où le détecteur agit sur d’autres mots ou du bruit, divisé par les heures de cet audio. Un extrait d’un autre mot compte pour une seconde; une fenêtre de bruit ajoute une demi-seconde.
  • La règle : choisir le seuil de chaque méthode sur les données de validation. Prendre le seuil le plus bas qui respecte la limite de 10 fausses alertes par heure. Puis mesurer une seule fois sur les données de test.

Les données de validation contiennent 1 200 extraits d’autres mots et 152 fenêtres de bruit : 1 276 secondes, environ 21 minutes. Une seule fausse alerte correspond déjà à 2,8 par heure. Le budget de 10 permet donc 3 fausses alertes dans les données de validation.

C’est la difficulté des fausses alertes. Voici une règle pratique, la règle de trois : si vous n’observez aucune fausse alerte en N heures, le taux réel peut encore atteindre environ 3 ÷ N par heure, avec une confiance de 95 %. Avec nos 21 minutes, « aucune fausse alerte » permet encore environ 8,5 par heure. Nous pouvons tester un budget de 10, mais pas « une par jour ». Cela exige des jours d’audio sans commande.

Dans L’audio comme des données, un spectrogramme montrait le temps à l’horizontale et la hauteur du son à la verticale. Un spectrogramme log-mel est la même image avec deux changements qui imitent l’oreille humaine. D’abord, il regroupe les hauteurs en 40 bandes mel. Les bandes sont étroites dans les graves et larges dans les aigus, car l’oreille distingue mieux les sons graves. Ensuite, l’intensité sonore est en décibels, sur une échelle logarithmique. L’oreille perçoit un son dix fois plus fort comme seulement « un peu plus fort ». Une seconde devient une petite image : 40 bandes sur 98 trames de 10 ms. Chaque détecteur de cette étude de cas lit cette image.

Trois images log-mel côte à côte, chacune d'une seconde, avec 40 bandes mel des graves aux aigus. Yes : une forme brillante entre environ 0,4 et 0,85 seconde, d'abord brillante en bas, puis une zone brillante dans les bandes supérieures à la fin, le son s. Bed (un autre mot) : une forme brillante entre environ 0,5 et 0,9 seconde, surtout dans les bandes inférieures. Robinet ouvert (bruit) : une texture gris-orange uniforme sur toute la seconde et toutes les bandes, sans forme.
Images log-mel d'une commande, d'un autre mot et de bruit, tirées des données de l'étude de cas. Les zones brillantes indiquent un son fort. Un mot est une forme dans le temps; le bruit est une texture.
Description textuelle du diagramme

Les trois images partagent les mêmes axes : de 0 à 1 seconde à l’horizontale, et 40 bandes mel des graves aux aigus à la verticale. « Yes » est une forme brillante au milieu de la seconde. Ses bandes inférieures brillent pendant la voyelle, puis les bandes supérieures s’allument à la fin pour le « s » sifflant. « Bed » est une forme plus courte, surtout dans les bandes inférieures. Le robinet ouvert remplit toute l’image d’une texture uniforme, dans chaque bande, sans début ni fin.

Le carnet calcule l’image avec environ 15 lignes de NumPy (log_mel) et la compare à l’image stockée, à 0,25 dB près.

Ce que cela nous dit. Un mot a un début, une forme et une fin; le bruit n’en a pas. Mais deux mots peuvent avoir des formes semblables. Le détecteur doit donc distinguer les formes, pas seulement le son du silence.

Avant tout modèle, Priya essaie la méthode la plus ancienne. Elle comporte deux étapes :

  1. Énergie : additionner l’intensité sonore de toutes les bandes de chaque trame, comme le détecteur d’énergie de Parole ou silence?. Si la trame la plus forte est sous 10 dB, il n’y a pas de parole : ne rien faire.
  2. Gabarits : extraire la partie forte de l’extrait et l’étirer à 32 trames. La comparer à un gabarit de chaque commande : la forme moyenne du mot dans les extraits d’entraînement. Il existe aussi un gabarit pour les « autres mots ». Le gabarit de commande le plus proche gagne. Le score mesure à quel point l’extrait est plus proche de ce gabarit que de celui des « autres mots ».
templates = {}
for c in COMMANDS + ["other"]: # the mean shape of each word in the training clips
templates[c] = np.mean([s for s, s_split, s_label in zip(shapes, split, label)
if s is not None and s_split == "train" and s_label == c], axis=0)

Sur les données de validation, sans aucun seuil :

{'right': 0.502, 'wrong word': 0.428, 'missed': 0.07, 'false alarms (other)': 1094, 'per hour (other)': 3282.0,
'false alarms (noise)': 131, 'per hour (noise)': 6205.3, 'false alarms per hour': 3456.1}

Ce que cela nous dit. La référence de base reconnaît correctement la moitié des commandes. Mais elle agit sur 1 094 des 1 200 autres mots et sur 131 des 152 fenêtres de bruit. Cela représente environ 3 456 fausses alertes par heure. Une seule forme moyenne par mot ne peut pas représenter des milliers de voix. Et le bruit fort passe la vérification d’énergie. C’est le niveau minimal que toute autre méthode doit dépasser.

Le cours L’apprentissage profond et les transformeurs expliqués a construit un réseau convolutif pour les photos dans Classer des images de vêtements. L’idée repose sur un petit filtre : un ensemble de poids qui glisse sur l’entrée. Il produit un nombre élevé là où son motif apparaît. Ici, le filtre couvre les 40 bandes et 5 trames (50 ms), et glisse seulement dans le temps. Un filtre qui a appris « une voyelle commence ici » s’active au début de la voyelle dans « yes ». Cela fonctionne peu importe où le mot se trouve dans la seconde.

En haut : l'image log-mel de yes, avec un rectangle blanc de 5 trames de largeur couvrant les 40 bandes. Une flèche vers la droite montre que le filtre glisse dans le temps. En bas : une courbe de la réponse du filtre pour chacune des 98 trames. Elle reste près de zéro presque partout, avec un seul pic net à l'emplacement du rectangle, à la trame 43. C'est là que commence la voyelle de yes.
Un des 48 filtres de la première couche du CNN entraîné, sur l'extrait « yes ». Sa réponse est la plus forte là où se trouve le motif appris. Graphique tiré du réseau entraîné.
Description textuelle du diagramme

La partie supérieure montre l’image log-mel de « yes » avec un rectangle blanc. Le rectangle fait 5 trames de largeur et couvre les 40 bandes. Une flèche montre qu’il glisse dans le temps. La partie inférieure montre la réponse du filtre à chacune des 98 trames. Elle est presque nulle partout. Un seul pic net apparaît à l’emplacement du rectangle, à la trame 43, où commence la voyelle de « yes ».

Le réseau possède quatre couches de ce type, avec 48 filtres chacune. Après chaque couche, il garde la plus grande valeur de chaque paire de trames. Les filtres suivants voient ainsi des parties plus longues du mot. À la fin, il garde la réponse la plus forte de chaque filtre sur toute la seconde. Une dernière couche transforme ces 48 nombres en probabilités pour 12 classes : les dix commandes, « other » et « noise ». Il possède 45 132 poids. Chaque image est d’abord mise à l’échelle selon son point le plus intense. Une voix faible et une voix forte se ressemblent donc.

cnn = nn.Sequential(*block(40, 48), *block(48, 48), *block(48, 48), *block(48, 48),
nn.AdaptiveMaxPool1d(1), nn.Flatten(), nn.Dropout(0.2), nn.Linear(48, len(CLASSES)))

L’entraînement prend 12 époques sur les 6 001 éléments d’entraînement. Chaque mot est déplacé aléatoirement dans le temps, jusqu’à 60 ms. Sur le portable du cours, cela a pris environ 30 secondes avec deux fils d’exécution du processeur. Le mot du détecteur est la classe la plus probable; son score est la probabilité de cette classe. Sur les données de validation, sans seuil :

{'right': 0.902, 'wrong word': 0.047, 'missed': 0.052, 'false alarms (other)': 72, 'per hour (other)': 216.0,
'false alarms (noise)': 0, 'per hour (noise)': 0.0, 'false alarms per hour': 203.1}

Ce que cela nous apprend. 90,2 % de réponses correctes, et aucune fausse alerte sur le bruit : la classe « noise » fonctionne. Mais le modèle agit encore sur 72 des 1 200 autres mots, surtout ceux qui ressemblent à une commande.

L’idée de Tomás, à faible coût : le plus petit Whisper présenté dans Les tailles de Whisper sur un portable. On lui indique la langue (l’anglais) et les dix commandes comme requête (prompt), comme dans Aider le modèle avec vos mots. Whisper écrit du texte; le détecteur a donc besoin d’une règle. Il prend le premier mot après application du guide de normalisation du cours. Si c’est une commande, c’est le mot entendu. Le score est la probabilité moyenne des mots de Whisper.

Exécuter Whisper sur 4 904 éléments prend du temps. L’équipe du cours l’a donc exécuté une fois et a enregistré chaque sortie. Le carnet (notebook) Jupyter les réutilise, et une cellule facultative exécute Whisper directement sur six extraits. Voici ce qu’il a écrit pour certains éléments de test :

Ce qui a été dit Ce que Whisper a écrit (le plus fréquent d’abord)
« on » « on. » 52, « On. » 17, « on » 13, « Come on. » 2
« off » « off. » 79, « up. » 5, « Off. » 3, « Oh. » 2
chiffres (autres mots) « 7 » 81, « 9 » 68, « Zero. » 57, « 6. » 56
bruit « you » 142, rien 9, « yes, no, up, down. » 1

Ce que cela nous apprend. Whisper entend bien les mots et transcrit les autres mots tels quels. Ils sont donc faciles à ignorer. Sur le bruit, il écrit « you » : le texte inventé décrit dans Pourquoi la VAD améliore la reconnaissance. Une fois, il a réécrit sa propre requête : une requête peut se retrouver dans la sortie.

Vosk small, le système de reconnaissance plus ancien du cours, accepte une grammaire : la liste des seuls mots qu’il peut répondre. Ici : les dix commandes et [unk] (inconnu). Dans Phrases de conformité et détection de mots-clés, cela faisait de Vosk un détecteur rapide. Le score est le degré de confiance de Vosk dans le mot. Ses sorties ont été enregistrées de la même façon.

Les quatre méthodes sur les données de validation, avant tout seuil

Section intitulée « Les quatre méthodes sur les données de validation, avant tout seuil »
Méthode Correct Mauvais mot Manqué Fausses alertes par heure
Énergie + gabarit 50,2 % 42,8 % 7,0 % 3 456
Petit CNN 90,2 % 4,7 % 5,2 % 203
Whisper tiny + liste de mots 91,2 % 2,5 % 6,3 % 51
Vosk + grammaire 95,2 % 1,2 % 3,7 % 344

Vosk détecte le plus de commandes, et Whisper produit le moins de fausses alertes. Mais personne ne livrerait ces méthodes telles quelles : le budget est de 10 par heure.

Une comparaison équitable : un budget, une règle de seuil

Section intitulée « Une comparaison équitable : un budget, une règle de seuil »

Chaque méthode a un score. Un seuil plus élevé donne moins de fausses alertes et plus de commandes manquées. Le graphique montre tout le compromis sur les données de validation : chaque point représente un seuil.

  • Petit CNN
  • Whisper tiny
  • Vosk
  • Énergie + gabarit
  • Budget : 10 par heure
Commandes détectées selon les fausses alertes par heure sur les données de validation, lorsque le seuil de chaque méthode change. Valeurs mesurées; sorties de Whisper tiny et Vosk enregistrées. Plus haut et plus à gauche, c'est mieux. Les méthodes doivent rester à gauche de la ligne pointillée du budget.
Description textuelle du graphique

Un graphique à courbes. À l’horizontale : les fausses alertes par heure sur les données de validation, de 0 à 200. À la verticale : la proportion de commandes détectées, de 0 à 100 %. Une ligne verticale pointillée marque le budget de 10 par heure. La courbe de Whisper tiny monte le plus vite : au budget, il détecte 78,3 % des commandes. Celle du CNN est un peu plus basse près du budget, à 71,2 %. Elle dépasse 85 % lorsque davantage de fausses alertes sont permises. Vosk apparaît seulement à droite. Même à son degré de confiance maximal, il produit environ 135 fausses alertes par heure et détecte environ 91 % des commandes. La référence de base par gabarit reste près du bas : environ 4 % au budget.

Les seuils de Priya, choisis uniquement sur les données de validation :

Méthode Seuil Correct (validation) Fausses alertes par heure (validation)
Énergie + gabarit 136,0 4,3 % 8,5
Petit CNN 0,947 71,2 % 8,5
Whisper tiny + liste de mots 0,613 78,3 % 8,5
Vosk + grammaire 1,000 (son maximum) 90,8 % 135,4

Ce que cela nous apprend. Trois méthodes respectent le budget (3 fausses alertes en 21 minutes). Vosk ne le peut pas : la plupart de ses réponses, correctes ou non, ont un degré de confiance d’exactement 1,0. Un score qui ne distingue pas les réponses ne laisse aucun seuil à ajuster.

Les données de test n’ont servi à aucun choix. Priya exécute chaque méthode une fois, avec son seuil de validation.

for name, (h, s) in methods.items():
r = evaluate(h, s, thresholds[name], "test") # the test split, once, at the validation threshold
Méthode Correct Mauvais mot Manqué Fausses alertes par heure : autres mots bruit total
Énergie + gabarit 3,7 % 0,0 % 96,3 % 2,0 0,0 1,9
Petit CNN 67,7 % 0,1 % 32,2 % 14,0 0,0 13,4
Whisper tiny + liste de mots 76,0 % 0,6 % 23,4 % 10,0 0,0 9,6
Vosk + grammaire (aucun seuil ne respecte le budget) 93,7 % 0,2 % 6,1 % 152,0 0,0 145,8

Ce que cela nous apprend. Le test concorde avec la validation, avec une surprise qu’il faut reconnaître. Les fausses alertes du CNN sont passées de 8,5 à 13,4 par heure, un peu au-dessus du budget. Cela représente 7 fausses alertes en 31 minutes plutôt que 3 en 21 minutes. Avec si peu d’événements, le hasard peut expliquer la différence. Whisper tiny détecte environ 3 commandes sur 4, et le CNN, environ 2 sur 3. Les mauvais mots disparaissent presque : la plupart des réponses incorrectes étaient incertaines, et le seuil les élimine.

Plus de données : le même réseau sur tous les extraits d’entraînement

Section intitulée « Plus de données : le même réseau sur tous les extraits d’entraînement »

Le CNN du carnet a appris à partir de 2 985 extraits de commandes et de 1 600 autres mots. Cela limite l’entraînement à une demi-minute. Les données d’entraînement du jeu de données contiennent 84 843 extraits. Priya entraîne le même réseau avec la même recette une fois sur tous les extraits. Cela prend environ sept minutes sur le portable du cours. Seules les données d’entraînement changent. Les mêmes extraits de validation servent à choisir le seuil, et les mêmes extraits de test servent à le mesurer.

Petit CNN Extraits d’entraînement Seuil Correct (test) Fausses alertes par heure (test)
L’échantillon du carnet 4 585 + bruit 0,947 67,7 % 13,4
Tous les extraits d’entraînement (une exécution par l’équipe du cours) 84 843 + bruit 0,838 90,3 % 3,8
Commandes détectées parmi les 1 000 commandes de test, au seuil de validation de chaque méthode (mesurées une fois). La barre de Vosk dépasse le budget (145,8 fausses alertes par heure); les autres le respectent sur les données de validation.
Description textuelle du graphique

Un graphique à cinq colonnes, de 0 à 100 %. Gabarit : 3,7 %. CNN sur l’échantillon : 67,7 %. Whisper tiny : 76,0 %. Vosk : 93,7 %, mais avec 145,8 fausses alertes par heure, bien au-dessus du budget de 10. Le même CNN entraîné sur tous les extraits d’entraînement : 90,3 %, avec 3,8 fausses alertes par heure.

Ce que cela nous apprend. Avec 18 fois plus d’extraits d’entraînement, les mêmes 45 132 poids détectent 9 commandes sur 10. Ils produisent seulement 2 fausses alertes en 31 minutes. Chaque mot atteint maintenant 83 % ou plus, et le locuteur médian obtient toutes les commandes. Les chiffres du carnet illustrent la méthode; le modèle à livrer a besoin de toutes les données. Avec le modèle complet, le dixième des locuteurs aux pires résultats n’est encore détecté que 43,7 % du temps.

Une moyenne cache les personnes qui ont un problème. Voici chaque commande, sur les données de test :

Mot Gabarit CNN Whisper tiny Vosk
yes 3 % 81 % 94 % 98 %
no 2 % 50 % 74 % 98 %
up 0 % 67 % 80 % 82 %
down 0 % 59 % 73 % 93 %
left 1 % 74 % 82 % 91 %
right 9 % 70 % 83 % 96 %
on 0 % 68 % 36 % 93 %
off 0 % 78 % 66 % 93 %
stop 22 % 85 % 91 % 96 %
go 0 % 45 % 81 % 97 %

Ce que cela nous apprend. Chaque méthode a un mot faible différent. Whisper tiny détecte « on » seulement 36 % du temps, même s’il écrit « on » dans 84 extraits sur 100. Un mot d’une syllabe obtient une faible probabilité moyenne, et un seuil commun à tous les mots l’élimine. Le CNN est le plus faible sur « go » (45 %) et « no » (50 %). Ce sont des mots courts avec une seule voyelle, proches d’autres mots du jeu, comme « dog » et « four ».

Et par locuteur : les données de test contiennent 122 bénévoles ayant au moins trois extraits de commandes.

Méthode Locuteur médian Dixième des locuteurs aux pires résultats Pire locuteur
Petit CNN 74,2 % 6,0 % 0 %
Whisper tiny + liste de mots 80,0 % 24,9 % 0 %
Vosk (au-dessus du budget) 100 % 51,8 % 0 %

Ce que cela nous apprend. Pour une personne sur dix, le CNN n’agit presque jamais. Sa voix, son microphone ou sa pièce diffèrent beaucoup de la plupart des extraits d’entraînement. Les données n’indiquent ni l’âge, ni le genre, ni l’accent; nous ne pouvons donc pas savoir qui sont ces personnes. Un projet pilote avec de vrais acheteurs doit poser ces questions.

La puce d’un ventilateur est petite. Le cours a mesuré le temps de chaque méthode pour une décision : une seconde d’audio, avec l’image log-mel incluse. La mesure utilise un seul fil d’exécution du processeur du portable du cours, un Apple M4 :

Méthode Temps par décision Taille du modèle Tient sur une petite puce?
Énergie + gabarit 0,25 ms 0,06 Mo oui
Petit CNN 0,31 ms 0,18 Mo (45 132 poids × 4 octets; environ 0,05 Mo à 8 bits) oui
Vosk small + grammaire 4,4 ms 70,9 Mo non : nécessite un petit ordinateur, comme un ordinateur monocarte
Whisper tiny 275,7 ms 78,2 Mo non

L’appareil prend une décision toutes les 100 ms. Whisper tiny a besoin de 276 ms par décision sur un cœur de portable. Il ne peut donc pas suivre le rythme, même sur cet appareil. Une petite puce est beaucoup plus lente qu’un portable; les 0,31 ms du CNN augmenteront aussi. Le cours n’a pas fait de mesure sur une puce : mesurez sur la vraie puce avant de promettre une vitesse.

Et un serveur? Tomás propose : « Alors, envoyons l’audio à un serveur avec Whisper. » Prenons l’hypothèse du cours : un serveur à processeur coûte 0,17 $ US par heure pour 4 processeurs virtuels. Cela représente environ 0,0425 $ US par heure-cœur. Si Whisper décide chaque demi-seconde, un cœur travaille 2 × 0,276 = 0,55 seconde par seconde d’audio. Cela représente environ 0,023 $ US par heure d’écoute pour un ventilateur. Un ventilateur qui écoute toute la journée coûte environ 205 $ US par année. Le CNN sur le ventilateur ne coûte rien par heure : la puce est déjà dans le ventilateur. Et le serveur reçoit chaque seconde du son de la pièce hors de la maison. Cela enfreint la première règle d’Omar.

Priya écrit à Omar, avec les mots d’Omar :

  • Utilisez le petit CNN sur la puce du ventilateur. C’est la seule méthode assez exacte et assez petite. Il fait 0,18 Mo et prend bien moins d’une milliseconde par décision sur un portable. Whisper tiny est 430 fois plus volumineux et environ 900 fois plus lent. Vosk ne peut pas respecter le budget de fausses alertes, et il est aussi trop volumineux.
  • Entraînez-le sur tous les extraits d’entraînement, avec un seuil de 0,838. Au test, ce modèle a détecté 90,3 % des commandes. Il a produit 3,8 fausses alertes par heure sur des autres mots isolés, et aucune sur le bruit. Le plus petit modèle du carnet (67,7 %) montre la méthode, pas le produit.
  • Attendez la fin du mot avant d’agir à nouveau. Dans l’enregistrement de cuisine ci-dessous, le modèle complet a agi deux fois sur un seul « yes ». La règle « attendre une seconde » est trop courte.
  • Ajoutez une confirmation pour les commandes risquées. Pour « off » et « stop », agissez tout de suite; ces commandes sont sans danger. Pour « on » la nuit, un bref bip et un deuxième « yes » coûtent une seconde. Cela élimine la plupart des conséquences d’une fausse alerte.
  • Ce qu’une personne vérifie encore : un projet pilote dans de vraies maisons, avec le consentement des propriétaires. Le ventilateur consigne seulement les heures et les mots qui ont déclenché une action, jamais l’audio. Une personne lit le journal et demande au propriétaire quelles actions étaient incorrectes.

Et pour quoi ne pas l’utiliser : tout ce qui doit savoir qui parle, tout usage critique pour la sécurité, ou une autre langue sans nouvelles données.

De bout en bout sur une nouvelle entrée : l’enregistrement de cuisine

Section intitulée « De bout en bout sur une nouvelle entrée : l’enregistrement de cuisine »

Un extrait de test contient un seul mot clair. Dans une vraie pièce, un mot apparaît quelque part dans un flux de bruit. Priya construit un nouvel enregistrement à partir de parties que le modèle n’a jamais vues. Elle prend les derniers 20 % du bruit de vaisselle (la partie de test) et y place six extraits de test. C’est un exemple construit à partir de vrais enregistrements.

L’enregistrement de cuisine : 19 secondes de lavage de vaisselle, avec six extraits de test de bénévoles différents ajoutés. Le bruit vient du bruit de fond de Speech Commands, à la moitié du volume. Construit par Nextia Learning à partir d’enregistrements sous licence CC BY 4.0.

Transcription. À 2,0 s : « yes ». À 5,0 s : « bed ». À 8,0 s : « stop ». À 11,0 s : « go ». À 14,0 s : « seven ». À 16,5 s : « off ». Bruit de vaisselle tout au long.

Le CNN examine la dernière seconde toutes les 100 ms. Il agit lorsque son score atteint au moins son seuil, puis attend une seconde. Chaque ligne indique le début de la seconde qui a déclenché l’action, le mot et le score. D’abord, le CNN du carnet (seuil de 0,947) :

said: [(2.0, 'yes'), (5.0, 'bed'), (8.0, 'stop'), (11.0, 'go'), (14.0, 'seven'), (16.5, 'off')]
acted: [(1.7, 'yes', 0.982), (7.5, 'stop', 0.978)]

Ensuite, le même réseau entraîné sur tous les extraits (seuil de 0,838) :

acted: [(1.4, 'yes', 0.911), (2.4, 'yes', 0.965), (7.4, 'stop', 0.873), (8.4, 'up', 0.891), (10.5, 'go', 0.841), (16.4, 'off', 0.985)]
Une forme d'onde de l'enregistrement de cuisine de 19 secondes, avec six rectangles ombragés aux emplacements des mots. En dessous, les mots prononcés : yes à 2 s, bed à 5 s, stop à 8 s, go à 11 s, seven à 14 s, off à 16,5 s. Lignes pointillées et étiquettes orange : le CNN de l'échantillon a agi sur yes et stop. Lignes pointillées et étiquettes vertes : le CNN entraîné sur toutes les données a agi deux fois sur yes, puis sur stop, up, go et off. Aucun n'a agi sur bed ou seven.
L'enregistrement de cuisine, les mots prononcés et les moments où chaque CNN a agi. Chaque ligne marque le milieu de la seconde qui a déclenché l'action. Graphique tiré des données de l'étude de cas.
Description textuelle du diagramme

La forme d’onde montre le bruit de vaisselle tout au long, avec six rectangles ombragés aux emplacements des mots. En dessous se trouvent les mots prononcés : yes, bed, stop, go, seven et off. En orange, le CNN du carnet a agi deux fois : sur « yes » et sur « stop ». En vert, le CNN entraîné sur tous les extraits a agi six fois. Il a agi deux fois sur « yes », puis sur « stop ». Ensuite, il a détecté « up » alors que « stop » se terminait encore, puis « go » et « off ». Aucun modèle n’a agi sur « bed » ou « seven ».

Ce que cela nous apprend. Les deux modèles ont ignoré le bruit et les deux autres mots. Le modèle du carnet a détecté deux commandes sur quatre. « go » était déjà son mot le plus faible, et dans le bruit, son score est tombé sous le seuil. Le modèle complet a détecté les quatre commandes, mais il a agi deux fois sur un seul « yes ». Il a aussi entendu « up » à la fin de « stop ». Ces deux actions supplémentaires viennent de la boucle, pas des tests sur les extraits. Un mot peut remplir deux fenêtres; « attendre une seconde » est donc trop court. Une meilleure règle attend que le score retombe sous le seuil. Les images d’entraînement contenaient aussi du bruit ou de la parole, jamais les deux ensemble. Mélanger les mots d’entraînement avec du bruit est le prochain changement à essayer.

  • Les fausses alertes déterminent le seuil, et le seuil détermine la méthode. Avant tout seuil, les trois autres méthodes détectent plus de 90 % des commandes. À 10 fausses alertes par heure, le CNN de l’échantillon en détecte 68 % et Whisper tiny, 76 %. Vosk ne peut pas respecter ce budget.
  • Les données comptent plus que la taille du modèle. Le même petit CNN est passé de 67,7 % à 90,3 % avec tous les extraits d’entraînement. Il a dépassé Whisper tiny, qui est 430 fois plus gros.
  • La boucle autour du modèle compte. Les tests sur des extraits ne révèlent pas les doubles actions; un enregistrement avec des mots dans du bruit le fait.
  • Un bon système de reconnaissance n’est pas forcément un bon détecteur de mots-clés. Whisper écrit « on » correctement, mais sa probabilité est faible pour un mot court. La grammaire de Vosk accorde une confiance totale aux mauvais mots. Un détecteur a besoin d’un score qui distingue les bonnes réponses des mauvaises.
  • La vraie parole est plus difficile que les appels synthétiques de Larkfield. Sur les appels de Larkfield, le détecteur Vosk a trouvé 56 % des avis d’enregistrement sans fausse alerte. Il n’y avait que 3 appels sans avis. Ici, avec 1 800 autres mots, ses fausses alertes sont mesurables, et trop nombreuses.
  • Limites. Des mots isolés ne représentent pas un salon avec des phrases, la télévision et de la musique. Les 31 minutes de tests négatifs ne permettent pas d’établir un taux comme « une par jour ». Les vitesses proviennent d’un seul cœur de portable. Et les données ne contiennent aucun groupe de personnes, seulement des locuteurs et des mots.
  • Aucun audio ne quitte l’appareil, et aucun n’est conservé. C’est la principale raison d’exécuter le détecteur sur le ventilateur. Écrivez-le dans l’avis de confidentialité du produit, et respectez cet engagement à chaque mise à jour.
  • Dites aux gens que le ventilateur écoute. Un voyant indique « écoute en cours », et un interrupteur désactive le microphone.
  • Testez avec les personnes qui l’utiliseront. Même le modèle complet détecte les commandes moins d’une fois sur deux chez les 10 % de locuteurs les moins bien reconnus. Avant le lancement, recrutez des testeurs d’âges, d’accents et de voix variés, avec leur consentement.
  • Les voix des bénévoles. De vraies personnes ont fourni ces extraits pour ce type de recherche, sous licence CC BY 4.0. Citez le jeu de données, utilisez les extraits pour détecter des mots, et ne tentez jamais d’identifier ou d’imiter un locuteur. Aucun extrait de cette étude de cas n’a été envoyé à un modèle hébergé.

Cette étude de cas montre que vous pouvez passer des données à une décision pour un appareil avec un modèle de parole. Vous utilisez les mesures d’une équipe produit. Appropriez-vous le projet avec un changement. Ajoutez du bruit aux mots d’entraînement, ajoutez des seuils par mot, ou corrigez la double action dans la boucle. Ou essayez une autre langue du Multilingual Spoken Words Corpus (CC BY 4.0). Rendez ensuite le projet public et facile à lire en cinq minutes.

Quoi mettre dans le dépôt :

  • README.md (modèle ci-dessous).
  • Le carnet (notebook) Jupyter, exécuté du début à la fin, avec ses sorties.
  • results.csv : une ligne par méthode, avec le seuil, les commandes correctes, les mauvais mots, les commandes manquées et les fausses alertes par heure, sur validation et test.
  • MODEL_CARD.md : l’usage prévu (dix commandes anglaises, sur l’appareil) et les usages exclus. Ajoutez les données, le budget, les résultats par mot et par locuteur, et les limites.
  • La source et la licence des données, avec le texte d’attribution de l’encadré ci-dessus.

Un modèle de README :

# A keyword spotter for a small device
## Problem
A fan obeys ten spoken commands, on the device, with no internet.
Budget: at most 10 false alarms per hour of speech and noise that is not a command.
## Data and licence
Speech Commands v0.02 (Warden, 2018), CC BY 4.0, https://arxiv.org/abs/1804.03209.
Fixed sample: train 2,985 commands + 1,600 other words + noise; validation and test by the
dataset's speaker split. Noise files cut in time so test noise is new.
## Approach
Log-mel pictures (40 x 98). Four spotters: energy + templates, a 45k-weight CNN,
Whisper tiny with the commands as prompt, Vosk with a grammar. Thresholds chosen on
validation for the budget; test used once.
## Results (test, once)
CNN trained on all 84,843 training clips: 90.3% caught at 3.8 false alarms/hour,
0.3 ms per decision on a laptop core, 0.18 MB. The same CNN on a 4,585-clip sample:
67.7% at 13.4/hour. Whisper tiny 76.0% at 9.6/hour, but 276 ms and 78 MB.
Vosk 93.7% but 146 false alarms/hour at its strictest.
## Limits
Isolated words, 31 minutes of test negatives, no speaker groups, speed measured on a laptop.

Comment le décrire en entrevue, en deux phrases : « J’ai comparé quatre détecteurs de mots-clés pour un appareil sans Internet, avec des seuils choisis sur validation pour 10 fausses alertes par heure. Sur de nouveaux locuteurs, un CNN de 45 000 poids a détecté 90 % des commandes à moins de 4 fausses alertes par heure; Whisper tiny en a détecté 76 % et était 900 fois plus lent. »

Pour aller plus loin :

  • Mélangez les mots d’entraînement avec le bruit d’entraînement, réentraînez le modèle et réexécutez l’enregistrement de la cuisine. Pour les images, additionnez la puissance des deux (10 ** (db / 10)) à un volume aléatoire, puis reprenez le logarithme. Prédisez d’abord si « go » sera de nouveau détecté.
  • Donnez à chaque mot son propre seuil sur validation, pour le même budget total. Quels mots s’améliorent?
  • Ajoutez une règle en deux étapes : agissez seulement quand deux fenêtres consécutives concordent. Mesurez l’effet sur les fausses alertes et sur le délai.
  • Quantifiez le CNN sur 8 bits et mesurez le changement d’exactitude.

Vérifiez votre compréhension

Avant tout seuil, Vosk avec une grammaire détecte 95,2 % des commandes de validation, le meilleur résultat des quatre méthodes. Omar demande pourquoi on ne le choisit pas. Que répondez-vous?

Afficher la réponse

Parce que le principal risque du ventilateur est d’agir tout seul, et que Vosk ne peut pas respecter le budget. La plupart de ses réponses ont une confiance d’exactement 1.0, qu’elles soient bonnes ou mauvaises. Même à son seuil le plus élevé, il produit donc environ 135 fausses alertes par heure sur validation. Sur test, c’est 145,8, contre un budget de 10. Un seuil aide seulement quand le score distingue les bonnes réponses des mauvaises. Vosk fait aussi environ 71 Mo, ce qui est trop gros pour la puce du ventilateur.

Vérifiez votre compréhension

Les données de validation contiennent environ 21 minutes d'autres mots et de bruit. Le CNN n'a produit aucune fausse alerte sur le bruit. Tomás dit : « Donc, le problème du bruit est réglé. » Que pouvez-vous vraiment dire, et de quoi auriez-vous besoin pour en dire plus?

Afficher la réponse

La partie bruit de la validation ne contient que 76 secondes de nouveau bruit. « Zéro fausse alerte » constitue donc une preuve faible. Selon la règle de trois, zéro événement en N heures permet encore un taux allant jusqu’à environ 3 ÷ N par heure. Pour 76 secondes, cela dépasse 140 par heure. Vous pouvez dire qu’aucune fausse alerte n’est survenue sur ces six types de bruit. Pour en dire plus, il faut de nombreuses heures de vrais sons domestiques sans commande : télévision, musique et conversations. Comptez ensuite les fausses alertes sur ces sons.

Vérifiez votre compréhension

Whisper tiny écrit « on » correctement dans 84 des 100 extraits de test. Mais à son seuil, il n'en détecte que 36 %. Expliquez pourquoi, et proposez une correction qui ne change pas le modèle.

Afficher la réponse

Le score est la probabilité moyenne des mots de Whisper. Un seul mot court comme « on » reçoit souvent une faible probabilité, même quand il est correct. Les fausses alertes de tous les mots réunis déterminent le seuil commun aux dix mots. Ce seuil élimine beaucoup de bonnes réponses « on ». Une correction : choisissez un seuil par mot sur validation, plus bas pour « on », en respectant le budget total de fausses alertes. Vérifiez ensuite une seule fois sur test que « on » s’améliore et que les fausses alertes restent près de 10 par heure.

Récapitulatif

  • Un détecteur exécute une commande ou ne fait rien, toutes les 100 ms. Évaluez-le avec les commandes détectées, les mauvais mots et les fausses alertes par heure, séparément sur les autres mots et le bruit.
  • Une image log-mel représente une seconde de son en 40 bandes mel et 98 trames, en dB. Les mots sont des formes, le bruit est une texture.
  • Choisissez le seuil sur validation selon le budget de fausses alertes, puis testez une seule fois. À 10 par heure, le CNN de l’échantillon a détecté 67,7 % des commandes de test et Whisper tiny, 76,0 %. Vosk n’a pas pu respecter le budget, et la référence de base par gabarit en a détecté 3,7 %.
  • Seul le petit CNN convient au ventilateur : 45 132 poids, 0,18 Mo, 0,31 ms par décision sur un cœur de portable. Entraîné sur les 84 843 extraits d’entraînement, il a détecté 90,3 % des commandes à 3,8 fausses alertes par heure. Whisper tiny est 900 fois plus lent.
  • Vérifiez les mots et les locuteurs les moins bien reconnus : Whisper a manqué « on », le CNN a manqué « go ». Pour un locuteur sur dix, le CNN n’agit presque jamais.
  • Peu d’heures de tests négatifs limitent ce que vous pouvez affirmer : aucune fausse alerte en N heures permet encore environ 3 ÷ N par heure.

Ensuite, la dernière étude de cas : un SVI pour les demandes orales d’une banque, testé par groupe de locuteurs.

Leçon suivante : Un serveur vocal pour des intentions dites à voix haute