Travail final
- Après les études de cas
- environ 3 h
Où nous en sommes
Chaque module ajoutait un élément et le testait seul : données de test, VAD, reconnaissance, diarisation, fiche d'appel, SVI et agent vocal. Dans ce travail, vous les utilisez tous ensemble pour la nouvelle ligne francophone de Larkfield.
Ce que vous saurez faire
Appliquez chaque module du cours à une nouvelle situation. Livrez un dossier de parole qui permettra à Omar, Grace et Amira d’agir. Les appels ressemblent à ceux du cours. Mais un nouveau mélange de langues, une nouvelle ligne téléphonique et de nouveaux noms de produits les changent. Vous devez donc mesurer chaque choix à nouveau, plutôt que le copier.
Avant de commencerCe qu’il faut savoir et avoir sous la main
- Vous avez terminé les modules 1 à 9. Chaque partie ci-dessous nomme les leçons qu’elle utilise.
- Vous n’avez pas besoin des études de cas du module 10 pour ce travail. (Le certificat en exige au moins une.) Pour voir d’abord un système de reconnaissance choisi pour deux langues sur de la parole réelle, ouvrez Choisir un système de reconnaissance pour deux langues.
- Votre dossier
larkspeechfonctionne à la fin du module 9 :pytest -qaffiche41 passed(41 tests réussis), comme dans Par lots et en continu. Le dossiernextia-learning-labsse trouve à côté, comme dans Préparer le projet de parole. - Environ 3 h de travail, plus le temps d’exécution. Dans la solution de l’auteur, l’exécution la plus longue a pris environ 17 minutes sur le processeur d’un portable. Elle utilisait Vosk et cinq configurations de Whisper sur les 40 appels.
- Testé sur macOS avec Python 3.12.13 et les paquets aux versions fixées du projet. Les commandes Windows sont fournies, mais elles n’ont pas été exécutées.
La situation : une ligne francophone dans une nouvelle région
Section intitulée « La situation : une ligne francophone dans une nouvelle région »Larkfield grandit. Omar, le gestionnaire de produit, ouvre une nouvelle région où les appelants parlent français. Trois choses changent en même temps :
- Les appelants. Chaque appel sur la nouvelle ligne se déroule en français. Certains appelants passent brièvement à l’anglais, comme dans les appels en français du cours.
- La ligne téléphonique. La région utilise un nouveau fournisseur téléphonique. Malik, l’ingénieur en téléphonie, connaît son codec : G.726 à 16 kbit/s, comme la ligne VoIP du cours. Le fournisseur indique aussi qu’il perd jusqu’à environ 3 % des paquets audio de 20 ms. Un paquet perdu devient 20 ms de silence.
- Les produits. La région vend quatre produits jamais nommés dans les appels du cours : Boreal heat lamp, Lumen deck tiles, Saule rain barrel et Nordik snow shovel. Leurs numéros de commande commencent par 8 ou 9.
Omar veut que la ligne hors des heures d’ouverture réponde seule aux appelants francophones, comme le serveur vocal interactif (SVI, IVR) de la première région. Grace, la responsable du soutien, veut des transcriptions consultables et une fiche pour chaque appel, avec la vérification de l’avis d’enregistrement. Amira est responsable du SVI. Tomás, l’ingénieur en IA, a déjà une réponse : « Mettez l’agent vocal sur la nouvelle ligne. Il parle français et n’a pas besoin de menu. »
Priya vous demande de répondre à chacun avec des preuves. Voici ce que la nouvelle ligne fait à la voix d’un appelant :
Description textuelle du diagramme
Une forme d’onde sur 1,2 seconde, de gauche à droite. La parole de l’appelant arrive par courtes séquences d’une ou deux syllabes. Quatre bandes rouges étroites traversent la forme d’onde. Dans chaque bande, le son tombe presque à zéro pendant 20 ms, au milieu d’une séquence, puis revient. Voilà l’effet d’un paquet perdu : un court trou dans un mot.
Une personne entend à peine un trou de 20 ms. Un système de reconnaissance (recogniser) peut entendre un autre mot. Notre code trouve environ 2 trous de ce type pour 100 trames de parole dans les 40 appels. C’est une limite inférieure : il ne peut pas voir un trou au début ou à la fin d’un mot. Vous devez mesurer si ces trous ont un effet sur les transcriptions.
Chaque appel est synthétique : des voix de synthèse vocale ouvertes lisent des scripts inventés, et Larkfield est fictive. Les voix françaises sont peu nombreuses. Seules trois voix parlent français, et deux ont appris à partir du même locuteur, comme dans L’audio comme des données. Une partie de chaque erreur en français vient des voix elles-mêmes. Présentez donc vos chiffres comme obtenus « sur les appels synthétiques de Larkfield ». Ne promettez pas les mêmes résultats pour de vrais appelants.
Les données
Section intitulée « Les données »Les données se trouvent dans le dépôt des laboratoires, dans C41/final/. Les données du cours, dans C41/data/, restent inchangées.
| Fichier ou dossier | Lignes | Ce que représente une ligne |
|---|---|---|
calls/calls.jsonl, calls/phone/N-*.wav |
40 | Une conversation entre un agent de Larkfield et un appelant francophone, de 32 à 75 secondes, à 8 kHz, mu-law. Colonnes : call_id, split (toujours final), language, line (toujours new_provider), channels (27 stéréo, 13 mono), duration. Aucune transcription ni étiquette. |
ivr/calls.jsonl, ivr/NI-*/NN.wav |
20 | Un appel de test au SVI : les tours de parole de l’appelant seulement. Un fichier par tour (parole, fréquences vocales ou silence), 76 fichiers en tout. Aucun résultat attendu. |
orders.json |
60 | Une commande de la nouvelle région : le numéro (6 chiffres, commençant par 8 ou 9, avec un chiffre de contrôle), le produit, le statut, la date et la possibilité de retour. |
products.json |
4 | Les quatre nouveaux noms de produits. |
Le dossier contient aussi costs.json (les hypothèses de coûts du cours), README.md, dataset-card.md et SHA256SUMS. Il fait environ 29 Mo. Les identifiants sont nouveaux : un identifiant ne révèle rien sur un appel. L’équipe du cours conserve les transcriptions de référence, les étiquettes et les résultats attendus du SVI. Personne ne s’en sert pour faire des choix.
Vérifiez les fichiers et indiquez le dossier au projet. Exécutez ceci dans votre dossier larkspeech, avec .venv actif :
git -C ../nextia-learning-labs pullF=../nextia-learning-labs/C41/final(cd "$F" && shasum -a 256 -c SHA256SUMS | grep -vc ': OK$')speech --data "$F" infogit -C ..\nextia-learning-labs pull$F = "..\nextia-learning-labs\C41\final"Get-FileHash "$F\calls\calls.jsonl" -Algorithm SHA256speech --data $F infoComparez l’empreinte avec la ligne de calls/calls.jsonl dans SHA256SUMS. Faites de même pour ivr/calls.jsonl et orders.json.
Le nombre affiché par shasum est le nombre de fichiers incorrects. Il doit être 0. Ensuite, speech info affiche :
Calls: 0 train (transcripts only), 0 validation, 0 test; audio for 40 calls (0.58 hours, phone and wideband)Languages: 0 English, 40 French; lines: 40 new_providerStereo (agent and caller apart): 27; mono: 13IVR test calls: 20; orders in the fake order system: 60Every call is synthetic: open text-to-speech voices read invented scripts. The hidden test calls are not here.L’option globale --data indique le dossier à n’importe quelle commande, par exemple speech --data "$F" redact N-001 ou speech --data "$F" ivr serve. (LARKSPEECH_DATA="$F" fait la même chose.) Les commandes qui calculent des scores, comme speech transcribe, ont aussi besoin de vos étiquettes : la partie 1 montre comment faire. La première ligne indique « phone and wideband » (téléphone et bande large) pour tout dossier de données. Celui-ci n’a aucune copie à bande large : le nouveau fournisseur donne seulement l’audio téléphonique à Larkfield.
Créez un dossier speech-pack/ dans votre dossier larkspeech. Placez-y tous les fichiers du travail. Ce qu’il faut remettre donne la liste des fichiers.
Les six parties
Section intitulée « Les six parties »Le dossier suit le cours, un module après l’autre. Chaque partie correspond à un élément exigé par les règles de réussite du cours.
Description textuelle du diagramme
En haut, une boîte grise : les données publiques, 40 appels en français et 20 appels au SVI sur la nouvelle ligne, 60 nouvelles commandes et 4 nouveaux produits, sans étiquettes. En dessous, six boîtes. 1 Données de test : au moins 12 transcriptions de référence, un guide de normalisation, 3 systèmes de reconnaissance par tranche; fichiers testset/ et GUIDE.md. 2 Pipeline : VAD, système de reconnaissance, diarisation, temps des mots, avec le facteur temps réel et le coût par heure d’audio; fichier pipeline.py. 3 Fiche d’appel : motif, résumé, avis, évalués avec vos étiquettes, et principale chaîne d’erreurs; fichier records.jsonl. 4 Vie privée : caviardage du texte et de l’audio, vérification de confidentialité, règle de conservation; fichier PRIVACY.md. 5 SVI : messages en français, nouveaux noms, une nouvelle tâche, un accès à une personne, appels de test réexécutés; fichiers ivr/ et ivr-replay.jsonl. 6 Agent ou menu : budget de latence pour un flux, SVI, agent ou hybride, qui est transféré à une personne; fichier OMAR.md. En bas, une boîte orange : l’équipe du cours vérifie une fois vos étiquettes et vos scores avec les réponses qu’elle conserve. Aucun choix ne repose sur ce score.
Partie 1 : des données de test, un guide et trois systèmes de reconnaissance
Section intitulée « Partie 1 : des données de test, un guide et trois systèmes de reconnaissance »Utilise Le taux d’erreur sur les mots, étape par étape, Normaliser avant de comparer, Les erreurs qui comptent, Les tailles de Whisper sur un portable, Aider le modèle avec vos mots et Accents, bruit et deux langues.
Il n’y a aucune transcription de référence. Le taux d’erreur sur les mots (WER) en exige une. Votre première tâche est donc celle d’une vraie équipe sur une nouvelle ligne : écouter et écrire ce qui a été dit.
-
Choisissez les appels de test avant d’exécuter un système de reconnaissance. Prenez au moins 12 des 40 appels, avec des appels stéréo et mono. Choisissez-les uniquement à partir des colonnes publiques (par exemple, les 6 premiers stéréo et les 6 premiers mono par identifiant). Écrivez la règle dans
REPORT.md. Ne choisissez jamais les appels où un système de reconnaissance semble bon ou mauvais. -
Écrivez les transcriptions de référence en écoutant. Écrivez chaque mot des deux locuteurs, tour par tour, comme il a été dit. Écrivez les nombres comme le locuteur les a dits. Écrivez les noms de produits selon l’orthographe de
products.json. Si vous partez d’un brouillon automatique, nommez le système qui l’a produit et corrigez chaque mot à l’écoute. Un brouillon produit par un système le favorise : consultez Erreurs courantes. -
Marquez les mots importants dans chaque appel : numéro de commande, nom de produit, dates, négations et tout numéro de carte, comme dans Les erreurs qui comptent.
-
Écrivez votre guide de normalisation dans
speech-pack/GUIDE.md. Partez du guide du cours (data/normalisation-guide.md). Ajoutez une règle pour chaque nouveau cas rencontré. Par exemple, comment écrire en français un nombre de six chiffres, ou les noms de produits dans des phrases françaises. Un WER sans guide écrit n’est pas accepté. -
Faites de vos données de test un dossier de données que le projet peut lire. Écrivez
speech-pack/testset/calls/calls.jsonlavec une ligne par appel de test. Copiez les fichiers audio dansspeech-pack/testset/calls/phone/. Chaque ligne conserve les colonnes publiques et ajouteturns(avecspeakerettextpour chaque tour) etimportant(les mots de l’étape 3, au format du cours). Les commandes du cours peuvent ensuite calculer les scores :Fenêtre de terminal speech --data speech-pack/testset transcribe --split final --model small --limit 0 -
Comparez au moins trois systèmes de reconnaissance sur les mêmes appels de test, avec le même guide. Par exemple, Whisper tiny ou base, Whisper small, Whisper small avec une requête et Vosk small. Donnez le WER, le taux d’erreur sur les caractères (CER), les erreurs sur les mots importants et le facteur temps réel (RTF) de chacun. Indiquez le nombre d’appels et de mots.
-
Testez la requête avec les nouveaux noms. La requête de vocabulaire du cours (
--prompt) nomme les anciens produits. Créez une requête avec les quatre nouveaux noms. Comparez trois configurations : sans requête, avec l’ancienne requête et avec la nouvelle. Comptez les noms de produits que chacune reconnaît correctement. -
Divisez en tranches. Sur cette ligne, la langue et la ligne ne changent pas. Créez des tranches selon ce qui change : stéréo ou mono, et une tranche que vous étiquetez à l’écoute. Par exemple : bruit de fond, appelant qui passe à l’anglais, longue attente. Donnez la taille de chaque tranche. Avec 12 appels, une tranche de 3 appels prouve très peu : dites-le.
Partie 2 : le pipeline pour la nouvelle ligne
Section intitulée « Partie 2 : le pipeline pour la nouvelle ligne »Utilise Pourquoi la VAD améliore la reconnaissance, Séparer d’abord par canal, Plongements de locuteur et regroupement, Temps des mots et alignement et Par lots et en continu.
Construisez le pipeline que l’équipe de Grace exécutera sur chaque appel de la nouvelle ligne : VAD, système choisi, diarisation et temps des mots. Enregistrez-le dans speech-pack/pipeline.py. Il peut appeler les fonctions du projet (larkspeech.asr, larkspeech.vad, larkspeech.diarize).
- VAD. Utilisez les réglages de VAD ajustés dans Pourquoi la VAD améliore la reconnaissance. Vérifiez-les à nouveau sur vos appels de test : les paquets perdus créent de courts silences dans les mots. Comparez le WER avec et sans VAD sur vos données de test.
- Le système de reconnaissance de la partie 1, avec les temps des mots (
word_timestamps=True). - Diarisation. Séparez les 27 appels stéréo par canal. Regroupez les plongements de locuteur (speaker embeddings) pour les 13 appels mono. Attribuez à chaque mot le locuteur du tour qui le contient, comme le fait
speech diarize --words. - Mesurez. Sur vos appels de test, donnez le taux d’erreur de diarisation (DER). Séparez la parole manquée, la fausse parole et la confusion. Donnez aussi la proportion de mots de référence attribués au bon locuteur. Il faut des tours de locuteur dans vos références : marquez-les pendant l’écoute.
- Vitesse et coût. Exécutez tout le pipeline sur les 40 appels. Donnez le facteur temps réel de chaque étape et le coût par heure d’audio sur le serveur à processeur du cours. Il coûte 0,17 $ US par heure, selon une hypothèse dans
costs.json. Donnez ensuite le coût d’un mois d’appels de la nouvelle région, en supposant un nombre d’appels par mois.
Partie 3 : la fiche d’appel
Section intitulée « Partie 3 : la fiche d’appel »Utilise Pourquoi ont-ils appelé?, Résumés et suivis et Phrases de conformité et détection de mots-clés.
- Étiquetez vos appels de test pendant l’écoute. Écrivez le motif d’appel (un des sept du cours), le numéro de commande et le produit. Écrivez la promesse de l’agent, la prochaine étape et si l’agent a dit l’avis d’enregistrement.
- Créez une fiche pour chaque appel à partir de la transcription du pipeline. Incluez le motif, un court résumé, le numéro de commande, le produit, la promesse et la vérification de l’avis. Utilisez au moins deux méthodes du cours pour le motif. Par exemple, les règles de mots-clés et le classificateur entraîné sur les appels
traindu cours. Un LLM enregistré est facultatif; si vous utilisez votre propre clé, donnez le coût. - Évaluez chaque champ avec vos étiquettes : proportion correcte pour le motif, le numéro de commande, le produit et la prochaine étape; avis trouvés et fausses alertes.
- Expliquez la principale chaîne d’erreurs avec un appel. Partez du son et terminez à la fiche. Par exemple : un paquet perdu, puis un chiffre mal reconnu, puis un numéro de commande qui échoue au contrôle du chiffre. La fiche n’a alors aucune commande. Dites quelle étape vous corrigeriez d’abord, et pourquoi.
Partie 4 : les données personnelles
Section intitulée « Partie 4 : les données personnelles »Utilise Les données personnelles dans la voix et Clonage de voix, contrôle du locuteur et abus.
Certains appelants sur la nouvelle ligne lisent un numéro de carte à voix haute, comme sur l’ancienne ligne. Les numéros de carte dits en français sont le cas difficile. Le cours a montré que Whisper peut les écrire en mots plutôt qu’en chiffres. Alors, speech privacy-check réussit même si l’audio contient encore le numéro.
- Caviardez chaque appel dans le texte et l’audio avec la règle générale du projet (
speech --data "$F" redact N-001, ou les mêmes fonctions dans une boucle). - Corrigez la lacune en français. Ajoutez votre propre règle qui ne dépend pas de chiffres. Par exemple, un appelant qui dit « carte », puis plusieurs nombres en mots, ou un appel marqué pendant votre écoute. Masquez aussi ce passage par un bip, ou envoyez l’appel à une personne pour vérification. Évaluez votre règle sur vos appels de test : combien de numéros de carte trouve-t-elle? Combien de bips tombent là où il n’y avait aucun numéro de carte?
- Exécutez la vérification de confidentialité sur chaque sortie du dossier : transcriptions, fiches d’appel, résumés, journaux (logs) et fiches d’appel du SVI. Un numéro de carte qui reste dans un fichier de transcription fait échouer le dossier, même si la fiche d’appel est propre.
- Écoutez l’audio masqué par des bips de chaque appel où un appelant parle d’une carte. Écrivez ce que vous avez entendu.
- Écrivez les règles dans
speech-pack/PRIVACY.md. Clavier seulement pour les numéros de carte sur le SVI. Avis d’enregistrement avant l’enregistrement. Durée de conservation par Larkfield de l’audio brut, de l’audio caviardé, des transcriptions et des fiches d’appel. Comment une demande de suppression atteint chaque copie.
Partie 5 : le SVI pour la nouvelle ligne
Section intitulée « Partie 5 : le SVI pour la nouvelle ligne »Utilise Ce qu’est un serveur vocal interactif, et pourquoi les entreprises en utilisent encore, La synthèse vocale pour les messages, D’abord un menu au clavier, Laisser les appelants dire ce qu’ils veulent, Nombres, confirmation et reprise et Tester le serveur vocal comme un produit.
Le SVI parle déjà français. Sur la nouvelle ligne, il doit aussi connaître les nouvelles commandes et les nouveaux produits. Il reçoit aussi une nouvelle tâche. La nouvelle tâche est « une question sur un nouveau produit ». L’appelant dit « question sur un produit » ou appuie sur 4. Le SVI demande quel produit, en donnant les quatre noms dans son message. Il relit le nom et demande un oui ou un non. Puis il donne une réponse courte, par exemple comment installer le produit, et termine l’appel. Deux échecs, ou un produit que la région ne vend pas, entraînent un transfert à une personne.
Le projet peut prendre en charge cette tâche. Il faut une nouvelle intention, un nouvel état avec une liste fermée de noms, et les règles existantes de confirmation et d’échec.
-
Dirigez le SVI vers les nouvelles commandes.
speech --data "$F" ivr servecharge le fichierorders.jsonde la nouvelle région. Appelez une fois le téléphone de test, en français, et demandez une commande. -
Modifiez les messages des états. L’exemple de commande dans le message demandant le numéro commence par 7. Remplacez-le par un exemple commençant par 8 ou 9. Ajoutez les noms de produits au message du nouvel état, comme dans Aider le modèle avec vos mots.
-
Ajoutez la nouvelle tâche dans
larkspeech/ivr/dialogue.pyetprompts.py: le mot et la touche du menu, l’état du produit, la confirmation, la réponse, et le transfert à une personne après deux échecs. Écrivez les messages français pour l’écoute : courts, une idée par phrase, l’option avant la touche. Ajoutez des tests unitaires danstests/test_ivr.py, comme les tests du cours, avec seulement du texte et des touches. -
Corrigez le bogue des touches dans la réexécution, présenté dans Tester le serveur vocal comme un produit, avant de rapporter le délai de réponse.
-
Étiquetez les 20 appels de test enregistrés. Écoutez les tours de parole de chaque appel dans l’ordre. Notez ce qu’un bon SVI devrait faire : la langue, l’intention et le numéro de commande, si l’appelant en donne un. Notez le résultat attendu (
status_given(statut donné),hours_given(heures données),return_started(retour commencé) ouhandover(transfert)) et un type décrivant l’appel. Écrivez les étiquettes dansspeech-pack/ivr-labels.jsonl. -
Créez des appels de test pour la nouvelle tâche. Aucun appel enregistré ne pose de question sur un produit. Créez-en donc au moins quatre : deux qui devraient réussir, un avec un produit inconnu, et un où l’appelant dit « non » deux fois. Utilisez une voix française qui n’est pas celle du SVI, par exemple
fr_FR-gilles-lowde Piper. Faites passer chaque tour de parole dans la bande téléphonique. Supprimez 3 % des trames de 20 ms, comme le fait la nouvelle ligne. -
Réexécutez les 20 appels et vos appels pour la nouvelle tâche dans le moteur, avec vos étiquettes. La commande
speech ivr replaylit les appels de test du cours. Appelez donc la même fonction depuis un court script,speech-pack/replay_final.py:import jsonfrom pathlib import Pathfrom larkspeech.ivr import replay as Rfrom larkspeech.ivr.engine import Recogniserfinal = Path("../nextia-learning-labs/C41/final")calls = [json.loads(x) for x in (final / "ivr/calls.jsonl").read_text(encoding="utf-8").splitlines() if x]labels = {r["call_id"]: r for r in map(json.loads, Path("speech-pack/ivr-labels.jsonl").read_text().splitlines())}for c in calls: # your labels: kind, noise and expected (language, intent, order, outcome)c.update(kind=labels[c["call_id"]]["kind"], noise=labels[c["call_id"]].get("noise", "quiet"),expected=labels[c["call_id"]]["expected"])rows = R.replay(final, Recogniser("base"), calls)for k, v in R.summary(rows, "kind").items():print(k, v)R.write_records(rows, "speech-pack/ivr-replay.jsonl")R.summarycomptestatus_given,hours_givenetreturn_startedcomme des appels retenus. Comptez aussi le résultat de votre nouvelle tâche comme un appel retenu. -
Rapportez les appels réussis, le taux de rétention (containment), le taux de mauvaise intention et la proportion transférée à une personne, globalement et par type. Rapportez les abandons séparément : un appel qui se termine sans réponse et sans personne est le pire résultat.
Partie 6 : menu, agent ou les deux
Section intitulée « Partie 6 : menu, agent ou les deux »Utilise Là où un menu ne suffit plus, Le pipeline de l’agent vocal, Prise de parole et interruptions et Menu, agent ou les deux?.
Tomás veut l’agent vocal sur la nouvelle ligne. Répondez-lui avec un budget de latence et une recommandation.
- Choisissez un parcours, par exemple « où est ma commande ». Écrivez les tours de parole d’un appelant qui l’utilise.
- Mesurez les parties sur la nouvelle ligne. Reconnaissance : les secondes de chaque tour de parole de l’appelant dans votre réexécution. Les fiches d’appel du SVI les gardent dans leur chronologie sous
asr_seconds. Premiers mots du LLM : les tours de parole enregistrés de l’agent du cours (speech agent budgetles affiche). Voix : lancez la voix française comme le fait le projet, dans un programme distinct qui reste actif, sur quelques phrases d’agent. Mesurez le délai avant le premier son de chaque phrase, et le démarrage du programme séparément. - Additionnez le budget pour au moins deux réglages, avec la médiane et une valeur élevée. Par exemple : fin de tour à 0,8 s et 0,5 s, Whisper base et tiny. Dites quelle partie vous réduiriez d’abord et ce qu’il faudrait pour descendre sous une seconde.
- Comparez le SVI, l’agent et une solution hybride pour la nouvelle ligne. L’agent enregistré a seulement répondu aux appels du cours. Sa rétention sur la nouvelle ligne est donc une hypothèse : indiquez le chiffre choisi et pourquoi. Comptez les abandons à 8 $ US chacun :
speech agent compareles exclut. - Écrivez la recommandation pour Omar dans
speech-pack/OMAR.md: une page, sans code. Choisissez le SVI, l’agent ou une solution hybride. Nommez les appels toujours transférés à une personne : numéros de carte, demande de l’appelant, deux échecs, produit non vendu dans la région. Dites ce que vous mesureriez dans un projet pilote.
Ce qu’il faut remettre
Section intitulée « Ce qu’il faut remettre »Le dossier speech-pack/ dans votre dossier larkspeech :
speech-pack/ GUIDE.md Part 1: your normalisation guide (the course's guide plus your rules) testset/ Part 1: calls/calls.jsonl with your references and important words, calls/phone/ audio comparison.json Parts 1 and 2: one row per recogniser and setting, the course's columns pipeline.py Part 2, with any other script or notebook that you used records.jsonl Part 3: one call record per call (40), card numbers removed PRIVACY.md Part 4: the rules, the check output, what you heard in the beeped audio ivr/ Part 5: your changes to dialogue.py, prompts.py and tests/test_ivr.py (or a diff) ivr-labels.jsonl Part 5: your labels of the 20 test calls, written before the replay product-calls/ Part 5: your test calls for the new task, with how you made them replay_final.py Part 5 ivr-replay.jsonl Part 5: the IVR's call records budget.json Part 6: the parts of the budget and their sources OMAR.md Part 6: one page for Omar REPORT.md Parts 1 to 6, with the commands that make every number requirements.txt exact versionsCréez comparison.json avec la classe Table du cours (larkspeech/compare.py, les colonnes de Les tailles de Whisper sur un portable). Indiquez les données de test dans slice, par exemple new line, 12 test calls (nouvelle ligne, 12 appels de test) ou new line, mono (nouvelle ligne, mono).
REPORT.md contient ces sections :
# Speech pack for the new French line
## Data checks (files, checksums, what you heard on the new line)## Test set and guide (Part 1: the rule that chose the calls, how you transcribed, the guide's new rules)## Recognisers by slice (Part 1: the table, the prompt test, the important words, the choice and why)## Pipeline (Part 2: VAD, diarization, word times, RTF and cost per audio hour)## Call record (Part 3: each field measured on your labels, the error chain)## Personal data (Part 4: both rules, the check, what you heard, the retention rules)## The IVR on the new line (Part 5: the changes, the new task, the labels, the replay, by kind)## Menu, agent or both (Part 6: the budget, the comparison with hang-ups, the recommendation)## Scores from the course team (filled in once; no change after it)## Limits (what the pack cannot see, and what you would measure next)## How to reproduce (commands, versions, run times, a fresh environment)Vérifiez votre travail
Section intitulée « Vérifiez votre travail »Un réviseur marque chaque élément démontré, partiellement démontré ou pas encore démontré, avec une raison concrète. Sans réviseur, appliquez le tableau à votre propre dossier, ou demandez à un collègue. Le cours est terminé seulement quand les six éléments sont démontrés. Vous pouvez améliorer un élément et le soumettre de nouveau.
| Élément requis | Démontré quand | Partiellement démontré, par exemple | Pas encore démontré, par exemple |
|---|---|---|---|
| 1. Données de test et systèmes de reconnaissance (modules 2 et 4) | Au moins 12 appels choisis selon une règle écrite avant toute exécution, transcrits à l’écoute, avec les mots importants. Un guide écrit avec les nouvelles règles. Au moins trois systèmes de reconnaissance sur les mêmes appels et avec le même guide. Le WER, le CER, les erreurs sur les mots importants et le RTF, par au moins une tranche avec sa taille. La requête avec les nouveaux noms est testée. | Les tranches n’ont pas de tailles. Ou les références sont des ébauches automatiques non corrigées à l’écoute. Ou seulement deux systèmes de reconnaissance. | Un WER sans guide écrit. Ou les appels de test choisis après avoir vu les scores. |
| 2. Pipeline (modules 3, 5 et 9) | La VAD, le système de reconnaissance choisi, la diarisation par canal et par plongements, et les temps des mots traitent les 40 appels. Le DER avec ses trois parties, et la proportion de mots attribués au bon locuteur, sur les appels de test. Le RTF par étape et le coût par heure d’audio, avec le prix du serveur comme hypothèse. | Aucune partie du DER. Ou le coût n’a pas d’hypothèse. | Aucune diarisation. Ou aucun RTF. |
| 3. Fiche d’appel (module 6) | Une fiche pour chaque appel. Le motif, le numéro de commande, le produit, la prochaine étape et l’avis mesurés sur vos étiquettes, avec les comptes. Une chaîne d’erreurs expliquée, du son à la fiche. | Seul le motif est mesuré. Ou la chaîne est générale, sans appel précis. | Aucune mesure par rapport aux étiquettes. |
| 4. Vie privée (module 9) | Caviardage dans le texte et l’audio. Une règle pour les numéros de carte dits en français, mesurée. La vérification de la vie privée réussit sur chaque sortie du dossier. L’audio masqué par des bips a été écouté. Des règles de conservation et de suppression. | La vérification traite seulement les fiches d’appel. Ou la règle française n’est pas mesurée. | Un numéro de carte dit à voix haute reste dans une sortie. Ou les voix de vraies personnes utilisées sans consentement. |
| 5. Le SVI (module 7) | Messages et voix en français, nouvelles commandes et nouveaux noms, nouvelle tâche avec confirmation et transfert après deux échecs, tests unitaires. Les 20 appels étiquetés avant la réexécution, au moins quatre appels pour la nouvelle tâche, la correction des touches. Appels réussis, rétention, taux de mauvaise intention et transferts, globalement et par type; abandons séparés. | Aucun appel de test pour la nouvelle tâche. Ou le délai de réponse sans la correction. | Le SVI n’offre aucun moyen de joindre une personne. Ou des étiquettes modifiées après la réexécution. |
| 6. Latence et recommandation (module 8) | Un budget pour un parcours, avec chaque partie mesurée ou enregistrée, et sa source. Au moins deux réglages. SVI, agent et solution hybride comparés en comptant les abandons. Une recommandation d’une page qui nomme les appels transférés à une personne. | La partie voix reprend le chiffre du cours, sans mesure avec la configuration du projet (le programme piper distinct). Ou les abandons ne sont pas comptés. |
Aucun budget. Ou « l’agent est meilleur » sans chiffre. |
Non accepté, quels que soient les autres résultats (l’élément est « pas encore démontré ») :
- Un WER sans guide de normalisation. (Élément 1.)
- Les voix de vraies personnes sans leur consentement, dans les appels de test, les appels pour la nouvelle tâche ou ailleurs. Utilisez des voix synthétiques. (Éléments 1 et 5.)
- Un numéro de carte dit à voix haute dans une sortie : transcription, fiche, résumé, journal ou fichier audio que vous gardez. (Élément 4.)
- Un SVI sans moyen de joindre une personne. La touche 0 et deux échecs doivent toujours mener à une personne. (Élément 5.)
À quoi ressemble un bon dossier
Section intitulée « À quoi ressemble un bon dossier »Un bon dossier est honnête avant d’être impressionnant. Il contient trois choses.
- Des chiffres avec leurs étiquettes et leurs tailles. Chaque WER, DER, proportion correcte et taux de rétention indique le nombre d’appels utilisé. Il précise aussi les données mesurées : vos données de test, les 40 appels ou le score de l’équipe du cours.
- Une référence de base simple dans chaque comparaison. Les réglages du cours tels quels : Whisper sans requête, le SVI sans vos modifications, les règles de mots-clés. Si votre modification ne fait pas mieux, le dossier le dit.
- Une décision avec son coût. « Sur la nouvelle ligne, le SVI fait ceci, et ces appels vont à une personne. Le coût par appel est d’environ ce montant, dans cet intervalle. »
Ces intervalles viennent de la solution de l’auteur. Il l’a créée avec les données publiques seulement et le code du cours, sans écrire d’étiquette à la main. Les références de l’équipe du cours remplaçaient les transcriptions et les étiquettes du SVI que vous écrivez à l’écoute. L’équipe du cours l’a ensuite évaluée avec les réponses qu’elle conserve. Vos méthodes peuvent différer. Comparez la méthode et l’ordre de grandeur du résultat, pas le chiffre exact.
- La nouvelle ligne n’est pas beaucoup plus difficile que les anciens appels français. Whisper small a fait environ 15 % d’erreurs sur la nouvelle ligne. C’est proche de ses 15,1 % sur les appels de test français du cours. Les paquets perdus ont eu peu d’effet : les voix françaises et les nouveaux noms ont eu plus d’effet.
- La requête avec les nouveaux noms apporte le plus grand gain individuel. Sans requête, Whisper small n’a écrit aucun nouveau nom de produit exactement. L’ancienne requête du cours n’a pas aidé avec les noms. Une requête contenant les quatre nouveaux noms a réduit le WER à environ 11 %. Environ 6 noms de produits sur 10 étaient corrects.
- La taille compte encore beaucoup. Whisper base a fait environ 27 % d’erreurs, et tiny environ 43 %. Vosk small en a fait environ 41 % et a manqué tous les numéros de commande. Whisper small a manqué environ 1 numéro de commande sur 10; base en a manqué plus de la moitié.
- La VAD ajustée a empiré le WER ici, d’environ 3 points, surtout sur les appels avec des conversations en arrière-plan. Testez de nouveau les réglages du cours sur chaque nouvelle ligne.
- 12 appels de test donnent un portrait juste. Les 12 appels de l’auteur ont classé Whisper tiny, base et small, Vosk et la nouvelle requête dans le même ordre que les 40 appels.
- Le guide réduit le score presque de moitié. Le WER de Whisper small était d’environ 26 % sans normalisation, et d’environ 15 % avec le guide complet.
- Le pipeline coûte peu. Whisper small, la VAD et la diarisation ont fonctionné avec un facteur temps réel d’environ 0,09. Cela représente environ 0,015 $ US par heure d’audio sur le serveur à processeur du cours, selon une hypothèse. La diarisation par canal n’avait presque aucune confusion. Presque tout son DER, d’environ 28 %, venait de la parole manquée. Les plongements sur les appels mono ont donné environ 42 %, avec environ 14 % de confusion. Environ 4 mots de référence sur 5 ont été attribués au bon locuteur.
- La fiche d’appel est plus difficile que dans le cours. Les règles de mots-clés et le classificateur ont trouvé environ 7 motifs sur 10 correctement. Ils atteignaient 90 % et plus sur les appels de test du cours. Le classificateur a appris avec les anciens produits et surtout des appels anglais. La vérification approximative de l’avis a trouvé tous les avis, sans fausse alerte. La phrase exacte n’en a trouvé qu’environ 1 sur 3. Environ 4 numéros de commande sur 10 ont été perdus avant la fiche, surtout comme « trop courts » : les chiffres de l’appelant étaient séparés.
- La règle générale des cartes n’a trouvé aucun numéro de carte français. Whisper a écrit les chiffres en mots ou en texte incohérent. Une règle de contexte (« carte » suivi de mots de nombres) en a trouvé entre la moitié et les trois quarts dans deux exécutions. Elle a produit un bip là où il n’y avait pas de carte. Le texte de Whisper varie un peu d’une exécution à l’autre, comme les résultats de la règle : écoutez chaque appel contenant une carte. Un dossier utilisant seulement la règle du projet garderait des numéros de carte dans son audio.
- La vérification de la vie privée a aussi produit des fausses alertes. Dans la première exécution de l’auteur, elle a lu les tours de diarisation comme de longues suites de chiffres, dans 38 des 40 appels. Les tours étaient stockés comme des listes de temps (« [5.7, 11.82, … »). La vérification du projet lit maintenant les fichiers JSON champ par champ. Elle ignore les nombres avec un point décimal et les champs de temps et d’identifiants. Elle garde la règle générale pour le texte. Dans un fichier texte brut, la vérification peut encore lire les temps comme des chiffres. Stockez-les donc dans des champs JSON.
- Le SVI retient environ le tiers des nouveaux appels avec Whisper base, comme pour les appels du cours : environ 10 des 20 appels ont réussi. Les numéros de commande dits à voix haute ont presque toujours échoué. Whisper small a retenu environ la moitié des appels et en a réussi davantage; tiny en a retenu un cinquième. Le « Français » de certains appelants a été reconnu comme des mots anglais. Avec la correction des touches et les nouveaux messages, le délai moyen de réponse est passé d’environ 51 à environ 45 secondes.
- La nouvelle tâche a fonctionné au clavier, mais a surtout échoué à la voix. Dans la première version de l’auteur, la voix française de test lisait les noms anglais des produits à la française. Whisper ne les reconnaissait pas. L’appel utilisant les touches a réussi. Un appel s’est terminé sans réponse et sans personne : le SVI attendait un tour de parole qui ne finissait jamais. C’est un abandon, et le dossier doit le compter.
- La voix peut être plus lente que le budget du cours. Redémarré pour chaque phrase, Piper prenait environ 0,8 s avant le premier son d’une phrase française. Le cours mesurait 0,05 s dans un seul programme. La reconnaissance prenait une médiane d’environ 0,26 s (base, nouvelle ligne), et le LLM enregistré environ 1,0 s. L’attente médiane était donc d’environ 2,9 s avec une fin de tour à 0,8 s, et 2,6 s à 0,5 s. Le projet garde maintenant le programme
piperactif. Après son démarrage, la première phrase était prête après environ 0,05 s. Cela réduit ces sommes d’environ 0,75 s. Aucun réglage ne s’est approché d’une seconde.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
Des données de test transcrites par le modèle qu'elles servent à tester
Symptôme : Whisper small obtient un WER de 3 % sur vos données de test, bien inférieur à celui des appels en français du cours.
Cause : vous avez créé les références à partir des brouillons de Whisper small et corrigé seulement les mots qui semblaient erronés. Ses erreurs qui semblaient justes sont restées dans les références. Elles ne comptent donc pas comme des erreurs.
Correction : écrivez les références à l’oreille, ou corrigez un brouillon mot par mot en écoutant. Précisez quel système de reconnaissance a produit le brouillon. Comparez ce système et les autres sur les mêmes références, et interprétez ses résultats avec prudence.
Conséquence dans le travail en IA : l’équipe choisit un modèle parce qu’il a corrigé son propre test. La première vraie plainte révèle l’écart.
Erreur courante
La vérification de confidentialité réussit, mais l'audio conserve le numéro de carte
Symptôme : speech privacy-check affiche Passed. (réussi) pour chaque sortie. Une personne qui écoute un appel conservé entend encore un numéro de carte.
Cause : le système de reconnaissance a écrit les chiffres français en mots ou en texte incohérent. Le texte ne contient donc aucune suite de chiffres à trouver, et aucun bip n’a masqué le numéro.
Correction : ajoutez une règle qui n’a pas besoin de chiffres. Écoutez chaque appel où l’appelant parle d’une carte. Gardez la règle du SVI : le clavier seulement pour les numéros de carte. Supprimez rapidement l’audio brut.
Conséquence dans le travail en IA : une coche verte donne un faux sentiment de sécurité. Un numéro de carte conservé constitue une atteinte à la confidentialité, peu importe le résultat de la vérification.
- Les étiquettes modifiées après la réexécution. Le résultat du SVI n’est pas une étiquette. Écrivez d’abord ce qu’un bon SVI devrait faire.
- L’ancienne requête de vocabulaire conservée. Elle nomme les anciens produits et une commande qui commence par 7. Elle n’aide pas avec les nouveaux noms.
- Les réglages de VAD du cours copiés. Ils étaient adaptés aux anciennes lignes. Mesurez-les de nouveau.
- Un abandon qui ne compte pour rien. Un appel sans réponse et sans transfert à une personne est la pire issue. Comptez 8 $ US, comme dans le cours.
- Le temps de la voix copié du cours. Le cours a mesuré Piper dans un seul programme. Le projet l’exécute comme un programme distinct. Un programme lancé pour chaque phrase ajoute environ 0,8 seconde chaque fois. Gardez-le en marche et mesurez-le.
- Un seul nombre pour toute la ligne. Présentez les résultats en stéréo et en mono, ainsi que les tranches étiquetées et leur taille.
- Des appels de test pour la nouvelle tâche avec la voix du SVI. Un système de reconnaissance comprend mieux sa propre voix synthétique que les appelants. Utilisez une autre voix, la bande téléphonique et les paquets perdus.
Afficher les valeurs de vérification publiques
Ouvrez ceci seulement après avoir obtenu vos propres nombres. Ces valeurs proviennent des données publiques, donc vous pouvez les vérifier. Ce ne sont pas les réponses au travail.
- Données : 40 appels, dont 27 en stéréo et 13 en mono, de 32 à 75 secondes chacun. Ils totalisent 34,5 minutes. 20 appels au SVI avec 76 fichiers de tours de parole. 60 commandes. Chaque fichier dans
SHA256SUMSest valide. - Vitesse sur le portable de l’auteur (Apple M4, 4 fils d’exécution, les 40 appels) : facteur temps réel d’environ 0,017 pour Whisper tiny, 0,026 pour base, 0,07 à 0,08 pour small, et 0,12 pour Vosk small. Le pipeline complet avec Whisper small, VAD et diarisation : environ 0,09.
- Paquets perdus : notre code marque environ 2 trames sur 100 comme quasi silencieuses au milieu de la parole. Il manque les trous aux limites des mots.
- La vérification de confidentialité sur la sortie brute du pipeline : la première version signalait des « numéros de carte » dans presque chaque appel. Il s’agissait toujours des temps de diarisation. La vérification du projet ignore maintenant les champs de nombres et de temps des enregistrements JSON.
- La voix : la voix française de Piper prend environ 0,8 seconde pour produire un fichier WAV d’une courte phrase quand Piper redémarre pour chaque phrase. Si Piper reste en marche, comme dans le projet, la voix prend environ 0,05 seconde pour la première phrase.
Récapitulatif
Vous pouvez maintenant traiter un problème de parole sur une nouvelle ligne et prendre une décision. Vous créez des données de test à l’oreille, avec un guide écrit. Vous comparez les systèmes de reconnaissance sur les mots qui comptent. Vous exécutez un pipeline avec VAD, diarisation et temps des mots, et présentez son coût par heure d’audio. Vous évaluez les fiches d’appel selon vos propres étiquettes et excluez les numéros de carte de chaque sortie. Vous ajoutez une tâche au SVI et le testez avec des appels étiquetés. Vous choisissez entre un menu et un agent selon un budget de latence et un coût complet. Les études de cas du module 10 appliquent les mêmes étapes à de la parole réelle : Choisir un système de reconnaissance pour deux langues, Transcriptions de réunions avec les locuteurs, Détecter des commandes sur un petit appareil et Un serveur vocal pour des intentions dites à voix haute.