Aller au contenu
English

Par lots et en continu

  • Leçon 33
  • 35 min
  • Module 9 : L'exploiter en production, en sécurité

Où nous en sommes

Nous avons choisi une conception pour la ligne téléphonique et un pipeline pour les appels enregistrés. Ils doivent maintenant fonctionner chaque jour. Dans cette leçon, nous comparons une file de traitement par lots et un parcours en continu. Nous comparons aussi le coût par heure d'audio sur un CPU, un GPU et une API hébergée.

Leçon 33 sur 36 · IA de la parole : transcrire, comprendre et parlerPar lots et en continu
Aperçu du cours

Ce que vous saurez faire

Faites fonctionner l’IA de la parole chaque jour, de deux façons. Les appels enregistrés entrent dans une file de traitement par lots. Un processus les transcrit un à un, après l’appel. La ligne téléphonique exige un parcours de diffusion en continu (streaming) : il doit décider pendant que l’appelant parle. Mesurez la vitesse du parcours par lots et convertissez-la en coût par heure d’audio. Comparez ensuite ce coût avec celui d’un GPU et de services hébergés.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter calcule le facteur temps réel et le coût par heure d’audio à partir des exécutions enregistrées du cours. Il construit un petit processus de file d’attente qui peut s’arrêter et redémarrer sans traiter un appel deux fois. Il lit ensuite un appel au SVI par morceaux de 200 ms, comme un parcours en continu. Il repère la fin de chaque tour de parole de l’appelant. Il télécharge Whisper tiny une seule fois (75 Mo) et ne nécessite aucun compte. Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour la pratique guidée; le carnet n’en a pas besoin)

  • Votre dossier larkspeech avec les fichiers de Menu, agent ou les deux?. pytest -q affiche 37 passed (37 tests réussis).

Testé sur macOS avec Python 3.12.13. Les commandes sont les mêmes sur Windows, sauf lorsqu’un onglet indique PowerShell; elles n’y ont pas été exécutées.

Imaginez deux personnes qui transforment la parole en texte. La première reçoit une boîte de réunions enregistrées chaque soir. Elle les transcrit pendant la nuit, l’une après l’autre. Personne ne l’attend. Si elle s’arrête à minuit, elle reprend le matin avec la prochaine cassette.

La seconde personne est un interprète en direct, au téléphone. Il doit répondre en une ou deux secondes, sinon l’appelant pense que la ligne est coupée. Il ne reçoit jamais toute la conversation d’un coup. Il l’entend par petits morceaux et doit décider quand l’autre personne a terminé.

Larkfield a ces deux tâches :

  • Appels enregistrés. Environ 4 000 appels par mois sont enregistrés (avec consentement). Grace veut une transcription, un motif et un résumé pour chacun avant le lendemain matin. Personne n’attend au téléphone.
  • La ligne téléphonique. En dehors des heures d’ouverture, environ 900 appelants par mois parlent au SVI ou à l’agent vocal. Chaque réponse doit arriver en environ une à deux secondes.

Le problème : une seule conception ne convient pas aux deux

Section intitulée « Le problème : une seule conception ne convient pas aux deux »

Essayez d’utiliser une seule conception pour les deux tâches, et l’une des deux échoue.

Avec la conception par lots sur la ligne téléphonique, l’appelant attend la fin de l’appel avant qu’il se passe quelque chose. C’est inutile. Même avec une conception en continu, l’attente est longue. Dans Le pipeline de l’agent vocal, l’attente médiane entre « l’appelant s’arrête » et « le premier son en retour » était de 2,10 secondes sur les appels synthétiques de Larkfield.

Avec la conception en continu pour les appels enregistrés, vous payez pour une vitesse dont personne n’a besoin. Un serveur de diffusion en continu doit être prêt pour la minute la plus occupée de la journée. La plupart du temps, il attend. Et une panne au milieu de la nuit fait perdre les appels en cours, sauf si un système mémorise les appels terminés.

L’idée : une file pour les enregistrements, de petits morceaux pour la ligne

Section intitulée « L’idée : une file pour les enregistrements, de petits morceaux pour la ligne »

Le schéma montre les deux parcours côte à côte.

Par lots, après l'appel : l'appel se termine et l'enregistrement entre dans le dossier d'arrivée; une file garde les appels qui attendent leur tour; un processus transcrit les appels l'un après l'autre; un fichier de résultats conserve le texte caviardé par identifiant d'appel. En continu, pendant l'appel : l'appelant parle et l'audio arrive par petits morceaux; la VAD vérifie toutes les 200 ms si l'appelant parle encore; après 0,8 s de silence, le tour de parole se termine et le modèle le transcrit; le SVI répond en environ 1 à 2 secondes.
Par lots et en continu. Le parcours par lots vise un faible coût et aucune perte d'appel; le parcours en continu vise une courte attente.
Description textuelle du diagramme

Deux parcours. Par lots, après l’appel : l’appel se termine et l’enregistrement entre dans un dossier d’arrivée. Une file garde les appels qui attendent leur tour. Un processus transcrit les appels l’un après l’autre. Un fichier de résultats conserve le texte caviardé de chaque appel par identifiant d’appel. En continu, pendant l’appel : l’appelant parle et l’audio arrive par petits morceaux. Toutes les 200 ms, le détecteur d’activité vocale vérifie si l’appelant parle encore. Après 0,8 seconde de silence, le tour de parole se termine et le système de reconnaissance le transcrit. Le SVI répond en environ 1 à 2 secondes.

Quelques mots pour la suite de la leçon :

  • Une file d’attente est une liste de tâches qui attendent leur tour. Ici, chaque tâche est un appel enregistré.
  • Un processus est le programme qui prend la prochaine tâche dans la file et l’exécute.
  • Le traitement par lots signifie « plusieurs tâches ensemble, exécutées plus tard ». Personne n’attend une tâche en particulier.
  • La diffusion en continu signifie que l’audio arrive par petits morceaux pendant que la personne parle. Le programme traite chaque morceau immédiatement.
  • La latence est le temps qu’une personne attend pour une réponse. Le débit est la quantité de travail accompli en une heure. Le traitement par lots privilégie le débit; la diffusion en continu privilégie la latence.

Le processus de Larkfield écrit une ligne dans un fichier de résultats après chaque appel, avec le nom du fichier de l’appel. Au démarrage, il lit ce fichier et saute chaque appel qui s’y trouve déjà. Ainsi, un processus qui s’arrête à l’appel 300 sur 500 redémarre à l’appel 301. Rien n’est fait deux fois et rien n’est perdu. Cette propriété a un nom : le processus peut être relancé sans risque (les ingénieurs disent aussi idempotent).

Un petit exemple détaillé : des secondes aux dollars

Section intitulée « Un petit exemple détaillé : des secondes aux dollars »

Le cours a exécuté le processus par lots sur trois appels de test avec Whisper base. Les nombres ci-dessous viennent de la vérification de l’instantané du cours.

Étape Valeur
Audio dans le dossier d’arrivée 3 appels, 2,3 minutes (137 s)
Temps de calcul du processus 3,4 s
Facteur temps réel = temps de calcul ÷ durée de l’audio 3,4 ÷ 137 = 0,025
Une heure d’audio prend 0,025 × 60 minutes = 1,5 minute
Prix du serveur CPU (hypothèse : 4 vCPU, 16 Go, à la demande) 0,17 $ US l’heure
Coût par heure d’audio = facteur temps réel × prix du serveur 0,025 × 0,17 = 0,0042 $ US

Le facteur temps réel (RTF) indique à quel point le traitement est plus rapide que le temps réel. Un facteur de 0,025 signifie 40 fois plus rapide. Le coût par heure d’audio suppose une seule transcription à la fois et un serveur occupé en permanence. Ces deux conditions sont vraies pour une file : le processus n’attend jamais tant que le dossier d’arrivée contient des appels.

Combien d’heures d’audio Larkfield a-t-elle? Nos appels synthétiques durent 44 secondes en moyenne, mais les vrais appels sont plus longs. Selon les hypothèses du cours, un appel traité par une personne prend 6 minutes du temps d’un agent. Nous utilisons cette durée comme limite supérieure pour l’audio : 4 000 appels × 6 minutes = 400 heures d’audio par mois. C’est notre hypothèse, pas une mesure.

Avec Whisper base sur le serveur CPU, cela donne 400 × 0,0051 $ US = 2,04 $ US par mois de calcul. Un serveur termine un mois d’audio en environ 12 h (400 × 0,030). La nuit est assez longue.

Le SVI du module 7 fonctionne déjà en continu. Il lit l’appel en trames de 20 ms. Toutes les 200 ms, Silero VAD examine l’audio récent. Après 0,8 seconde sans parole, le tour de parole est terminé. Whisper base transcrit ensuite seulement ce tour, en environ 0,24 seconde sur l’ordinateur du cours. L’agent vocal du module 8 ajoute environ 1 seconde pour le premier mot du LLM.

Un serveur de diffusion en continu coûte de l’argent même quand personne n’appelle. Il doit être prêt pour la minute la plus occupée. Chaque appel a besoin de son système de reconnaissance immédiatement, pas ce soir. Le cours suppose 0,002 $ US de calcul par appel au SVI : reconnaissance et voix sur le même serveur CPU, avec un arrondi vers le haut. Pour 900 appels par mois en dehors des heures d’ouverture, cela donne 1,80 $ US. Le coût le plus important est celui du serveur qui attend. Un serveur CPU pour un mois entier coûte environ 730 h × 0,17 $ US = 124 $ US, peu importe le nombre d’appels.

Les sous-titres en direct sont un troisième type de diffusion en continu. Le système de reconnaissance écrit les mots pendant que la personne parle et les corrige quand il en entend davantage (« for » devient « four one one one »). Le cours n’a ni construit ni mesuré de sous-titres en direct. Ils nécessitent un système de reconnaissance capable de renvoyer des résultats partiels, et les corrections ne doivent pas dérouter le lecteur.

Le tableau présente les options côte à côte. Les lignes locales utilisent les facteurs temps réel mesurés dans le cours (appels de test, 4 fils d’exécution, sans VAD). Elles utilisent aussi le prix supposé du CPU. Les lignes hébergées sont des affirmations des fournisseurs : prix affichés sur leurs pages, avec paiement à l’utilisation. Le cours ne les a pas mesurées. Les prix changent : consultez la page actuelle avant de décider.

Option WER sur nos appels de test Coût par heure d’audio Où va l’audio
Whisper tiny, CPU 20,7 % 0,0033 $ US reste sur le serveur de Larkfield
Whisper base, CPU 13,7 % 0,0051 $ US reste sur le serveur de Larkfield
Whisper small, CPU 8,6 % 0,013 $ US reste sur le serveur de Larkfield
Whisper medium, CPU (20 premiers appels) 6,9 % 0,033 $ US reste sur le serveur de Larkfield
Azure AI Speech, par lots non mesuré 0,18 $ US (affirmation du fournisseur) vers la région du fournisseur
Amazon Transcribe, par lots non mesuré 0,36 $ US (affirmation du fournisseur) vers la région du fournisseur
Amazon Transcribe, en continu non mesuré 0,60 $ US (affirmation du fournisseur) vers la région du fournisseur
Azure AI Speech, en temps réel non mesuré 1,00 $ US (affirmation du fournisseur) vers la région du fournisseur

Les pages de prix sont Tarification d’Azure AI Speech et Tarification d’Amazon Transcribe. Pour les 400 heures d’audio mensuelles supposées de Larkfield, le graphique montre la facture.

  • Whisper sur un serveur CPU (vitesse mesurée × prix supposé)
  • Azure AI Speech (affirmation du fournisseur)
  • Amazon Transcribe (affirmation du fournisseur)
Coût de 400 heures d'audio par mois (hypothèse : 4 000 appels de 6 minutes). Lignes locales : facteur temps réel mesuré sur les appels de test synthétiques de Larkfield × 0,17 $ US l'heure. Lignes hébergées : prix affichés, non mesurés; les prix changent. En direct : transcription en continu ou en temps réel.
Description textuelle du graphique

Un graphique à colonnes du coût mensuel pour 400 heures d’audio. Whisper sur un serveur CPU coûte 1,32 $ US avec tiny et 2,04 $ US avec base. Il coûte 5,08 $ US avec small et 13,12 $ US avec medium. Azure AI Speech par lots : 72 $ US. Amazon Transcribe par lots : 144 $ US. Amazon Transcribe en continu : 240 $ US. Azure AI Speech en temps réel : 400 $ US. Les prix de diffusion en continu hébergée sont environ deux fois ceux du traitement par lots du même fournisseur.

Trois points à observer :

  • La diffusion en continu coûte plus cher que le traitement par lots chez les deux fournisseurs, pour le même audio. Le fournisseur doit garder un modèle prêt pour vous, comme le ferait Larkfield.
  • Le calcul local coûte peu à cette échelle. La facture est de quelques dollars. Les vrais coûts sont ailleurs : une personne pour exploiter le serveur, les mises à jour et le temps pour construire la file.
  • Les lignes hébergées offrent autre chose : aucun serveur à exploiter, plus de langues et souvent une meilleure exactitude sur la parole réelle. Elles envoient aussi l’audio à une autre entreprise. La leçon Une API de reconnaissance hébergée explique quelles questions poser à ce sujet.

Le cours n’a pas mesuré de serveur GPU dans le nuage et ne cite aucun prix de GPU. Il a toutefois mesuré le GPU Apple du portable. Sur celui-ci, whisper.cpp base avait un facteur temps réel de 0,012, contre 0,020 sur le CPU. Le WER était le même, à la variation près. Un serveur GPU coûte beaucoup plus cher par heure qu’un serveur CPU. Il devient rentable seulement s’il reste occupé : un gros lot, un grand modèle ou plusieurs appels à la fois. Utilisez la même formule avec votre propre prix. Le coût par heure d’audio est le facteur temps réel sur cette machine × son prix par heure.

Pratique guidée : exécuter la file de traitement par lots

Section intitulée « Pratique guidée : exécuter la file de traitement par lots »

Ce module ajoute cinq fichiers à votre projet. Copiez-les tous maintenant. Deux sont pour cette leçon : queue.py (le processus) et commands/batch.py (la commande speech batch). Le processus retire déjà les numéros de carte du texte avec redact.py. La prochaine leçon explique ce fichier.

  1. Ouvrez un terminal dans votre dossier de projet larkspeech et activez .venv.

  2. Copiez les cinq fichiers de l’instantané end-of-m09.

    Fenêtre de terminal
    E=../nextia-learning-labs/C41/snapshots/end-of-m09
    cp $E/larkspeech/queue.py $E/larkspeech/redact.py larkspeech/
    cp $E/larkspeech/commands/batch.py $E/larkspeech/commands/privacy.py larkspeech/commands/
    cp $E/tests/test_privacy.py tests/

    Ce module ne nécessite aucun nouveau paquet.

  3. Exécutez les tests :

    Fenêtre de terminal
    pytest -q

    Vous devriez voir 41 passed (41 tests réussis) : les 37 tests du module 8 et 4 nouveaux tests.

  4. Créez un dossier d’arrivée avec trois appels de test enregistrés :

    Fenêtre de terminal
    mkdir inbox
    cp data/calls/phone/C-0245.wav data/calls/phone/C-0128.wav data/calls/phone/C-0225.wav inbox/
  5. Exécutez le processus sur le dossier d’arrivée :

    Fenêtre de terminal
    speech batch inbox

    Un résultat sur l’ordinateur du cours :

    3 calls (2.3 min of audio) in 2.9 s: real-time factor 0.021; 0 done before
    Cost per audio hour on a CPU server at US$0.17/hour (assumption): US$0.0036
    Wrote outputs/batch-results.jsonl (card numbers removed from the text)

    Vos nombres seront différents. Trois exécutions sur l’ordinateur du cours ont donné des facteurs temps réel de 0,021 à 0,032. La vérification de l’instantané a donné 0,025.

  6. Exécutez la même commande de nouveau :

    Fenêtre de terminal
    speech batch inbox
    Nothing new in inbox (3 done before). Results: outputs/batch-results.jsonl

    Le processus a lu son fichier de résultats et sauté les trois appels.

  7. Ajoutez un autre appel au dossier d’arrivée et relancez le processus :

    Fenêtre de terminal
    cp data/calls/phone/C-0052.wav inbox/
    speech batch inbox

    Sur Windows, copiez le fichier avec Copy-Item data\calls\phone\C-0052.wav inbox\.

    1 calls (0.7 min of audio) in 1.1 s: real-time factor 0.025; 3 done before
    Cost per audio hour on a CPU server at US$0.17/hour (assumption): US$0.0043
    Wrote outputs/batch-results.jsonl (card numbers removed from the text)

    Seul le nouvel appel a été transcrit.

Supprimez le fichier de résultats et exécutez le processus avec Whisper small. Avant de l’exécuter, faites une prédiction : combien coûte une heure d’audio de plus?

Afficher la réponse

Supprimez outputs/batch-results.jsonl (sur Windows : Remove-Item outputs\batch-results.jsonl), puis :

Fenêtre de terminal
speech batch inbox --model small
4 calls (3.0 min of audio) in 11.0 s: real-time factor 0.061; 0 done before
Cost per audio hour on a CPU server at US$0.17/hour (assumption): US$0.0104
Wrote outputs/batch-results.jsonl (card numbers removed from the text)

Whisper small coûte environ 2,5 à 3 fois plus que Whisper base, soit environ 0,01 $ US par heure d’audio. Pour le mois supposé de Larkfield, cela reste seulement environ 4 $ US. Whisper small fait beaucoup moins d’erreurs : 8,6 % contre 13,7 % sur les appels de test. Pour le parcours par lots, le plus grand modèle vaut son prix. La première exécution télécharge le modèle (environ 480 Mo). Le téléchargement ne fait pas partie du temps de calcul.

Erreur courante

Le facteur temps réel change chaque fois que vous le mesurez

Symptôme : vous exécutez la même commande trois fois. Vous obtenez des facteurs temps réel de 0,032, 0,022 et 0,021. Avec Whisper tiny, une exécution était même plus lente qu’avec Whisper base.

Cause : trois courts appels représentent seulement quelques secondes de calcul. Le premier appel peut préparer le modèle, et d’autres programmes utilisent brièvement le CPU. Les petits nombres varient beaucoup.

Correction : mesurez sur au moins une heure d’audio, exécutez deux fois et gardez la seconde exécution. Le tableau du cours utilise les 60 appels de test (47 minutes d’audio) pour cette raison.

Erreur courante

Le serveur de diffusion en continu est dimensionné pour la moyenne

Symptôme : la ligne hors des heures d’ouverture fonctionne en test, mais les appelants entendent de longs silences les soirs occupés.

Cause : 900 appels par mois représentent seulement environ un appel par heure en moyenne. Mais les appels arrivent en groupes : après un problème de livraison, dix appelants peuvent appeler dans la même minute. Chacun a besoin d’un système de reconnaissance immédiatement.

Correction : dimensionnez le parcours en continu pour la minute la plus occupée que vous prévoyez, avec une marge. Testez-le avec plusieurs appels rejoués en même temps. Le cours a testé un seul appel à la fois.

  • Par lots avec une file d’attente : enregistrements, rapports nocturnes, recherche et vérifications de conformité. Choisissez le modèle le plus exact que votre budget permet : ici, Whisper small coûte quelques dollars par mois.
  • En continu : le SVI, l’agent vocal, les sous-titres en direct. Choisissez d’abord selon la latence : le SVI du module 7 utilise Whisper base, qui transcrit un tour en environ 0,24 seconde.
  • Les deux, pour un même appel : la ligne téléphonique fonctionne en continu pendant l’appel. L’enregistrement entre ensuite dans la file de traitement par lots pour une meilleure transcription. C’est le plan de Larkfield.
  • Hébergé : lorsque vous ne voulez pas exploiter de serveurs, ou avez besoin de langues et d’une exactitude absentes des modèles locaux. Lisez d’abord la page des prix et les conditions relatives aux données.

Vérifiez votre compréhension

Le processus a transcrit 3 appels (2,3 minutes d'audio) en 3,4 secondes sur un serveur qui coûte 0,17 $ US l'heure. Calculez le facteur temps réel et le coût par heure d'audio. Montrez les étapes.

Afficher la réponse

2,3 minutes représentent environ 137 secondes. Le facteur temps réel est de 3,4 ÷ 137 = 0,025. Une heure d’audio demande donc 0,025 heure de calcul, soit 1,5 minute. Le coût par heure d’audio est de 0,025 × 0,17 $ US = 0,0042 $ US. Ce calcul suppose que le serveur travaille sans arrêt. C’est le cas quand des appels attendent dans la file.

Vérifiez votre compréhension

Tomás dit : « Le service hébergé en continu coûte 0,60 $ US par heure d'audio, et notre processeur coûte 0,005 $ US. Donc, notre propre serveur de diffusion en continu coûte plus de 100 fois moins cher. » Quel est le problème avec sa comparaison?

Afficher la réponse

Le montant de 0,005 $ US correspond au traitement par lots. Il suppose que le serveur travaille sans arrêt. Un serveur de diffusion en continu doit pouvoir gérer la minute la plus occupée. Il attend pendant la majeure partie de la journée. Vous payez donc toutes ses heures : environ 124 $ US par mois pour un serveur avec processeur, peu importe le nombre d’appels. Pour 900 appels en dehors des heures d’ouverture, ce coût dépasse largement celui du calcul lui-même. De plus, le prix du service hébergé est une affirmation du fournisseur qui peut changer. Il comprend des avantages qu’un serveur local n’offre pas : aucun serveur à exploiter et plus de langues. La comparaison doit porter sur le même type de travail et le coût mensuel total.

Vérifiez votre compréhension

Vérification pratique : trois appels se trouvent dans le dossier d'arrivée, et leurs résultats sont déjà écrits. Vous ajoutez C-0052 et lancez speech batch inbox. Qu'affiche le processus sur sa première ligne, et pourquoi?

Afficher la réponse

Il affiche 1 calls (0.7 min of audio) in … s: real-time factor …; 3 done before (1 appel, 0,7 minute d’audio, durée en secondes, facteur temps réel; 3 appels déjà traités). Le processus lit d’abord outputs/batch-results.jsonl. Trois noms de fichiers s’y trouvent déjà. Il ignore donc ces appels et transcrit seulement C-0052. Vous pouvez ainsi relancer le processus sans risque après une panne.

Récapitulatif

  • Par lots : une file d’appels enregistrés et un processus qui les traite l’un après l’autre. Le débit et le coût sont importants. Le processus écrit un fichier de résultats et ignore les appels déjà traités. Vous pouvez donc le relancer sans risque.
  • En continu : l’audio arrive en petits morceaux, et le programme décide immédiatement. La latence est importante, et le serveur doit pouvoir gérer la minute la plus occupée.
  • Coût par heure d’audio = facteur temps réel × prix du serveur par heure. Pour le processus par lots : 0,025 × 0,17 $ US = 0,0042 $ US avec les appels synthétiques de Larkfield.
  • Pour un volume supposé de 400 heures d’audio par mois, Whisper sur un processeur coûte quelques dollars. Les tarifs affichés pour le traitement par lots hébergé vont de 72 $ US à 144 $ US par mois. La diffusion en continu hébergée coûte plus cher (affirmations des fournisseurs; les prix changent).

La file produit maintenant une transcription de chaque appel. Ces transcriptions et enregistrements contiennent des noms, des numéros de commande et parfois un numéro de carte lu à voix haute. Ensuite, nous les retirons du texte et de l’audio.

Leçon suivante : Les données personnelles dans la voix