Aller au contenu
English

La synthèse vocale pour les messages

  • Leçon 23
  • 35 min
  • Module 7 : Construire un petit serveur vocal interactif

Où nous en sommes

Un serveur vocal interactif (SVI, *IVR*) parle aux appelants. Il lui faut donc une voix. Dans cette leçon, nous créons les messages de Larkfield avec deux systèmes ouverts de synthèse vocale, Piper et Kokoro. Nous comparons l'écoute, la vitesse, le français et les licences, puis écrivons des messages pour le téléphone.

Leçon 23 sur 36 · IA de la parole : transcrire, comprendre et parlerLa synthèse vocale pour les messages
Aperçu du cours

Ce que vous saurez faire

Donnez au SVI de Larkfield une voix que les appelants comprennent sur une ligne téléphonique. Choisissez-la selon la vitesse, la langue et la licence. Écrivez des messages assez courts pour limiter l’attente.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter fait entendre les messages de Piper et de Kokoro et mesure leur durée. Vous réécrivez ensuite le menu pour réduire l’attente. Il télécharge quelques courts fichiers audio et n’exécute aucun modèle. Environ 20 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut

  • Votre dossier larkspeech à la fin du module 6, avec son environnement, et le dossier des exercices à côté.
  • Environ 130 Mo d’espace disque libre pour les deux voix Piper (anglais et français), téléchargées à leur première utilisation.
  • Testé sur macOS (Apple M4) avec Python 3.12. Les commandes Windows sont fournies, mais n’ont pas été exécutées.

Pensez à la voix dans une gare. « Le train pour Leeds, au quai 4, a un retard de 10 minutes. » Autrefois, une personne enregistrait chaque mot : chaque ville, chaque numéro de quai, chaque nombre de minutes. Un ordinateur assemblait les morceaux. Quand la compagnie ajoutait une ville, quelqu’un retournait au studio.

Aujourd’hui, beaucoup de gares utilisent une voix informatique qui lit n’importe quelle phrase. Personne n’enregistre « Leeds » à l’avance. On écrit la phrase, et la voix la prononce.

Un SVI a le même choix. Certains messages ne changent jamais (« Bienvenue chez Larkfield »). D’autres changent à chaque appel : « Votre Cedar raised bed a été livré le 11 mai. » Larkfield vend 12 produits, compte 160 commandes dans son système de test et utilise des dates toute l’année. Personne ne peut enregistrer chaque phrase à l’avance.

Le problème : une voix pour des phrases qui changent

Section intitulée « Le problème : une voix pour des phrases qui changent »

Le SVI a donc besoin de synthèse vocale, souvent abrégée TTS : un programme qui transforme du texte écrit en parole. Pour Larkfield, il doit faire quatre choses :

  1. Se faire comprendre sur une ligne téléphonique. La ligne supprime les fréquences basses et hautes et ne garde que 8 000 échantillons par seconde. Une voix agréable au casque peut être difficile à suivre au téléphone.
  2. Être rapide. Un appelant qui vient de finir de parler attend la réponse. Chaque demi-seconde de silence semble longue.
  3. Parler anglais et français. Plus de la moitié des appels de test du SVI de Larkfield sont en français (33 sur 60).
  4. Avoir une licence que Larkfield peut utiliser dans un produit qu’elle exploite, et qu’elle partagera peut-être.

Un système moderne de synthèse vocale fonctionne en deux étapes.

D’abord, il transforme les lettres en phonèmes, les petits sons d’une langue. « Order » (commande) devient quelque chose comme AW R D ER. Cette étape sait que « read » (lire) se prononce différemment dans « I read yesterday » (j’ai lu hier). Elle transforme aussi « 8 a.m. » en « eight a m » (huit heures du matin).

Ensuite, un réseau de neurones transforme les phonèmes en échantillons audio. Il l’a appris avec des heures d’enregistrements d’une ou de plusieurs personnes lisant des textes à voix haute. La voix que vous entendez vient de ces enregistrements.

Deux systèmes ouverts fonctionnent bien sur le processeur d’un portable :

  • Piper est petit et rapide. Chaque voix est un fichier distinct d’environ 60 Mo, entraîné à partir d’un jeu de données public. La voix anglaise du SVI de Larkfield a appris avec LJ Speech (une lectrice américaine, domaine public). La voix française a appris avec SIWIS (une lectrice française, CC BY 4.0).
  • Kokoro (Kokoro-82M) est un modèle de 82 millions de paramètres avec plusieurs voix. Il semble généralement plus naturel, mais il est plus lent.

Voici le même message anglais avec les deux voix. Il confirme un numéro de commande. Les deux extraits sont passés par la ligne téléphonique de Larkfield. Vous entendez donc ce qu’un appelant entend.

Le message de confirmation, 7,71 secondes, sur une ligne téléphonique. Une voix synthétique : Piper, entraîné sur le corpus LJ Speech.
Le même message, 7,62 secondes, sur une ligne téléphonique. Une voix synthétique : Kokoro-82M, voix af_heart.

Transcription (les deux extraits) : « Order 7 4 2, 1 5 5. Is that right? Say yes or no, or press 1 for yes and 2 for no. »

Et une réponse en français sur le statut d’une commande :

Une réponse en français sur le statut d’une commande, 3,38 secondes, sur une ligne téléphonique. Une voix synthétique : Piper, entraîné sur le corpus SIWIS.
La même réponse, 3,7 secondes, sur une ligne téléphonique. Une voix synthétique : Kokoro-82M, voix ff_siwis (entraînée avec la même lectrice de SIWIS).

Transcription (les deux extraits) : « Votre Grow Hub est parti le 4 mai et il est en route. »

Laquelle préféreriez-vous entendre à 22 h? Votre réponse constitue un test d’écoute avec une seule personne. C’est utile, mais ce n’est pas suffisant.

Les équipes comparent les voix avec une note d’opinion moyenne, ou MOS. Plusieurs personnes écoutent chaque message et lui donnent une note de 1 (mauvais) à 5 (excellent). La MOS est la moyenne de toutes les notes. Les bons tests présentent les voix dans un ordre aléatoire, pour que les personnes ne sachent pas quelle voix elles entendent. Ils présentent aussi l’audio tel que l’appelant l’entend, à travers la ligne téléphonique.

L’équipe du cours n’a pas mené de test d’écoute avec des personnes. Nous avons plutôt mesuré quelque chose de plus simple : le nombre de mots qu’un système de reconnaissance transcrit mal dans chaque message. Nous appelons cela l’intelligibilité ici. C’est un indice approximatif, pas un test d’écoute.

Mesurer la vitesse, le premier audio et l’intelligibilité

Section intitulée « Mesurer la vitesse, le premier audio et l’intelligibilité »

Trois mesures déterminent l’essentiel du choix :

  • Le facteur temps réel : temps de calcul ÷ durée de l’audio, comme dans Préparer le projet de parole. Une valeur inférieure à 1 signifie que le calcul est plus rapide que la parole.
  • Le délai avant le premier audio : l’attente de l’appelant avant le premier son. Une voix peut prononcer la première phrase pendant qu’elle produit les suivantes.
  • L’intelligibilité : le WER de Whisper small sur les messages passés par la ligne téléphonique.
Trois diagrammes à barres pour quatre voix : Piper anglais, Kokoro anglais, Piper français, Kokoro français. Facteur temps réel : 0,021, 0,098, 0,020, 0,097. Premier audio en secondes : 0,06, 0,62, 0,05, 0,40. WER de Whisper small sur les messages passés par la ligne téléphonique, en pourcentage : 10,6, 6,2, 10,4, 8,3.
Piper et Kokoro sur les messages de Larkfield, avec 4 fils d'exécution du processeur Apple M4. L'intelligibilité est le WER d'un système de reconnaissance sur les messages passés par la ligne téléphonique, pas un test d'écoute avec des personnes.
Description textuelle du diagramme

À gauche : le facteur temps réel de Piper est d’environ 0,02, celui de Kokoro d’environ 0,1. Piper est donc environ cinq fois plus rapide. Au centre : le premier audio de Piper arrive après 0,06 seconde en anglais et 0,05 en français. Celui de Kokoro arrive après 0,62 et 0,40 seconde. À droite : Whisper small se trompe sur moins de mots dans les messages de Kokoro (6,2 % en anglais, 8,3 % en français) que dans ceux de Piper (10,6 % et 10,4 %).

Lisez le graphique comme un compromis. Piper est environ cinq fois plus rapide, et son premier son arrive après environ 0,05 seconde. Kokoro est plus facile à suivre pour le système de reconnaissance sur la ligne téléphonique. Mais l’appelant attend environ une demi-seconde de plus avant chaque réponse.

Pour un SVI, Piper est le meilleur premier choix. Ses messages sont courts et fixes. Il fonctionne sur n’importe quel processeur, et chaque voix est un petit fichier distinct. Kokoro mérite un test d’écoute quand la voix compte davantage que la vitesse.

Un WER d’environ 10 % sur les messages de Piper ne signifie pas que les appelants manquent un mot sur dix. Les gens connaissent le contexte et comprennent « Order 7 4 2 » comme un numéro de commande. Les erreurs d’un système de reconnaissance indiquent où une voix est moins claire. Elles ne disent pas si les gens l’aiment. C’est pourquoi nous parlons d’un indice approximatif.

Les fournisseurs de services infonuagiques vendent aussi de la synthèse vocale. Leurs voix semblent souvent les plus naturelles et parlent de nombreuses langues. Mais chaque message passe alors par Internet. Vous payez par caractère, et le premier audio dépend du réseau. Le cours n’a pas mesuré de voix hébergée et ne nécessite aucun compte. Vous pouvez en ajouter une avec votre propre clé : envoyez le texte au point de terminaison de synthèse vocale du fournisseur. Mettez l’audio retourné en cache et mesurez le délai avant le premier audio de la même façon. Consultez d’abord la page des tarifs actuels du fournisseur : les prix changent.

Une voix a trois parties, chacune avec sa propre licence. Ce sont le programme qui exécute la voix, le fichier de voix (les poids appris) et les enregistrements utilisés pour l’entraînement.

Programme Fichiers de voix Enregistrements utilisés pour l’entraînement
Piper piper-tts : GPL-3.0-or-later MIT LJ Speech : domaine public; SIWIS : CC BY 4.0
Kokoro kokoro : Apache-2.0; son traitement du français utilise phonemizer-fork : GPL-3.0 Apache-2.0 audio du domaine public et sous licences permissives, et, selon sa fiche de modèle, audio synthétique de services fermés de synthèse vocale

Deux termes du tableau nécessitent une explication :

  • MIT et Apache-2.0 sont des licences permissives. Vous pouvez utiliser le code dans votre produit, même fermé, si vous conservez l’avis de droit d’auteur.
  • GPL est une licence copyleft (qui impose le partage sous la même licence). Si vous partagez un programme qui inclut du code GPL, vous devez aussi partager tout votre programme sous GPL. Vous devez fournir son code source. Le texte de la licence dit, à la section 5(c) : « You must license the entire work, as a whole, under this License to anyone who comes into possession of a copy » (GNU GPL version 3). Autrement dit, toute personne qui reçoit une copie reçoit l’œuvre entière sous cette licence.

Le projet du cours, larkspeech, est sous licence MIT. S’il importait le code Python de Piper, une personne partageant le SVI partagerait un programme qui inclut du code GPL. Le projet n’importe donc pas Piper. Il exécute la commande piper comme un programme distinct. La section 5 de la GPL appelle « aggregate » (agrégat) des « separate and independent works » (œuvres séparées et indépendantes) qui sont seulement stockées ou distribuées ensemble. La GPL ne couvre alors pas les autres œuvres. La limite entre deux programmes est une question juridique. La Free Software Foundation en parle dans sa FAQ sur la GPL. Les deux programmes échangent seulement du texte et des fichiers. Le projet transmet un message à piper sous forme d’une ligne de texte. piper écrit un fichier WAV, puis le projet le lit.

Un programme distinct a un coût : chaque démarrage charge le modèle de voix. Nous l’avons mesuré sur le portable du cours. Démarrer un nouveau programme piper pour chaque phrase imposait environ 0,8 seconde d’attente avant le premier son. Le graphique ci-dessus indique plutôt 0,05 seconde. Donc, tts.py démarre piper une fois par langue et le garde en marche. Après ce démarrage, la première phrase d’un message était prête après environ 0,05 seconde en français et 0,04 en anglais. C’est proche du graphique. Seul le premier message après le démarrage du SVI impose cette attente de 0,8 seconde, une fois par langue.

Passer à Kokoro ne règle pas la question, car son traitement du français utilise aussi une bibliothèque GPL.

Voilà les faits sur les licences et le choix fait pour le cours. Ce ne sont pas des conseils juridiques. Avant de livrer un produit, consultez la personne qui vérifie les licences dans votre entreprise.

Une bonne voix ne peut pas sauver un mauvais message. L’appelant entend chaque mot une seule fois, ne peut pas revenir en arrière et doit mémoriser les options. Les messages téléphoniques suivent donc des règles dont les textes écrits n’ont pas besoin.

Voici la durée de chaque message anglais du SVI, produit avec Piper :

Un diagramme à barres des secondes par message : accueil 11,0, menu 10,8, nouvelle tentative du menu 9,3, numéro de commande 2,8, confirmation 8,0, heures d'ouverture 10,2, transfert à un agent 3,9 et menu plus court écrit pour cette leçon 6,6.
Durée de chaque message anglais du SVI (Piper, voix LJ Speech). La barre verte représente un menu plus court écrit pour cette leçon. Piper ajoute un peu d'aléatoire : la durée d'un même message peut varier de quelques dixièmes de seconde.
Description textuelle du diagramme

L’accueil dure 11 secondes et le menu 10,8 secondes. La nouvelle tentative du menu dure 9,3, les heures d’ouverture 10,2 et la confirmation 8. Le transfert à un agent dure 3,9 et la question sur le numéro de commande seulement 2,8. Notre menu plus court dure 6,6 secondes.

Un appelant qui veut les heures d’ouverture entend d’abord l’accueil et le menu. Il attend plus de 20 secondes avant de pouvoir parler. Le menu dit chaque option deux fois : une fois pour la parole et une fois pour le clavier :

How can I help? Say order status, opening hours, or start a return. You can also press 1 for orders, 2 for opening hours, 3 for returns, or 0 for a person. (32 mots)

Voici une version plus courte qui conserve toutes les options :

Say orders, hours or returns. Or press 1, 2 or 3. For a person, press 0. (16 mots)

Elle dure environ 6,6 secondes au lieu de 10,8. Les appelants qui savent ce qu’ils veulent peuvent aussi parler ou appuyer sur une touche avant la fin du message. Il faut pour cela que le SVI écoute pendant le message. Le module 8 traite de ces interruptions.

« Appuyez sur 1 pour les commandes » oblige l’appelant à mémoriser un chiffre avant de savoir à quoi il sert. « Pour les commandes, appuyez sur 1 » donne d’abord la raison. L’appelant attend donc la touche seulement s’il en a besoin. Notre menu ne respecte pas cette règle. C’est un bon changement à essayer.

Les gens mémorisent les nombres par groupes de deux ou trois chiffres. Le SVI relit un numéro de commande comme « 7 4 2, 1 5 5 ». La virgule crée une courte pause au milieu. Un numéro à six chiffres lu sans pause est facile à mal entendre et difficile à vérifier.

Notre accueil contient deux langues : « … For English, say English or press 1. Pour le français, dites français ou appuyez sur 2. » Le SVI ne connaît pas encore la langue de l’appelant. Il prononce donc tout l’accueil avec sa voix anglaise. Un appelant francophone entend du français avec un accent américain dès les premières secondes de l’appel. Vous pouvez l’entendre au début de l’appel dans la première leçon de ce module. Un meilleur accueil produit chaque phrase avec la voix de sa langue, puis assemble les deux morceaux audio.

Chaque nouvelle tentative indique quoi faire ensuite (« Utilisez votre clavier »). Le menu indique comment joindre une personne (0). Un appelant qui ne sait pas comment sortir raccroche.

  1. Depuis le dossier contenant larkspeech et nextia-learning-labs, copiez les dépendances de l’instantané de fin du module 7. Copiez aussi les trois fichiers de la voix du SVI.

    macOS et Linux :

    Fenêtre de terminal
    cp nextia-learning-labs/C41/snapshots/end-of-m07/requirements.txt larkspeech/
    mkdir -p larkspeech/larkspeech/ivr
    cp nextia-learning-labs/C41/snapshots/end-of-m07/larkspeech/ivr/__init__.py larkspeech/larkspeech/ivr/
    cp nextia-learning-labs/C41/snapshots/end-of-m07/larkspeech/ivr/prompts.py larkspeech/larkspeech/ivr/
    cp nextia-learning-labs/C41/snapshots/end-of-m07/larkspeech/ivr/tts.py larkspeech/larkspeech/ivr/

    Windows PowerShell :

    Fenêtre de terminal
    Copy-Item nextia-learning-labs\C41\snapshots\end-of-m07\requirements.txt larkspeech\
    New-Item -ItemType Directory -Force larkspeech\larkspeech\ivr
    Copy-Item nextia-learning-labs\C41\snapshots\end-of-m07\larkspeech\ivr\__init__.py larkspeech\larkspeech\ivr\
    Copy-Item nextia-learning-labs\C41\snapshots\end-of-m07\larkspeech\ivr\prompts.py larkspeech\larkspeech\ivr\
    Copy-Item nextia-learning-labs\C41\snapshots\end-of-m07\larkspeech\ivr\tts.py larkspeech\larkspeech\ivr\
  2. Allez dans le dossier larkspeech, activez l’environnement et installez les nouvelles dépendances : piper-tts et le serveur web du téléphone de test.

    Fenêtre de terminal
    pip install -r requirements.txt
  3. Vérifiez que le programme piper est présent et que le projet le trouve :

    Fenêtre de terminal
    piper --help
    python -c "from larkspeech.ivr import tts; print(tts.piper_command())"
    usage: piper [-h] -m MODEL [-c CONFIG] [-i INPUT_FILE] [-f OUTPUT_FILE]
    ...
    /…/larkspeech/.venv/bin/piper

    Le chemin pointe vers le programme piper dans votre environnement. Sur Windows, il se termine par Scripts\piper.exe.

  4. Créez le message du menu anglais :

    Fenêtre de terminal
    python -c "from larkspeech.ivr import tts, prompts; x = tts.say(prompts.P['en']['menu']); print(f'{len(x) / 8000:.1f} s of audio')"
    Downloading piper/en_US-ljspeech-medium.onnx.json ...
    Downloading piper/en_US-ljspeech-medium.onnx ...
    11.1 s of audio

    La première exécution télécharge la voix (environ 60 Mo) et ses paramètres. Votre durée peut varier de quelques dixièmes de seconde.

  5. Exécutez la même commande à nouveau. Elle répond immédiatement : le message est maintenant en cache. Trouvez le fichier et écoutez-le :

    Fenêtre de terminal
    ls outputs/prompts
    b70e79392f321e57.wav

    Le nom du fichier vient de la langue et du texte. Un message modifié crée donc un nouveau fichier.

Prédisez : combien de secondes dure ce menu anglais? « Say orders, hours or returns. Or press 1, 2 or 3. For a person, press 0. » (Dites commandes, heures ou retours. Ou appuyez sur 1, 2 ou 3. Pour une personne, appuyez sur 0.) Puis créez-le avec tts.say(...), comme à l’étape 4, en remplaçant prompts.P['en']['menu'] par votre phrase.

Vérifiez votre réponse
Fenêtre de terminal
python -c "from larkspeech.ivr import tts; x = tts.say('Say orders, hours or returns. Or press 1, 2 or 3. For a person, press 0.'); print(f'{len(x) / 8000:.1f} s of audio')"
6.3 s of audio

Environ 6,5 secondes au lieu d’environ 11 : l’appelant gagne plus de 4 secondes à chaque appel. Piper prononce environ 2,84 mots par seconde dans nos messages. Chaque mot retiré fait donc gagner environ un tiers de seconde. Écoutez maintenant le fichier. Est-ce que « 1, 2 or 3 » est assez clair sans les mots? Un test d’écoute répond à cette question.

Erreur courante

Un message qui semble clair au casque

Symptôme : Amira écrit un nouveau message d’accueil et l’écoute au casque : il est clair et chaleureux. Lors des premiers appels de test sur la ligne téléphonique, les appelants raccrochent plus souvent pendant le message d’accueil.

Cause : elle a écouté l’audio de Piper à 22 050 échantillons par seconde, pas l’audio téléphonique. La ligne téléphonique retire les fréquences aiguës, où se trouvent les sons s, f et th. Ainsi, « six » et « fix » se ressemblent à l’oreille, et les mots prononcés rapidement se confondent.

Correction : écoutez et mesurez toujours les messages après leur passage sur la ligne téléphonique, à 8 000 échantillons par seconde. C’est ce que fait le SVI (tts.say rééchantillonne à 8 kHz). Lisez les nombres par groupes et ralentissez les passages qui contiennent beaucoup d’information.

Conséquence pour le travail en IA : testez toute sortie dans les conditions où les gens l’utilisent. Une voix sur une ligne téléphonique, un graphique sur un écran de téléphone, un modèle avec de vraies entrées.

Vérifiez votre compréhension

Le premier audio de Piper arrive après environ 0,06 seconde, celui de Kokoro après environ 0,62 seconde. Mais les messages de Kokoro avaient un WER plus faible. Lequel choisiriez-vous pour le SVI de Larkfield, et qu'est-ce qui vous ferait changer d'avis?

Afficher la réponse

Piper. Les messages du SVI sont courts et fixes. Piper est environ cinq fois plus rapide, et chaque appelant attend moins après chaque tour de parole. Deux choses pourraient justifier la voix plus lente : un test d’écoute auprès de personnes (une MOS sur l’audio téléphonique) où les appelants préfèrent clairement Kokoro, ou de nombreuses plaintes concernant la voix. Le WER du système de reconnaissance ne suffit pas : c’est un indice approximatif, pas ce que les gens entendent.

Vérifiez votre compréhension

Pourquoi le projet du cours exécute-t-il Piper comme un programme distinct au lieu de l'importer?

Afficher la réponse

piper-tts est sous licence GPL-3.0-or-later. Un programme partagé qui contient du code GPL doit être partagé sous licence GPL. Le projet du cours est sous licence MIT. Le projet exécute la commande piper et échange uniquement du texte et des fichiers avec elle. Il ne contient donc pas le code de Piper. Passer à Kokoro ne supprimerait pas cette question, car son traitement du français utilise une bibliothèque GPL.

Vérifiez votre compréhension

Réécrivez « Appuyez sur 2 pour les heures d'ouverture ou sur 3 pour les retours » pour le téléphone. Indiquez les deux règles utilisées.

Afficher la réponse

Par exemple : « Pour les heures d’ouverture, appuyez sur 2. Pour les retours, appuyez sur 3. » Première règle : l’option d’abord, puis la touche. L’appelant sait ainsi à quoi sert une touche avant d’entendre son numéro. Deuxième règle : une idée par phrase, pour que chaque phrase soit courte et facile à retenir.

Récapitulatif

  • La synthèse vocale transforme les lettres en phonèmes, puis les phonèmes en audio, avec une voix apprise à partir d’enregistrements.
  • Piper est environ cinq fois plus rapide que Kokoro sur les messages de Larkfield (facteur temps réel de 0,02 contre 0,1). Son premier audio arrive après environ 0,05 seconde. Le système de reconnaissance comprenait plus facilement Kokoro sur la ligne téléphonique. Aucun de ces chiffres ne constitue un test d’écoute.
  • Une MOS (note d’opinion moyenne) demande à plusieurs personnes d’évaluer chaque message de 1 à 5. Elles écoutent l’audio téléphonique dans un ordre aléatoire.
  • piper-tts est sous licence GPL. Le projet du cours, sous licence MIT, exécute donc piper comme un programme distinct et ne l’importe jamais.
  • Des messages pour l’oreille : courts, une idée par phrase, l’option avant la touche, les nombres par groupes, et toujours une sortie.

Vous pouvez maintenant donner une voix au SVI et écrire des messages qu’un appelant peut suivre. Mais le SVI ne peut encore rien entendre. Ensuite, vous construirez la version fonctionnelle la plus simple : un menu au clavier. Il lit les fréquences vocales des touches du téléphone, gère le silence et les mauvaises touches. Il offre toujours un moyen de joindre une personne.

Leçon suivante : D'abord un menu au clavier