Aller au contenu
English

L'audio comme des données

  • Leçon 2
  • 35 min
  • Module 1 : Le problème de la parole et son coût

Où nous en sommes

Nous savons ce que Larkfield attend de ses appels. Nous n'avons pas encore examiné ce qu'un ordinateur reçoit lorsqu'il ouvre un enregistrement. Dans cette leçon, nous voyons le son comme des nombres. Nous voyons aussi pourquoi une ligne téléphonique perd des sons qu'un bon microphone conserve. Pensez d'abord à la façon dont un film montre le mouvement.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 2 sur 36 · IA de la parole : transcrire, comprendre et parlerL'audio comme des données
Aperçu du cours

Ce que vous saurez faire

Lisez un enregistrement comme un ordinateur : comme des nombres. Vous pourrez alors expliquer ce qu’une ligne téléphonique retire d’un appel avant qu’un modèle l’entende. Vous pourrez aussi préparer l’audio pour un modèle sans perdre davantage d’information.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

  • Ce que Larkfield attend de ses appels, et pourquoi chaque appel de ce cours est synthétique. Consultez Ce que Larkfield attend de ses appels.
  • Aucune connaissance mathématique au-delà de la multiplication et de la division.

Ce qu’il vous faut

  • Des écouteurs ou des haut-parleurs pour entendre les extraits. La leçon comprend une transcription de chaque extrait et une description textuelle de chaque image.
  • Rien à installer. Vous ouvrirez les mêmes appels sur votre ordinateur dans la prochaine leçon.

Un film semble montrer un mouvement fluide. Ce n’est pas le cas. Une caméra prend 24 images fixes par seconde, et le projecteur les montre l’une après l’autre. Votre œil ne voit pas les intervalles, alors il voit du mouvement. Si la caméra prenait seulement 2 images par seconde, un chien qui court sauterait d’un endroit à l’autre. Un mouvement rapide entre deux images serait perdu.

Un enregistrement sonore fonctionne de la même façon. Le son est de l’air qui fait des allers-retours très rapides. Un microphone transforme ce mouvement en signal électrique. Un enregistreur mesure ensuite le signal plusieurs fois par seconde et conserve chaque mesure sous forme de nombre. Rejouez ces nombres assez vite, et vous entendez le son à nouveau.

Chaque mesure s’appelle un échantillon. Dans un ordinateur, un échantillon est généralement un nombre entre −1 et 1. La valeur 0 représente l’air au repos. Les valeurs −1 et 1 représentent les sons les plus forts que l’enregistrement peut contenir. Le nombre d’échantillons par seconde est la fréquence d’échantillonnage. Une ligne téléphonique prend 8 000 échantillons par seconde.

Voici une phrase d’un appel de Larkfield. L’appelant dit : « Hi. Please explain how to assemble the Cedar raised bed before I fill it with soil. » Sur la ligne téléphonique, cela représente 3,75 secondes de son. Le fichier contient donc 29 984 nombres pour cette phrase.

Deux graphiques. Celui du haut montre la forme d'onde d'une phrase de l'appelant, d'une durée de 3,75 secondes, avec des valeurs entre −1 et 1. De courtes périodes de son, séparées par des intervalles calmes entre les mots. Une ligne pointillée marque un point près de 0,3 seconde, dans le mot Hi. Le graphique du bas agrandit 5 millisecondes à cet endroit : 40 points bleus reliés par une ligne fine, qui montent et descendent entre environ −0,4 et +0,55.
Une phrase de l'appelant dans l'appel C-0225 sur la ligne téléphonique, tirée du fichier du cours. En haut : tous ses nombres sous forme d'onde. En bas : 5 ms du mot « Hi »; chaque point représente un échantillon, soit 40 à 8 000 par seconde.
Description textuelle du diagramme

Le graphique du haut est une forme d’onde : chaque échantillon est un point, placé de gauche à droite dans le temps. Sa hauteur représente sa valeur. La phrase dure 3,75 secondes. Vous voyez une période de son pour chaque groupe de mots, avec des intervalles calmes entre les groupes. Le graphique du bas agrandit 5 millisecondes du premier mot, « Hi ». À 8 000 échantillons par seconde, 5 millisecondes contiennent 40 échantillons, chacun représenté par un point bleu. Les points montent et descendent : c’est l’air qui fait des allers-retours.

Voici les huit premiers nombres de l’agrandissement ci-dessus, lus dans le fichier. Ils couvrent une milliseconde (1/1 000 de seconde).

Échantillon 1 2 3 4 5 6 7 8
Valeur −0,1405 −0,1073 −0,016 0,076 0,0995 0,0721 0,0321 −0,0199

Un enregistrement, c’est simplement cela. L’image des nombres au fil du temps s’appelle une forme d’onde. Une forme d’onde montre quand le son est fort et quand il est faible. Elle ne montre pas quel son on entend : un « s » et un « f » s’y ressemblent beaucoup. Pour le savoir, il faut une autre image, que nous verrons ensuite.

La hauteur maximale qu’une fréquence d’échantillonnage peut conserver

Section intitulée « La hauteur maximale qu’une fréquence d’échantillonnage peut conserver »

Un son fait faire des allers-retours à l’air plusieurs fois par seconde. Ce nombre de fois est sa fréquence, mesurée en hertz (Hz). 1 Hz correspond à une fois par seconde, et 1 kHz à 1 000 fois par seconde. Vous percevez la fréquence comme la hauteur du son. Une voix grave fait bouger l’air environ 100 fois par seconde. Le sifflement d’un « s » le fait bouger plusieurs milliers de fois par seconde.

Revenons au film. Pour montrer un mouvement, la caméra a besoin d’au moins deux images pour chaque aller-retour. Le son suit la même règle : la fréquence d’échantillonnage conserve seulement les sons jusqu’à la moitié de sa valeur. Cette limite porte souvent le nom de fréquence de Nyquist, d’après l’ingénieur qui l’a décrite.

Fréquence d’échantillonnage Hauteur maximale conservée Où vous la rencontrez
8 000 par seconde (8 kHz) 4 000 Hz la ligne téléphonique et les fichiers téléphoniques de Larkfield
16 000 par seconde (16 kHz) 8 000 Hz les lignes « HD voice » (voix haute définition) et ce que Whisper attend
48 000 par seconde (48 kHz) 24 000 Hz un bon microphone, la vidéo, la musique

Les humains entendent des sons jusqu’à environ 20 000 Hz. Un microphone à 48 kHz conserve donc tout ce que vous pouvez entendre. Une ligne téléphonique en conserve beaucoup moins. Et la ligne elle-même en retire davantage : une ligne téléphonique classique transmet seulement les sons entre environ 300 et 3 400 Hz. Les fichiers téléphoniques de Larkfield font de même.

Avez-vous déjà épelé votre nom au téléphone en disant « S comme Sam, F comme Frank »? Il y a une raison. Les sons « s » et « f » diffèrent surtout par leurs fréquences élevées, au-dessus d’environ 3 400 Hz. Une ligne téléphonique retire ces fréquences, alors les deux lettres ont presque le même son au téléphone. Les gens ont inventé cette façon d’épeler avec des mots pour contourner le problème.

Un système de reconnaissance de la parole a le même problème, et il ne peut pas demander « S comme Sam? ». Pour voir ce que la ligne retire, nous avons besoin d’une image de la hauteur des sons.

Un spectrogramme montre le son selon trois dimensions. Le temps va de gauche à droite, comme dans une forme d’onde. La hauteur va du bas (grave) vers le haut (aigu). La couleur montre la force du son à chaque fréquence et à chaque instant : claire pour fort, sombre pour faible. Un programme le crée en découpant le son en courts morceaux (ici, 32 millisecondes). Il mesure ensuite chaque fréquence dans chaque morceau.

Voici la même phrase deux fois. Le premier fichier contient ce que la ligne téléphonique a enregistré. Le deuxième contient le même moment du même appel, enregistré sur une ligne à bande large (wideband), à 16 000 échantillons par seconde. Écoutez les deux : d’abord la version téléphonique, puis la version à bande large.

Ligne téléphonique : 8 000 échantillons par seconde, mu-law (le canal de l’appelant dans l’appel C-0225).
Bande large : 16 000 échantillons par seconde, après le codec G.722 (les mêmes secondes du même appel).

Transcription (appelant, de 6,0 à 9,7 s) : « Hi. Please explain how to assemble the Cedar raised bed before I fill it with soil. » La voix est synthétique : Piper, entraîné sur le corpus VCTK (locuteur p288).

Deux spectrogrammes de la même phrase de 3,75 secondes, côte à côte (l'un au-dessus de l'autre sur un téléphone). Les deux montrent le temps de 0 à 3,7 secondes horizontalement et la hauteur de 0 à 8 kHz verticalement. Celui de gauche, la ligne téléphonique à 8 000 échantillons par seconde, contient de la couleur seulement jusqu'à 4 kHz. Au-dessus de 4 kHz, la zone est vide et grise, avec les mots : rien au-dessus de 4 kHz, le fichier ne peut pas le contenir. Une ligne blanche en tirets se trouve à 3,4 kHz. Celui de droite, à bande large et à 16 000 échantillons par seconde, contient de la couleur jusqu'à 8 kHz. À plusieurs moments, des bandes verticales claires dépassent largement la ligne en tirets.
La même phrase de l'appelant sur la ligne téléphonique (à gauche) et sur une ligne à bande large (à droite). La ligne blanche en tirets est à 3 400 Hz, la limite supérieure d'une ligne téléphonique classique. Graphiques tirés des fichiers du cours.
Description textuelle du diagramme

Les deux images montrent la même phrase. Le temps avance horizontalement, et la hauteur monte jusqu’à 8 kHz. Une couleur claire indique un son fort à cette fréquence. Dans les deux images, les bandes horizontales claires du bas représentent la voix : sa fréquence fondamentale et les fréquences supérieures. Dans l’image à bande large, à droite, de fines bandes claires montent jusqu’en haut à plusieurs moments. Elles dépassent largement la ligne en tirets à 3 400 Hz. Ce sont les sons sifflants, comme les « s » dans « Please », « assemble » et « soil ». Dans l’image téléphonique, à gauche, la couleur s’arrête à 4 kHz. Un fichier à 8 000 échantillons par seconde ne peut pas contenir davantage. Au-dessus de 3 400 Hz, la ligne téléphonique a déjà beaucoup affaibli le son.

Vous pouvez aussi entendre la différence. La voix à bande large semble plus claire et plus proche. Au téléphone, les « s » sont étouffés. Une personne comprend quand même la phrase, parce que les mots autour l’aident. Un système de reconnaissance doit faire de même avec moins d’information. Il fait donc plus d’erreurs sur les noms et les nombres.

Regardez maintenant un appel entier. C’est l’appel C-0127 de la leçon précédente : celui de l’appelant dont les lumières de sentier Pebble n’étaient pas arrivées. L’image du haut est sa forme d’onde. Celle du bas est son spectrogramme. Les deux proviennent du fichier à bande large, alors le spectrogramme atteint 8 000 Hz.

Deux graphiques partagent un axe du temps de 0 à 29 secondes. En haut : la forme d'onde de l'appel entier, avec des cercles numérotés de 1 à 9 au-dessus des neuf tours de parole. Les cercles des tours de l'agent sont bleus et ceux de l'appelant sont orange. Des périodes de son pour chaque tour, séparées par de courts intervalles. En bas : le spectrogramme de 0 à 8 kHz. Chaque tour apparaît comme un bloc de bandes horizontales claires près du bas, avec de fines bandes qui montent plus haut. Les intervalles entre les tours sont sombres.
Appel C-0127 (fichier à bande large, 16 000 échantillons par seconde) : la forme d'onde montre quand quelqu'un parle; le spectrogramme montre les fréquences utilisées. Les nombres représentent les neuf tours de parole de l'appel.
Description textuelle du diagramme

L’appel dure 29 secondes et comprend neuf tours de parole. L’agent parle aux tours 1, 3, 5, 6, 7 et 9, et l’appelant aux tours 2, 4 et 8. Dans la forme d’onde, chaque tour est une période de son. Les courts intervalles entre les tours sont du silence. Dans le spectrogramme, chaque tour apparaît comme des bandes horizontales claires près du bas : la voix et les fréquences supérieures. De fines bandes montent plus haut lors des sons sifflants. Les intervalles sont sombres.

Tour de parole Qui Ce qui a été dit
1 Agent Thank you for calling Larkfield, this is Chloe. This call is recorded for quality and training. How can I help you today?
2 Appelant Hi, um, good morning. My Pebble path lights haven’t arrived. Please tell me where they are.
3 Agent I can help with that. Can I have your order number, please?
4 Appelant Yes, it’s 114942.
5 Agent Thank you. That’s order 114 942. It shipped on the twelfth of March, and it is on its way.
6 Agent I will ask the courier to call you before tomorrow’s delivery.
7 Agent Is there anything else I can help you with?
8 Appelant No, that’s it, thanks a lot.
9 Agent Thank you for calling Larkfield. Have a good day.

Les systèmes de reconnaissance de la parole ne lisent pas la forme d’onde. La plupart partent d’une image très proche de ce spectrogramme. Vous verrez comment au module 4.

La précision de chaque nombre : résolution en bits et mu-law

Section intitulée « La précision de chaque nombre : résolution en bits et mu-law »

La fréquence d’échantillonnage indique à quelle fréquence l’enregistreur mesure le signal. La résolution en bits indique avec quelle précision. Un ordinateur stocke chaque échantillon comme un nombre entier avec un nombre fixe de bits. Avec 16 bits, il y a 65 536 valeurs possibles entre −1 et 1. Avec 8 bits, il y en a seulement 256. Une valeur entre deux niveaux est arrondie au plus proche.

Les systèmes téléphoniques utilisent 8 bits par échantillon pour réduire la quantité de données. Mais la parole est souvent faible : beaucoup d’échantillons sont proches de 0. Avec 256 niveaux égaux de −1 à 1, chaque pas est de 1/128 (environ 0,0078). Un échantillon faible de 0,001 est arrondi à 0, et il disparaît.

La solution du réseau téléphonique s’appelle mu-law (écrit μ-law). Elle utilise toujours 256 niveaux, mais ils ne sont pas égaux. Les pas sont très petits près de 0 et grands près des valeurs fortes. Les sons faibles conservent leurs détails. Les sons forts en perdent un peu, là où vous ne pouvez pas l’entendre. Ce tableau arrondit quatre valeurs des deux façons, avec le code mu-law du projet du cours :

Valeur de l’échantillon 8 bits, niveaux égaux Erreur 8 bits, mu-law Erreur
0,001 (très faible) 0 100,0 % 0,0011 6,0 %
0,01 (faible) 0,0078 21,9 % 0,0102 2,3 %
0,1 (normal) 0,1016 1,6 % 0,1007 0,7 %
0,5 (fort) 0,5 0,0 % 0,4967 0,7 %

C’est pour les valeurs faibles que mu-law donne de meilleurs résultats. Voilà pourquoi chaque fichier téléphonique de Larkfield utilise mu-law sur 8 bits à 8 000 échantillons par seconde. Son débit de données est de 8 000 × 8 = 64 000 bits par seconde (64 kbit/s). Cela représente environ 28,8 Mo pour une heure sur un canal.

Mu-law est un codec : une règle pour coder le son avec moins de bits, puis le décoder. Le nom vient de coder-decoder (codeur-décodeur). Son nom normalisé est G.711. L’Europe utilise une variante proche, A-law. D’autres lignes utilisent des codecs qui compressent beaucoup plus le son, et perdent davantage d’information. Malik, l’ingénieur en téléphonie de Larkfield, les connaît tous. Voici les lignes du jeu d’appels de Larkfield :

Ligne Codec Débit de données Appels publics
Ligne fixe G.711 mu-law 64 kbit/s 160
Ligne mobile Opus 8 kbit/s 59
Téléphonie Internet (VoIP) G.726 16 kbit/s 41
Version à bande large de chaque appel G.722 (« HD voice ») 64 kbit/s, 16 000 échantillons par seconde tous

Ces codecs perdent de l’information : le son décodé n’est pas le son original. Dans le jeu d’appels, le son de chaque ligne passe d’abord par son codec. Notre code le stocke ensuite en mu-law sur 8 bits à 8 kHz, comme le ferait un système téléphonique. Un débit plus faible ne signifie pas toujours plus d’erreurs de reconnaissance. Sur les appels synthétiques de Larkfield, Whisper small se trompe sur 8,6 % des mots de la ligne fixe. Il se trompe sur 5,9 % des mots de la ligne mobile et 12,2 % de ceux de la ligne VoIP. Mais la plupart des appels VoIP sont en français, et le français est plus difficile pour le système de reconnaissance. Pour les appels en anglais, les trois lignes diffèrent de moins de 1 point. Les modules 2 et 4 montrent comment mesurer cela et comment isoler une tranche.

Un enregistrement peut avoir plus d’une liste de nombres. Chaque liste est un canal. La musique est souvent stéréo : deux canaux, pour vos oreilles gauche et droite. Beaucoup de systèmes téléphoniques enregistrent aussi les appels en stéréo, mais d’une manière utile. L’agent est sur un canal et l’appelant sur l’autre. D’autres systèmes mélangent les deux personnes sur un seul canal : c’est le mono.

Trois formes d'onde de l'appel C-0127 partagent un axe du temps de 0 à 29 secondes. Canal 1, l'agent, en bleu : du son aux tours 1, 3, 5, 6, 7 et 9, une ligne plate ailleurs. Canal 2, l'appelant, en orange : du son aux tours 2, 4 et 8, une ligne plate ailleurs. Mono, les deux mélangés sur un canal, en gris : du son aux neuf tours, et chaque tour est plus petit que sur son propre canal.
L'appel C-0127 tel que le système téléphonique l'a enregistré : l'agent sur le canal 1, l'appelant sur le canal 2. La troisième rangée mélange les deux sur un canal, comme un enregistrement mono.
Description textuelle du diagramme

Sur le canal 1, seuls les tours de l’agent contiennent du son : 1, 3, 5, 6, 7 et 9. Sur le canal 2, seuls les tours de l’appelant contiennent du son : 2, 4 et 8. Chaque canal est presque plat pendant que l’autre personne parle. Dans la rangée mono, les deux canaux sont mélangés en un seul. Les neuf tours sont donc présents, et vous ne pouvez plus voir qui a parlé. Chaque tour est aussi plus petit dans la rangée mono, parce que le mélange est la moyenne des deux canaux.

La stéréo est un avantage précieux. Avec la stéréo, vous savez qui a prononcé chaque mot sans aucun modèle : le canal vous le dit. Le module 5 utilise cet avantage. Avec le mono, un modèle doit deviner qui a parlé à partir des voix. Parmi les 260 appels publics de Larkfield, 150 sont stéréo et 110 sont mono.

Le mélange a aussi un coût. Pour mélanger deux canaux, un programme prend la moyenne des deux nombres. Quand une seule personne parle, l’autre canal est près de 0. Ce tour est donc environ deux fois moins haut dans le mélange (environ 6 dB plus faible). Sur un appel entier, la baisse semble plus petite. La mesure d’intensité sonore fait la moyenne des tours des deux personnes. Vous le voyez dans l’appel C-0127. Le canal de l’agent est à −24,9 dBFS et celui de l’appelant à −28,1 dBFS. Le mélange mono est à −29,2 dBFS. La prochaine section explique cette unité.

L’intensité sonore se mesure en décibels (dB). Un décibel compare deux niveaux : une baisse de 6 dB divise le niveau par deux, et de 20 dB par dix. Pour les enregistrements, la référence est la valeur maximale qu’un fichier peut contenir. L’unité est donc le dBFS, soit les décibels sous la pleine échelle. Le son le plus fort possible est à 0 dBFS. Toutes les autres valeurs sont négatives. La parole sur une ligne téléphonique se situe souvent entre −30 et −15 dBFS.

Pour trouver le silence dans un appel, un programme découpe le son en courtes trames, ici de 30 millisecondes chacune. Il mesure l’intensité sonore de chaque trame. Il considère une trame comme silencieuse quand son intensité est sous un seuil. Le projet du cours utilise −45 dBFS.

Un graphique en courbes du canal de l'appelant pour l'appel C-0127 : intensité sonore en dBFS de −90 à 0 sur 29 secondes, une valeur par trame de 30 millisecondes. Une ligne pointillée à −45 dBFS; la zone en dessous est ombrée et porte l'étiquette : sous −45 dBFS, silence. La courbe reste près de −57 la plupart du temps. Elle monte entre −40 et −12 dans trois groupes, vers 6 à 9 secondes, 12 à 13,6 secondes et 25 à 25,7 secondes.
Le canal de l'appelant pour l'appel C-0127, une valeur par trame de 30 ms. Les trames sous la ligne pointillée à −45 dBFS comptent comme du silence.
Description textuelle du diagramme

Le canal de l’appelant contient 965 trames de 30 millisecondes. La courbe reste près de −56,7 dBFS la plupart du temps : c’est le faible bruit de la ligne téléphonique, pas un vrai silence. Elle dépasse −45 dBFS seulement dans trois groupes : les trois tours de parole de l’appelant. La trame la plus forte atteint −11,6 dBFS.

Sur le canal de l’appelant, 814 des 965 trames sont silencieuses : 84 %. C’est logique : l’appelant ne parle que pendant environ 5,7 secondes sur les 29. Dans le mélange mono, 40 % des trames sont silencieuses. Remarquez aussi que le « silence » n’est jamais à 0 : la ligne ajoute un faible bruit d’environ −56,7 dBFS.

Pourquoi le silence compte-t-il? Un système de reconnaissance utilise du temps de calcul pour chaque seconde, silencieuse ou non. Et certains systèmes inventent des mots pendant les longs silences. Le module 3 mesure ces deux problèmes et trouve d’abord la parole.

Chaque appel de Larkfield avec audio existe en deux versions :

  • calls/phone/C-xxxx.wav : ce que le système téléphonique a stocké. 8 000 échantillons par seconde, mu-law à 8 bits, stéréo (agent et appelant séparés) ou mono.
  • calls/wideband/C-xxxx.flac : le même appel à 16 000 échantillons par seconde, en mono, après le codec G.722. FLAC compresse l’audio sans rien perdre, comme un fichier ZIP pour le son.

Les appels ont aussi du son en arrière-plan, volontairement. Parmi les 260 appels publics, 136 sont calmes, 68 ont des conversations en arrière-plan et 56 ont du bruit de rue. Certains appels ont de la musique d’attente.

Les appels en français utilisent seulement trois voix

Section intitulée « Les appels en français utilisent seulement trois voix »

Les appels en français de Larkfield font partie des données; ce ne sont pas des traductions. Mais les voix françaises ouvertes avec des licences claires sont rares. Le jeu d’appels en utilise seulement trois : fr_FR-gilles-low de Piper, fr_FR-siwis-medium de Piper et ff_siwis de Kokoro. Les deux dernières ont appris de la même personne, donc elles ne participent jamais au même appel. Écoutez le début d’un appel en français :

Le début de l’appel C-0065 sur la ligne téléphonique (8 000 échantillons par seconde). Les deux voix sont synthétiques. L’agent, Julien, utilise Piper entraîné sur un jeu de données français du domaine public avec un seul locuteur (CC0). L’appelant utilise Piper entraîné sur le corpus SIWIS.

Transcription. Agent (0,6 s) : « Merci d’avoir appelé Larkfield, ici Julien. Cet appel est enregistré pour la qualité et la formation. Comment puis-je vous aider aujourd’hui ? » Appelant (8,8 s) : « Bonjour madame. Comment assembler le Cedar raised bed et fixer les coins ? J’ai besoin des étapes de base pour le monter correctement. »

Trois voix, c’est peu. Un système de reconnaissance performant sur ces voix peut faire moins bien avec d’autres locuteurs francophones. Et une partie des erreurs en français vient des voix elles-mêmes. Les voix françaises de Piper omettent parfois les voyelles nasales : le programme qui a créé les appels l’avait signalé. Donc, lorsqu’un résultat en français est mauvais dans ce cours, une partie de la faute nous revient, et non au système de reconnaissance. Les études de cas utilisent des enregistrements de nombreux locuteurs francophones réels.

  • Gardez l’enregistrement original tel qu’il vient du système téléphonique. Chaque changement peut perdre de l’information, et aucun changement ne peut la récupérer.
  • Changez la fréquence d’échantillonnage seulement pour le modèle, juste avant qu’il lise l’audio. Whisper attend 16 000 échantillons par seconde. Le projet du cours convertit donc chaque appel à cette fréquence en mémoire.
  • Enregistrez en stéréo si votre système téléphonique le permet. Vous savez ainsi « qui a parlé » sans travail supplémentaire.
  • Calculez le stockage. Une heure sur un canal téléphonique occupe environ 28,8 Mo. À 16 000 échantillons par seconde avec 16 bits, elle occupe 115,2 Mo avant compression. Les enregistrements de voix sont des données personnelles. Il faut donc aussi protéger chaque copie et la supprimer à temps (module 9).

Erreur courante

Une fréquence d'échantillonnage plus élevée ne récupère pas les sons perdus

Symptôme : Tomás convertit chaque appel téléphonique de 8 000 à 16 000 échantillons par seconde avant le système de reconnaissance. « Maintenant, c’est de l’audio à bande large », dit-il. Les fichiers sont deux fois plus gros, et les transcriptions ne sont pas meilleures.

Cause : les sons au-dessus de 4 000 Hz n’ont jamais été dans le fichier téléphonique. La ligne avait déjà atténué tout ce qui dépasse 3 400 Hz. Changer la fréquence ajoute de nouveaux échantillons entre les anciens, mais ne peut pas inventer des fréquences absentes. Pour la phrase de cette leçon, le fichier téléphonique converti contient 0,002 % de son énergie sonore au-dessus de 4 000 Hz. Le vrai fichier à bande large en contient 0,4 %. C’est peu, mais c’est là que « s » et « f » diffèrent.

Correction : convertissez à 16 000 échantillons par seconde seulement parce que le modèle attend cette fréquence. Gardez les fichiers stockés tels quels. Pour obtenir du son à bande large, il faut une ligne à bande large, comme G.722, dans le système téléphonique.

Conséquence pour le travail en IA : une équipe qui croit son audio à bande large se fie à des résultats non mesurés. Vérifiez toujours la fréquence d’échantillonnage réelle de la source, pas seulement celle du fichier.

Vérifiez votre compréhension

Un enregistrement contient 16 000 échantillons par seconde. Quelle est la fréquence la plus élevée qu'il peut conserver? Combien d'échantillons contient une phrase de 3 secondes? Et sur une ligne téléphonique à 8 000 échantillons par seconde?

Afficher la réponse

À 16 000 échantillons par seconde, la fréquence la plus élevée est la moitié de la fréquence d’échantillonnage : 8 000 Hz. Une phrase de 3 secondes contient 3 × 16 000 = 48 000 échantillons. Sur la ligne téléphonique, la fréquence la plus élevée est 4 000 Hz. La même phrase contient 3 × 8 000 = 24 000 échantillons. La ligne transmet aussi seulement les fréquences d’environ 300 à 3 400 Hz. La limite réelle au téléphone est donc inférieure à 4 000 Hz.

Vérifiez votre compréhension

Pourquoi les systèmes téléphoniques utilisent-ils mu-law plutôt que 256 pas égaux? Utilisez une valeur du tableau dans votre réponse.

Afficher la réponse

Les deux utilisent 8 bits par échantillon (256 pas), mais la parole est souvent faible. Les pas égaux sont trop grands près de 0. Avec des pas égaux, la faible valeur 0,01 devient 0,0078, une erreur de 21,9 %. La très faible valeur 0,001 devient 0. Mu-law utilise de petits pas près de 0 et de grands pas pour les sons forts. Ainsi, 0,01 devient 0,0102 (2,3 % d’erreur). La valeur forte 0,5 perd un peu (0,7 %), là où une personne ne peut pas l’entendre.

Vérifiez votre compréhension

Le nouveau système téléphonique de Larkfield peut enregistrer chaque appel en stéréo (agent et appelant séparés) ou en mono. Que choisissez-vous, et quel est le coût de chaque choix?

Afficher la réponse

La stéréo. Avec l’agent et l’appelant sur des canaux séparés, vous savez qui a dit chaque mot sans modèle. Le module 5 utilise cette propriété. Chaque voix garde aussi son niveau complet. Le mono mélange les deux voix, donc un modèle doit deviner qui a parlé à partir des voix. Le mélange réduit aussi l’amplitude de chaque tour de parole de moitié environ, soit environ 6 dB de moins. Sur l’ensemble de l’appel C-0127 : agent −24,9 dBFS, appelant −28,1, mélange −29,2. La stéréo demande deux fois plus de stockage : deux canaux d’environ 28,8 Mo par heure chacun sur une ligne G.711.

Récapitulatif

  • Un enregistrement est une liste d’échantillons : des nombres entre −1 et 1. La fréquence d’échantillonnage est le nombre d’échantillons par seconde. Elle est de 8 000 sur une ligne téléphonique, 16 000 pour Whisper et 48 000 pour un bon microphone.
  • Une fréquence d’échantillonnage conserve seulement les fréquences sonores jusqu’à sa moitié. La ligne téléphonique retire aussi la plupart des sons au-dessus de 3 400 Hz, là où « s » et « f » diffèrent. Un spectrogramme le montre : le temps horizontalement, la fréquence verticalement et l’intensité sonore en couleur.
  • La résolution en bits indique avec quelle exactitude chaque échantillon est stocké. Les systèmes téléphoniques utilisent 8 bits de mu-law (G.711). Ce codage conserve mieux les sons faibles que les pas égaux : 64 kbit/s.
  • Les codecs compressent le son en moins de bits et en perdent une partie : G.711, Opus, G.726 et G.722 dans les appels de Larkfield.
  • Les appels stéréo gardent l’agent et l’appelant séparés; le mono les mélange. L’intensité sonore est en dBFS (0 est le maximum). Le silence correspond aux trames sous un seuil, ici −45 dBFS.
  • Les appels en français utilisent seulement trois voix synthétiques. Les résultats en français renseignent donc moins sur les vrais appelants francophones.

Vous pouvez maintenant lire un appel sous forme de nombres et voir ce que la ligne téléphonique a retiré. Mais vous n’avez pas encore ouvert d’appel sur votre propre ordinateur. Ensuite, vous préparerez le projet du cours, écouterez et transcrirez un appel, puis vérifierez votre installation.

Leçon suivante : Préparer le projet de parole