Temps des mots et alignement
- Leçon 18
- 35 min
- Module 5 : Qui a parlé et quand : diarisation et temps des mots
Où nous en sommes
Nous savons qui a parlé et quand, et nous savons ce qui a été dit. Ces informations restent séparées. Dans cette leçon, nous relions les mots aux locuteurs grâce aux horodatages. Nous vérifions la précision des temps des mots et écrivons une transcription avec des noms et des temps.
Leçon 18 sur 36 · IA de la parole : transcrire, comprendre et parlerTemps des mots et alignement
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Écrivez une transcription qui indique qui a dit quoi et quand. Donnez un temps à chaque mot. Attribuez chaque mot au locuteur dont le tour de parole le contient. Vérifiez les phrases importantes avant que quelqu’un agisse en fonction d’elles.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient le code, les tâches et les vérifications de cette leçon. Il relie manuellement les mots aux tours de parole. Il compare les temps des mots de Whisper aux temps fournis par les voix elles-mêmes. Il écrit une transcription avec des noms et détecte une promesse attribuée à la mauvaise personne. Il télécharge Whisper tiny (75 Mo) une seule fois et ne nécessite aucun compte. Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les tours de parole et le DER, vus dans Séparer d’abord par canal et Plongements de locuteur et regroupement.
- Comment Whisper transforme l’audio en texte, vu dans Du son au texte.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes)
- Votre dossier de projet
larkspeechavec les fichiers deend-of-m05. Les étapes utilisent Whisper tiny, que le projet télécharge la première fois (environ 75 Mo).
Testé sur macOS avec Python 3.12 et faster-whisper 1.2.1. Windows et Linux n’ont pas été testés.
Des sous-titres avec des noms
Section intitulée « Des sous-titres avec des noms »Pensez aux sous-titres d’un film pour les personnes qui n’entendent pas. Chaque ligne apparaît au bon moment. Quand deux personnes parlent, la ligne indique qui parle : « ANNA : je te l’ai déjà dit. » La personne qui écrit les sous-titres relie deux choses : les mots et la personne qui les dit, à un moment précis.
Larkfield a besoin de la même chose pour ses appels. Grace lit les fiches d’appel, pas l’audio. Prenez la ligne « [15,1 s] agent : I will email you the setup guide today ». Elle lui indique qui a promis quoi. Elle lui indique aussi où écouter si elle a un doute.
Le problème : deux sorties séparées
Section intitulée « Le problème : deux sorties séparées »Après le module 4 et les premières leçons de ce module, nous avons deux sorties séparées pour chaque appel :
- Le système de reconnaissance (recogniser) fournit les mots, sous forme d’un long texte.
- La diarisation fournit les tours de parole : début, fin et locuteur, sans mots.
Aucune des deux ne suffit. Et une erreur dans l’une d’elles peut changer une décision. Dans l’exemple principal de cette leçon, l’appel C-0108, l’agent dit : « I will email you the setup guide with pictures today. » La méthode par plongements de Plongements de locuteur et regroupement attribue toute cette phrase à l’appelant. Une fiche d’appel construite à partir de ce résultat indique que l’appelant a promis d’envoyer un guide. Personne chez Larkfield ne l’envoie. Le tableau des coûts de Grace fixe le coût d’un suivi manqué à 25 $ US (une hypothèse).
L’idée : un temps pour chaque mot, puis une jointure
Section intitulée « L’idée : un temps pour chaque mot, puis une jointure »Whisper peut fournir un temps de début et de fin pour chaque mot, pas seulement pour chaque phrase. Ce sont les horodatages des mots, ou temps des mots. Avec ces temps, nous pouvons aligner les deux sorties : attribuer chaque mot au tour de parole qui le contient dans le temps.
Description textuelle du diagramme
Deux boîtes commencent le diagramme. Le système de reconnaissance fournit chaque mot avec un début et une fin. La diarisation fournit des tours de parole avec un début, une fin et un locuteur. Les deux mènent à l’étape de jointure. Pour chaque mot, trouvez le tour de parole qui contient son milieu. Ensuite, l’étape de regroupement rassemble les mots consécutifs d’un même locuteur sur une ligne. Le résultat est une transcription où chaque ligne contient un temps, un locuteur et les mots.
Pourquoi le milieu du mot? Les temps des mots et les limites des tours de parole comportent de petites erreurs. Le début d’un mot peut tomber un peu avant le début de son tour de parole. Son milieu est plus sûr. Parfois, le milieu tombe dans un court intervalle entre deux tours de parole. Le projet attribue alors le mot au tour de parole le plus proche, s’il est à au plus 0,5 s. Au-delà, le mot reçoit « ? » : aucun locuteur n’a été trouvé à cet endroit.
Un petit exemple détaillé
Section intitulée « Un petit exemple détaillé »Le tour de parole de l’agent va de 0,0 à 1,0 s, et celui de l’appelant de 1,2 à 3,2 s. Voici les mots et leurs temps (un exemple construit) :
| Mot | Début | Fin | Milieu | Tour de parole qui contient le milieu |
|---|---|---|---|---|
| Can | 0,10 | 0,30 | 0,20 | agent |
| I | 0,30 | 0,38 | 0,34 | agent |
| have | 0,38 | 0,62 | 0,50 | agent |
| it? | 0,62 | 0,95 | 0,785 | agent |
| Yes, | 1,30 | 1,55 | 1,425 | appelant |
| it’s | 1,55 | 1,80 | 1,675 | appelant |
| 742155. | 1,80 | 3,10 | 2,45 | appelant |
Regroupés en lignes :
[ 0.1 s] agent Can I have it?[ 1.3 s] caller Yes, it's 742155.Quelle est la précision des temps des mots?
Section intitulée « Quelle est la précision des temps des mots? »Les temps des mots sont des estimations. Whisper ne les mesure pas. Il les devine selon l’endroit où son modèle « regarde » dans le son pendant qu’il écrit chaque mot. Nous devons donc les vérifier. Les appels de Larkfield sont synthétiques, et cela nous aide. Les voix ont indiqué quand elles ont dit chaque mot. Ce sont les vrais temps des mots. Les enregistrements réels n’en ont jamais.
Écoutez une courte partie de l’appel C-0003, où l’agent demande le numéro de commande :
L’image place les temps des mots fournis par la voix au-dessus de ceux de Whisper base pour les mêmes secondes.
Description textuelle du diagramme
La rangée du haut représente le son. La rangée du milieu contient une boîte pour chaque mot prononcé par la voix : « I can help with that. Can I have your order number, please? », puis « Yes, it’s five nine seven », une pause d’environ 1,6 seconde, et « four one nine ». La rangée du bas contient les mots de Whisper base. Jusqu’à « it’s », chaque boîte de Whisper correspond à un vrai mot. La plupart commencent quelques centièmes de seconde plus tôt. Ensuite, Whisper écrit « 597 » comme un seul mot de 17,3 à 17,8 s. La voix y a dit trois mots, « five nine seven ». Après la pause, il écrit « 419 ». Sur un écran de téléphone, l’image montre seulement la partie à partir de 16,4 s.
Deux choses à remarquer. D’abord, les temps sont proches : quelques centièmes de seconde, bien moins que la durée d’un mot. Ensuite, un mot ne représente pas toujours la même unité des deux côtés. Whisper écrit « 597 » pour les trois mots prononcés « five nine seven ». Son temps couvre les trois. Cela convient pour une jointure avec les tours de parole. Mais cela signifie que vous ne pouvez pas toujours associer les mots un à un.
Les chiffres
Section intitulée « Les chiffres »Le cours a mesuré les débuts des mots de Whisper base sur 20 appels en anglais (bande large). Pour chaque vrai mot, nous avons cherché un mot de Whisper écrit de la même façon, commençant à moins d’une seconde. Nous avons ensuite calculé la différence de temps.
Description textuelle du diagramme
L’histogramme compte les mots selon l’erreur de leur temps de début, par classes de 20 millisecondes. 465 mots sont à moins de 20 ms, 264 entre 20 et 40 ms, 321 entre 40 et 60 ms, et 288 entre 60 et 80 ms. Ensuite, les barres diminuent : 200, 119, 82, 41, et moins de 30 par classe après 160 ms. La dernière barre, à 380 ms et plus, contient 18 mots. Une ligne pointillée marque la médiane, 55 ms : la moitié des mots sont plus proches que cela. Une autre marque le 90e centile, 137 ms : neuf mots sur dix sont plus proches que cela.
| Mesure (Whisper base, 20 appels en anglais) | Valeur |
|---|---|
| Vrais mots / associés à moins de 1 s | 2 201 / 1 924 |
| Erreur médiane du début | 0,055 s |
| 90e centile | 0,137 s |
| Mots à moins de 0,1 s | 80 % |
| Mots au-delà de 0,25 s | 4 % |
| Début de Whisper avant le vrai début | 81 % des mots (médiane −0,053 s) |
277 mots n’ont pas été associés. Certains sont des nombres que Whisper a écrits en chiffres, comme « 597 ». D’autres sont des mots que Whisper a mal reconnus. Sur les appels synthétiques de Larkfield, les temps des mots sont précis à environ un vingtième de seconde. Cela suffit largement pour attribuer un mot à un tour de parole : les tours durent plusieurs secondes. Cela ne suffit pas pour découper exactement un mot dans l’audio. Lorsque vous masquez un numéro de carte par un bip dans Les données personnelles dans la voix, laissez une marge autour des mots.
Larkfield : une transcription avec des noms
Section intitulée « Larkfield : une transcription avec des noms »La commande speech diarize --call … --words du projet réalise la jointure de cette leçon. Elle transcrit l’appel avec Whisper tiny (rapide) et relie chaque mot à un tour de parole par son milieu. Elle affiche une ligne à chaque changement de locuteur.
-
Écrivez la transcription de l’appel C-0108 avec la méthode par plongements. C-0108 est stéréo, donc la méthode le mélange d’abord en mono :
Fenêtre de terminal speech diarize --call C-0108 --wordsC-0108 (stereo), embeddings: DER 42.7% (missed 0.0%, false 0.8%, confusion 41.9%)[ 0.5 s] agent Thank you for calling Luxeil's[ 2.0 s] caller Discipictor. Discold's[ 3.4 s] agent recorded for quality and training.[ 5.0 s] caller How can I help you today? Hello there. I'm getting frustrated with the war haven't. You can clean huggutaths with drugs probably. Good question. For the willow hammock, the first step is to charge it to fully before you set it up. I will email you the set of guides and pictures today.[ 17.7 s] agent Is there anything else I[ 18.4 s] caller could help you with? With everything thank you. Thank you for calling Luxeil to have a good day.La longue ligne à partir de 5,0 s contient la question de l’agent, celle de l’appelant et la réponse de l’agent. Tout est attribué à « caller » (appelant). Elle se termine par la promesse de l’agent, « I will email you the set of guides and pictures today », sous le nom de l’appelant.
Deux autres problèmes ne sont pas des erreurs de diarisation. Whisper tiny produit un mauvais texte sur une ligne téléphonique avec des conversations en arrière-plan (« Luxeil » pour « Larkfield »). Et « charge it fully before you set it up », dit à propos d’un hamac, est une erreur de nos propres scripts. L’agent dit cela pour chaque produit.
-
Écrivez la transcription du même appel par canal :
Fenêtre de terminal speech diarize --call C-0108 --method channel --wordsC-0108 (stereo), channel: DER 17.1% (missed 12.7%, false 0.0%, confusion 4.4%)[ 0.5 s] agent Thank you for calling Luxeil's Discipictor. Discold's recorded for quality and training. How can I[ 5.2 s] caller help you[ 5.6 s] agent today?[ 6.5 s] caller Hello there. I'm getting frustrated with the war haven't. You can clean huggutaths with drugs probably.[ 10.7 s] agent Good question. For the willow hammock, the first step…[ 15.2 s] agent I will email you the set of guides and pictures today. Is there anything else I could help you with?[ 19.4 s] caller With everything thank you.[ 20.8 s] agent Thank you for calling Luxeil to have a good day.La promesse est maintenant attribuée à l’agent. Quelques mots courts vont encore à l’appelant (« help you »). Ce sont des conversations en arrière-plan du côté de l’appelant, que la règle « le plus fort l’emporte » n’élimine pas partout.
Détecter l’erreur avant que quelqu’un agisse
Section intitulée « Détecter l’erreur avant que quelqu’un agisse »Parmi les 110 appels de validation et de test, C-0108 est le seul où la méthode par plongements attribue la majorité de la promesse à l’appelant. Dans 10 appels, elle attribue plus d’un dixième de la promesse à l’appelant. Une erreur rare, mais coûteuse. Trois vérifications peu coûteuses détectent la plupart de ces erreurs :
- Une règle sur les rôles. Chez Larkfield, les agents promettent; les appelants demandent. Une ligne d’appelant qui dit « I will », « I’ll » ou « I have » (fait quelque chose) est suspecte. Dans le carnet, cette règle signale une ligne de C-0108 avec les tours de parole par plongements. Elle n’en signale aucune avec les vrais tours de parole.
- Une deuxième méthode. Quand l’appel est stéréo, comparez le locuteur de la promesse obtenu par canal et par plongements. Si les résultats diffèrent, faites confiance au canal.
- Une personne pour le reste. Un appel signalé va à l’équipe de Grace avec le temps de la phrase. Un chef d’équipe écoute 5 secondes, pas l’appel entier.
Aucune de ces vérifications ne corrige les noms. Elles empêchent qu’un mauvais nom entraîne une mauvaise action.
Quand utiliser les temps des mots, et à quel coût
Section intitulée « Quand utiliser les temps des mots, et à quel coût »Utilisez-les pour toute transcription sur laquelle des personnes ou des programmes fondent leurs actions. Par exemple : fiches d’appel, recherches (« trouver les appels où l’agent a dit “refund” »), vérifications de conformité horodatées et caviardage. Ils sont fournis avec la reconnaissance : word_timestamps=True dans faster-whisper. Ils peuvent ralentir un peu la transcription et ne nécessitent aucun autre modèle.
Ne leur faites pas confiance au centième de seconde près. Et n’associez pas les mots un à un. Un nombre peut être un seul mot d’un côté et trois de l’autre. Sur les enregistrements réels, vous n’avez pas de vrais temps des mots pour faire la comparaison. Vérifiez un échantillon en l’écoutant, ou utilisez un outil d’alignement forcé quand vous avez besoin de temps précis. Cet outil place un texte connu dans l’audio.
Le coût : presque rien de plus que la transcription. Ce qui coûte cher, c’est un mauvais locuteur pour une phrase importante. Les vérifications peu coûteuses ci-dessus demandent quelques lignes de code.
Exercice guidé : qui a dit quoi
Section intitulée « Exercice guidé : qui a dit quoi »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation et la cellule des fonctions utilitaires. La préparation installe faster-whisper la première fois.
- Dans la section 1, prédisez qui a dit « it? », puis exécutez la cellule. Vous voyez deux lignes : l’agent à partir de 0,1 s, l’appelant à partir de 1,3 s.
- Dans les sections 2 et 3, transcrivez l’appel C-0011 avec Whisper tiny et mesurez les débuts de ses mots. Vous voyez 97 mots associés sur 113, une erreur médiane de 0,074 s et un 90e centile de 0,140 s. Whisper tiny est un peu moins précis que Whisper base.
- Dans la section 4, écrivez les premières lignes de C-0011 avec des noms et des temps.
- Dans la section 5, écrivez la transcription de C-0108 avec les tours de parole de la méthode par plongements. Trouvez la promesse et lisez son locuteur.
- Dans la section 6, exécutez la règle sur les rôles. Vous voyez une ligne signalée avec les tours de parole par plongements, et aucune avec les vrais tours de parole.
À vous de jouer : combien de temps des mots sont proches?
Section intitulée « À vous de jouer : combien de temps des mots sont proches? »Dans la section 8 du carnet, utilisez les erreurs de début de l’appel C-0011 de la section 3 (errors). Calculez la proportion de mots associés dont l’erreur de début est de 0,1 s ou moins. Arrondissez-la à trois décimales et placez-la dans task_share. Avant l’exécution, prédisez : plus ou moins que les 80 % de Whisper base sur 20 appels?
Afficher la réponse
task_share = round(float(np.mean(errors <= 0.1)), 3)print(task_share)0.66Avec Whisper tiny, 66 % des mots associés de C-0011 commencent à moins de 0,1 s du vrai début. C’est moins que les 80 % de Whisper base sur 20 appels. Un modèle plus petit, un seul appel : les deux font baisser ce nombre. Pour une jointure avec des tours de parole qui durent plusieurs secondes, cela suffit encore.
Erreur courante
Des mots qui n'appartiennent à personne
Symptôme : une première version de --words du projet donnait des lignes comme celles-ci pour C-0108, par canal. Les phrases se fragmentent, et certains morceaux n’ont aucun locuteur :
[ 0.5 s] agent Thank you for calling Luxeil's Discipictor. Discold's recorded[ 3.7 s] ? for quality[ 4.2 s] agent and training.…[ 15.2 s] agent I will email you the[ 15.8 s] ? set of guides[ 16.3 s] agent and pictures today. Is there anything else I could help you with?Cause : les tours de parole viennent de la VAD, qui termine un tour à chaque courte pause. Un mot dont le milieu tombe dans l’intervalle n’appartient à aucun tour de parole. La jointure écrivait donc « ? ». Les temps des mots de Whisper sont souvent un peu trop tôt. Cela peut déplacer le milieu d’un mot dans un intervalle.
Correction : attribuez un mot dans un court intervalle au tour de parole le plus proche, s’il est à au plus 0,5 s. La fonction speaker_at du projet dans diarize.py le fait maintenant. La sortie de l’étape 2 ci-dessus ne contient aucun « ? ». Les mots à plus de 0,5 s de tout tour de parole reçoivent encore « ? ». Ils indiquent que la VAD a manqué de la parole.
Conséquence dans le travail en IA : un modèle de résumé lit une ligne avec « ? » comme un troisième locuteur, ou l’ignore. Ici, une partie de la promesse de l’agent se trouvait dans une ligne « ? ». Une fiche d’appel pouvait donc perdre les mots « set of guides ».
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Un mot va de 4,80 à 5,30 s. Le tour de l'agent finit à 5,00 s. Celui de l'appelant commence à 5,20 s. Selon la règle du projet, qui a dit le mot?
Afficher la réponse
Le milieu du mot est à (4,80 + 5,30) / 2 = 5,05 s. Il se trouve dans l’intervalle entre les tours de parole. La règle choisit donc le tour le plus proche à moins de 0,5 s. Le tour de l’agent finit 0,05 s avant, et celui de l’appelant commence 0,15 s après. Le mot est donc attribué à l’agent.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Sur les appels de Larkfield, l'erreur médiane du début des mots de Whisper base est de 0,055 s. Est-ce suffisant pour attribuer les mots aux locuteurs? Est-ce suffisant pour masquer exactement un mot d'un numéro de carte par un bip?
Afficher la réponse
C’est suffisant pour attribuer les mots aux locuteurs. Les tours de parole durent plusieurs secondes, et neuf mots sur dix ont une erreur d’au plus 0,137 s. Ce n’est pas suffisant pour couper exactement un mot. Un mot dure environ 0,2 à 0,5 s. Et un mot sur dix présente une erreur de plus de 0,137 s. Les débuts de mots de Whisper sont aussi généralement trop tôt. Il faut donc prévoir une marge avant et après les mots pour le bip, puis vérifier qu’il ne reste rien.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Grace demande comment savoir si une promesse dans une fiche d'appel vient de l'agent et non de l'appelant. Nommez une vérification et son coût.
Afficher la réponse
Utilisez une règle basée sur les rôles. Chez Larkfield, les agents font des promesses et les appelants font des demandes. La règle signale donc une phrase de l’appelant contenant « I will » (je vais), « I’ll » (je vais) ou « I have » (j’ai). Elle ne coûte que quelques lignes de code. Dans le carnet, elle signale la promesse de C-0108 avec les tours issus des plongements. Elle ne signale rien avec les vrais tours de parole. Pour les appels stéréo, Grace peut aussi comparer la méthode par canal, qui confond les locuteurs environ quatre fois moins souvent. Un appel signalé est envoyé à un chef d’équipe avec le temps de la phrase. La vérification demande donc quelques secondes d’écoute, pas l’appel entier.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Les horodatages des mots donnent un début et une fin à chaque mot. L’alignement associe chaque mot au tour de parole qui contient son milieu. Dans un court intervalle, le mot va au tour le plus proche à moins de 0,5 s.
- Sur 20 appels synthétiques en anglais, l’erreur médiane du début des mots de Whisper base est de 0,055 s. Le 90e centile est de 0,137 s. Ses débuts sont généralement trop tôt, et il peut écrire trois mots prononcés comme un seul (« 597 »).
- C’est suffisant pour attribuer les mots aux locuteurs, mais pas pour couper exactement un mot sans marge.
- Une erreur de locuteur peut attribuer une promesse à la mauvaise personne. Dans C-0108, la méthode par plongements attribue toute la promesse de l’agent à l’appelant. Par canal, l’attribution est correcte.
- Repérez l’erreur avant toute action : une règle sur les rôles, une deuxième méthode pour les appels stéréo et une personne pour les appels signalés.
Vous avez maintenant des transcriptions qui indiquent qui a dit quoi, et quand. Le module 6 les analyse : pourquoi l’appelant a-t-il appelé, qu’a promis l’agent et a-t-il donné l’avis d’enregistrement?
Leçon suivante : Pourquoi ont-ils appelé?