Transcriptions de réunions avec les locuteurs
- Étude de cas 2
- 150 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
En neuf modules, nous avons séparé les appels de Larkfield par locuteur et écrit des transcriptions avec leurs étiquettes. Dans cette étude de cas, nous effectuons la diarisation et la transcription de réunions réelles. Nous mesurons le DER et le WER, puis notons les tâches à faire.
Étude de cas 2 sur 4 · IA de la parole : transcrire, comprendre et parlerTranscriptions de réunions avec les locuteurs
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Créez des notes de réunion qui indiquent qui a dit quoi, à partir de vrais enregistrements de vraies personnes. Vous comparerez un microphone sur la table à un casque par personne. Vous mesurerez qui a parlé et quand, ainsi que les mots. Vous évaluerez aussi les notes complètes avec les noms en un seul nombre. Ensuite, vous choisirez une configuration et préciserez ce qu’une personne doit encore vérifier.
Le carnet (notebook) Jupyter exécute les étapes de cette page avec le même code. Il télécharge environ 27 Mo. Cela comprend un extrait de 5 minutes d’une réunion, la référence des mots de quatre réunions et leurs sorties complètes enregistrées. Il évalue les sorties enregistrées et exécute le pipeline sur l’extrait en direct. Il ne nécessite aucun compte ni aucune clé et s’exécute en quelques minutes sur un portable.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise la majeure partie du cours. Voici les leçons les plus importantes :
- Les tours de parole, le taux d’erreur de diarisation (DER) et « le plus fort l’emporte », dans Séparer d’abord par canal.
- Les plongements de locuteur, la similarité cosinus et le regroupement (clustering), dans Plongements de locuteur et regroupement. Les apports d’un pipeline complet, dans Les pipelines de diarisation préentraînés.
- Les temps des mots et les mots avec les noms des locuteurs, dans Temps des mots et alignement.
- Le taux d’erreur sur les mots (WER) et le guide de normalisation, dans Le taux d’erreur sur les mots, étape par étape et Normaliser avant de comparer.
- Les tailles de Whisper et le facteur temps réel, dans Les tailles de Whisper sur un portable. Les fiches produites par un LLM et enregistrées, dans Résumés et suivis.
Ce qu’il vous faut sur votre ordinateur (seulement pour le parcours local; le carnet n’en a pas besoin)
- Un environnement virtuel avec les paquets du projet à la fin du module 5 (faster-whisper, sherpa-onnx, scikit-learn), et jiwer. Le projet
larkspeechconvient; cette étude de cas ne modifie pas ses fichiers. - Le carnet, téléchargé à partir du lien ci-dessus. Sa cellule de préparation crée un nouveau dossier
ami-meetings. Pour recommencer, supprimez ce dossier.
Testé sur macOS avec Python 3.12. Windows, Linux, Colab et Kaggle n’ont pas été testés.
La situation
Section intitulée « La situation »Omar, gestionnaire de produit chez Larkfield, anime une réunion de produit chaque semaine. Quelqu’un rédige les notes à la main. Elles arrivent en retard, sont courtes et attribuent parfois les engagements à la mauvaise personne. Omar demande à Priya : « Les outils de parole du centre d’assistance peuvent-ils rédiger nos notes de réunion? Je veux savoir qui a dit quoi, et avoir une liste de tâches à faire avec un responsable pour chacune. »
Priya ne veut pas enregistrer ses collègues pour un test : cela exige leur consentement et une règle de conservation. Elle teste donc d’abord sur des réunions publiques, enregistrées avec consentement, sous une licence ouverte.
Deux erreurs comptent ici, et elles sont différentes :
- Un mauvais nom. « Grace commandera les échantillons » alors qu’Amira l’a dit. La mauvaise personne reçoit la tâche, et la bonne personne l’oublie.
- Une phrase perdue. L’idée ou la promesse d’une personne qui parle doucement manque dans les notes. Personne ne voit ce qui manque.
Ce que vous allez construire
Section intitulée « Ce que vous allez construire »Vous construirez trois configurations pour les notes de réunion. Vous les comparerez sur les mêmes réunions avec les mêmes mesures :
Description textuelle du diagramme
Le schéma comporte trois lignes, une par configuration. Chaque ligne va d’un enregistrement à des mots avec des noms. La référence de base utilise le microphone éloigné sur la table et détecte la parole avec Silero. Elle attribue toute la parole à un seul locuteur, et Whisper la transcrit. La configuration avec plongements utilise le même microphone. Elle découpe la parole, crée un plongement de locuteur pour chaque segment et les regroupe en quatre locuteurs, comme au module 5. La configuration avec casques utilise un casque par personne. Elle détecte la parole sur chaque casque. Quand plusieurs casques entendent un même moment, elle l’attribue au plus fort. Ensuite, Whisper transcrit chaque casque.
Vous mesurerez qui a parlé et quand (DER), les mots (WER), et les notes avec les noms en un seul nombre. Ce dernier nombre est le cpWER, une nouvelle mesure. Ensuite, choisissez une configuration et exécutez-la sur une réunion gardée à part. Transformez la transcription en tâches à faire (action items) avec un LLM dont les sorties sont enregistrées.
Les données
Section intitulée « Les données »Les données proviennent du AMI Meeting Corpus : 100 heures de réunions enregistrées dans trois salles. Dans la plupart des réunions, quatre participants rémunérés jouent une équipe de conception qui prépare une nouvelle télécommande de téléviseur. La conversation est spontanée; seul le sujet est fixé. Chaque personne portait un casque, et des microphones sur la table captaient toute la salle.
Nous utilisons quatre courtes réunions de lancement. Trois servent à la comparaison. La quatrième, IS1008a, est gardée à part pour l’exécution de bout en bout à la fin.
| Réunion | Salle | Durée | Les quatre personnes (rôle, sexe, langue première) |
|---|---|---|---|
| ES2004a | Edinburgh | 17,5 minutes | concepteur d’interface (M, hindi), gestionnaire de projet (F, anglais), concepteur industriel (M, anglais), experte en marketing (F, anglais) |
| IS1009a | IDIAP | 14,0 minutes | gestionnaire de projet (F, anglais), conceptrice d’interface (F, tamoul), conceptrice industrielle (F, télougou), experte en marketing (F, suisse allemand) |
| IS1001a | IDIAP | 15,2 minutes | gestionnaire de projet (M, français), concepteur d’interface (M, grec), concepteur industriel (M, français), experte en marketing (F, français) |
| IS1008a (nouvelle entrée) | IDIAP | 15,7 minutes | gestionnaire de projet (M, hindi), conceptrice d’interface (F, anglais), conceptrice industrielle (F, anglais), expert en marketing (M, anglais) |
Pour chaque mot, les annotateurs ont noté son locuteur et ses temps de début et de fin. Cela donne la vérité pour le WER et les vrais tours de parole pour le DER. Les mots d’une personne sont joints quand l’écart reste inférieur à une demi-seconde.
Écoutez d’abord
Section intitulée « Écoutez d’abord »Ces deux extraits correspondent aux mêmes 8 secondes d’ES2004a. Le premier vient du microphone éloigné sur la table. Le second vient du casque du concepteur industriel (C).
Sur le microphone éloigné, toutes les voix semblent lointaines, avec l’écho de la salle. Sur le casque, une voix est proche, mais les voisins restent audibles. C’est la diaphonie.
Vérifications : chevauchement et diaphonie
Section intitulée « Vérifications : chevauchement et diaphonie »Les personnes parlent en même temps. La part du temps de parole avec au moins deux voix est de 15,8 % dans ES2004a. Elle est de 13,6 % dans IS1009a et de 9,4 % dans IS1001a. La plupart des chevauchements sont courts : un « yeah » ou un « mm-hmm » pendant qu’une autre personne parle. Les appels synthétiques de Larkfield ne se chevauchent presque jamais.
Chaque casque entend tout le monde. La chronologie montre 30 secondes d’ES2004a : les quatre casques, le microphone éloigné et trois lignes de tours de parole.
Description textuelle du diagramme
Les quatre premières lignes montrent le son des quatre casques, chacun dans la couleur de la personne qui le porte. A est bleu, B orange, C vert et D violet. Chaque casque présente des formes hautes quand la personne qui le porte parle. Des formes plus petites apparaissent en même temps que les formes hautes des autres casques : c’est la diaphonie. La cinquième ligne est le microphone éloigné : un seul mélange faible de toutes les voix. En dessous se trouvent trois lignes de tours de parole. Dans la vérité, les quatre personnes parlent. C commence, puis A parle pendant environ cinq secondes. Ensuite, B, D et B parlent, puis C parle pendant les dix dernières secondes. « Le plus fort l’emporte », avec les casques, donne presque les mêmes tours de parole, avec de petits écarts. « Microphone éloigné, plongements » est entièrement orange : le regroupement a attribué les 30 secondes au gestionnaire de projet, B.
Mesurer qui a parlé et quand, avec chevauchement
Section intitulée « Mesurer qui a parlé et quand, avec chevauchement »Le DER du module 5 attribuait chaque moment de 10 ms à un seul locuteur. Dans une réunion, un même moment peut avoir deux vrais locuteurs. La fonction der de cette étude de cas compte par moment. Parole manquée : moins de locuteurs trouvés qu’en réalité. Fausse parole : plus de locuteurs trouvés qu’en réalité. Confusion : un locuteur trouvé avec le mauvais nom. Comme avant, elle associe d’abord les noms trouvés aux vrais noms de la meilleure façon possible. Elle n’évalue pas les 0,25 seconde autour de chaque vrai changement de locuteur.
Une méthode qui attribue chaque moment à un seul locuteur manque une voix à chaque chevauchement. La marge d’exclusion retire beaucoup de chevauchements courts du score. Mais dans le temps évalué, le chevauchement représente encore de 5,7 % à 8,4 % de la parole.
La référence de base : un seul locuteur pour tous
Section intitulée « La référence de base : un seul locuteur pour tous »Les notes les plus simples placent tous les mots sous un seul nom. Nous détectons la parole sur le microphone éloigné avec Silero et l’appelons entièrement « locuteur 1 ». Le microphone éloigné a un faible volume (de 34 à 48 dB sous la pleine échelle). Toutes les configurations qui l’utilisent augmentent donc d’abord son volume à −25 dBFS. Elles utilisent le seuil Silero plus bas, 0,3, présenté dans WebRTC VAD et Silero VAD.
Sur les trois réunions, le DER de la référence de base est de 48,2 %. Il comprend 17,2 % de parole manquée, 2,7 % de fausse parole et 28,3 % de confusion. La confusion correspond à la parole de toutes les personnes sauf celle qui parle le plus. Toute méthode utile doit faire mieux que ce nombre.
Autres méthodes sur le microphone éloigné et les casques
Section intitulée « Autres méthodes sur le microphone éloigné et les casques »Nous avons comparé cinq méthodes à la référence de base, sur les mêmes trois réunions et avec la même fonction der. Le graphique montre les composantes du DER pour chacune.
Description textuelle du diagramme
Six barres, chacune divisée en parole manquée (gris), fausse parole (doré) et confusion (rouge), en pourcentage du vrai temps de parole. La référence de base, soit le microphone éloigné avec un seul locuteur, a un DER de 48,2 %. Le microphone éloigné avec plongements atteint 50,3 % avec des segments de 1,5 seconde et 53,3 % avec des segments de 3 secondes : pas mieux. Les quatre casques additionnés en une piste, avec plongements, atteignent 35,9 %. Les casques, chacun seul, atteignent 145,3 % : la fausse parole à elle seule représente 131,6 %, donc la barre est coupée. Les casques avec « le plus fort l’emporte » atteignent 26,9 %, dont 24,4 % de parole manquée et seulement 1,5 % de confusion.
Microphone éloigné : les plongements échouent
Section intitulée « Microphone éloigné : les plongements échouent »C’est la surprise que cette étude de cas présente sans la cacher. La méthode de Plongements de locuteur et regroupement, avec quatre groupes, donne un DER de 50,3 %. La méthode « un seul locuteur » donne 48,2 %. Des segments plus longs (3 secondes) aggravent le résultat : 53,3 %. Le regroupement place presque toute la parole dans un ou deux grands groupes. Dans ES2004a, la gestionnaire de projet reçoit 84 % de sa parole sous son propre nom. Les trois autres personnes n’en reçoivent presque aucune.
Pourquoi? Nous avons comparé des segments de 1,5 seconde contenant une seule personne. Sur le microphone éloigné, les segments de la même personne et ceux de personnes différentes se ressemblent presque autant.
Description textuelle du diagramme
Quatre barres pour chacune des trois réunions. Sur le microphone éloigné, une même personne obtient 0,83 et des personnes différentes 0,83 dans ES2004a. Les valeurs sont 0,77 et 0,76 dans IS1009a, puis 0,84 et 0,84 dans IS1001a. Sur les quatre casques additionnés en une piste, l’écart est clair dans ES2004a (0,49 contre 0,33). Il est plus petit dans IS1009a (0,61 contre 0,51) et faible dans IS1001a (0,64 contre 0,62).
Le modèle de locuteur a appris à partir d’extraits d’entrevues avec des microphones proches. À deux mètres, dans une salle avec de l’écho, chaque voix prend la même « couleur de salle ». Le modèle décrit alors davantage la salle que la personne. Aucun regroupement ne peut séparer ce que les plongements ne distinguent pas. Sur les quatre casques additionnés en une piste, l’écart revient dans la réunion d’Edinburgh (DER de 29,6 %). Il revient moins dans les réunions d’IDIAP.
Casques : la diaphonie, puis le plus fort l’emporte
Section intitulée « Casques : la diaphonie, puis le plus fort l’emporte »Avec un casque par personne, chaque casque est un canal, comme dans Séparer d’abord par canal. Mais « chaque casque seul » donne un DER de 145,3 %. La VAD sur chaque casque détecte aussi les voix des voisins. La même phrase apparaît donc sous trois ou quatre noms. La fausse parole représente 131,6 % du vrai temps de parole. Le résultat est acceptable dans la salle d’Edinburgh (23,1 %), mais dépasse 200 % dans les salles d’IDIAP.
Le plus fort l’emporte corrige ce problème. Quand plusieurs casques détectent de la parole au même moment, le casque le plus fort reçoit ce moment. La personne qui porte le casque est toujours la plus proche de son propre microphone. Le DER descend à 26,9 %, et la confusion à 1,5 %.
Il reste surtout de la parole manquée (24,4 %). Une partie vient du chevauchement : « le plus fort l’emporte » garde une seule personne par moment. Le reste correspond aux courts « mm-hmm » et aux pauses dans les vrais tours de parole, que Silero ne détecte pas comme parole.
Mesurer les mots, et les mots avec les noms
Section intitulée « Mesurer les mots, et les mots avec les noms »Le WER sur chaque microphone
Section intitulée « Le WER sur chaque microphone »Nous avons exécuté Whisper tiny, base et small sur chaque flux (int8, processeur du portable, comme dans le projet). Sur le microphone éloigné, la référence contient tous les mots dans l’ordre chronologique. Sur un casque, elle contient les mots de la personne qui le porte. Nous gardons seulement les mots de Whisper dans ses tours de parole, selon la règle du plus fort. Sans cette étape, chaque transcription de casque contient aussi les mots des voisins : WER 152,8 % avec Whisper small.
Description textuelle du diagramme
Trois paires de barres. Whisper tiny : casques 30,1 %, microphone éloigné 43,6 %. Whisper base : casques 26,9 %, microphone éloigné 37,4 %. Whisper small : casques 26,5 %, microphone éloigné 30,7 %.
Deux choses ressortent. D’abord, le microphone compte plus que le modèle. Un casque avec Whisper tiny (30,1 %) vaut à peu près le microphone éloigné avec Whisper small (30,7 %). Le calcul nécessaire est aussi à peu près le même. Avec Whisper small, les casques gagnent encore, mais de moins : 26,5 % contre 30,7 %. Ensuite, ces WER dépassent largement ceux des appels synthétiques de Larkfield (Whisper small : 3,1 % en anglais). Les vraies réunions contiennent des hésitations, des mots interrompus (« Beauti- »), du chevauchement et de nombreux accents.
Le guide de normalisation a besoin de trois règles de réunion
Section intitulée « Le guide de normalisation a besoin de trois règles de réunion »Les transcripteurs d’AMI écrivent les lettres prononcées une par une sous la forme L_C_D_, et Whisper écrit « LCD ». Ils écrivent « Mm-hmm » et « gonna »; Whisper écrit « Mhm » et « going to ». Comme dans Normaliser avant de comparer, nous écrivons les règles une fois et les appliquons aux deux textes. Les lettres prononcées une par une deviennent un mot. Davantage de sons comptent comme mots de remplissage. Les formes courtes deviennent des mots complets.
| Normalisation (Whisper small, microphone éloigné, trois réunions) | WER |
|---|---|
| aucune | 47,7 % |
| de base (minuscules, sans ponctuation) | 35,6 % |
| guide complet du cours | 31,6 % |
| guide complet et trois règles de réunion | 30,7 % |
Tous les nombres de cette étude de cas utilisent la dernière ligne.
Une nouvelle mesure : le cpWER
Section intitulée « Une nouvelle mesure : le cpWER »Pensez à une personne qui vérifie le compte rendu d’une réunion. Une ligne est correcte seulement si les mots sont corrects et sous le bon nom. Le DER vérifie seulement les noms et les temps; le WER vérifie seulement les mots. Aucun des deux ne dit si les notes sont bonnes.
Le cpWER (taux d’erreur sur les mots concaténés avec permutation minimale) vérifie les deux. Il joint (« concatène ») les mots de chaque personne en un seul texte. Il associe chaque locuteur trouvé à un vrai locuteur. Il choisit l’association (« permutation ») qui donne le moins d’erreurs. Puis il divise toutes les erreurs de mots par le nombre de vrais mots. Un mot sous le mauvais nom compte deux fois : manquant pour une personne, ajouté pour une autre.
Description textuelle du diagramme
Deux vrais locuteurs : A dit « we need a budget » et B dit « I will write it », soit 8 mots en tout. Le système a trouvé le locuteur 2 avec « we need a budget » et le locuteur 1 avec « I will right it ». La meilleure association est 2 avec A et 1 avec B. Il y a alors une erreur, « right » au lieu de « write ». Le cpWER est donc 1 divisé par 8, soit 12,5 %. L’autre association, 1 avec A, donnerait 8 erreurs : c’est pourquoi le cpWER choisit la meilleure.
Les défis de transcription de réunions comme CHiME utilisent le cpWER. Il exige des mots avec des noms. Comme dans Temps des mots et alignement, chaque mot va au locuteur dont le tour contient son milieu.
Une comparaison juste avec une seule mesure
Section intitulée « Une comparaison juste avec une seule mesure »Voici les quatre configurations avec Whisper small, sur les trois mêmes réunions, dans un seul tableau. Le calcul correspond au facteur temps réel de toute la configuration sur le processeur du portable. Pour les casques, Whisper s’exécute quatre fois, une fois par casque. Le coût utilise l’hypothèse du cours : un serveur CPU à 0,17 $ US l’heure.
| Configuration (Whisper small) | DER | WER | cpWER | Calcul (× durée audio) | $ US par heure d’audio |
|---|---|---|---|---|---|
| Référence de base : micro éloigné, un locuteur | 48,2 % | 30,7 % | 89,3 % | 0,068 | 0,012 |
| Micro éloigné, plongements | 50,3 % | 30,7 % | 86,9 % | 0,083 | 0,014 |
| Casques, chacun seul | 145,3 % | 152,8 % | 152,8 % | 0,258 | 0,044 |
| Casques, règle du plus fort | 26,9 % | 26,5 % | 26,5 % | 0,258 | 0,044 |
| Casques, règle du plus fort, Whisper small avec sa VAD | 26,9 % | 22,9 % | 22,9 % | 0,152 | 0,026 |
| Casques, règle du plus fort, Whisper base | 26,9 % | 26,9 % | 26,9 % | 0,115 | 0,019 |
| Casques, règle du plus fort, Whisper tiny | 26,9 % | 30,1 % | 30,2 % | 0,062 | 0,011 |
Ce que cela nous apprend. Sur le microphone éloigné, les mots sont presque aussi bons que sur les casques. Les notes ne le sont pas : un cpWER de 86,9 % signifie que la plupart des mots sont sous un mauvais nom. Avec les casques et la règle du plus fort, le cpWER égale le WER. Presque aucun mot n’a un mauvais nom. Chaque configuration coûte quelques cents par heure de réunion; le calcul ne décide donc pas du choix.
Changer une chose : la VAD de Whisper. faster-whisper peut sauter les silences avec sa VAD Silero intégrée (vad_filter=True). Nous l’avons vu dans Pourquoi la VAD améliore la reconnaissance. Sur les casques, elle réduit le WER de 26,5 % à 22,9 % et diminue presque de moitié le calcul. Un casque capte surtout du silence et les voix faibles des voisins, où Whisper invente ou copie des mots. Sur le microphone éloigné, elle augmente le WER de 30,7 % à 33,1 %, car elle coupe la parole faible. Le même réglage aide un microphone et nuit à l’autre.
Chaque personne, pas seulement la moyenne
Section intitulée « Chaque personne, pas seulement la moyenne »Une moyenne cache des personnes. Le graphique montre le WER de chaque personne sur son propre casque, sans et avec la VAD de Whisper.
Description textuelle du diagramme
Douze lignes, une par personne, classées du WER le plus élevé au plus faible. Les trois pires résultats sont ceux de l’experte en marketing d’IS1001a (une femme dont la langue maternelle est le français), de la conceptrice industrielle d’IS1009a (une femme dont la langue maternelle est le télougou) et du concepteur d’interface d’ES2004a (un homme dont la langue maternelle est l’hindi). Les trois meilleurs sont les trois gestionnaires de projet, entre 18 % et 22 %. Les marques vides montrent Whisper avec sa VAD. Elles sont plus basses pour dix personnes et légèrement plus hautes pour le concepteur d’interface d’IS1009a. Pour l’experte en marketing d’IS1001a, la marque vide sort du graphique : 161,7 %.
La personne au pire résultat, l’experte en marketing d’IS1001a, dit seulement 47 mots. De ces mots, 89 % sont erronés ou perdus. Les gestionnaires de projet, qui parlent le plus, obtiennent les meilleurs résultats. Les erreurs des personnes discrètes sont surtout des suppressions. La VAD manque leurs courts tours de parole. La règle du plus fort les élimine aussi quand elles parlent en même temps qu’une autre personne. Seulement 39 % de la parole des deux personnes aux pires résultats a été trouvée sous leur nom. C’est de 73 % à 75 % pour les gestionnaires de projet.
Avec la VAD, son WER monte à 161,7 % : son casque a gardé des mots supplémentaires de ses voisins. Une meilleure moyenne peut cacher un pire cas encore plus mauvais.
Par groupe (sans la VAD) : femmes 23,8 %, hommes 30,9 %; personnes de langue maternelle anglaise 21,0 %, autres 33,5 %. Ce ne sont pas des faits sur les groupes. Il y a douze personnes. Les groupes se confondent avec la quantité de parole de chaque personne. La leçon est la vérification : mesurez chaque personne et examinez celles qui parlent peu.
Les tâches à faire à partir de la transcription
Section intitulée « Les tâches à faire à partir de la transcription »Comme dans Résumés et suivis, Azure chat-small lit la transcription (texte seulement, jamais l’audio). Il renvoie les tâches à faire en JSON : responsable, tâche, date d’échéance et courte citation. Chaque réponse a été enregistrée une fois; le carnet Jupyter n’a donc besoin d’aucune clé. Une réponse coûte environ 0,0008 $ US; les 12 réponses coûtent 0,0099 $ US.
Les résumés humains d’AMI énumèrent sept actions pour les trois réunions. L’auteur leur a comparé chaque réponse enregistrée (un jugement, pas un score mesuré) :
| Transcription donnée au LLM | Actions AMI trouvées (sur 7) | Responsable correctement nommé | Éléments qui ne sont pas des actions AMI |
|---|---|---|---|
| Référence humaine, avec les rôles | 6 | 6 | 0 |
| Casques, règle du plus fort, Whisper small (rôles selon les places) | 5 | 5 | 1 (pas une action : « I’ll see what I can do » pendant un exercice au tableau blanc) |
| Micro éloigné, plongements, Whisper small (« Speaker 1 »…« Speaker 4 ») | 6 | 6 | 1 (une vraie promesse du gestionnaire de projet) |
Le microphone éloigné fait aussi bien ici pour une raison qui ne durera pas. Les gestionnaires de projet ont dit les rôles à voix haute (« I will ask the industrial designer to … »). Quand les personnes disent « I’ll do it », seul le nom du locuteur indique qui est « I ». L’exécution de bout en bout le montre. Les casques ont manqué l’action d’ES2004a, car Whisper a perdu la phrase « and then we’ll come back and liaise again ». Une phrase perdue peut être une action perdue.
La recommandation
Section intitulée « La recommandation »Pour les réunions de produit de Larkfield, Priya recommande :
- Un microphone par personne. Dans une salle, un casque ou un micro-cravate pour chaque personne. Dans une réunion en ligne, le flux audio propre à chaque personne. La plupart des outils de réunion peuvent les enregistrer séparément : c’est la même configuration, gratuitement.
- Silero VAD à 0,5 sur chaque canal, puis la règle du plus fort. Pas de marge plus élaborée : la règle simple a fonctionné dans chaque salle.
- Whisper small avec sa VAD sur chaque canal, en gardant seulement les mots dans les tours de la personne : cpWER 22,9 %. C’était mieux pour dix des douze personnes; la vérification ci-dessous couvre les autres.
- Les noms viennent des places, pas des voix. La configuration relie une personne à un canal à son arrivée, jamais par une empreinte vocale.
- Les tâches à faire produites par le LLM, comme brouillon, à partir du texte seulement, avec une citation par élément.
Ce qu’une personne vérifie encore, avant de diffuser les notes :
- Le responsable et la date de chaque tâche, en les comparant à sa citation. Le modèle a inventé une action et en a perdu une autre dans nos trois réunions.
- Les personnes discrètes. Lisez les lignes des personnes qui ont le moins parlé. Leurs mots risquent le plus de manquer ou d’être ceux d’un voisin.
- Les nombres, les noms et les décisions. Un WER près de 25 % signifie qu’environ un mot sur quatre est erroné. Il faut vérifier un prix ou une date dans l’enregistrement.
Coût par heure de réunion : calcul 0,026 $ US (serveur CPU à 0,17 $ US l’heure, une hypothèse). Le LLM coûte environ 0,0029 $ US (jetons enregistrés). La vérification humaine prend 5 minutes au tarif supposé du cours de 0,75 $ US la minute : 3,75 $ US. Le temps de la personne est le plus gros coût. Rendez donc la vérification courte : une citation à côté de chaque élément et les lignes des personnes discrètes marquées. Nous n’avons pas compté le prix des casques.
Pour une salle avec seulement un microphone de table, cette étude de cas n’offre aucune bonne solution ouverte. Utilisez le microphone éloigné pour les mots sans noms. Sinon, testez un pipeline préentraîné après avoir accepté ses conditions (voir Utilisation responsable).
De bout en bout sur une nouvelle entrée
Section intitulée « De bout en bout sur une nouvelle entrée »IS1008a n’a jamais servi à choisir quoi que ce soit. Nous y avons exécuté une fois la configuration recommandée : la règle du plus fort sur les quatre casques, puis Whisper small avec sa VAD sur chacun.
| IS1008a (nouvelle entrée) | DER | WER | cpWER |
|---|---|---|---|
| Casques, règle du plus fort, Whisper small avec sa VAD | 20,1 % | 13,0 % | 13,0 % |
| Micro éloigné, plongements, Whisper small (pour comparer) | 37,9 % | 15,2 % | 70,3 % |
La nouvelle réunion est plus facile que les trois autres : moins de chevauchement (4,1 %) et des tours plus longs. Le classement reste le même. Sans la VAD, les casques donnent 13,4 % : ici, la différence reste dans le bruit.
Le carnet Jupyter exécute cette configuration en direct sur un extrait de 5 minutes d’IS1008a. Il utilise Whisper tiny pour aller vite. Les dernières lignes de ses notes (sortie réelle; les rôles viennent des places) :
[14:46] PM: And if anything you need any time, so please, either you can call me or just send me email or just comment, knock my door. So I'm available here.[14:57] UI: Okay.[14:58] ID: Thank you.[14:58] PM: Thanks for coming and I will be sure, I will time[15:01] UI: Thank you.[15:01] PM: see you later.[15:33] ME: a look atÀ partir de la transcription de toute la réunion par casques (Whisper small), les tâches enregistrées incluaient les quatre actions AMI. Chacune avait le bon rôle. Avec le microphone éloigné, le modèle a trouvé les quatre mêmes tâches. Mais il a nommé les responsables « Speaker 1 », « Speaker 3 », « Speaker 4 » et « unclear ». Ici, les personnes disaient davantage « I’ll do it » qu’elles ne nommaient les rôles. Ces notes ne peuvent donc pas dire qui.
Constats et limites
Section intitulée « Constats et limites »- Le microphone décide. Un microphone par personne a rendu les noms presque gratuits (confusion 1,5 %). Sur le microphone éloigné, le modèle de locuteur ouvert ne pouvait pas distinguer les voix.
- Les règles simples se transfèrent. La règle du plus fort a fonctionné dans les deux salles. Une marge ajustée a fonctionné dans une seule (le cas d’échec ci-dessous).
- Les vraies réunions sont plus difficiles que les appels synthétiques de Larkfield : WER près de 25 % même sur les casques (3,1 % sur les appels anglais); confusion du microphone éloigné de 30 % (16 % sur les appels synthétiques mono).
Limites. Trois réunions et douze personnes, toutes des réunions de lancement du même jeu de rôles, dans des salles de 2005. Les vrais tours de parole basés sur les mots augmentent la part manquée pour chaque méthode. Whisper a utilisé un seul réglage (décodage glouton, int8). Les tâches à faire proviennent d’une réponse enregistrée par transcription, jugée par l’auteur; une autre exécution peut différer. Nous n’avons pas exécuté de pipeline préentraîné.
Erreur courante
Un réglage ajusté dans une seule salle
Symptôme : sur ES2004a, Priya a essayé une règle du plus fort moins stricte pour garder le vrai chevauchement. Elle compare l’intensité sonore de chaque casque à son propre niveau de parole. Chaque casque à moins de 10 dB du plus fort garde ce moment. Cela a réduit le DER d’ES2004a de 23,3 % à 21,7 %. Puis elle l’a exécuté sur les autres réunions : 129,0 % sur IS1009a et 174,8 % sur IS1001a.
Cause : les casques d’IDIAP captent beaucoup plus les sons de la salle. Un voisin est souvent à moins de 10 dB de la personne qui porte le casque. Les voix des voisins sont donc revenues comme fausse parole. Le réglage convenait à une seule salle.
Correction : gardez la règle simple du plus fort, qui fonctionne dans toutes les salles que nous avons essayées. Choisissez les réglages sur plusieurs réunions et salles. Gardez une réunion à part que vous n’utilisez jamais pour choisir.
Conséquence dans le travail en IA : dans les réunions, la salle fait partie des données.
Utilisation responsable
Section intitulée « Utilisation responsable »Les notes de réunion sont des traces de personnes. Avant que Larkfield enregistre ses propres réunions, ces règles s’appliquent, comme dans Les données personnelles dans la voix :
- Consentement et avis. Tout le monde sait que la réunion est enregistrée et transcrite, et pourquoi. Une personne qui refuse peut demander des notes prises à la main.
- Supprimer l’audio, garder les notes. Supprimez l’enregistrement quand les notes sont vérifiées.
- Seulement du texte vers un modèle hébergé. Ici, seules les transcriptions ont été envoyées au LLM, et ses réponses ont été enregistrées. Le contrat du fournisseur doit couvrir le texte des réunions.
- Ne pas mesurer les personnes avec cet outil. Le microphone et le système de reconnaissance biaisent le temps de parole. Les personnes discrètes, dont la parole est la plus souvent manquée, sembleraient parler encore moins. Les notes servent aux tâches, pas à juger les personnes.
- Aucune identification vocale. Les noms viennent des places, pas des voix; voir Clonage de voix, contrôle du locuteur et abus.
- Les personnes d’AMI sont réelles. Nous jouons seulement de courts extraits avec leur transcription et utilisons les lettres et les rôles d’AMI. Nous n’essayons jamais de découvrir leur identité.
Un pipeline préentraîné comme pyannote (Les pipelines de diarisation préentraînés) est l’étape suivante habituelle pour un microphone éloigné. Sa page de modèle annonce un DER de 19,9 % sur le microphone éloigné d’AMI pour speaker-diarization-community-1. C’est une affirmation du fournisseur, évaluée sans marge de tolérance. Nous ne l’avons pas exécuté : il exige un jeton et l’acceptation de ses conditions. Avant de comparer, vérifiez si les réunions d’entraînement d’AMI faisaient partie de ses données d’entraînement.
Faites-en un projet pour votre portfolio
Section intitulée « Faites-en un projet pour votre portfolio »Mettez l’étude de cas dans un dépôt public :
- README : le problème, les données avec leur licence et leur attribution, les trois configurations, le tableau des résultats avec la référence de base, la recommandation et les limites.
- Le carnet (notebook) Jupyter, exécuté depuis le début, avec les versions des bibliothèques.
- Une fiche de modèle pour la configuration : son usage prévu (des notes pour une équipe qui y a consenti), les usages exclus (juger les gens, identifier les voix) et ce qu’une personne vérifie.
En entrevue, dites-le en deux phrases : « J’ai comparé un microphone de table à un casque par personne pour prendre des notes de réunion sur le corpus AMI. La méthode ouverte de plongements de locuteur n’a pas surpassé la référence de base à un seul locuteur avec le microphone éloigné. Les casques avec une règle d’intensité sonore ont réduit l’erreur sur les mots et les noms de 86,9 % à 26,5 %. »
Pour aller plus loin : exécutez le carnet sur davantage de réunions AMI provenant des trois salles. Évaluez un pipeline préentraîné avec les mêmes der et cpwer, si vous acceptez ses conditions. Marquez les lignes contenant une tâche à faire (action item), un nombre ou une date pour la personne qui vérifie.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Le microphone éloigné avec les plongements de locuteur avait un DER supérieur à celui obtenu en attribuant toute la parole à un seul nom. Comment une méthode qui trouve quatre locuteurs peut-elle être moins bonne qu'une méthode qui en trouve un?
Afficher la réponse
Quand les plongements ne séparent pas les voix, les groupes ne correspondent pas aux personnes. Chaque mauvais groupe ajoute de la confusion. « Un seul locuteur » donne au moins le bon résultat pour la personne qui parle le plus. Avec le microphone éloigné, les extraits d’une même personne et de personnes différentes se ressemblaient presque autant. Leur similarité était de 0,83 contre 0,83 dans ES2004a. Avant de faire confiance à un regroupement, vérifiez que les plongements séparent les locuteurs dans votre propre audio.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Avec un casque par personne, pourquoi l'approche « chaque casque seul » était-elle si mauvaise dans les réunions IDIAP? Qu'est-ce qui a corrigé le problème?
Afficher la réponse
Chaque casque capte aussi les voisins (diaphonie). Une phrase apparaît donc sous trois ou quatre noms : plus de 200 % de fausse parole dans les réunions IDIAP. La règle « le plus fort l’emporte » attribue un passage capté par plusieurs casques à celui où le son est le plus fort. La personne qui le porte est en effet la plus proche de son propre microphone. La confusion est tombée à environ 1 à 2 %.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Omar veut que les notes indiquent combien chaque personne a parlé, pour voir qui participe activement. Que répondez-vous?
Afficher la réponse
Non. La configuration manque davantage de parole chez certaines personnes. Même avec les casques, elle n’a trouvé que 39 % à 75 % de la parole d’une personne sous son nom. Le modèle de reconnaissance fait aussi plus d’erreurs pour certaines voix. Ces personnes sembleraient moins participer à cause des outils. Les notes servent à consigner les tâches. Les gens n’ont pas consenti à la mesure de leur temps de parole.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- En réunion, les gens parlent en même temps : le DER compte le chevauchement, en séparant parole manquée, fausse parole et confusion.
- Avec un microphone éloigné, la méthode ouverte de plongements de locuteur n’a pas surpassé « tout le monde est un seul locuteur ». Le problème venait de la salle, pas du regroupement.
- Avec un casque par personne, la règle « le plus fort l’emporte » élimine la diaphonie et laisse surtout de la parole manquée.
- Le cpWER évalue les notes avec les noms en un seul nombre : les mots et les noms doivent être corrects. Avec les casques et la règle « le plus fort l’emporte », il est tombé à 26,5 %. Il était de 86,9 % avec le microphone éloigné et les plongements (Whisper small).
- Vérifiez les résultats pour chaque personne, choisissez les paramètres sur plusieurs salles et faites vérifier le responsable de chaque tâche par une personne.
Ensuite, une tâche différente sur un petit appareil : détecter de courtes commandes vocales directement dans l’audio et compter les fausses alertes par heure.
Leçon suivante : Détecter des commandes sur un petit appareil