Aller au contenu
English

Transcriptions de réunions avec les locuteurs

  • Étude de cas 2
  • 150 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

En neuf modules, nous avons séparé les appels de Larkfield par locuteur et écrit des transcriptions avec leurs étiquettes. Dans cette étude de cas, nous effectuons la diarisation et la transcription de réunions réelles. Nous mesurons le DER et le WER, puis notons les tâches à faire.

Étude de cas 2 sur 4 · IA de la parole : transcrire, comprendre et parlerTranscriptions de réunions avec les locuteurs
Aperçu du cours

Ce que vous saurez faire

Créez des notes de réunion qui indiquent qui a dit quoi, à partir de vrais enregistrements de vraies personnes. Vous comparerez un microphone sur la table à un casque par personne. Vous mesurerez qui a parlé et quand, ainsi que les mots. Vous évaluerez aussi les notes complètes avec les noms en un seul nombre. Ensuite, vous choisirez une configuration et préciserez ce qu’une personne doit encore vérifier.

Étude de casPièce de portfolio

Licence
CC BY 4.0
Durée
Environ 2,5 heures
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • DER tenant compte du chevauchement
  • Diarisation par canal avec diaphonie
  • Plongements de locuteur sur un microphone éloigné
  • WER et cpWER
  • Vérifications par personne
  • Tâches à faire produites par un LLM et enregistrées
  • Coût par heure d'audio

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Le carnet (notebook) Jupyter exécute les étapes de cette page avec le même code. Il télécharge environ 27 Mo. Cela comprend un extrait de 5 minutes d’une réunion, la référence des mots de quatre réunions et leurs sorties complètes enregistrées. Il évalue les sorties enregistrées et exécute le pipeline sur l’extrait en direct. Il ne nécessite aucun compte ni aucune clé et s’exécute en quelques minutes sur un portable.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

Ce que vous devez savoir

Cette étude de cas utilise la majeure partie du cours. Voici les leçons les plus importantes :

Ce qu’il vous faut sur votre ordinateur (seulement pour le parcours local; le carnet n’en a pas besoin)

  • Un environnement virtuel avec les paquets du projet à la fin du module 5 (faster-whisper, sherpa-onnx, scikit-learn), et jiwer. Le projet larkspeech convient; cette étude de cas ne modifie pas ses fichiers.
  • Le carnet, téléchargé à partir du lien ci-dessus. Sa cellule de préparation crée un nouveau dossier ami-meetings. Pour recommencer, supprimez ce dossier.

Testé sur macOS avec Python 3.12. Windows, Linux, Colab et Kaggle n’ont pas été testés.

Omar, gestionnaire de produit chez Larkfield, anime une réunion de produit chaque semaine. Quelqu’un rédige les notes à la main. Elles arrivent en retard, sont courtes et attribuent parfois les engagements à la mauvaise personne. Omar demande à Priya : « Les outils de parole du centre d’assistance peuvent-ils rédiger nos notes de réunion? Je veux savoir qui a dit quoi, et avoir une liste de tâches à faire avec un responsable pour chacune. »

Priya ne veut pas enregistrer ses collègues pour un test : cela exige leur consentement et une règle de conservation. Elle teste donc d’abord sur des réunions publiques, enregistrées avec consentement, sous une licence ouverte.

Deux erreurs comptent ici, et elles sont différentes :

  • Un mauvais nom. « Grace commandera les échantillons » alors qu’Amira l’a dit. La mauvaise personne reçoit la tâche, et la bonne personne l’oublie.
  • Une phrase perdue. L’idée ou la promesse d’une personne qui parle doucement manque dans les notes. Personne ne voit ce qui manque.

Vous construirez trois configurations pour les notes de réunion. Vous les comparerez sur les mêmes réunions avec les mêmes mesures :

Trois lignes. Référence de base : microphone éloigné, détection de la parole avec Silero, un seul locuteur pour tous, Whisper sur le microphone éloigné, mots avec noms. Plongements : microphone éloigné, détection de la parole, plongements de locuteur et quatre groupes, Whisper sur le microphone éloigné, mots avec noms. Casques : un casque par personne, détection de la parole sur chaque casque, le plus fort l'emporte, Whisper sur chaque casque, mots avec noms.
Les trois configurations de cette étude de cas. Chacune produit la même chose : des mots avec des noms, qui deviennent les notes.
Description textuelle du diagramme

Le schéma comporte trois lignes, une par configuration. Chaque ligne va d’un enregistrement à des mots avec des noms. La référence de base utilise le microphone éloigné sur la table et détecte la parole avec Silero. Elle attribue toute la parole à un seul locuteur, et Whisper la transcrit. La configuration avec plongements utilise le même microphone. Elle découpe la parole, crée un plongement de locuteur pour chaque segment et les regroupe en quatre locuteurs, comme au module 5. La configuration avec casques utilise un casque par personne. Elle détecte la parole sur chaque casque. Quand plusieurs casques entendent un même moment, elle l’attribue au plus fort. Ensuite, Whisper transcrit chaque casque.

Vous mesurerez qui a parlé et quand (DER), les mots (WER), et les notes avec les noms en un seul nombre. Ce dernier nombre est le cpWER, une nouvelle mesure. Ensuite, choisissez une configuration et exécutez-la sur une réunion gardée à part. Transformez la transcription en tâches à faire (action items) avec un LLM dont les sorties sont enregistrées.

Les données proviennent du AMI Meeting Corpus : 100 heures de réunions enregistrées dans trois salles. Dans la plupart des réunions, quatre participants rémunérés jouent une équipe de conception qui prépare une nouvelle télécommande de téléviseur. La conversation est spontanée; seul le sujet est fixé. Chaque personne portait un casque, et des microphones sur la table captaient toute la salle.

Nous utilisons quatre courtes réunions de lancement. Trois servent à la comparaison. La quatrième, IS1008a, est gardée à part pour l’exécution de bout en bout à la fin.

Réunion Salle Durée Les quatre personnes (rôle, sexe, langue première)
ES2004a Edinburgh 17,5 minutes concepteur d’interface (M, hindi), gestionnaire de projet (F, anglais), concepteur industriel (M, anglais), experte en marketing (F, anglais)
IS1009a IDIAP 14,0 minutes gestionnaire de projet (F, anglais), conceptrice d’interface (F, tamoul), conceptrice industrielle (F, télougou), experte en marketing (F, suisse allemand)
IS1001a IDIAP 15,2 minutes gestionnaire de projet (M, français), concepteur d’interface (M, grec), concepteur industriel (M, français), experte en marketing (F, français)
IS1008a (nouvelle entrée) IDIAP 15,7 minutes gestionnaire de projet (M, hindi), conceptrice d’interface (F, anglais), conceptrice industrielle (F, anglais), expert en marketing (M, anglais)

Pour chaque mot, les annotateurs ont noté son locuteur et ses temps de début et de fin. Cela donne la vérité pour le WER et les vrais tours de parole pour le DER. Les mots d’une personne sont joints quand l’écart reste inférieur à une demi-seconde.

Ces deux extraits correspondent aux mêmes 8 secondes d’ES2004a. Le premier vient du microphone éloigné sur la table. Le second vient du casque du concepteur industriel (C).

Réunion ES2004a, de 7:00 à 7:08, microphone éloigné (Array1-01), volume augmenté. De vraies personnes, du AMI Meeting Corpus (CC BY 4.0). Transcription. Gestionnaire de projet (B) : « That’s lovely. » Concepteur industriel (C) : « Yeah, and uh, I’ll have to think on the spot of, uh, things that it is. Um. » Experte en marketing (D), en même temps : « Beauti-, that’s… »
Les mêmes 8 secondes du casque du concepteur industriel (C), volume augmenté. De vraies personnes, du AMI Meeting Corpus (CC BY 4.0). Même transcription. La voix de C est proche et claire; les deux autres personnes parlent moins fort, mais restent audibles.

Sur le microphone éloigné, toutes les voix semblent lointaines, avec l’écho de la salle. Sur le casque, une voix est proche, mais les voisins restent audibles. C’est la diaphonie.

Les personnes parlent en même temps. La part du temps de parole avec au moins deux voix est de 15,8 % dans ES2004a. Elle est de 13,6 % dans IS1009a et de 9,4 % dans IS1001a. La plupart des chevauchements sont courts : un « yeah » ou un « mm-hmm » pendant qu’une autre personne parle. Les appels synthétiques de Larkfield ne se chevauchent presque jamais.

Chaque casque entend tout le monde. La chronologie montre 30 secondes d’ES2004a : les quatre casques, le microphone éloigné et trois lignes de tours de parole.

Cinq formes d'onde, puis trois lignes de tours de parole, pour 30 secondes de la réunion ES2004a. Chaque casque capte fortement la voix de la personne qui le porte et plus faiblement les autres. Le microphone éloigné produit un seul mélange faible. La vérité et « le plus fort l'emporte » ont des tours de parole colorés semblables. Le microphone éloigné avec plongements n'a presque qu'une seule couleur.
30 secondes d'ES2004a (de 9:35 à 10:05). Chaque casque capte fortement la voix de la personne qui le porte et plus faiblement les voisins. « Le plus fort l'emporte » trouve presque les vrais tours de parole. Le microphone éloigné avec plongements attribue presque tout à une seule personne.
Description textuelle du diagramme

Les quatre premières lignes montrent le son des quatre casques, chacun dans la couleur de la personne qui le porte. A est bleu, B orange, C vert et D violet. Chaque casque présente des formes hautes quand la personne qui le porte parle. Des formes plus petites apparaissent en même temps que les formes hautes des autres casques : c’est la diaphonie. La cinquième ligne est le microphone éloigné : un seul mélange faible de toutes les voix. En dessous se trouvent trois lignes de tours de parole. Dans la vérité, les quatre personnes parlent. C commence, puis A parle pendant environ cinq secondes. Ensuite, B, D et B parlent, puis C parle pendant les dix dernières secondes. « Le plus fort l’emporte », avec les casques, donne presque les mêmes tours de parole, avec de petits écarts. « Microphone éloigné, plongements » est entièrement orange : le regroupement a attribué les 30 secondes au gestionnaire de projet, B.

Le DER du module 5 attribuait chaque moment de 10 ms à un seul locuteur. Dans une réunion, un même moment peut avoir deux vrais locuteurs. La fonction der de cette étude de cas compte par moment. Parole manquée : moins de locuteurs trouvés qu’en réalité. Fausse parole : plus de locuteurs trouvés qu’en réalité. Confusion : un locuteur trouvé avec le mauvais nom. Comme avant, elle associe d’abord les noms trouvés aux vrais noms de la meilleure façon possible. Elle n’évalue pas les 0,25 seconde autour de chaque vrai changement de locuteur.

Une méthode qui attribue chaque moment à un seul locuteur manque une voix à chaque chevauchement. La marge d’exclusion retire beaucoup de chevauchements courts du score. Mais dans le temps évalué, le chevauchement représente encore de 5,7 % à 8,4 % de la parole.

Les notes les plus simples placent tous les mots sous un seul nom. Nous détectons la parole sur le microphone éloigné avec Silero et l’appelons entièrement « locuteur 1 ». Le microphone éloigné a un faible volume (de 34 à 48 dB sous la pleine échelle). Toutes les configurations qui l’utilisent augmentent donc d’abord son volume à −25 dBFS. Elles utilisent le seuil Silero plus bas, 0,3, présenté dans WebRTC VAD et Silero VAD.

Sur les trois réunions, le DER de la référence de base est de 48,2 %. Il comprend 17,2 % de parole manquée, 2,7 % de fausse parole et 28,3 % de confusion. La confusion correspond à la parole de toutes les personnes sauf celle qui parle le plus. Toute méthode utile doit faire mieux que ce nombre.

Autres méthodes sur le microphone éloigné et les casques

Section intitulée « Autres méthodes sur le microphone éloigné et les casques »

Nous avons comparé cinq méthodes à la référence de base, sur les mêmes trois réunions et avec la même fonction der. Le graphique montre les composantes du DER pour chacune.

Six barres horizontales empilées de parole manquée, de fausse parole et de confusion. Référence de base avec microphone éloigné et un locuteur, microphone éloigné avec plongements de 1,5 seconde, puis de 3 secondes : environ la moitié du temps de parole est erronée, surtout par confusion. Mélange des casques avec plongements : moins d'erreurs. Chaque casque seul : une très longue barre de fausse parole, coupée au bord. Casques avec « le plus fort l'emporte » : la barre la plus courte, presque entièrement de la parole manquée.
Composantes du DER sur les trois réunions AMI (ES2004a, IS1009a, IS1001a), regroupées selon le temps de parole. Le microphone éloigné avec plongements ne fait pas mieux que la référence de base. Les casques avec « le plus fort l'emporte » font beaucoup mieux.
Description textuelle du diagramme

Six barres, chacune divisée en parole manquée (gris), fausse parole (doré) et confusion (rouge), en pourcentage du vrai temps de parole. La référence de base, soit le microphone éloigné avec un seul locuteur, a un DER de 48,2 %. Le microphone éloigné avec plongements atteint 50,3 % avec des segments de 1,5 seconde et 53,3 % avec des segments de 3 secondes : pas mieux. Les quatre casques additionnés en une piste, avec plongements, atteignent 35,9 %. Les casques, chacun seul, atteignent 145,3 % : la fausse parole à elle seule représente 131,6 %, donc la barre est coupée. Les casques avec « le plus fort l’emporte » atteignent 26,9 %, dont 24,4 % de parole manquée et seulement 1,5 % de confusion.

C’est la surprise que cette étude de cas présente sans la cacher. La méthode de Plongements de locuteur et regroupement, avec quatre groupes, donne un DER de 50,3 %. La méthode « un seul locuteur » donne 48,2 %. Des segments plus longs (3 secondes) aggravent le résultat : 53,3 %. Le regroupement place presque toute la parole dans un ou deux grands groupes. Dans ES2004a, la gestionnaire de projet reçoit 84 % de sa parole sous son propre nom. Les trois autres personnes n’en reçoivent presque aucune.

Pourquoi? Nous avons comparé des segments de 1,5 seconde contenant une seule personne. Sur le microphone éloigné, les segments de la même personne et ceux de personnes différentes se ressemblent presque autant.

Barres groupées pour trois réunions. Sur le microphone éloigné, les barres pour une même personne et pour des personnes différentes ont des hauteurs presque égales, autour de 0,8. Sur le mélange des casques, la barre pour une même personne est nettement plus haute que celle pour des personnes différentes.
Similarité cosinus moyenne des plongements de locuteur (WeSpeaker ResNet-34) pour des segments d'une même personne et de personnes différentes. Sur le microphone éloigné, les deux sont presque égales : le modèle entend davantage la salle que la voix.
Description textuelle du diagramme

Quatre barres pour chacune des trois réunions. Sur le microphone éloigné, une même personne obtient 0,83 et des personnes différentes 0,83 dans ES2004a. Les valeurs sont 0,77 et 0,76 dans IS1009a, puis 0,84 et 0,84 dans IS1001a. Sur les quatre casques additionnés en une piste, l’écart est clair dans ES2004a (0,49 contre 0,33). Il est plus petit dans IS1009a (0,61 contre 0,51) et faible dans IS1001a (0,64 contre 0,62).

Le modèle de locuteur a appris à partir d’extraits d’entrevues avec des microphones proches. À deux mètres, dans une salle avec de l’écho, chaque voix prend la même « couleur de salle ». Le modèle décrit alors davantage la salle que la personne. Aucun regroupement ne peut séparer ce que les plongements ne distinguent pas. Sur les quatre casques additionnés en une piste, l’écart revient dans la réunion d’Edinburgh (DER de 29,6 %). Il revient moins dans les réunions d’IDIAP.

Casques : la diaphonie, puis le plus fort l’emporte

Section intitulée « Casques : la diaphonie, puis le plus fort l’emporte »

Avec un casque par personne, chaque casque est un canal, comme dans Séparer d’abord par canal. Mais « chaque casque seul » donne un DER de 145,3 %. La VAD sur chaque casque détecte aussi les voix des voisins. La même phrase apparaît donc sous trois ou quatre noms. La fausse parole représente 131,6 % du vrai temps de parole. Le résultat est acceptable dans la salle d’Edinburgh (23,1 %), mais dépasse 200 % dans les salles d’IDIAP.

Le plus fort l’emporte corrige ce problème. Quand plusieurs casques détectent de la parole au même moment, le casque le plus fort reçoit ce moment. La personne qui porte le casque est toujours la plus proche de son propre microphone. Le DER descend à 26,9 %, et la confusion à 1,5 %.

Il reste surtout de la parole manquée (24,4 %). Une partie vient du chevauchement : « le plus fort l’emporte » garde une seule personne par moment. Le reste correspond aux courts « mm-hmm » et aux pauses dans les vrais tours de parole, que Silero ne détecte pas comme parole.

Nous avons exécuté Whisper tiny, base et small sur chaque flux (int8, processeur du portable, comme dans le projet). Sur le microphone éloigné, la référence contient tous les mots dans l’ordre chronologique. Sur un casque, elle contient les mots de la personne qui le porte. Nous gardons seulement les mots de Whisper dans ses tours de parole, selon la règle du plus fort. Sans cette étape, chaque transcription de casque contient aussi les mots des voisins : WER 152,8 % avec Whisper small.

Barres groupées du WER pour Whisper tiny, base et small. Pour chaque taille, la barre des casques est plus basse que celle du microphone éloigné.
WER sur les trois réunions AMI, selon la taille de Whisper et le microphone (guide de normalisation et règles de réunion). Avec Whisper tiny ou base, un casque aide plus qu'un modèle plus gros.
Description textuelle du diagramme

Trois paires de barres. Whisper tiny : casques 30,1 %, microphone éloigné 43,6 %. Whisper base : casques 26,9 %, microphone éloigné 37,4 %. Whisper small : casques 26,5 %, microphone éloigné 30,7 %.

Deux choses ressortent. D’abord, le microphone compte plus que le modèle. Un casque avec Whisper tiny (30,1 %) vaut à peu près le microphone éloigné avec Whisper small (30,7 %). Le calcul nécessaire est aussi à peu près le même. Avec Whisper small, les casques gagnent encore, mais de moins : 26,5 % contre 30,7 %. Ensuite, ces WER dépassent largement ceux des appels synthétiques de Larkfield (Whisper small : 3,1 % en anglais). Les vraies réunions contiennent des hésitations, des mots interrompus (« Beauti- »), du chevauchement et de nombreux accents.

Le guide de normalisation a besoin de trois règles de réunion

Section intitulée « Le guide de normalisation a besoin de trois règles de réunion »

Les transcripteurs d’AMI écrivent les lettres prononcées une par une sous la forme L_C_D_, et Whisper écrit « LCD ». Ils écrivent « Mm-hmm » et « gonna »; Whisper écrit « Mhm » et « going to ». Comme dans Normaliser avant de comparer, nous écrivons les règles une fois et les appliquons aux deux textes. Les lettres prononcées une par une deviennent un mot. Davantage de sons comptent comme mots de remplissage. Les formes courtes deviennent des mots complets.

Normalisation (Whisper small, microphone éloigné, trois réunions) WER
aucune 47,7 %
de base (minuscules, sans ponctuation) 35,6 %
guide complet du cours 31,6 %
guide complet et trois règles de réunion 30,7 %

Tous les nombres de cette étude de cas utilisent la dernière ligne.

Pensez à une personne qui vérifie le compte rendu d’une réunion. Une ligne est correcte seulement si les mots sont corrects et sous le bon nom. Le DER vérifie seulement les noms et les temps; le WER vérifie seulement les mots. Aucun des deux ne dit si les notes sont bonnes.

Le cpWER (taux d’erreur sur les mots concaténés avec permutation minimale) vérifie les deux. Il joint (« concatène ») les mots de chaque personne en un seul texte. Il associe chaque locuteur trouvé à un vrai locuteur. Il choisit l’association (« permutation ») qui donne le moins d’erreurs. Puis il divise toutes les erreurs de mots par le nombre de vrais mots. Un mot sous le mauvais nom compte deux fois : manquant pour une personne, ajouté pour une autre.

Vérité : A dit we need a budget; B dit I will write it. Résultat : le locuteur 2 dit we need a budget; le locuteur 1 dit I will right it. Meilleure association : 2 avec A, 1 avec B. Une erreur. cpWER : 1 divisé par 8 égale 12,5 pour cent. La mauvaise association donnerait 8 erreurs.
Le cpWER sur un tout petit exemple : les locuteurs trouvés ont des numéros, pas des noms. La meilleure association est donc choisie d'abord.
Description textuelle du diagramme

Deux vrais locuteurs : A dit « we need a budget » et B dit « I will write it », soit 8 mots en tout. Le système a trouvé le locuteur 2 avec « we need a budget » et le locuteur 1 avec « I will right it ». La meilleure association est 2 avec A et 1 avec B. Il y a alors une erreur, « right » au lieu de « write ». Le cpWER est donc 1 divisé par 8, soit 12,5 %. L’autre association, 1 avec A, donnerait 8 erreurs : c’est pourquoi le cpWER choisit la meilleure.

Les défis de transcription de réunions comme CHiME utilisent le cpWER. Il exige des mots avec des noms. Comme dans Temps des mots et alignement, chaque mot va au locuteur dont le tour contient son milieu.

Voici les quatre configurations avec Whisper small, sur les trois mêmes réunions, dans un seul tableau. Le calcul correspond au facteur temps réel de toute la configuration sur le processeur du portable. Pour les casques, Whisper s’exécute quatre fois, une fois par casque. Le coût utilise l’hypothèse du cours : un serveur CPU à 0,17 $ US l’heure.

Configuration (Whisper small) DER WER cpWER Calcul (× durée audio) $ US par heure d’audio
Référence de base : micro éloigné, un locuteur 48,2 % 30,7 % 89,3 % 0,068 0,012
Micro éloigné, plongements 50,3 % 30,7 % 86,9 % 0,083 0,014
Casques, chacun seul 145,3 % 152,8 % 152,8 % 0,258 0,044
Casques, règle du plus fort 26,9 % 26,5 % 26,5 % 0,258 0,044
Casques, règle du plus fort, Whisper small avec sa VAD 26,9 % 22,9 % 22,9 % 0,152 0,026
Casques, règle du plus fort, Whisper base 26,9 % 26,9 % 26,9 % 0,115 0,019
Casques, règle du plus fort, Whisper tiny 26,9 % 30,1 % 30,2 % 0,062 0,011

Ce que cela nous apprend. Sur le microphone éloigné, les mots sont presque aussi bons que sur les casques. Les notes ne le sont pas : un cpWER de 86,9 % signifie que la plupart des mots sont sous un mauvais nom. Avec les casques et la règle du plus fort, le cpWER égale le WER. Presque aucun mot n’a un mauvais nom. Chaque configuration coûte quelques cents par heure de réunion; le calcul ne décide donc pas du choix.

Changer une chose : la VAD de Whisper. faster-whisper peut sauter les silences avec sa VAD Silero intégrée (vad_filter=True). Nous l’avons vu dans Pourquoi la VAD améliore la reconnaissance. Sur les casques, elle réduit le WER de 26,5 % à 22,9 % et diminue presque de moitié le calcul. Un casque capte surtout du silence et les voix faibles des voisins, où Whisper invente ou copie des mots. Sur le microphone éloigné, elle augmente le WER de 30,7 % à 33,1 %, car elle coupe la parole faible. Le même réglage aide un microphone et nuit à l’autre.

Une moyenne cache des personnes. Le graphique montre le WER de chaque personne sur son propre casque, sans et avec la VAD de Whisper.

Deux marques par personne pour douze personnes sur un axe de WER. Marques pleines, Whisper small : les pires sont IS1001a D à environ 89 %, IS1009a C à environ 61 % et ES2004a A à environ 50 %. Les meilleurs sont les trois gestionnaires de projet, autour de 18 à 22 %. Marques vides, avec la VAD : plus basses pour la plupart des personnes, mais IS1001a D sort du graphique à 162 %.
WER de chaque personne sur son propre casque (règle du plus fort), sur les trois réunions AMI : Whisper small (marques pleines) et avec sa VAD (marques vides). Les personnes qui parlent le moins sont les plus touchées. La VAD aide dix personnes, mais aggrave le pire résultat.
Description textuelle du diagramme

Douze lignes, une par personne, classées du WER le plus élevé au plus faible. Les trois pires résultats sont ceux de l’experte en marketing d’IS1001a (une femme dont la langue maternelle est le français), de la conceptrice industrielle d’IS1009a (une femme dont la langue maternelle est le télougou) et du concepteur d’interface d’ES2004a (un homme dont la langue maternelle est l’hindi). Les trois meilleurs sont les trois gestionnaires de projet, entre 18 % et 22 %. Les marques vides montrent Whisper avec sa VAD. Elles sont plus basses pour dix personnes et légèrement plus hautes pour le concepteur d’interface d’IS1009a. Pour l’experte en marketing d’IS1001a, la marque vide sort du graphique : 161,7 %.

La personne au pire résultat, l’experte en marketing d’IS1001a, dit seulement 47 mots. De ces mots, 89 % sont erronés ou perdus. Les gestionnaires de projet, qui parlent le plus, obtiennent les meilleurs résultats. Les erreurs des personnes discrètes sont surtout des suppressions. La VAD manque leurs courts tours de parole. La règle du plus fort les élimine aussi quand elles parlent en même temps qu’une autre personne. Seulement 39 % de la parole des deux personnes aux pires résultats a été trouvée sous leur nom. C’est de 73 % à 75 % pour les gestionnaires de projet.

Avec la VAD, son WER monte à 161,7 % : son casque a gardé des mots supplémentaires de ses voisins. Une meilleure moyenne peut cacher un pire cas encore plus mauvais.

Par groupe (sans la VAD) : femmes 23,8 %, hommes 30,9 %; personnes de langue maternelle anglaise 21,0 %, autres 33,5 %. Ce ne sont pas des faits sur les groupes. Il y a douze personnes. Les groupes se confondent avec la quantité de parole de chaque personne. La leçon est la vérification : mesurez chaque personne et examinez celles qui parlent peu.

Comme dans Résumés et suivis, Azure chat-small lit la transcription (texte seulement, jamais l’audio). Il renvoie les tâches à faire en JSON : responsable, tâche, date d’échéance et courte citation. Chaque réponse a été enregistrée une fois; le carnet Jupyter n’a donc besoin d’aucune clé. Une réponse coûte environ 0,0008 $ US; les 12 réponses coûtent 0,0099 $ US.

Les résumés humains d’AMI énumèrent sept actions pour les trois réunions. L’auteur leur a comparé chaque réponse enregistrée (un jugement, pas un score mesuré) :

Transcription donnée au LLM Actions AMI trouvées (sur 7) Responsable correctement nommé Éléments qui ne sont pas des actions AMI
Référence humaine, avec les rôles 6 6 0
Casques, règle du plus fort, Whisper small (rôles selon les places) 5 5 1 (pas une action : « I’ll see what I can do » pendant un exercice au tableau blanc)
Micro éloigné, plongements, Whisper small (« Speaker 1 »…« Speaker 4 ») 6 6 1 (une vraie promesse du gestionnaire de projet)

Le microphone éloigné fait aussi bien ici pour une raison qui ne durera pas. Les gestionnaires de projet ont dit les rôles à voix haute (« I will ask the industrial designer to … »). Quand les personnes disent « I’ll do it », seul le nom du locuteur indique qui est « I ». L’exécution de bout en bout le montre. Les casques ont manqué l’action d’ES2004a, car Whisper a perdu la phrase « and then we’ll come back and liaise again ». Une phrase perdue peut être une action perdue.

Pour les réunions de produit de Larkfield, Priya recommande :

  1. Un microphone par personne. Dans une salle, un casque ou un micro-cravate pour chaque personne. Dans une réunion en ligne, le flux audio propre à chaque personne. La plupart des outils de réunion peuvent les enregistrer séparément : c’est la même configuration, gratuitement.
  2. Silero VAD à 0,5 sur chaque canal, puis la règle du plus fort. Pas de marge plus élaborée : la règle simple a fonctionné dans chaque salle.
  3. Whisper small avec sa VAD sur chaque canal, en gardant seulement les mots dans les tours de la personne : cpWER 22,9 %. C’était mieux pour dix des douze personnes; la vérification ci-dessous couvre les autres.
  4. Les noms viennent des places, pas des voix. La configuration relie une personne à un canal à son arrivée, jamais par une empreinte vocale.
  5. Les tâches à faire produites par le LLM, comme brouillon, à partir du texte seulement, avec une citation par élément.

Ce qu’une personne vérifie encore, avant de diffuser les notes :

  • Le responsable et la date de chaque tâche, en les comparant à sa citation. Le modèle a inventé une action et en a perdu une autre dans nos trois réunions.
  • Les personnes discrètes. Lisez les lignes des personnes qui ont le moins parlé. Leurs mots risquent le plus de manquer ou d’être ceux d’un voisin.
  • Les nombres, les noms et les décisions. Un WER près de 25 % signifie qu’environ un mot sur quatre est erroné. Il faut vérifier un prix ou une date dans l’enregistrement.

Coût par heure de réunion : calcul 0,026 $ US (serveur CPU à 0,17 $ US l’heure, une hypothèse). Le LLM coûte environ 0,0029 $ US (jetons enregistrés). La vérification humaine prend 5 minutes au tarif supposé du cours de 0,75 $ US la minute : 3,75 $ US. Le temps de la personne est le plus gros coût. Rendez donc la vérification courte : une citation à côté de chaque élément et les lignes des personnes discrètes marquées. Nous n’avons pas compté le prix des casques.

Pour une salle avec seulement un microphone de table, cette étude de cas n’offre aucune bonne solution ouverte. Utilisez le microphone éloigné pour les mots sans noms. Sinon, testez un pipeline préentraîné après avoir accepté ses conditions (voir Utilisation responsable).

IS1008a n’a jamais servi à choisir quoi que ce soit. Nous y avons exécuté une fois la configuration recommandée : la règle du plus fort sur les quatre casques, puis Whisper small avec sa VAD sur chacun.

IS1008a (nouvelle entrée) DER WER cpWER
Casques, règle du plus fort, Whisper small avec sa VAD 20,1 % 13,0 % 13,0 %
Micro éloigné, plongements, Whisper small (pour comparer) 37,9 % 15,2 % 70,3 %

La nouvelle réunion est plus facile que les trois autres : moins de chevauchement (4,1 %) et des tours plus longs. Le classement reste le même. Sans la VAD, les casques donnent 13,4 % : ici, la différence reste dans le bruit.

Le carnet Jupyter exécute cette configuration en direct sur un extrait de 5 minutes d’IS1008a. Il utilise Whisper tiny pour aller vite. Les dernières lignes de ses notes (sortie réelle; les rôles viennent des places) :

[14:46] PM: And if anything you need any time, so please, either you can call me or just send me email or just comment, knock my door. So I'm available here.
[14:57] UI: Okay.
[14:58] ID: Thank you.
[14:58] PM: Thanks for coming and I will be sure, I will time
[15:01] UI: Thank you.
[15:01] PM: see you later.
[15:33] ME: a look at

À partir de la transcription de toute la réunion par casques (Whisper small), les tâches enregistrées incluaient les quatre actions AMI. Chacune avait le bon rôle. Avec le microphone éloigné, le modèle a trouvé les quatre mêmes tâches. Mais il a nommé les responsables « Speaker 1 », « Speaker 3 », « Speaker 4 » et « unclear ». Ici, les personnes disaient davantage « I’ll do it » qu’elles ne nommaient les rôles. Ces notes ne peuvent donc pas dire qui.

  • Le microphone décide. Un microphone par personne a rendu les noms presque gratuits (confusion 1,5 %). Sur le microphone éloigné, le modèle de locuteur ouvert ne pouvait pas distinguer les voix.
  • Les règles simples se transfèrent. La règle du plus fort a fonctionné dans les deux salles. Une marge ajustée a fonctionné dans une seule (le cas d’échec ci-dessous).
  • Les vraies réunions sont plus difficiles que les appels synthétiques de Larkfield : WER près de 25 % même sur les casques (3,1 % sur les appels anglais); confusion du microphone éloigné de 30 % (16 % sur les appels synthétiques mono).

Limites. Trois réunions et douze personnes, toutes des réunions de lancement du même jeu de rôles, dans des salles de 2005. Les vrais tours de parole basés sur les mots augmentent la part manquée pour chaque méthode. Whisper a utilisé un seul réglage (décodage glouton, int8). Les tâches à faire proviennent d’une réponse enregistrée par transcription, jugée par l’auteur; une autre exécution peut différer. Nous n’avons pas exécuté de pipeline préentraîné.

Erreur courante

Un réglage ajusté dans une seule salle

Symptôme : sur ES2004a, Priya a essayé une règle du plus fort moins stricte pour garder le vrai chevauchement. Elle compare l’intensité sonore de chaque casque à son propre niveau de parole. Chaque casque à moins de 10 dB du plus fort garde ce moment. Cela a réduit le DER d’ES2004a de 23,3 % à 21,7 %. Puis elle l’a exécuté sur les autres réunions : 129,0 % sur IS1009a et 174,8 % sur IS1001a.

Cause : les casques d’IDIAP captent beaucoup plus les sons de la salle. Un voisin est souvent à moins de 10 dB de la personne qui porte le casque. Les voix des voisins sont donc revenues comme fausse parole. Le réglage convenait à une seule salle.

Correction : gardez la règle simple du plus fort, qui fonctionne dans toutes les salles que nous avons essayées. Choisissez les réglages sur plusieurs réunions et salles. Gardez une réunion à part que vous n’utilisez jamais pour choisir.

Conséquence dans le travail en IA : dans les réunions, la salle fait partie des données.

Les notes de réunion sont des traces de personnes. Avant que Larkfield enregistre ses propres réunions, ces règles s’appliquent, comme dans Les données personnelles dans la voix :

  • Consentement et avis. Tout le monde sait que la réunion est enregistrée et transcrite, et pourquoi. Une personne qui refuse peut demander des notes prises à la main.
  • Supprimer l’audio, garder les notes. Supprimez l’enregistrement quand les notes sont vérifiées.
  • Seulement du texte vers un modèle hébergé. Ici, seules les transcriptions ont été envoyées au LLM, et ses réponses ont été enregistrées. Le contrat du fournisseur doit couvrir le texte des réunions.
  • Ne pas mesurer les personnes avec cet outil. Le microphone et le système de reconnaissance biaisent le temps de parole. Les personnes discrètes, dont la parole est la plus souvent manquée, sembleraient parler encore moins. Les notes servent aux tâches, pas à juger les personnes.
  • Aucune identification vocale. Les noms viennent des places, pas des voix; voir Clonage de voix, contrôle du locuteur et abus.
  • Les personnes d’AMI sont réelles. Nous jouons seulement de courts extraits avec leur transcription et utilisons les lettres et les rôles d’AMI. Nous n’essayons jamais de découvrir leur identité.

Un pipeline préentraîné comme pyannote (Les pipelines de diarisation préentraînés) est l’étape suivante habituelle pour un microphone éloigné. Sa page de modèle annonce un DER de 19,9 % sur le microphone éloigné d’AMI pour speaker-diarization-community-1. C’est une affirmation du fournisseur, évaluée sans marge de tolérance. Nous ne l’avons pas exécuté : il exige un jeton et l’acceptation de ses conditions. Avant de comparer, vérifiez si les réunions d’entraînement d’AMI faisaient partie de ses données d’entraînement.

Mettez l’étude de cas dans un dépôt public :

  • README : le problème, les données avec leur licence et leur attribution, les trois configurations, le tableau des résultats avec la référence de base, la recommandation et les limites.
  • Le carnet (notebook) Jupyter, exécuté depuis le début, avec les versions des bibliothèques.
  • Une fiche de modèle pour la configuration : son usage prévu (des notes pour une équipe qui y a consenti), les usages exclus (juger les gens, identifier les voix) et ce qu’une personne vérifie.

En entrevue, dites-le en deux phrases : « J’ai comparé un microphone de table à un casque par personne pour prendre des notes de réunion sur le corpus AMI. La méthode ouverte de plongements de locuteur n’a pas surpassé la référence de base à un seul locuteur avec le microphone éloigné. Les casques avec une règle d’intensité sonore ont réduit l’erreur sur les mots et les noms de 86,9 % à 26,5 %. »

Pour aller plus loin : exécutez le carnet sur davantage de réunions AMI provenant des trois salles. Évaluez un pipeline préentraîné avec les mêmes der et cpwer, si vous acceptez ses conditions. Marquez les lignes contenant une tâche à faire (action item), un nombre ou une date pour la personne qui vérifie.

Vérifiez votre compréhension

Le microphone éloigné avec les plongements de locuteur avait un DER supérieur à celui obtenu en attribuant toute la parole à un seul nom. Comment une méthode qui trouve quatre locuteurs peut-elle être moins bonne qu'une méthode qui en trouve un?

Afficher la réponse

Quand les plongements ne séparent pas les voix, les groupes ne correspondent pas aux personnes. Chaque mauvais groupe ajoute de la confusion. « Un seul locuteur » donne au moins le bon résultat pour la personne qui parle le plus. Avec le microphone éloigné, les extraits d’une même personne et de personnes différentes se ressemblaient presque autant. Leur similarité était de 0,83 contre 0,83 dans ES2004a. Avant de faire confiance à un regroupement, vérifiez que les plongements séparent les locuteurs dans votre propre audio.

Vérifiez votre compréhension

Avec un casque par personne, pourquoi l'approche « chaque casque seul » était-elle si mauvaise dans les réunions IDIAP? Qu'est-ce qui a corrigé le problème?

Afficher la réponse

Chaque casque capte aussi les voisins (diaphonie). Une phrase apparaît donc sous trois ou quatre noms : plus de 200 % de fausse parole dans les réunions IDIAP. La règle « le plus fort l’emporte » attribue un passage capté par plusieurs casques à celui où le son est le plus fort. La personne qui le porte est en effet la plus proche de son propre microphone. La confusion est tombée à environ 1 à 2 %.

Vérifiez votre compréhension

Omar veut que les notes indiquent combien chaque personne a parlé, pour voir qui participe activement. Que répondez-vous?

Afficher la réponse

Non. La configuration manque davantage de parole chez certaines personnes. Même avec les casques, elle n’a trouvé que 39 % à 75 % de la parole d’une personne sous son nom. Le modèle de reconnaissance fait aussi plus d’erreurs pour certaines voix. Ces personnes sembleraient moins participer à cause des outils. Les notes servent à consigner les tâches. Les gens n’ont pas consenti à la mesure de leur temps de parole.

Récapitulatif

  • En réunion, les gens parlent en même temps : le DER compte le chevauchement, en séparant parole manquée, fausse parole et confusion.
  • Avec un microphone éloigné, la méthode ouverte de plongements de locuteur n’a pas surpassé « tout le monde est un seul locuteur ». Le problème venait de la salle, pas du regroupement.
  • Avec un casque par personne, la règle « le plus fort l’emporte » élimine la diaphonie et laisse surtout de la parole manquée.
  • Le cpWER évalue les notes avec les noms en un seul nombre : les mots et les noms doivent être corrects. Avec les casques et la règle « le plus fort l’emporte », il est tombé à 26,5 %. Il était de 86,9 % avec le microphone éloigné et les plongements (Whisper small).
  • Vérifiez les résultats pour chaque personne, choisissez les paramètres sur plusieurs salles et faites vérifier le responsable de chaque tâche par une personne.

Ensuite, une tâche différente sur un petit appareil : détecter de courtes commandes vocales directement dans l’audio et compter les fausses alertes par heure.

Leçon suivante : Détecter des commandes sur un petit appareil