Aller au contenu
English

Les pipelines de diarisation préentraînés

  • Leçon 17
  • 30 min
  • Module 5 : Qui a parlé et quand : diarisation et temps des mots

Où nous en sommes

Notre regroupement trouve deux locuteurs dans la plupart des appels mono. Les pipelines de diarisation complets vont plus loin. Dans cette leçon, nous voyons ce qu'ajoute un pipeline comme pyannote et ce qu'exigent ses conditions d'utilisation. Nous voyons aussi les cas où deux voix semblables restent fusionnées.

Leçon 17 sur 36 · IA de la parole : transcrire, comprendre et parlerLes pipelines de diarisation préentraînés
Aperçu du cours

Ce que vous saurez faire

Comprenez ce qu’un pipeline de diarisation complet et préentraîné ajoute à la méthode de la dernière leçon. Sachez ce qu’il exige avant de pouvoir l’utiliser. Et sachez où aucune méthode n’aide : deux voix qui se ressemblent.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes)

  • Votre dossier de projet larkspeech avec les fichiers de end-of-m05. Cette leçon n’ajoute aucun fichier.

Cette leçon n’a pas de carnet Jupyter : le cours n’exécute pas de pipeline préentraîné. L’équipe du cours n’a pas testé l’option facultative présentée à la fin.

Pensez à une personne qui rédige le compte rendu d’une réunion d’équipe. Six personnes sont assises à la table. Deux d’entre elles parlent souvent en même temps. Une personne arrive en retard et ne dit qu’une phrase. La personne qui rédige doit noter qui a dit quoi, y compris la phrase que deux personnes ont dite en même temps.

Notre méthode de la dernière leçon ne pourrait pas faire ce travail. Elle exige exactement deux locuteurs. Elle attribue chaque instant à un seul locuteur. Et elle reconnaît les voix uniquement par leur son, donc deux personnes aux voix semblables deviennent une seule personne.

Un appel chez Larkfield est plus simple qu’une réunion : deux personnes, qui parlent rarement en même temps. Mais les appels présentent aussi ces problèmes. Un appelant passe le téléphone à son partenaire. Un agent fait intervenir un collègue. Et parfois, les deux voix sur la ligne se ressemblent.

L’appel C-0144 est un cas d’exercice que nous avons créé exprès. Nous avons choisi la voix de l’appelant pour qu’elle ressemble à celle de l’agent. Écoutez le milieu de l’appel :

Appel C-0144, mono, de 11,9 à 20,0 s, qualité téléphonique (8 kHz). Deux voix synthétiques, toutes deux de Piper entraîné sur le corpus LibriTTS-R : l’agent (locuteur 5401) et l’appelant (locuteur 1914). Transcription. Agent : « Of course. What would you like to change? » Appelant : « The new details are in the form I sent yesterday. » Agent : « I have changed it, and you will get a confirmation email in a few minutes. Is there anything else I can help you with? »

Une personne entend deux voix, mais elles se ressemblent. Pour le modèle de locuteur, elles se ressemblent encore davantage. La commande du projet montre ce qui se passe :

Fenêtre de terminal
speech diarize --call C-0144
C-0144 (mono), embeddings: DER 49.9% (missed 3.9%, false 0.0%, confusion 46.1%)
0.57 4.70 agent
4.70 5.82 caller
6.14 11.78 agent
12.41 13.92 agent
14.42 16.13 agent
16.79 19.15 agent
19.15 19.62 caller
…

Le long tour de parole de l’appelant, de 6,1 à 11,7 s, porte le nom de l’agent. La confusion représente presque la moitié du temps de parole.

Une forme d'onde de l'appel de 26 secondes et deux rangées de tours de parole. Vérité : l'agent et l'appelant parlent à tour de rôle, quatre fois chacun. Plongements : presque tout est bleu, pour l'agent; trois courts segments orange à 4,7, 19,2 et 24,8 secondes sont les seuls tours de l'appelant.
Appel C-0144, les voix semblables insérées : la vérité et la méthode des plongements. Le regroupement fusionne les deux voix; ses deux groupes sont l'appel entier et trois courts segments. DER de 49,9 %, confusion de 46,1 %.
Description textuelle du diagramme

La rangée du haut représente le son de l’appel mono. En dessous se trouve la vérité. L’agent parle de 0,6 à 5,8 s, et l’appelant de 6,1 à 11,7 s. Après un court tour de l’agent, l’appelant parle de 14,4 à 16,4 s. La promesse de l’agent va de 16,8 à 19,7 s. L’appelant remercie l’agent de 21,7 à 22,8 s, puis l’agent dit au revoir. La rangée du bas représente la méthode des plongements. Presque tout l’appel est bleu, pour l’agent. Seuls trois courts segments orange sont attribués à l’appelant. Ils commencent à 4,7 s, 19,2 s et 24,8 s. Tous les trois sont en fait l’agent.

La méthode a quand même trouvé deux groupes, parce que nous en avons demandé deux. Mais le deuxième groupe n’est pas l’appelant. Ce sont trois courts segments de la voix de l’agent dont le son est un peu différent.

Seulement 7 des 260 appels publics de Larkfield contiennent ces voix semblables placées exprès. C-0144 est le seul parmi les appels mono de validation et de test. Un appel est un exemple, pas un fait établi. Nous avons donc posé une question plus large. Dans chaque appel de validation et de test, à quel point les deux voix se ressemblent-elles? Et combien de confusion la méthode produit-elle?

Pour chaque appel, nous avons calculé la moyenne des plongements des vrais tours de l’agent. Nous avons fait de même pour les vrais tours de l’appelant. Puis nous avons calculé la similarité cosinus entre les deux moyennes.

Un nuage de points de 110 appels. L'axe horizontal indique la ressemblance des deux voix, une similarité cosinus de 0,5 à 0,97. L'axe vertical indique la confusion de la méthode des plongements, de 0 à 45 %. Les appels avec une similarité cosinus inférieure à 0,65 n'ont presque aucune confusion. Au-dessus de 0,8, la plupart des appels ont entre 10 % et 35 % de confusion. C-0144 est indiqué à une similarité cosinus de 0,954 et une confusion de 46,1 %.
La ressemblance des deux voix par rapport à la confusion de la méthode des plongements, pour les 110 appels synthétiques de validation et de test de Larkfield. Plus elles se ressemblent, plus la confusion augmente (corrélation de 0,55). C-0144, la paire insérée, se trouve en haut à droite.
Description textuelle du diagramme

Chaque point représente un appel : les cercles sont les appels mono, les triangles sont les appels stéréo mélangés en mono. De gauche à droite : la ressemblance des deux voix, mesurée par la similarité cosinus de leurs plongements moyens. De bas en haut : la confusion de la méthode des plongements. La similarité cosinus médiane est de 0,80. Les appels à gauche, sous environ 0,65, n’ont presque aucune confusion. Les appels à droite en ont beaucoup plus. Dans le quart des appels aux voix les plus semblables, à partir d’une similarité cosinus de 0,86, la confusion moyenne est de 24,6 %. Dans les autres appels, elle est de 12,8 %. C-0144 est indiqué en rouge : similarité cosinus de 0,954, confusion de 46,1 %. Deux autres appels ont une similarité cosinus légèrement supérieure, de 0,961 et 0,967, avec moins de confusion.

Le graphique montre une tendance claire : plus deux voix se ressemblent, plus le regroupement les confond. Il montre aussi que cette règle ne s’applique pas à chaque appel. Selon cette mesure, deux appels avec des conversations en arrière-plan ont des voix aussi semblables que C-0144, mais moins de confusion. Les conversations en arrière-plan en sont probablement la cause : elles accompagnent les deux voix et rapprochent donc leurs moyennes. Ces nombres portent sur les voix synthétiques de Larkfield. Les vraies voix diffèrent davantage, mais les voix semblables existent aussi : un parent et son enfant adulte, deux collègues du même âge et du même accent.

Un pipeline de diarisation est une chaîne de modèles entraînée, dans son ensemble, pour répondre à « qui a parlé et quand ». Le plus connu des pipelines ouverts est pyannote (la bibliothèque pyannote.audio et ses pipelines préentraînés sur Hugging Face). Ses pipelines suivent la structure ci-dessous.

L'audio passe à l'étape 1, un modèle de segmentation : dans de courtes fenêtres, qui parle et qui parle en même temps. Étape 2, plongements : un vecteur pour chaque locuteur local. Étape 3, regroupement : réunit les locuteurs locaux sur l'ensemble de l'appel. Sortie : tours de parole, chevauchements et nombre quelconque de locuteurs.
La structure d'un pipeline de diarisation préentraîné comme pyannote. La nouveauté est l'étape 1 : un modèle entraîné pour trouver les locuteurs et les chevauchements dans de courtes fenêtres.
Description textuelle du diagramme

Le diagramme présente l’audio et trois étapes. L’étape 1 est un modèle de segmentation. Il examine de courtes fenêtres de l’appel, de quelques secondes chacune, et indique quels locuteurs parlent à chaque instant. Cela comprend deux locuteurs en même temps. L’étape 2 crée un plongement pour chaque locuteur dans chaque fenêtre. L’étape 3 regroupe ces plongements sur l’ensemble de l’appel. Ainsi, « locuteur 1 de la fenêtre 3 » et « locuteur 2 de la fenêtre 7 » peuvent devenir la même personne. La sortie contient les tours de parole, la parole qui se chevauche et autant de locuteurs que le regroupement trouve.

Comparez ce pipeline à notre méthode. Nous découpons la parole en segments fixes, et chaque segment a un seul locuteur. Un pipeline trouve d’abord où chaque locuteur parle, avec un modèle entraîné pour cette tâche. Il peut indiquer deux locuteurs au même instant. Cela ajoute trois choses :

  • Chevauchement. Il peut attribuer un instant à deux personnes. Notre méthode l’attribue toujours à une seule, donc le chevauchement est toujours à moitié erroné.
  • Plusieurs locuteurs. Le regroupement peut choisir le nombre de locuteurs, ou utiliser un nombre ou une plage que vous fournissez.
  • Des limites plus précises. Le modèle de segmentation est entraîné sur de vraies conversations. Il situe donc le début et la fin des tours de parole plus précisément que les segments fixes.

Ce qu’il n’ajoute pas : une autre façon d’entendre les voix. L’étape 2 reste un plongement de locuteur. Si deux voix donnent presque le même plongement, le pipeline doit encore décider selon leur son. Donc deux voix très semblables peuvent encore fusionner, dans toute méthode qui distingue les locuteurs uniquement par leur voix.

La bibliothèque pyannote.audio est du code à source ouverte. Les modèles préentraînés ont leurs propres conditions, que vous devez lire avant de les utiliser. Par exemple, voici ce qu’indique la page du pipeline ouvert pyannote/speaker-diarization-community-1 sur Hugging Face. Le message d’accès (gate) indique : « You need to agree to share your Hugging Face information to access this model. » Autrement dit, vous devez accepter de partager vos renseignements Hugging Face pour accéder au modèle.

Question Ce qu’indique la page du modèle
Licence du pipeline CC BY 4.0 (utilisation gratuite, avec attribution)
Pouvez-vous simplement le télécharger? Non. L’accès au modèle est restreint : vous devez accepter ses conditions et partager vos coordonnées Hugging Face avec ses auteurs.
Que faut-il pour l’exécuter? Un jeton d’accès Hugging Face, transmis au code, et pyannote.audio 4.x (qui inclut PyTorch).
Nombre de locuteurs Facultatif : num_speakers, ou min_speakers et max_speakers.
Chevauchement La sortie indique la parole qui se chevauche; une sortie « exclusive » donne un locuteur par instant, ce qui facilite l’association avec les temps des mots.

Les conditions changent : consultez la page actuelle du modèle avant de l’utiliser. Ce tableau soulève trois questions pour Larkfield :

  • Vie privée. Après le téléchargement, le modèle s’exécute sur votre ordinateur, donc l’audio reste chez Larkfield. Le jeton donne seulement accès au téléchargement. La même équipe vend aussi des modèles hébergés. Avec ceux-ci, l’audio quitte les serveurs de Larkfield, donc les règles de vie privée de Larkfield s’appliquent (Les données personnelles dans la voix).
  • Comptes et jetons. Chaque développeur et chaque serveur a besoin d’un jeton associé à l’acceptation des conditions. Un jeton est un secret : gardez-le hors du code et des journaux.
  • Le choix du cours. Ce cours ne demande aucun compte ni aucun jeton. Le projet utilise donc les canaux et un modèle ouvert sous Apache-2.0, et n’exécute pas pyannote. C’est un choix de ce cours, pas un jugement sur pyannote.

Une option facultative (non testée par l’équipe du cours)

Section intitulée « Une option facultative (non testée par l’équipe du cours) »

Si vous acceptez les conditions, vous pouvez mesurer un pipeline préentraîné sur les appels de Larkfield avec le même DER que dans le reste du cours. L’équipe du cours n’a pas exécuté ces étapes; vos résultats différeront des nombres présentés sur cette page.

  1. Lisez et acceptez les conditions sur la page du modèle, puis créez un jeton d’accès Hugging Face. Placez-le dans une variable d’environnement, par exemple HF_TOKEN, pas dans votre code.

  2. Dans un environnement virtuel séparé (pyannote.audio inclut PyTorch, qui est volumineux), installez la bibliothèque :

    Fenêtre de terminal
    pip install "pyannote.audio>=4,<5"
  3. Exécutez le pipeline sur un appel mono et indiquez-lui qu’il y a deux locuteurs. Cette ébauche suit la page du modèle :

    import os
    from pyannote.audio import Pipeline
    pipeline = Pipeline.from_pretrained("pyannote/speaker-diarization-community-1",
    token=os.environ["HF_TOKEN"])
    output = pipeline("data/calls/phone/C-0144.wav", num_speakers=2)
    turns = [(t.start, t.end, speaker) for t, speaker in output.exclusive_speaker_diarization]
  4. Évaluez les tours de parole avec le DER du projet, dans le même environnement que larkspeech :

    from larkspeech import data as D, diarize as Z
    from larkspeech.paths import data_dir
    call = D.call(data_dir(None), "C-0144")
    print(Z.der(turns, Z.truth_turns(call), call["duration"]))

    Les noms des locuteurs sont « SPEAKER_00 » et « SPEAKER_01 ». Le DER les associe d’abord à « agent » et « caller » (appelant).

  5. Faites de même pour les 44 appels mono de validation et de test. Placez les moyennes de parole manquée, de fausse parole et de confusion à côté du graphique de Plongements de locuteur et regroupement. Notez aussi le temps de calcul.

Décidez selon les trois composantes, pas selon le DER total. Un pipeline qui réduit la parole manquée, mais pas la confusion, aide moins Grace que le total le laisse croire.

Un arbre de décision. Chaque côté a-t-il son propre canal? Oui : séparer par canal, gratuit, confusion de 4 % ici. Non : deux locuteurs, peu de chevauchement? Oui : plongements et regroupement, un modèle ouvert sur un processeur, confusion de 15,6 % ici. Non : pouvez-vous accepter les conditions du modèle et le jeton? Oui : un pipeline préentraîné; mesurez-le sur vos appels. Non : demandez la stéréo au système téléphonique.
Choisissez la méthode de diarisation d'abord selon l'enregistrement, puis selon les locuteurs et les conditions. Les nombres de confusion proviennent des appels synthétiques de validation et de test de Larkfield.
Description textuelle du diagramme

L’arbre commence par une question : chaque côté a-t-il son propre canal? Si oui, séparez par canal : c’est gratuit, et la confusion est d’environ 4 % sur nos appels. Sinon, demandez : y a-t-il deux locuteurs, avec peu de chevauchement? Si oui, utilisez les plongements et le regroupement : un modèle ouvert sur un processeur, avec 15,6 % de confusion ici. Sinon, demandez : pouvez-vous accepter les conditions du modèle et le jeton? Si oui, utilisez un pipeline préentraîné et mesurez-le d’abord sur vos propres appels. Sinon, changez l’enregistrement : demandez la stéréo au système téléphonique.

Pour Larkfield, la réponse est claire. Les appels stéréo utilisent les canaux. Les appels mono utilisent les plongements, et les phrases les plus importantes reçoivent une vérification supplémentaire (Temps des mots et alignement). Et Malik demande au fournisseur de téléphonie d’enregistrer chaque appel en stéréo, ce qui élimine le problème à sa source.

Quand utiliser un pipeline préentraîné, et ce qu’il coûte

Section intitulée « Quand utiliser un pipeline préentraîné, et ce qu’il coûte »

Utilisez-le pour les réunions, les entrevues avec plusieurs invités, les appels avec transferts et tout audio avec chevauchement ou plus de deux locuteurs. Utilisez-le lorsque ses conditions conviennent à votre entreprise, et après l’avoir mesuré sur votre propre audio.

Ne vous attendez pas à ce qu’il sépare deux voix qui se ressemblent, ou remplace l’enregistrement stéréo. Et ne supposez pas qu’il sera juste sur vos données parce qu’il a réussi un banc d’essai. Les bancs d’essai utilisent un autre audio : d’autres langues, d’autres microphones, d’autres lignes.

Ce qu’il coûte : un compte et un jeton pour chaque endroit où il s’exécute, et PyTorch dans votre environnement. Il exige plus de calcul que notre méthode; un GPU aide pour les longs enregistrements. Et les conditions du modèle exigent une révision juridique. Mesurez le calcul sur votre propre ordinateur : ce cours ne fournit aucun nombre à ce sujet.

  1. Dans votre dossier de projet, avec l’environnement virtuel actif, effectuez la diarisation des 50 appels de validation avec les plongements. Cela prend environ 30 secondes :

    Fenêtre de terminal
    speech diarize --method embeddings --split validation
    embeddings on 50 validation calls: mean DER 32.9%
    missed 16.8%, false 1.6%, confusion 14.5%
    calls where the agent and the caller sound alike (planted): 1, mean DER 49.9%
    worst: C-0251 115%, C-0230 78%, C-0296 70%

    La troisième ligne compte les appels à voix semblables placés exprès dans ce sous-ensemble : ici, un appel, C-0144.

  2. Effectuez la diarisation de C-0144 et comparez les tours de parole avec les vrais tours sur cette page. Quel vrai tour manque dans la sortie?

    Fenêtre de terminal
    speech diarize --call C-0144
  3. Examinez le pire appel, C-0251 : son DER dépasse 100 %. Effectuez sa diarisation et lisez sa parole manquée, sa fausse parole et sa confusion. Quelle composante fait dépasser 100 % au DER?

Afficher les réponses

À l’étape 2, le tour de l’appelant de 6,1 à 11,7 s (« Yes, hi. I’m a bit lost here… ») manque : la sortie attribue 6,14 à 11,78 à l’agent.

À l’étape 3, la fausse parole est élevée. C-0251 est un appel stéréo avec des conversations en arrière-plan. Après le mélange en mono, la VAD trouve de la parole dans ces conversations, alors qu’aucune personne de l’appel ne parle. Comme le WER, le DER divise par la vraie parole, donc la fausse parole peut le faire dépasser 100 %.

La méthode by_embeddings du projet peut choisir elle-même le nombre de locuteurs. Avec threshold=, le regroupement cesse de réunir les groupes lorsque leur distance cosinus dépasse ce seuil. Un pipeline préentraîné fait le même choix quand vous ne lui donnez pas num_speakers. Exécutez ceci dans le dossier de votre projet :

from larkspeech import data as D, diarize as Z
from larkspeech.paths import data_dir
d = data_dir(None)
for cid in ("C-0285", "C-0144", "C-0052"):
c = D.call(d, cid)
x, sr = D.load_audio(d, cid)
for th in (0.3, 0.5, 0.7):
turns = Z.by_embeddings(x, sr, threshold=th)
r = Z.der(turns, Z.truth_turns(c), c["duration"])
print(cid, th, len({w for _, _, w in turns}), "speakers", round(r["der"], 3))

Avant de l’exécuter, faites une prédiction : un seul seuil permet-il de trouver deux locuteurs dans les trois appels?

Afficher la réponse
C-0285 0.3 6 speakers 0.436
C-0285 0.5 1 speakers 0.519
C-0285 0.7 1 speakers 0.519
C-0144 0.3 2 speakers 0.499
C-0144 0.5 1 speakers 0.443
C-0144 0.7 1 speakers 0.443
C-0052 0.3 4 speakers 0.178
C-0052 0.5 2 speakers 0.26
C-0052 0.7 1 speakers 0.262

Non. À 0,3, C-0285 obtient six « locuteurs » et C-0052 en obtient quatre. À 0,5, C-0052 en obtient deux, mais C-0285 en obtient un. Pour C-0144, un seul locuteur donne même un meilleur score que deux : 0,443 contre 0,499. Quand les voix fusionnent de toute façon, « un seul locuteur » coûte moins qu’un deuxième locuteur mal identifié. Quand vous connaissez le nombre de locuteurs, comme Larkfield pour ses appels, donnez-le à la méthode.

Erreur courante

Un bon résultat au banc d'essai, mais une mauvaise comparaison

Symptôme : Tomás voit un faible DER pour un pipeline préentraîné sur un banc d’essai public de réunions. Il veut mélanger tous les appels de Larkfield en mono et leur appliquer le pipeline, « pour avoir un seul pipeline moderne ».

Cause : deux erreurs. Le banc d’essai utilise un autre type d’audio : des réunions avec de bons microphones. Ce ne sont pas des lignes téléphoniques à 8 kHz avec des codecs. Et pour les appels stéréo, le canal indique « qui » parle à partir de l’enregistrement. Un modèle qui écoute le mélange dispose donc de moins d’information au départ. Le cours n’a pas exécuté pyannote. Il a toutefois mesuré le coût du mélange pour notre méthode de plongements de locuteur, sur les mêmes 66 appels stéréo :

Méthode sur les 66 appels stéréo de validation et de test Confusion
Par canal, le plus fort l’emporte 3,8 %
Plongements sur les mêmes appels mélangés en mono 16,0 %

Correction : comparez les méthodes sur vos propres appels, avec le même DER, la même marge de tolérance et les trois mêmes composantes. Gardez les canaux pour les appels stéréo, et testez un pipeline seulement quand les canaux n’existent pas.

Conséquence dans le travail en IA : un modèle choisi d’après un banc d’essai peut dégrader les fiches d’appel, tout en augmentant le coût de calcul. Pendant ce temps, la diapositive du banc d’essai paraît meilleure.

Vérifiez votre compréhension

Nommez deux ajouts d'un pipeline préentraîné comme pyannote à la méthode de plongements du projet, et un problème qu'il ne résout pas.

Afficher la réponse

Il ajoute le chevauchement : un modèle de segmentation peut marquer deux locuteurs au même moment. Notre méthode attribue chaque moment à un seul locuteur. Il ajoute la gestion de nombreux locuteurs : son regroupement peut choisir leur nombre, ou recevoir un nombre ou une plage. Il place aussi mieux les limites des tours de parole. Il ne résout pas le problème des voix qui se ressemblent. Son étape 2 utilise encore un plongement de locuteur. Des voix aux plongements presque identiques peuvent donc encore fusionner, comme dans l’appel C-0144.

Vérifiez votre compréhension

Omar demande si Larkfield peut utiliser le pipeline pyannote de Hugging Face demain. Que faut-il faire d'abord?

Afficher la réponse

Quelqu’un doit lire les conditions du modèle sur sa page. L’accès au pipeline ouvert est contrôlé : chaque utilisateur doit accepter ses conditions et transmettre ses coordonnées aux auteurs. Chaque environnement qui l’exécute a besoin d’un jeton d’accès Hugging Face, conservé comme un secret. L’équipe doit faire vérifier la licence par un spécialiste juridique. C’est CC BY 4.0 pour le pipeline communautaire; vérifiez la page actuelle. Le modèle s’exécute localement, donc l’audio reste chez Larkfield; une version hébergée enverrait l’audio à l’extérieur. Et l’équipe doit le mesurer sur les propres appels de Larkfield avant de remplacer quoi que ce soit.

Vérifiez votre compréhension

Pour l'appel C-0144, un groupe obtient un DER plus faible (44,3 %) que deux groupes (49,9 %). Le projet devrait-il utiliser un seul groupe quand deux voix se ressemblent beaucoup?

Afficher la réponse

Non. Un seul groupe obtient un meilleur score uniquement parce que le deuxième groupe était lui aussi incorrect. Avec un seul locuteur, l’erreur correspond au temps de parole de l’appelant. Un mauvais deuxième groupe ajoute encore plus d’erreurs. Mais une transcription avec un seul locuteur ne peut pas dire à Grace qui a promis quoi. C’est pourtant tout le but du travail. Les meilleures solutions sont l’enregistrement stéréo, la vérification des phrases importantes et le transfert de ces appels à une personne.

Récapitulatif

  • Un pipeline de diarisation préentraîné comme pyannote ajoute un modèle de segmentation. Il trouve qui parle dans de courtes fenêtres, avec du chevauchement. Ensuite, il regroupe un nombre quelconque de locuteurs.
  • Il distingue encore les personnes par leur voix. Des voix semblables peuvent fusionner avec toute méthode de ce type. Pour l’appel C-0144, la paire insérée, la confusion de notre méthode atteint 46,1 %.
  • Sur les appels synthétiques de Larkfield, plus les voix se ressemblent, plus la confusion augmente. Elle atteint 24,6 % dans le quart des appels aux voix les plus semblables, et 12,8 % dans les autres.
  • Les conditions du pipeline : l’accès au modèle est contrôlé (acceptez les conditions, transmettez vos coordonnées). Il faut un jeton d’accès, et le modèle a sa propre licence. Vérifiez la page actuelle, et mesurez-le sur vos propres appels.
  • Choisissez d’abord la méthode selon l’enregistrement : stéréo → canaux; mono avec deux locuteurs → plongements; chevauchement ou nombreux locuteurs → pipeline préentraîné, si ses conditions conviennent.

Vous savez qui a parlé et quand, et vous savez ce qui a été dit. Ensuite, vous réunissez les deux : chaque mot reçoit un temps et un locuteur. Vous repérez ainsi une promesse attribuée à la mauvaise personne.

Leçon suivante : Temps des mots et alignement