Aller au contenu
English

Phrases de conformité et détection de mots-clés

  • Leçon 21
  • 35 min
  • Module 6 : De la transcription à la décision

Où nous en sommes

Les résumés nous disent ce qui s'est passé dans un appel. Certaines phrases doivent être dites à chaque appel, comme l'avis d'enregistrement. Dans cette leçon, nous cherchons dans les transcriptions par correspondance exacte et approximative. Nous détectons des mots-clés dans l'audio et comparons le rappel et les fausses alertes.

Leçon 21 sur 36 · IA de la parole : transcrire, comprendre et parlerPhrases de conformité et détection de mots-clés
Aperçu du cours

Ce que vous saurez faire

Vérifiez que l’agent a dit l’avis d’enregistrement à chaque appel. Comparez trois méthodes. Cherchez la phrase exacte dans la transcription, cherchez par correspondance approximative et détectez les mots-clés dans l’audio lui-même. Mesurez combien d’avis chaque méthode trouve. Mesurez aussi combien de fois elle répond « dit » quand l’avis n’a pas été dit.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter construit la recherche exacte et la correspondance approximative, puis calcule une similarité à la main. Il mesure les deux recherches sur les appels de test et sur les 260 appels publics. Il montre deux phrases qui trompent la correspondance approximative et vous demande de choisir un seuil. Il ne nécessite aucun téléchargement de modèle ni aucun compte. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé; le carnet ne nécessite rien de tout cela)

Testé sur macOS avec Python 3.12.13. Les commandes sont les mêmes sur Windows; elles n’y ont pas été exécutées.

Imaginez une superviseure dans un centre d’appels. Chaque semaine, elle écoute dix appels de chaque agent. Pour chaque appel, elle a une liste : « Avis d’enregistrement dit? Nom de l’appelant vérifié? Aide supplémentaire proposée? » Elle coche oui ou non.

Le premier élément est particulier. Les appelants doivent entendre que l’appel est enregistré avant de donner des renseignements personnels. Les agents de Larkfield commencent chaque appel par la même phrase : « Cet appel est enregistré pour la qualité et la formation. »

Dix appels par semaine pour chaque agent, c’est un petit échantillon. Larkfield reçoit environ 4 000 appels par mois. Grace veut vérifier chaque appel, pas un échantillon.

Écoutez le début de l’appel C-0064.

Appel C-0064, de 0,5 à 9,7 secondes, audio téléphonique sur une ligne VoIP (8 kHz). L’agent est une voix de synthèse : Kokoro, voix bf_emma. Tous les appels de Larkfield sont synthétiques : des voix de synthèse vocale ouvertes lisent des scripts que nous avons écrits.

Transcription. Agent : « Thank you for calling Larkfield, this is Freya. Just so you know, calls may be recorded for training and quality purposes. How can I help you today? »

Freya a dit l’avis. Elle a utilisé d’autres mots, dans un autre ordre. Une superviseure coche « oui ». Un programme qui cherche la phrase exacte répond « non ».

Le problème inverse est pire. L’agent oublie l’avis, mais le programme répond « oui » : c’est une fausse alerte. Personne ne réécoute cet appel, et l’avis manquant reste inaperçu.

Écoutez maintenant un appel en français, C-0020. Ici, l’agent dit l’avis exact, mais le système de reconnaissance fait une petite erreur.

Appel C-0020, de 0,5 à 9,4 secondes, audio téléphonique sur une ligne VoIP (8 kHz). L’agent est une voix de synthèse : Kokoro, voix ff_siwis.

Transcription. Agent : « Merci d’avoir appelé Larkfield, ici Camille. Cet appel est enregistré pour la qualité et la formation. Comment puis-je vous aider aujourd’hui? »

Whisper small a écrit : « Merci d’avoir appelé Lockfield, ici Camille. Ce tapel est enregistré pour la qualité et la formation. » « Cet appel » et « ce tapel » se prononcent de la même façon. Les lettres sont décalées d’une espace, et la recherche exacte échoue.

L’idée : compter les avis trouvés et les fausses alertes

Section intitulée « L’idée : compter les avis trouvés et les fausses alertes »

Deux nombres évaluent toute vérification d’avis. Les deux utilisent les étiquettes de nos appels :

  • Le rappel est la proportion des appels avec avis où la vérification le trouve. Une vérification au faible rappel envoie inutilement des appels conformes à une personne.
  • Les fausses alertes sont les appels sans avis que la vérification marque comme conformes. Chacune cache un vrai problème.

Il y a trois façons de trouver l’avis :

  1. Recherche exacte : chercher la phrase, lettre par lettre, dans la transcription après la normalisation de base (minuscules, sans ponctuation). C’est simple, et une phrase presque identique ne la trompe jamais. Mais elle manque toutes les autres formulations et chaque petite erreur de reconnaissance.
  2. Correspondance approximative : accepter un texte proche de l’avis. « Approximative » signifie « non exacte ». Le projet accepte deux types de textes « proches », présentés ci-dessous.
  3. Détection de mots-clés : ne produire aucune transcription. Écouter l’audio pour y trouver seulement quelques mots choisis, comme « recorded » (enregistré), « quality » (qualité) et « training » (formation).
Les paroles de l'agent passent trois tests dans l'ordre. 1, phrase exacte : this call is recorded for quality and training apparaît-il lettre par lettre? Si oui, avis trouvé. Sinon, 2, mots-clés : recorded, quality et training apparaissent-ils tous, dans n'importe quel ordre? Si oui, avis trouvé. Sinon, 3, fenêtre similaire : faites glisser sur le texte une fenêtre aussi longue que l'avis, soit 8 mots. La similarité atteint-elle 0,6, avec au moins un mot-clé? Si oui, avis trouvé. Sinon, l'avis manque et une personne écoute.
La vérification de l'avis dans le projet. Chaque test trouve ce que le précédent manque; une personne écoute les appels qui échouent aux trois tests.
Description textuelle du diagramme

Les paroles de l’agent passent trois tests, l’un après l’autre. Test 1, phrase exacte : « this call is recorded for quality and training » apparaît-il lettre par lettre? Si oui, l’avis est trouvé. Sinon, test 2, mots-clés : « recorded », « quality » et « training » apparaissent-ils tous, dans n’importe quel ordre? Si oui, l’avis est trouvé. Sinon, test 3, fenêtre similaire : faites glisser sur le texte une fenêtre aussi longue que l’avis, soit 8 mots en anglais. Sa similarité avec l’avis atteint-elle 0,6, et contient-elle au moins un mot-clé? Si oui, l’avis est trouvé. Sinon, l’avis manque, et une personne écoute l’appel.

Le test des mots-clés trouve l’autre formulation de Freya dans C-0064. Le test de la fenêtre trouve les petites erreurs de reconnaissance, comme dans C-0020. En français, les mots-clés sont « enregistré », « qualité » et « formation ».

Un petit exemple détaillé : quelle est la similarité de « ce tapel »?

Section intitulée « Un petit exemple détaillé : quelle est la similarité de « ce tapel »? »

La similarité calculée par difflib de Python compte les lettres présentes dans les deux textes, dans le même ordre. Appelons ce nombre M. Alors :

similarité = 2 × M ÷ (longueur du texte A + longueur du texte B)

Le résultat va de 0 (aucune ressemblance) à 1 (texte identique). Pour C-0020, après la normalisation de base :

Texte Lettres et espaces
L’avis cet appel est enregistré pour la qualité et la formation 56
Ce que Whisper a entendu ce tapel est enregistré pour la qualité et la formation 55
Dans les deux, dans le même ordre tout sauf un t et une espace 54

La similarité est 2 × 54 ÷ (55 + 56) = 108 ÷ 111 = 0,973. C’est bien au-dessus du seuil de 0,6. La fenêtre contient aussi des mots-clés. La correspondance approximative répond donc « avis trouvé », et la recherche exacte répond « non ».

Voici maintenant une phrase presque identique, que nous avons inventée exprès : « This call is not recorded for quality and training. » Elle dit que l’appel n’est pas enregistré. Sa similarité avec l’avis est de 0,958, et les trois mots-clés sont présents. La correspondance approximative répond « avis trouvé », même si la phrase dit le contraire. Proche ne veut pas dire identique.

Priya exécute les vérifications sur les 60 appels de test. Parmi eux, 57 ont l’avis (48 exacts, 9 autres formulations), et 3 ne l’ont pas. Elle lit aussi le champ recording_notice des fiches d’appel du LLM provenant de la dernière leçon. Le détecteur de mots-clés est présenté dans la prochaine section.

  • Transcription exacte
  • Transcription de Whisper small
  • Audio (détection de mots-clés)
Rappel de chaque vérification d'avis sur les 60 appels de test synthétiques de Larkfield (mesuré; les réponses du LLM sont enregistrées). Aucune vérification n'a produit de fausse alerte, mais seuls 3 appels de test n'ont pas l'avis.
Description textuelle du graphique

Un graphique à sept colonnes sur un axe de 0 à 100 %. Sur les transcriptions exactes : recherche exacte 84,2 % (48 sur 57), correspondance approximative 100 %, LLM 100 %. Sur les transcriptions de Whisper small : recherche exacte 71,9 % (41 sur 57), correspondance approximative 100 %, LLM 100 %. Détection de mots-clés dans l’audio, avec Vosk et trois mots-clés dans les 20 premières secondes : 56,1 % (32 sur 57).

  • La recherche exacte manque les 9 autres formulations dans les transcriptions exactes (84,2 %). Dans celles de Whisper, elle manque aussi 7 avis français contenant tous « ce tapel » ou une orthographe similaire (71,9 %).
  • La correspondance approximative trouve les 57 avis dans les deux types de transcriptions. Les erreurs de reconnaissance ne l’affectent pas.
  • Le LLM trouve aussi les 57 avis. Il nécessite un appel au modèle, mais la fiche d’appel contient déjà le champ. Ici, il ne coûte donc rien de plus.
  • Aucune vérification n’a produit de fausse alerte sur les 3 appels de test sans avis.

Trois appels ne suffisent pas pour les fausses alertes

Section intitulée « Trois appels ne suffisent pas pour les fausses alertes »

« Aucune fausse alerte » sur 3 appels ne dit presque rien. Une fausse alerte sur trois représenterait déjà 33 %. Pour mesurer les fausses alertes, il faut beaucoup d’appels sans avis.

Les appels d’entraînement n’ont pas d’audio, mais ils ont des transcriptions et des étiquettes. Priya exécute les deux recherches sur les 260 appels publics : 221 avec l’avis et 39 sans.

Vérification (transcriptions exactes) Avis trouvés Fausses alertes
Recherche exacte 183 sur 221 (82,8 %) 0 sur 39
Correspondance approximative 221 sur 221 (100 %) 0 sur 39

Toujours aucune fausse alerte, cette fois sur 39 appels. Mais restez prudent. Dans nos scripts, un agent qui oublie l’avis ne dit rien de semblable. Un vrai agent peut dire « Je n’enregistre pas cet appel » ou parler de « formation ». Les deux phrases inventées montrent que la correspondance approximative accepte ces phrases presque identiques. Avant de lui faire confiance sur de vrais appels, recueillez de vraies phrases presque identiques. Faites aussi écouter à une personne un échantillon des appels acceptés.

Détection de mots-clés : écouter pour trouver les mots

Section intitulée « Détection de mots-clés : écouter pour trouver les mots »

La troisième méthode se passe de transcription. Un détecteur de mots-clés écoute l’audio pour trouver une courte liste de mots et ignore tout le reste. Le cours a utilisé Vosk, l’ancien système de reconnaissance du module 4, avec une liste de phrases. Vosk peut seulement choisir entre « recorded », « quality », « training » et « unknown word » (mot inconnu). Le détecteur écoute les 20 premières secondes de chaque appel, où l’avis devrait se trouver. Il marque l’avis comme dit quand il entend au moins deux des trois mots.

Pourquoi une liste de phrases? Un système de reconnaissance général écrit les mots qu’il connaît. Au module 4, Vosk n’a jamais écrit « Larkfield » en 120 essais. Il a écrit « luck field » 16 fois et « lark feel » 9 fois. Avec une liste de phrases, le système peut seulement répondre avec vos mots. Il ne peut donc pas choisir des mots courants similaires.

Sur les 60 appels de test (mesuré) :

Détection de mots-clés (Vosk, liste de phrases)
Avis trouvés 32 sur 57 (56,1 %)
Fausses alertes 0 sur 3
Calcul facteur temps réel 0,009 : environ 34 secondes pour une heure d’audio

Cette méthode est très rapide et ne nécessite pas de transcription complète. Mais la méthode n’a trouvé qu’environ la moitié des avis. Sur l’audio téléphonique à 8 kHz, le petit modèle Vosk entend souvent un mot-clé, mais pas deux. Réduisez la règle à un mot, et le rappel augmentera, tout comme les fausses alertes. « Training » seul pourrait concerner autre chose.

Exercice guidé : exécuter la vérification de conformité

Section intitulée « Exercice guidé : exécuter la vérification de conformité »

Vous avez déjà copié understand.py dans Pourquoi ont-ils appelé?. La commande speech compliance exécute la recherche exacte et la correspondance approximative sur les tours de parole de l’agent, pour un ensemble d’appels (entraînement, validation ou test).

  1. Ouvrez un terminal dans votre dossier de projet larkspeech et activez .venv.

  2. Vérifiez l’avis dans les transcriptions de référence des appels de test :

    Fenêtre de terminal
    speech compliance

    La sortie sur l’ordinateur du cours :

    Recording notice on 60 test calls (57 said it, 3 did not), transcripts: reference
    exact phrase found 48 of 57 notices (recall 84.2%); false alarms 0 (a call without the notice marked as compliant)
    fuzzy match found 57 of 57 notices (recall 100.0%); false alarms 0 (a call without the notice marked as compliant)
  3. Vérifiez-le dans les transcriptions enregistrées de Whisper small :

    Fenêtre de terminal
    speech compliance --transcripts whisper-small
    Recording notice on 60 test calls (57 said it, 3 did not), transcripts: whisper-small
    exact phrase found 41 of 57 notices (recall 71.9%); false alarms 0 (a call without the notice marked as compliant)
    fuzzy match found 57 of 57 notices (recall 100.0%); false alarms 0 (a call without the notice marked as compliant)

    Les transcriptions de Whisper contiennent les deux locuteurs sans étiquettes, donc la recherche lit tout l’appel.

Les appels de test ne comptent que 3 appels sans avis. Quel ensemble en contient le plus? Exécutez la vérification sur cet ensemble et dites ce que les nombres de fausses alertes vous apprennent maintenant.

Afficher la réponse

Les appels d’entraînement : 30 des 150 appels n’ont pas d’avis. Ils n’ont pas d’audio, mais les transcriptions de référence suffisent pour cette vérification.

Fenêtre de terminal
speech compliance --split train
Recording notice on 150 train calls (120 said it, 30 did not), transcripts: reference
exact phrase found 100 of 120 notices (recall 83.3%); false alarms 0 (a call without the notice marked as compliant)
fuzzy match found 120 of 120 notices (recall 100.0%); false alarms 0 (a call without the notice marked as compliant)

Zéro fausse alerte sur 30 appels est une preuve plus solide que zéro sur 3. Cela reste une preuve concernant nos scripts seulement. Aucun ne contient de phrase presque identique comme « this call is not recorded » (cet appel n’est pas enregistré).

Erreur courante

La recherche exacte signale beaucoup d'avis manquants après une modification du script

Symptôme : un lundi, le nombre d’appels « sans avis » augmente brusquement. Les agents disent n’avoir rien changé.

Cause : l’équipe a changé un mot de l’avis, ou un nouveau système de reconnaissance écrit un mot différemment (« Lockfield », « ce tapel »). La recherche exacte échoue sur chaque appel.

Correction : utilisez la correspondance approximative avec les mots-clés de l’avis. Gardez la recherche exacte comme deuxième mesure : quand les deux nombres s’écartent, quelque chose a changé.

Erreur courante

Chercher dans tout l'appel plutôt que dans les tours de parole de l'agent

Symptôme : un appel est marqué conforme, mais l’agent n’a jamais dit l’avis.

Cause : l’appelant a dit les mots : « Cet appel est-il enregistré? J’espère que oui, pour la qualité. » La recherche a lu les deux locuteurs. Les transcriptions mono de Whisper n’ont pas d’étiquettes de locuteur.

Correction : cherchez seulement dans les tours de parole de l’agent, à partir d’un enregistrement stéréo ou de la diarisation. Cherchez dans les 30 premières secondes, où l’avis doit se trouver. Nos scripts n’ont aucune phrase de ce type dite par l’appelant; le cours n’a donc pas mesuré ce cas.

  • Recherche exacte : quand la formulation est fixe et le texte exact, comme dans un clavardage ou un courriel. Comme deuxième mesure à côté de la correspondance approximative.
  • Correspondance approximative dans la transcription : quand vous transcrivez déjà chaque appel, comme Larkfield. Elle ne coûte rien de plus et accepte d’autres formulations ainsi que de petites erreurs de reconnaissance. Testez-la sur des phrases presque identiques.
  • Détection de mots-clés dans l’audio : quand vous ne voulez pas de transcription complète. Par exemple, une vérification en direct pendant l’appel, un petit appareil ou une règle interdisant de conserver les transcriptions. Elle est rapide, mais ici elle n’a trouvé que 56 % des avis. L’étude de cas Détecter des commandes sur un petit appareil mesure un détecteur sur de vrais enregistrements.
  • Le champ du LLM : quand vous produisez déjà des fiches d’appel. Vérifiez-le comme tout autre champ.

Vérifiez votre compréhension

Tomás dit : « La correspondance approximative a trouvé 57 avis sur 57, sans fausse alerte. Elle est parfaite. » Que lui dites-vous?

Afficher la réponse

Le rappel est bien mesuré : 57 sur 57 pour les appels de test, et 221 sur 221 pour tous les appels publics. Les fausses alertes ne le sont pas. Seulement 3 appels de test n’ont pas d’avis. Les 39 appels publics sans avis viennent tous de nos scripts, où un agent distrait ne dit rien de semblable. Prenez cet exemple inventé, proche de l’avis : « This call is not recorded for quality and training. » Sa similarité est de 0,958 et il contient les trois mots-clés. La correspondance approximative l’accepte donc. Testez des phrases réelles proches de l’avis, et écoutez un échantillon des appels acceptés.

Vérifiez votre compréhension

Prédisez : vous remplacez les transcriptions exactes par celles de Whisper small. Que devient le rappel de la recherche exacte et de la correspondance approximative? Pourquoi?

Afficher la réponse

Le rappel de la recherche exacte baisse, de 84,2 % à 71,9 %. Whisper a transcrit sept avis en français avec une petite erreur, comme « ce tapel » au lieu de « cet appel ». Une seule lettre ou une seule espace modifiée empêche une correspondance exacte. La correspondance approximative reste à 100 %. Les mots-clés sont toujours présents. La similarité entre « ce tapel est enregistré… » et l’avis est de 0,973, bien au-dessus du seuil de 0,6.

Vérifiez votre compréhension

Vérification pratique : exécutez speech compliance --split validation. Combien d'appels n'ont pas d'avis? Que trouve chaque recherche? Pourquoi Grace a-t-elle besoin des deux nombres?

Afficher la réponse

La sortie indique : 50 appels de validation, dont 44 avec l’avis et 6 sans l’avis. La recherche exacte trouve 35 avis sur 44 (rappel de 79,5 %). La correspondance approximative en trouve 44 sur 44 (100,0 %), sans fausse alerte dans les deux cas. Grace utilise la correspondance approximative pour décider, car elle accepte d’autres formulations valables. Elle conserve aussi le nombre de correspondances exactes. L’écart entre les deux montre combien d’agents utilisent une autre formulation. Un changement soudain de cet écart indique que le script ou le système de reconnaissance a changé.

Récapitulatif

  • Évaluez la vérification d’un avis avec le rappel (avis trouvés) et les fausses alertes (appels sans avis marqués comme conformes).
  • La recherche exacte a trouvé 84,2 % des avis dans les 60 appels de test synthétiques de Larkfield. Elle en a trouvé 71,9 % dans les transcriptions de Whisper small. La correspondance approximative (mots-clés dans n’importe quel ordre, ou fenêtre semblable) a trouvé 100 % des avis dans les deux cas.
  • Similarité = 2 × lettres en commun ÷ la somme des deux longueurs : « ce tapel est enregistré… » a une similarité de 0,973 avec l’avis.
  • Seulement 3 appels de test n’ont pas d’avis. Pour mesurer les fausses alertes, il faut donc aussi les étiquettes d’entraînement et de validation : 0 sur 39 pour tous les appels publics. Des phrases proches de l’avis que nous avons inventées trompent encore la correspondance approximative.
  • La détection de mots-clés avec Vosk et une liste de phrases est très rapide (facteur temps réel de 0,009). Elle n’a toutefois trouvé que 56 % des avis.

Vous pouvez maintenant tirer des décisions d’un appel : son motif, une fiche vérifiée et une vérification de conformité. Tout cela se passe après l’appel. Larkfield veut maintenant une ligne téléphonique qui répond automatiquement, pendant l’appel. Nous commençons par le type le plus ancien et le plus sûr : un menu téléphonique.

Leçon suivante : Ce qu'est un serveur vocal interactif, et pourquoi les entreprises en utilisent encore