Phrases de conformité et détection de mots-clés
- Leçon 21
- 35 min
- Module 6 : De la transcription à la décision
Où nous en sommes
Les résumés nous disent ce qui s'est passé dans un appel. Certaines phrases doivent être dites à chaque appel, comme l'avis d'enregistrement. Dans cette leçon, nous cherchons dans les transcriptions par correspondance exacte et approximative. Nous détectons des mots-clés dans l'audio et comparons le rappel et les fausses alertes.
Leçon 21 sur 36 · IA de la parole : transcrire, comprendre et parlerPhrases de conformité et détection de mots-clés
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Vérifiez que l’agent a dit l’avis d’enregistrement à chaque appel. Comparez trois méthodes. Cherchez la phrase exacte dans la transcription, cherchez par correspondance approximative et détectez les mots-clés dans l’audio lui-même. Mesurez combien d’avis chaque méthode trouve. Mesurez aussi combien de fois elle répond « dit » quand l’avis n’a pas été dit.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter construit la recherche exacte et la correspondance approximative, puis calcule une similarité à la main. Il mesure les deux recherches sur les appels de test et sur les 260 appels publics. Il montre deux phrases qui trompent la correspondance approximative et vous demande de choisir un seuil. Il ne nécessite aucun téléchargement de modèle ni aucun compte. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La fiche d’appel et son champ
recording_notice, dans Résumés et suivis. - Le rappel et les fausses alertes : le cours d’apprentissage automatique les explique dans Le compromis entre précision et rappel. Cette leçon explique ce qu’il vous faut.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé; le carnet ne nécessite rien de tout cela)
- Votre dossier
larkspeechavec les fichiers de Pourquoi ont-ils appelé?.pytest -qaffiche27 passed(27 tests réussis).
Testé sur macOS avec Python 3.12.13. Les commandes sont les mêmes sur Windows; elles n’y ont pas été exécutées.
La liste de vérification de la superviseure
Section intitulée « La liste de vérification de la superviseure »Imaginez une superviseure dans un centre d’appels. Chaque semaine, elle écoute dix appels de chaque agent. Pour chaque appel, elle a une liste : « Avis d’enregistrement dit? Nom de l’appelant vérifié? Aide supplémentaire proposée? » Elle coche oui ou non.
Le premier élément est particulier. Les appelants doivent entendre que l’appel est enregistré avant de donner des renseignements personnels. Les agents de Larkfield commencent chaque appel par la même phrase : « Cet appel est enregistré pour la qualité et la formation. »
Dix appels par semaine pour chaque agent, c’est un petit échantillon. Larkfield reçoit environ 4 000 appels par mois. Grace veut vérifier chaque appel, pas un échantillon.
Le problème : l’avis prend plusieurs formes
Section intitulée « Le problème : l’avis prend plusieurs formes »Écoutez le début de l’appel C-0064.
Transcription. Agent : « Thank you for calling Larkfield, this is Freya. Just so you know, calls may be recorded for training and quality purposes. How can I help you today? »
Freya a dit l’avis. Elle a utilisé d’autres mots, dans un autre ordre. Une superviseure coche « oui ». Un programme qui cherche la phrase exacte répond « non ».
Le problème inverse est pire. L’agent oublie l’avis, mais le programme répond « oui » : c’est une fausse alerte. Personne ne réécoute cet appel, et l’avis manquant reste inaperçu.
Écoutez maintenant un appel en français, C-0020. Ici, l’agent dit l’avis exact, mais le système de reconnaissance fait une petite erreur.
Transcription. Agent : « Merci d’avoir appelé Larkfield, ici Camille. Cet appel est enregistré pour la qualité et la formation. Comment puis-je vous aider aujourd’hui? »
Whisper small a écrit : « Merci d’avoir appelé Lockfield, ici Camille. Ce tapel est enregistré pour la qualité et la formation. » « Cet appel » et « ce tapel » se prononcent de la même façon. Les lettres sont décalées d’une espace, et la recherche exacte échoue.
L’idée : compter les avis trouvés et les fausses alertes
Section intitulée « L’idée : compter les avis trouvés et les fausses alertes »Deux nombres évaluent toute vérification d’avis. Les deux utilisent les étiquettes de nos appels :
- Le rappel est la proportion des appels avec avis où la vérification le trouve. Une vérification au faible rappel envoie inutilement des appels conformes à une personne.
- Les fausses alertes sont les appels sans avis que la vérification marque comme conformes. Chacune cache un vrai problème.
Il y a trois façons de trouver l’avis :
- Recherche exacte : chercher la phrase, lettre par lettre, dans la transcription après la normalisation de base (minuscules, sans ponctuation). C’est simple, et une phrase presque identique ne la trompe jamais. Mais elle manque toutes les autres formulations et chaque petite erreur de reconnaissance.
- Correspondance approximative : accepter un texte proche de l’avis. « Approximative » signifie « non exacte ». Le projet accepte deux types de textes « proches », présentés ci-dessous.
- Détection de mots-clés : ne produire aucune transcription. Écouter l’audio pour y trouver seulement quelques mots choisis, comme « recorded » (enregistré), « quality » (qualité) et « training » (formation).
La correspondance approximative en trois étapes
Section intitulée « La correspondance approximative en trois étapes »Description textuelle du diagramme
Les paroles de l’agent passent trois tests, l’un après l’autre. Test 1, phrase exacte : « this call is recorded for quality and training » apparaît-il lettre par lettre? Si oui, l’avis est trouvé. Sinon, test 2, mots-clés : « recorded », « quality » et « training » apparaissent-ils tous, dans n’importe quel ordre? Si oui, l’avis est trouvé. Sinon, test 3, fenêtre similaire : faites glisser sur le texte une fenêtre aussi longue que l’avis, soit 8 mots en anglais. Sa similarité avec l’avis atteint-elle 0,6, et contient-elle au moins un mot-clé? Si oui, l’avis est trouvé. Sinon, l’avis manque, et une personne écoute l’appel.
Le test des mots-clés trouve l’autre formulation de Freya dans C-0064. Le test de la fenêtre trouve les petites erreurs de reconnaissance, comme dans C-0020. En français, les mots-clés sont « enregistré », « qualité » et « formation ».
Un petit exemple détaillé : quelle est la similarité de « ce tapel »?
Section intitulée « Un petit exemple détaillé : quelle est la similarité de « ce tapel »? »La similarité calculée par difflib de Python compte les lettres présentes dans les deux textes, dans le même ordre. Appelons ce nombre M. Alors :
similarité = 2 × M ÷ (longueur du texte A + longueur du texte B)
Le résultat va de 0 (aucune ressemblance) à 1 (texte identique). Pour C-0020, après la normalisation de base :
| Texte | Lettres et espaces | |
|---|---|---|
| L’avis | cet appel est enregistré pour la qualité et la formation |
56 |
| Ce que Whisper a entendu | ce tapel est enregistré pour la qualité et la formation |
55 |
| Dans les deux, dans le même ordre | tout sauf un t et une espace |
54 |
La similarité est 2 × 54 ÷ (55 + 56) = 108 ÷ 111 = 0,973. C’est bien au-dessus du seuil de 0,6. La fenêtre contient aussi des mots-clés. La correspondance approximative répond donc « avis trouvé », et la recherche exacte répond « non ».
Voici maintenant une phrase presque identique, que nous avons inventée exprès : « This call is not recorded for quality and training. » Elle dit que l’appel n’est pas enregistré. Sa similarité avec l’avis est de 0,958, et les trois mots-clés sont présents. La correspondance approximative répond « avis trouvé », même si la phrase dit le contraire. Proche ne veut pas dire identique.
Larkfield : l’avis dans 60 appels de test
Section intitulée « Larkfield : l’avis dans 60 appels de test »Priya exécute les vérifications sur les 60 appels de test. Parmi eux, 57 ont l’avis (48 exacts, 9 autres formulations), et 3 ne l’ont pas. Elle lit aussi le champ recording_notice des fiches d’appel du LLM provenant de la dernière leçon. Le détecteur de mots-clés est présenté dans la prochaine section.
- Transcription exacte
- Transcription de Whisper small
- Audio (détection de mots-clés)
Description textuelle du graphique
Un graphique à sept colonnes sur un axe de 0 à 100 %. Sur les transcriptions exactes : recherche exacte 84,2 % (48 sur 57), correspondance approximative 100 %, LLM 100 %. Sur les transcriptions de Whisper small : recherche exacte 71,9 % (41 sur 57), correspondance approximative 100 %, LLM 100 %. Détection de mots-clés dans l’audio, avec Vosk et trois mots-clés dans les 20 premières secondes : 56,1 % (32 sur 57).
- La recherche exacte manque les 9 autres formulations dans les transcriptions exactes (84,2 %). Dans celles de Whisper, elle manque aussi 7 avis français contenant tous « ce tapel » ou une orthographe similaire (71,9 %).
- La correspondance approximative trouve les 57 avis dans les deux types de transcriptions. Les erreurs de reconnaissance ne l’affectent pas.
- Le LLM trouve aussi les 57 avis. Il nécessite un appel au modèle, mais la fiche d’appel contient déjà le champ. Ici, il ne coûte donc rien de plus.
- Aucune vérification n’a produit de fausse alerte sur les 3 appels de test sans avis.
Trois appels ne suffisent pas pour les fausses alertes
Section intitulée « Trois appels ne suffisent pas pour les fausses alertes »« Aucune fausse alerte » sur 3 appels ne dit presque rien. Une fausse alerte sur trois représenterait déjà 33 %. Pour mesurer les fausses alertes, il faut beaucoup d’appels sans avis.
Les appels d’entraînement n’ont pas d’audio, mais ils ont des transcriptions et des étiquettes. Priya exécute les deux recherches sur les 260 appels publics : 221 avec l’avis et 39 sans.
| Vérification (transcriptions exactes) | Avis trouvés | Fausses alertes |
|---|---|---|
| Recherche exacte | 183 sur 221 (82,8 %) | 0 sur 39 |
| Correspondance approximative | 221 sur 221 (100 %) | 0 sur 39 |
Toujours aucune fausse alerte, cette fois sur 39 appels. Mais restez prudent. Dans nos scripts, un agent qui oublie l’avis ne dit rien de semblable. Un vrai agent peut dire « Je n’enregistre pas cet appel » ou parler de « formation ». Les deux phrases inventées montrent que la correspondance approximative accepte ces phrases presque identiques. Avant de lui faire confiance sur de vrais appels, recueillez de vraies phrases presque identiques. Faites aussi écouter à une personne un échantillon des appels acceptés.
Détection de mots-clés : écouter pour trouver les mots
Section intitulée « Détection de mots-clés : écouter pour trouver les mots »La troisième méthode se passe de transcription. Un détecteur de mots-clés écoute l’audio pour trouver une courte liste de mots et ignore tout le reste. Le cours a utilisé Vosk, l’ancien système de reconnaissance du module 4, avec une liste de phrases. Vosk peut seulement choisir entre « recorded », « quality », « training » et « unknown word » (mot inconnu). Le détecteur écoute les 20 premières secondes de chaque appel, où l’avis devrait se trouver. Il marque l’avis comme dit quand il entend au moins deux des trois mots.
Pourquoi une liste de phrases? Un système de reconnaissance général écrit les mots qu’il connaît. Au module 4, Vosk n’a jamais écrit « Larkfield » en 120 essais. Il a écrit « luck field » 16 fois et « lark feel » 9 fois. Avec une liste de phrases, le système peut seulement répondre avec vos mots. Il ne peut donc pas choisir des mots courants similaires.
Sur les 60 appels de test (mesuré) :
| Détection de mots-clés (Vosk, liste de phrases) | |
|---|---|
| Avis trouvés | 32 sur 57 (56,1 %) |
| Fausses alertes | 0 sur 3 |
| Calcul | facteur temps réel 0,009 : environ 34 secondes pour une heure d’audio |
Cette méthode est très rapide et ne nécessite pas de transcription complète. Mais la méthode n’a trouvé qu’environ la moitié des avis. Sur l’audio téléphonique à 8 kHz, le petit modèle Vosk entend souvent un mot-clé, mais pas deux. Réduisez la règle à un mot, et le rappel augmentera, tout comme les fausses alertes. « Training » seul pourrait concerner autre chose.
Exercice guidé : exécuter la vérification de conformité
Section intitulée « Exercice guidé : exécuter la vérification de conformité »Vous avez déjà copié understand.py dans Pourquoi ont-ils appelé?. La commande speech compliance exécute la recherche exacte et la correspondance approximative sur les tours de parole de l’agent, pour un ensemble d’appels (entraînement, validation ou test).
-
Ouvrez un terminal dans votre dossier de projet
larkspeechet activez.venv. -
Vérifiez l’avis dans les transcriptions de référence des appels de test :
Fenêtre de terminal speech complianceLa sortie sur l’ordinateur du cours :
Recording notice on 60 test calls (57 said it, 3 did not), transcripts: referenceexact phrase found 48 of 57 notices (recall 84.2%); false alarms 0 (a call without the notice marked as compliant)fuzzy match found 57 of 57 notices (recall 100.0%); false alarms 0 (a call without the notice marked as compliant) -
Vérifiez-le dans les transcriptions enregistrées de Whisper small :
Fenêtre de terminal speech compliance --transcripts whisper-smallRecording notice on 60 test calls (57 said it, 3 did not), transcripts: whisper-smallexact phrase found 41 of 57 notices (recall 71.9%); false alarms 0 (a call without the notice marked as compliant)fuzzy match found 57 of 57 notices (recall 100.0%); false alarms 0 (a call without the notice marked as compliant)Les transcriptions de Whisper contiennent les deux locuteurs sans étiquettes, donc la recherche lit tout l’appel.
À vous : plus d’appels sans avis
Section intitulée « À vous : plus d’appels sans avis »Les appels de test ne comptent que 3 appels sans avis. Quel ensemble en contient le plus? Exécutez la vérification sur cet ensemble et dites ce que les nombres de fausses alertes vous apprennent maintenant.
Afficher la réponse
Les appels d’entraînement : 30 des 150 appels n’ont pas d’avis. Ils n’ont pas d’audio, mais les transcriptions de référence suffisent pour cette vérification.
speech compliance --split trainRecording notice on 150 train calls (120 said it, 30 did not), transcripts: reference exact phrase found 100 of 120 notices (recall 83.3%); false alarms 0 (a call without the notice marked as compliant) fuzzy match found 120 of 120 notices (recall 100.0%); false alarms 0 (a call without the notice marked as compliant)Zéro fausse alerte sur 30 appels est une preuve plus solide que zéro sur 3. Cela reste une preuve concernant nos scripts seulement. Aucun ne contient de phrase presque identique comme « this call is not recorded » (cet appel n’est pas enregistré).
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
La recherche exacte signale beaucoup d'avis manquants après une modification du script
Symptôme : un lundi, le nombre d’appels « sans avis » augmente brusquement. Les agents disent n’avoir rien changé.
Cause : l’équipe a changé un mot de l’avis, ou un nouveau système de reconnaissance écrit un mot différemment (« Lockfield », « ce tapel »). La recherche exacte échoue sur chaque appel.
Correction : utilisez la correspondance approximative avec les mots-clés de l’avis. Gardez la recherche exacte comme deuxième mesure : quand les deux nombres s’écartent, quelque chose a changé.
Erreur courante
Chercher dans tout l'appel plutôt que dans les tours de parole de l'agent
Symptôme : un appel est marqué conforme, mais l’agent n’a jamais dit l’avis.
Cause : l’appelant a dit les mots : « Cet appel est-il enregistré? J’espère que oui, pour la qualité. » La recherche a lu les deux locuteurs. Les transcriptions mono de Whisper n’ont pas d’étiquettes de locuteur.
Correction : cherchez seulement dans les tours de parole de l’agent, à partir d’un enregistrement stéréo ou de la diarisation. Cherchez dans les 30 premières secondes, où l’avis doit se trouver. Nos scripts n’ont aucune phrase de ce type dite par l’appelant; le cours n’a donc pas mesuré ce cas.
Quand utiliser chaque méthode
Section intitulée « Quand utiliser chaque méthode »- Recherche exacte : quand la formulation est fixe et le texte exact, comme dans un clavardage ou un courriel. Comme deuxième mesure à côté de la correspondance approximative.
- Correspondance approximative dans la transcription : quand vous transcrivez déjà chaque appel, comme Larkfield. Elle ne coûte rien de plus et accepte d’autres formulations ainsi que de petites erreurs de reconnaissance. Testez-la sur des phrases presque identiques.
- Détection de mots-clés dans l’audio : quand vous ne voulez pas de transcription complète. Par exemple, une vérification en direct pendant l’appel, un petit appareil ou une règle interdisant de conserver les transcriptions. Elle est rapide, mais ici elle n’a trouvé que 56 % des avis. L’étude de cas Détecter des commandes sur un petit appareil mesure un détecteur sur de vrais enregistrements.
- Le champ du LLM : quand vous produisez déjà des fiches d’appel. Vérifiez-le comme tout autre champ.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Tomás dit : « La correspondance approximative a trouvé 57 avis sur 57, sans fausse alerte. Elle est parfaite. » Que lui dites-vous?
Afficher la réponse
Le rappel est bien mesuré : 57 sur 57 pour les appels de test, et 221 sur 221 pour tous les appels publics. Les fausses alertes ne le sont pas. Seulement 3 appels de test n’ont pas d’avis. Les 39 appels publics sans avis viennent tous de nos scripts, où un agent distrait ne dit rien de semblable. Prenez cet exemple inventé, proche de l’avis : « This call is not recorded for quality and training. » Sa similarité est de 0,958 et il contient les trois mots-clés. La correspondance approximative l’accepte donc. Testez des phrases réelles proches de l’avis, et écoutez un échantillon des appels acceptés.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : vous remplacez les transcriptions exactes par celles de Whisper small. Que devient le rappel de la recherche exacte et de la correspondance approximative? Pourquoi?
Afficher la réponse
Le rappel de la recherche exacte baisse, de 84,2 % à 71,9 %. Whisper a transcrit sept avis en français avec une petite erreur, comme « ce tapel » au lieu de « cet appel ». Une seule lettre ou une seule espace modifiée empêche une correspondance exacte. La correspondance approximative reste à 100 %. Les mots-clés sont toujours présents. La similarité entre « ce tapel est enregistré… » et l’avis est de 0,973, bien au-dessus du seuil de 0,6.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : exécutez speech compliance --split validation. Combien d'appels n'ont pas d'avis? Que trouve chaque recherche? Pourquoi Grace a-t-elle besoin des deux nombres?
Afficher la réponse
La sortie indique : 50 appels de validation, dont 44 avec l’avis et 6 sans l’avis. La recherche exacte trouve 35 avis sur 44 (rappel de 79,5 %). La correspondance approximative en trouve 44 sur 44 (100,0 %), sans fausse alerte dans les deux cas. Grace utilise la correspondance approximative pour décider, car elle accepte d’autres formulations valables. Elle conserve aussi le nombre de correspondances exactes. L’écart entre les deux montre combien d’agents utilisent une autre formulation. Un changement soudain de cet écart indique que le script ou le système de reconnaissance a changé.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Évaluez la vérification d’un avis avec le rappel (avis trouvés) et les fausses alertes (appels sans avis marqués comme conformes).
- La recherche exacte a trouvé 84,2 % des avis dans les 60 appels de test synthétiques de Larkfield. Elle en a trouvé 71,9 % dans les transcriptions de Whisper small. La correspondance approximative (mots-clés dans n’importe quel ordre, ou fenêtre semblable) a trouvé 100 % des avis dans les deux cas.
- Similarité = 2 × lettres en commun ÷ la somme des deux longueurs : « ce tapel est enregistré… » a une similarité de 0,973 avec l’avis.
- Seulement 3 appels de test n’ont pas d’avis. Pour mesurer les fausses alertes, il faut donc aussi les étiquettes d’entraînement et de validation : 0 sur 39 pour tous les appels publics. Des phrases proches de l’avis que nous avons inventées trompent encore la correspondance approximative.
- La détection de mots-clés avec Vosk et une liste de phrases est très rapide (facteur temps réel de 0,009). Elle n’a toutefois trouvé que 56 % des avis.
Vous pouvez maintenant tirer des décisions d’un appel : son motif, une fiche vérifiée et une vérification de conformité. Tout cela se passe après l’appel. Larkfield veut maintenant une ligne téléphonique qui répond automatiquement, pendant l’appel. Nous commençons par le type le plus ancien et le plus sûr : un menu téléphonique.
Leçon suivante : Ce qu'est un serveur vocal interactif, et pourquoi les entreprises en utilisent encore