Pourquoi ont-ils appelé?
- Leçon 19
- 40 min
- Module 6 : De la transcription à la décision
Où nous en sommes
Nous avons maintenant des transcriptions avec les locuteurs identifiés. Grace veut savoir pourquoi chaque client a appelé. Dans cette leçon, nous comparons des règles par mots-clés, un classificateur et un LLM sur les motifs d'appel. Nous voyons aussi comment les erreurs de transcription changent chaque résultat.
Leçon 19 sur 36 · IA de la parole : transcrire, comprendre et parlerPourquoi ont-ils appelé?
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Attribuez un motif à chaque appel de Larkfield, comme « suivi de commande » ou « facturation », à partir de sa transcription. Comparez trois façons de le faire : règles par mots-clés, classificateur et LLM. Mesurez ensuite ce que chaque méthode perd en lisant la transcription d’un système de reconnaissance, avec ses erreurs.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter construit les règles par mots-clés et le classificateur de cette leçon. Il lit aussi les réponses enregistrées du LLM. Il compare les trois méthodes sur les 60 appels de test, avec les transcriptions exactes et celles de Whisper. Aucun téléchargement de modèle, compte ou clé n’est nécessaire. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les transcriptions enregistrées et leur taux d’erreur sur les mots, dans Les tailles de Whisper sur un portable.
- L’exactitude et pourquoi séparer les appels de test des appels d’entraînement, dans le cours d’apprentissage automatique : Données d’entraînement, de validation et de test.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé; le carnet n’en a pas besoin)
- Votre dossier de projet
larkspeechavec les changements du module 5. Dans un terminal, dans ce dossier, avec.venvactif,pytest -qaffiche24 passed(24 tests réussis). - Le dossier de laboratoires
nextia-learning-labsà côté delarkspeech, et les données du cours danslarkspeech/data, comme dans Préparer le projet de parole.
Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) n’ont pas été exécutées.
Une case à cocher sur la fiche d’appel
Section intitulée « Une case à cocher sur la fiche d’appel »Imaginez une agente de centre d’appels à la fin d’un appel. Avant de prendre le suivant, elle coche une case sur une fiche : « Où est ma commande? », « Remboursement », « Article cassé », « Facturation », etc. À la fin du mois, sa chef d’équipe compte les cases cochées. Si un tiers des appels demandent « Où est ma commande? », un meilleur courriel de suivi évite beaucoup d’appels.
Les agents de Larkfield n’ont jamais eu le temps de cocher cette case. Larkfield reçoit environ 4 000 appels par mois, et personne ne les compte. Nous avons maintenant une transcription de chaque appel. Un programme peut-il cocher la case?
Le problème : un mot peut tromper un programme
Section intitulée « Le problème : un mot peut tromper un programme »Écoutez le début de l’appel C-0106. Un appelant demande comment installer un produit.
Transcription. Appelant : « Hello there. The Grow Hub setup isn’t clear, and I’m getting a bit annoyed. How do I connect it properly? » Agent : « Good question. For the Grow Hub, the first step is to charge it fully before you set it up. »
Une personne coche tout de suite « Question sur un produit ». Essayons maintenant le programme le plus simple : chercher des mots. « Charge » est un mot de facturation (« you charged me twice », soit « vous m’avez facturé deux fois »). Une recherche de mots peut donc cocher « Facturation ». L’appelant n’a jamais parlé d’argent. L’agent a dit « charge it fully », soit « le charger complètement », à propos d’une batterie.
Grace, la responsable du soutien, a besoin de la bonne case. Un mauvais motif envoie l’appel à la mauvaise équipe, et les comptes mensuels donnent une fausse image. Tomás, l’ingénieur en IA, a une réponse : « Envoyons tous les appels au plus gros LLM. » Priya, la scientifique des données, veut d’abord mesurer trois méthodes sur les mêmes appels de test.
L’idée : une étiquette à partir du texte
Section intitulée « L’idée : une étiquette à partir du texte »Cette tâche porte un nom. Attribuer à chaque élément une étiquette parmi une liste fixe, c’est de la classification. Ici, l’élément est une transcription d’appel, et la liste contient les sept motifs d’appel de Larkfield :
| Motif | Ce que veut l’appelant | Appels de test |
|---|---|---|
order_status |
Où est ma commande? | 15 |
return_refund |
Renvoyer l’article, récupérer mon argent | 12 |
cancel_order |
Annuler une commande | 11 |
billing |
Un montant facturé est faux | 8 |
damaged_item |
L’article est arrivé cassé | 6 |
product_question |
Comment ça fonctionne? | 5 |
account_change |
Changer mon adresse ou mon courriel | 3 |
Chaque appel dans les données du cours a son vrai motif comme étiquette. Nous pouvons donc évaluer toute méthode avec l’exactitude : la proportion d’appels où son motif correspond à l’étiquette. Nous essayons trois méthodes, de la moins chère à la plus chère.
Méthode 1 : les règles par mots-clés
Section intitulée « Méthode 1 : les règles par mots-clés »Les règles par mots-clés sont une liste de mots pour chaque motif, vérifiée dans un ordre fixe. Le premier motif qui a un mot dans la transcription gagne. Voici une partie de la liste du projet :
| Ordre | Motif | Quelques-uns de ses mots |
|---|---|---|
| 1 | cancel_order |
cancel, annuler |
| 2 | billing |
charged, charge, twice, card, facture |
| 3 | damaged_item |
damaged, broken, cassé |
| 4 | return_refund |
return, refund, money back |
| … | … | … |
| 7 | product_question |
how, set up, question |
Les règles fonctionnent dans les deux langues, car la liste contient des mots anglais et français. Vous pouvez comprendre chaque décision : « facturation, à cause du mot charge ». Mais les règles ne savent pas qui a dit le mot, ni ce qu’il signifie dans la phrase.
Méthode 2 : un classificateur qui apprend les poids des mots
Section intitulée « Méthode 2 : un classificateur qui apprend les poids des mots »Un classificateur apprend à partir d’exemples plutôt que d’une liste que nous écrivons. Le projet utilise deux étapes simples :
- TF-IDF transforme une transcription en nombres : un nombre pour chaque mot et chaque paire de mots. Un mot reçoit un nombre élevé s’il est fréquent dans cet appel, mais rare dans les autres. « Charge » apparaît dans beaucoup d’appels, donc il compte moins. « Connect » et « setup » sont plus rares, donc ils comptent davantage.
- La régression logistique apprend un poids pour chacun de ces nombres, pour chaque motif, à partir des 150 appels d’entraînement et de leurs étiquettes. Pour un nouvel appel, elle additionne les poids et choisit le motif au score le plus élevé.
Le classificateur voit tous les mots à la fois, pas seulement la première correspondance. Le cours sur le routage de texte traite de ces classificateurs en profondeur.
Méthode 3 : un LLM qui répond en JSON
Section intitulée « Méthode 3 : un LLM qui répond en JSON »Un LLM (grand modèle de langage) lit toute la transcription et écrit le motif. Nous lui demandons une sortie structurée : une réponse en JSON, un format texte avec des champs fixes, comme "reason": "product_question". Un programme peut alors lire la réponse sans devoir deviner. Le cours Créer des applications fiables avec les API de LLM montre comment définir un tel schéma et le vérifier.
Le cours a utilisé Azure OpenAI chat-small une fois sur chaque appel de validation et de test, puis enregistré chaque réponse. Vous réutilisez les réponses enregistrées, donc vous n’avez besoin ni de clé ni de compte. Voici une réponse pour C-0106 :
{ "reason": "product_question", "summary": "The caller asked how to connect the Grow Hub. The agent advised charging it fully before setup and said they would email a picture guide.", "promise": "I will email you the setup guide with pictures today.", "next_step": "send_guide", "recording_notice": true, "follow_up_needed": true}Cette leçon utilise seulement le champ reason (motif). La prochaine leçon vérifie les autres champs.
Le petit exemple : trois méthodes sur un appel
Section intitulée « Le petit exemple : trois méthodes sur un appel »Description textuelle du diagramme
À gauche se trouve la transcription de l’appel C-0106. L’appelant demande comment connecter le Grow Hub, et l’agent dit que la première étape est de le charger complètement. Trois flèches relient la transcription à trois méthodes. Les règles par mots-clés vérifient une liste de mots pour chaque motif dans un ordre fixe, avec facturation avant question sur un produit. Elles trouvent le mot « charge » de l’agent et répondent billing, ce qui est faux. Le classificateur a un poids pour chaque mot et chaque paire de mots, appris sur 150 appels d’entraînement. Il répond product_question, ce qui est juste. Le LLM lit tout l’appel et répond en JSON, à partir d’une réponse enregistrée. Il indique product_question, ce qui est juste.
Larkfield : trois méthodes sur 60 appels de test
Section intitulée « Larkfield : trois méthodes sur 60 appels de test »Priya exécute les trois méthodes sur les 60 appels de test. D’abord sur la référence : les mots exacts de chaque appel, tirés du script. Puis sur les transcriptions de Whisper small, le meilleur système de reconnaissance du module 4. Son WER est de 8,6 % sur l’audio téléphonique. Enfin sur Whisper tiny, dont le WER est de 20,7 %. Les réponses du LLM ont été enregistrées seulement pour la référence et Whisper small.
- Règles par mots-clés
- Classificateur
- LLM
Description textuelle du graphique
Un graphique à colonnes avec huit colonnes en trois groupes, sur un axe de 0 à 100 %. La couleur indique la méthode. Groupe « exacte », les transcriptions de référence : règles 90,0 %, classificateur 96,7 %, LLM 100,0 %. Groupe « small », les transcriptions de Whisper small, exactement les mêmes résultats : règles 90,0 %, classificateur 96,7 %, LLM 100,0 %. Groupe « tiny », les transcriptions de Whisper tiny : règles 81,7 %, classificateur 95,0 %; aucune réponse du LLM n’est enregistrée pour Whisper tiny.
Trois choses ressortent :
- Le classement est clair. Le LLM a raison sur tous les appels, le classificateur se trompe sur 2 appels, et les règles sur 6.
- Les erreurs de Whisper small ne changent rien. Chaque méthode donne le même motif sur le texte de Whisper small que sur les mots exacts. Whisper small reconnaît correctement les mots qui déterminent le motif : « cancel » (annuler), « broken » (cassé), « refund » (remboursement).
- Whisper tiny nuit surtout aux règles. Avec davantage d’erreurs sur les mots, les règles passent de 90,0 % à 81,7 %. Le classificateur passe seulement de 96,7 % à 95,0 %. Les règles dépendent de mots isolés; un seul mot mal reconnu change leur réponse. Le classificateur utilise tous les mots, donc une erreur l’influence moins.
Soyons honnêtes : ce test est trop facile
Section intitulée « Soyons honnêtes : ce test est trop facile »Un LLM à 100 % semble clore le sujet. Ce n’est pas le cas. Les appels de Larkfield sont synthétiques, et cet ensemble est trop facile. Chaque appelant exprime clairement son motif dès la première phrase, avec des mots choisis dans un script. Les vrais appelants expliquent le problème indirectement, changent d’idée et donnent deux motifs dans un même appel. Sur les 50 appels de validation, les réponses enregistrées du LLM sont aussi toutes justes sur la référence. Elles sont justes dans 49 cas sur 50 avec Whisper small.
Cette seule différence, l’appel C-0061, est utile. L’appelante dit que le ventilateur « isn’t working » (ne fonctionne pas) et veut son « money back » (être remboursée). L’étiquette est return_refund. À partir de la transcription de Whisper small, le LLM a répondu damaged_item. Whisper avait correctement transcrit les mots de l’appelante, donc un mot mal reconnu n’était pas la cause. Le modèle a interprété la même demande autrement. Un LLM peut donner une réponse différente à une entrée presque identique.
Pour un test plus difficile, l’étude de cas Un serveur vocal pour des intentions dites à voix haute utilise de vrais enregistrements de personnes avec 14 intentions. Utilisez ce test avant de vous fier aux chiffres de cette page pour de vrais appels.
Où chaque méthode se trompe
Section intitulée « Où chaque méthode se trompe »Voici tous les appels de test sur lesquels une méthode s’est trompée, avec la référence :
| Appel | Langue | Vrai motif | Règles | Classificateur | LLM |
|---|---|---|---|---|---|
| C-0026 | Français | cancel_order |
billing | return_refund | cancel_order |
| C-0173 | Français | cancel_order |
cancel_order | order_status | cancel_order |
| C-0053 | Français | product_question |
billing | product_question | product_question |
| C-0106 | Anglais | product_question |
billing | product_question | product_question |
| C-0121 | Anglais | product_question |
billing | product_question | product_question |
| C-0133 | Anglais | product_question |
billing | product_question | product_question |
| C-0225 | Anglais | product_question |
billing | product_question | product_question |
Les règles font un seul type d’erreur : les cinq questions sur un produit deviennent « facturation ». Dans chaque cas, la réponse de l’agent sur l’installation dit « charge it fully » (en français, « le charger complètement »). Dans nos scripts, l’agent donne cette réponse pour tous les produits, même un bac de jardin surélevé : c’est une erreur dans nos propres scripts. Mais la leçon reste valable. Les règles lisent les mots de l’agent comme si l’appelant les avait dits.
Les deux erreurs du classificateur sont des annulations en français. Le français représente 26 des 60 appels de test, mais seulement 43 des 150 appels d’entraînement. Avec moins d’exemples français, le classificateur a appris moins de mots français. Dans le carnet, un classificateur entraîné uniquement sur les appels anglais classe correctement 23,1 % des appels de test français.
Changez une chose : les règles sur les mots de l’appelant seulement
Section intitulée « Changez une chose : les règles sur les mots de l’appelant seulement »La correction pour C-0106 semble facile : appliquer les règles seulement aux tours de parole de l’appelant. Priya essaie. C-0106 devient product_question. Mais l’exactitude sur les 60 appels de test baisse, passant de 90,0 % à 83,3 %. Beaucoup d’appelants ne disent jamais un mot de la liste. Ils disent « Please stop my Grow Hub order » (veuillez arrêter ma commande de Grow Hub). Seul l’agent dit « cancel » (annuler), dans « I have cancelled the order » (j’ai annulé la commande). Sans les mots de l’agent, neuf annulations deviennent des questions sur un produit. Une correction pour un appel en a brisé d’autres. Mesurez toujours une correction sur tous les appels de test, pas seulement sur l’appel que vous avez examiné.
Ce que coûte chaque méthode
Section intitulée « Ce que coûte chaque méthode »| Méthode | Exactitude (test) | Temps par appel | Coût pour 1 000 appels | Pouvez-vous expliquer une décision? |
|---|---|---|---|---|
| Règles par mots-clés | 90,0 % | moins de 1 ms | presque rien | Oui : le mot correspondant |
| Classificateur | 96,7 % | moins de 1 ms | presque rien; nécessite des appels étiquetés | En partie : les poids des mots |
| LLM (chat-small) | 100,0 % | 2,0–2,3 s | 0,13–0,15 $ US | Seulement par sa réponse |
Le coût du LLM est mesuré à partir des réponses enregistrées, au tarif du déploiement, qui peut changer. Pour environ 4 000 appels par mois, il reste bien inférieur à 1 $ US par mois. Les vrais coûts du LLM sont ailleurs. La transcription quitte les serveurs de Larkfield, et la réponse prend deux secondes. Le même appel peut aussi recevoir une réponse différente une autre fois.
Exercice guidé : ajouter le motif d’appel au projet
Section intitulée « Exercice guidé : ajouter le motif d’appel au projet »Ajoutez les fichiers de ce module à votre projet. Le fichier understand.py contient les règles, le classificateur et le lecteur des réponses enregistrées du LLM. La commande speech reason exécute les trois méthodes sur un ensemble d’appels (entraînement, validation ou test) et les évalue.
-
Ouvrez un terminal dans votre dossier de projet
larkspeech, puis activez.venv. -
Copiez les trois fichiers du module depuis l’instantané
end-of-m06.Fenêtre de terminal cp ../nextia-learning-labs/C41/snapshots/end-of-m06/larkspeech/understand.py larkspeech/cp ../nextia-learning-labs/C41/snapshots/end-of-m06/larkspeech/commands/understand.py larkspeech/commands/cp ../nextia-learning-labs/C41/snapshots/end-of-m06/tests/test_understand.py tests/Fenêtre de terminal Copy-Item ..\nextia-learning-labs\C41\snapshots\end-of-m06\larkspeech\understand.py larkspeech\Copy-Item ..\nextia-learning-labs\C41\snapshots\end-of-m06\larkspeech\commands\understand.py larkspeech\commands\Copy-Item ..\nextia-learning-labs\C41\snapshots\end-of-m06\tests\test_understand.py tests\Ce module ne nécessite aucun nouveau paquet : scikit-learn était inclus dans le module 5.
-
Exécutez les tests :
Fenêtre de terminal pytest -qVous devriez voir
27 passed(27 tests réussis) : les 24 tests du module 5 et 3 nouveaux tests. -
Évaluez les trois méthodes sur les transcriptions de référence des appels de test :
Fenêtre de terminal speech reasonLa sortie sur l’ordinateur du cours :
Call reason on 60 test calls, transcripts: referencekeyword rules accuracy 90.0%; most common mistake product_question -> billing (5)classifier (TF-IDF) accuracy 96.7%; most common mistake cancel_order -> return_refund (1)LLM (recorded, chat-small) accuracy 100.0% -
Évaluez-les de nouveau sur les transcriptions enregistrées de Whisper small :
Fenêtre de terminal speech reason --transcripts whisper-smallLes trois lignes sont les mêmes qu’à l’étape 4. Le classificateur apprend toujours sur les transcriptions de référence des 150 appels d’entraînement.
À vous : un système de reconnaissance moins performant
Section intitulée « À vous : un système de reconnaissance moins performant »Exécutez la commande sur les transcriptions de Whisper tiny. Avant de l’exécuter, faites une prédiction : quelle méthode perd le plus? Et pourquoi n’y a-t-il pas de ligne LLM?
speech reason --transcripts whisper-tinyAfficher la réponse
Call reason on 60 test calls, transcripts: whisper-tiny keyword rules accuracy 81.7%; most common mistake product_question -> billing (4) classifier (TF-IDF) accuracy 95.0%; most common mistake cancel_order -> return_refund (1)Les règles perdent 8,3 points et le classificateur, 1,7 point. Un seul mot-clé mal reconnu change la réponse des règles. La ligne LLM manque parce que le cours a enregistré les réponses du LLM seulement pour la référence et Whisper small. La commande ignore un enregistrement qui n’existe pas.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
Le classificateur obtient presque 100 % dans votre test
Symptôme : votre classificateur a raison sur presque tous les appels de test, mieux que prévu.
Cause : il a appris sur les mêmes appels que ceux utilisés pour le tester. Il se souvient de ces appels; il n’a pas appris la tâche. Le carnet le montre : entraîné sur les 60 appels de test eux-mêmes, il obtient 100 % sur eux, ce qui ne signifie rien.
Correction : entraînez-le seulement sur les appels d’entraînement. Choisissez la méthode et ses paramètres sur les appels de validation. Utilisez les appels de test une seule fois, à la fin.
Erreur courante
Les règles échouent avec un nouveau produit ou un nouveau mot
Symptôme : après le lancement d’un nouveau produit, beaucoup d’appels reçoivent un mauvais motif, sans changement au code des règles.
Cause : les listes de mots sont fixes. Un appelant qui dit « it won’t switch on » (il ne s’allume pas) n’utilise aucun mot de la liste damaged_item. Un nom de produit contenant « card » (carte) ou « return » (retour) correspond au mauvais motif.
Correction : mesurez les règles chaque mois sur un nouvel échantillon d’appels étiquetés. Gardez les règles comme premier traitement rapide et comme référence de base que les autres méthodes doivent dépasser.
Quand utiliser chaque méthode
Section intitulée « Quand utiliser chaque méthode »- Règles par mots-clés : comme première référence de base, sans appels étiquetés, ou quand vous devez expliquer chaque décision. Mesurez-les; ne leur faites jamais confiance sans les mesurer.
- Un classificateur : quand vous avez quelques centaines d’appels étiquetés et que les motifs restent les mêmes. Il est rapide, peu coûteux et confidentiel : la transcription ne quitte jamais votre serveur. Il lui faut des exemples dans chaque langue.
- Un LLM : quand les appels varient, quand vous avez peu d’étiquettes ou voulez aussi un résumé dans la même réponse. Validez son JSON, enregistrez ses réponses et acceptez que la transcription soit envoyée à un fournisseur de modèles.
Sur les appels synthétiques de Larkfield, les trois méthodes sont bonnes. Le classificateur est presque aussi bon que le LLM. Sur des appels réels, mesurez de nouveau avant de choisir.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Tomás dit : « Le LLM a trouvé le bon motif pour 100 % des appels de test. Donc, le problème des motifs d'appel est réglé. » Que lui répondez-vous?
Afficher la réponse
Le résultat de 100 % est réel, mais il concerne les appels synthétiques de Larkfield. Ce jeu de données est trop facile. Chaque appelant donne clairement son motif dans une phrase écrite d’avance, et le classificateur atteint déjà 96,7 %. Les vrais appelants décrivent le problème indirectement et donnent deux motifs dans un même appel. Même ici, le LLM a changé sa réponse pour un appel de validation (C-0061) après une légère modification de l’entrée. Testez sur un jeu plus difficile, comme celui de l’étude de cas sur les intentions dites à voix haute. Faites-le avant de vous fier au résultat.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Faites une prédiction : vous passez des transcriptions de Whisper small à celles de Whisper tiny (WER de 8,6 % à 20,7 %). Quelle méthode perd le plus d'exactitude, les règles par mots-clés ou le classificateur, et pourquoi?
Afficher la réponse
Les règles par mots-clés. Elles décident à partir de mots isolés. Un seul mot-clé mal reconnu change donc le motif. Le classificateur additionne les poids de tous les mots. Une erreur modifie donc peu son score. Sur les 60 appels de test, les règles passent de 90,0 % à 81,7 %, et le classificateur de 96,7 % à 95,0 %.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : exécutez speech reason --split validation. Quelle méthode obtient le pire résultat sur les 50 appels de validation? Quelle est son erreur la plus fréquente, et quelle en est la cause?
Afficher la réponse
La sortie indique : règles par mots-clés 80,0 % (erreur la plus fréquente : product_question → billing, 9), classificateur 98,0 %, LLM 100,0 %. Les règles donnent le pire résultat. Elles classent les questions sur les produits comme des questions de facturation. Pourquoi? La réponse de l’agent sur l’installation contient « charge it fully » (le charger complètement). « Charge » figure dans la liste de facturation, et les règles vérifient la facturation avant les questions sur les produits. Les règles lisent les mots de l’agent comme si l’appelant les avait dits.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Attribuer à chaque appel un motif tiré d’une liste fixe, c’est de la classification. L’exactitude est la proportion d’appels ayant le bon motif.
- Les règles par mots-clés retiennent le premier mot de la liste qui correspond. Un classificateur (TF-IDF et régression logistique) apprend les poids des mots à partir d’appels étiquetés. Un LLM lit tout l’appel et répond en JSON (sortie structurée).
- Sur les 60 appels de test synthétiques de Larkfield : règles 90,0 %, classificateur 96,7 %, réponses enregistrées de chat-small 100,0 %. Les résultats sont les mêmes sur les transcriptions de Whisper small. Ce jeu de données est trop facile; l’étude de cas sur les intentions dites à voix haute est un test plus difficile.
- Les erreurs de transcription nuisent surtout à la méthode qui dépend de mots isolés. Sur Whisper tiny, les règles tombent à 81,7 %, et le classificateur seulement à 95,0 %.
- Votre projet contient maintenant
understand.pyetspeech reason, avec 27 tests.
La réponse du LLM contenait plus qu’un motif : un résumé, une promesse et une prochaine étape. Grace veut aussi ces éléments. Ensuite, nous vérifions chaque champ de cette fiche d’appel. Une fiche peut affirmer quelque chose qui n’a pas été dit pendant l’appel, et une promesse peut être erronée.
Leçon suivante : Résumés et suivis