Les erreurs qui comptent
- Leçon 6
- 40 min
- Module 2 : Mesurer avant de choisir
Où nous en sommes
Dans les deux dernières leçons, nous avons appris à calculer un taux d'erreur sur les mots équitable avec un guide écrit. Mais ce nombre compte un « the » incorrect comme un « not » perdu. Il cache aussi les appels où un système de reconnaissance est faible. Dans cette leçon, nous comptons les erreurs sur les mots qui comptent pour Grace. Nous évaluons aussi les systèmes de reconnaissance sur chaque type d'appel. C'est comme un serveur qui vérifie le mot d'une commande que la cuisine ne doit pas manquer.
Leçon 6 sur 36 · IA de la parole : transcrire, comprendre et parlerLes erreurs qui comptent
1. Le problème de la parole et son coût
2. Mesurer avant de choisir
3. Trouver la parole : la détection d'activité vocale
4. Reconnaissance de la parole : comparer les familles
5. Qui a parlé et quand : diarisation et temps des mots
6. De la transcription à la décision
7. Construire un petit serveur vocal interactif
8. Du serveur vocal à l'agent vocal
9. L'exploiter en production, en sécurité
Ce que vous saurez faire
Déterminez si une transcription suffit aux décisions de Larkfield. Comptez les erreurs sur les numéros de commande, noms de produits, dates et négations séparément du WER. Évaluez ensuite chaque système de reconnaissance sur chaque type d’appel.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient le code, les tâches et les vérifications de cette leçon. Il vérifie les mots importants d’un appel, puis les compte sur les 60 appels de test pour trois systèmes de reconnaissance. Il évalue Whisper small par tranche et montre une vérification qui réussit alors qu’elle ne devrait pas. Enfin, il compare deux réglages dont le WER est presque identique. Aucun téléchargement de modèle ni compte n’est nécessaire. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le WER, le CER et l’alignement, présentés dans Le taux d’erreur sur les mots, étape par étape.
- Le guide de normalisation et pourquoi on l’applique aux deux textes, présentés dans Normaliser avant de comparer.
- Une tranche des données de test : un groupe de lignes qui partagent une propriété. Le cours Apprentissage automatique : du problème à un modèle fiable explique l’analyse par tranche pour tout modèle.
Ce qu’il vous faut sur votre ordinateur (seulement pour le parcours local; le carnet n’en a pas besoin)
- Votre dossier
larkspeechavec les fichiers de l’instantanéend-of-m02.speech score --helpaffiche l’option--by.
Testé sur macOS avec Python 3.12. Les commandes sont les mêmes sur Windows; elles n’y ont pas été testées.
La note de commande d’un serveur
Section intitulée « La note de commande d’un serveur »Imaginez un serveur qui prend une commande : « Un hamburger avec des frites, sans oignons, et un verre d’eau. » Il écrit « hamburger frites oignons eau ». La plupart des mots sont corrects. Mais « sans » manque, et la cuisine met des oignons sur le hamburger. Le client le renvoie.
Imaginez maintenant un deuxième serveur qui écrit « hamburgr, frites, sans oignons, eauu ». Il a fait deux fautes d’orthographe, plus que le premier serveur. Mais la cuisine prépare exactement le bon repas.
Le nombre de mots incorrects indique que le deuxième serveur est moins bon. La cuisine dit le contraire. Ce qui compte, ce n’est pas le nombre de mots incorrects, mais lesquels. Pour un repas, « sans » compte plus que l’orthographe d’« eau ». Pour Larkfield, un numéro de commande compte plus que « the ».
Le problème : un seul nombre cache les mots qui comptent
Section intitulée « Le problème : un seul nombre cache les mots qui comptent »Écoutez l’appelant de l’appel C-0052, un appel synthétique sur une ligne mobile avec du bruit de rue. L’agent lui a demandé son numéro de commande.
Whisper tiny a écrit « Sure, the order number is 2091-17. » L’appelant a dit 280917. Après le guide, le numéro du modèle est 209117 : un mot sur six est incorrect, donc le WER de cette phrase est de 16,7 %. Le WER de l’appel complet est seulement de 8,7 %. Les deux nombres indiquent « presque tout est correct ». Mais un menu téléphonique qui cherche la commande 209117 ne trouve aucune commande, ou trouve la mauvaise.
Écoutez de nouveau l’appelant de l’appel C-0056, présenté dans la première leçon de ce module. Cette phrase arrive plus tard dans l’appel :
| Qui | Texte |
|---|---|
| Référence | I do not want a refund, I want a new one. |
| Whisper small | I do not want to refund, I want a new one. |
| Whisper tiny | I do not want to be feeling forward to new work. |
Whisper small a écrit « to » au lieu de « a », et le sens reste correct. Whisper tiny a gardé « not », mais a perdu « refund », et son texte ne permet pas de comprendre ce que veut l’appelant. Le WER compte chacun de ces mots incorrects comme une erreur parmi des milliers : le « to » sans conséquence et le « refund » perdu comptent pareil. Grace doit connaître un par un les mots qui comptent.
L’idée : compter les mots importants séparément
Section intitulée « L’idée : compter les mots importants séparément »L’exemple du serveur donne la méthode. D’abord, déterminez les mots nécessaires à la décision. Vérifiez ensuite ces mots séparément, à côté du WER.
Pour Larkfield, ces mots importants sont :
- Numéros de commande : le menu téléphonique et les agents les utilisent pour chercher la commande.
- Noms de produits : l’équipe de Grace cherche un produit dans les appels, par exemple pour repérer une tendance dans les plaintes.
- Dates : « il a été livré le six avril » détermine ce que l’agent promet.
- Négations : « not », « no », « don’t » changent le sens d’une phrase entière.
- Numéros de carte : il faut les trouver pour pouvoir les supprimer. Le module 9 les aborde.
Les étiquettes de chaque appel énumèrent ses mots importants dans un champ important. Pour l’appel C-0052 :
{'product': ['Cedar raised bed'], 'order': ['280917'], 'date': ['the sixth of April'], 'negation': ["No, I don't want it delivered at all."], 'card': []}La vérification suit une règle simple. Normalisez le texte du modèle avec le guide complet. Un élément est correct seulement si tous ses mots y apparaissent, dans l’ordre. Pour une négation, seuls les mots de négation sont vérifiés (« no » et « don’t » ici). Toute autre orthographe d’un nom de produit compte comme un élément manqué. La référence écrit « Grow Hub », donc « GrowHub » compte comme un élément manqué. Une recherche de « Grow Hub » ne le trouverait pas non plus.
Un petit exemple détaillé
Section intitulée « Un petit exemple détaillé »Le carnet exécute cette vérification sur la transcription de l’appel C-0052 produite par Whisper tiny :
hyp = tiny["C-0052"]print("WER of the whole call:", round(cp.wer(cp.normalise(reference(call)), cp.normalise(hyp)), 3))print("whole call: ", cp.important_errors(call["important"], hyp, "en"))caller_said = "Sure, the order number is 2091-17." # Whisper tiny's words for the caller's turnprint("caller's turn:", cp.important_errors({"order": call["important"]["order"]}, caller_said, "en"))WER of the whole call: 0.087whole call: {'product': {'items': 1, 'missed': 1}, 'order': {'items': 1, 'missed': 0}, 'date': {'items': 1, 'missed': 0}, 'negation': {'items': 1, 'missed': 0}, 'card': {'items': 0, 'missed': 0}}caller's turn: {'order': {'items': 1, 'missed': 1}}Sur l’appel complet, le produit est manqué : Whisper tiny a écrit « Cedar Rays better » pour « Cedar raised bed order ». Mais le numéro de commande n’est pas manqué. Pourquoi? L’agent relit le numéro (« That’s order 280917 »), et Whisper tiny a correctement transcrit cette partie. La vérification trouve le numéro à cet endroit.
Sur le tour de parole de l’appelant seulement, le numéro de commande est manqué. Cette différence compte. Un agent humain entend l’appelant et relit le numéro à partir du système de commandes. Le menu téléphonique du module 7 n’a pas d’agent : il reçoit seulement les mots de l’appelant. Les comptes ci-dessous, sur les appels complets, favorisent donc tous les systèmes de reconnaissance. Le module 5 sépare un appel par locuteur pour vous permettre de vérifier seulement les mots de l’appelant.
Ce que chaque erreur coûte à Larkfield
Section intitulée « Ce que chaque erreur coûte à Larkfield »Les mots importants sont ceux qui changent une décision. Les hypothèses de coût de Larkfield attribuent un prix à chaque type d’erreur :
Description textuelle du diagramme
Le diagramme comporte trois lignes, chacune avec trois cases de gauche à droite. Première ligne : un numéro de commande est incorrect, par exemple 209117 au lieu de 280917. Le système de commandes ne trouve aucune commande, ou trouve la mauvaise. Une personne prend l’appel, ce qui coûte 4,00 $ US. Sinon, l’appelant reçoit un statut incorrect, ce qui coûte 15 $ US. Deuxième ligne : une négation est perdue, par exemple « do want » au lieu de « do not want ». Le dossier de l’appel indique le contraire de ce que veut l’appelant. Cela mène à une mauvaise action, comme un retour lancé par erreur, à 15 $ US. Troisième ligne : un nom de produit est incorrect, par exemple « firm wall planter » au lieu de « Fern wall planter ». Une recherche du produit ne trouve pas l’appel, et l’équipe de Grace manque une tendance dans les plaintes.
Un « the » incorrect ne coûte rien. C’est pourquoi les mots importants sont comptés séparément.
Larkfield : les erreurs qui comptent sur 60 appels de test
Section intitulée « Larkfield : les erreurs qui comptent sur 60 appels de test »speech score affiche déjà deux de ces comptes : order nos wrong (numéros de commande incorrects) et products wrong (produits incorrects). Voici de nouveau les trois systèmes de reconnaissance de la première leçon, avec les dates et les négations du carnet :
| Système de reconnaissance | WER | Numéros de commande manqués | Noms de produits manqués | Dates manquées | Négations manquées |
|---|---|---|---|---|---|
| Whisper tiny | 20,7 % | 20 sur 52 | 53 sur 60 | 14 sur 48 | 0 sur 29 |
| Whisper small | 8,6 % | 8 sur 52 | 41 sur 60 | 9 sur 48 | 1 sur 29 |
| Vosk small | 31,2 % | 35 sur 52 | 51 sur 60 | 24 sur 48 | 6 sur 29 |
- Numéros de commande manqués
- Noms de produits manqués
Description textuelle du graphique
Un graphique à colonnes avec six colonnes, sur un axe de 0 à 100 %. Les trois premières colonnes représentent les numéros de commande manqués. Whisper tiny en a manqué 38 % (20 sur 52), Whisper small 15 % (8 sur 52) et Vosk small 67 % (35 sur 52). Les trois dernières représentent les noms de produits manqués. Whisper tiny en a manqué 88 % (53 sur 60), Whisper small 68 % (41 sur 60) et Vosk small 85 % (51 sur 60).
Lisez le tableau une colonne à la fois. Whisper small a le WER le plus bas et manque aussi le moins de numéros de commande. Mais il manque 41 noms de produits sur 60. Les noms de Larkfield, comme « Fern wall planter » et « Grow Hub », ne sont pas courants en anglais. Chaque système de reconnaissance écrit donc des mots qu’il connaît mieux : « firm wall planter ». Le module 4 donne à Whisper une courte liste des mots de Larkfield. Ses noms de produits manqués passent alors de 41 à 10.
Vosk manque 35 numéros de commande sur 52. Son WER (31,2 %) est seulement environ quatre fois celui de Whisper small. Mais il manque plus de quatre fois plus de numéros de commande. Le WER ne montrait pas cela.
Construire des données de test par tranche
Section intitulée « Construire des données de test par tranche »Le WER de 60 appels est une moyenne sur des appels très différents. Certains appelants parlent français; certains appels passent par une ligne mobile ou VoIP; certains comportent du bruit de rue. Une tranche est un groupe d’appels de test qui partagent une propriété. L’évaluation par tranche montre les faiblesses d’un système de reconnaissance avant qu’un client les découvre.
Les 60 appels de test de Larkfield ont été construits en tenant compte de ces tranches :
| Tranche | Valeurs (appels de test) |
|---|---|
| Langue | anglais 34, français 26 |
| Ligne | ligne fixe 43, mobile 10 (Opus à 8 kbit/s), VoIP 7 (G.726 à 16 kbit/s) |
| Bruit | calme 30, conversations en arrière-plan 17, rue 13 |
| Accent de la voix de l’appelant | anglais britannique 15, anglais américain 19, français 26 |
speech score propose une option --by pour chaque tranche.
-
Évaluez Whisper small par ligne :
Fenêtre de terminal speech score --method whisper-small --by linewhisper-small, test calls, phone audio, normalisation fullslice calls words WER CER order nos wrong products wronglandline 43 5298 8.6% 4.0% 7 of 38 31 of 43mobile 10 1207 5.9% 3.1% 0 of 8 5 of 10voip_g726 7 829 12.2% 7.1% 1 of 6 5 of 7 -
Évaluez-le par langue :
Fenêtre de terminal speech score --method whisper-small --by languagewhisper-small, test calls, phone audio, normalisation fullslice calls words WER CER order nos wrong products wrongen 34 3988 3.1% 1.7% 2 of 28 16 of 34fr 26 3346 15.1% 7.0% 6 of 24 25 of 26 -
Essayez vous-même
--by noiseet--by accent. Comparez votre sortie au graphique ci-dessous.
- Langue
- Ligne
- Bruit
Description textuelle du graphique
Un graphique à colonnes avec huit colonnes, sur un axe de 0 à 20 %. Par langue : anglais (en) 3,1 %, français (fr) 15,1 %. Par ligne : ligne fixe 8,6 %, mobile 5,9 %, VoIP 12,2 %. Par bruit : calme 9,6 %, conversations en arrière-plan 7,7 %, rue 7,4 %.
Trois choses ressortent :
- Le français est la partie difficile. Whisper small fait presque cinq fois plus d’erreurs en français (15,1 %) qu’en anglais (3,1 %). Cela vient en partie des voix françaises elles-mêmes. Le cours n’a que trois voix françaises, et elles prononcent mal certains sons. Six des huit numéros de commande manqués par Whisper small sont dans des appels en français.
- La ligne VoIP semble moins bonne que la ligne mobile : 12,2 % contre 5,9 %. Mais c’est surtout une question de langue, encore une fois. La plupart des appels de test VoIP sont en français, et la plupart des appels mobiles sont en anglais. En anglais, les lignes diffèrent de moins de 1 point (ligne fixe 3,1 %, mobile 3,0 %, VoIP 3,5 %). Le module 4 examine les lignes de plus près.
- Le bruit n’est pas la partie difficile ici. Les appels calmes (9,6 %) obtiennent de moins bons résultats que les appels avec du bruit de rue (7,4 %). Cela surprend la plupart des gens. La raison se trouve dans les données de test. La moitié des appels calmes sont en français (15 sur 30), contre seulement 4 des 13 appels avec du bruit de rue. Une tranche peut en cacher une autre. Examinez donc deux propriétés ensemble avant de tirer une conclusion.
Quelle taille doit avoir une tranche?
Section intitulée « Quelle taille doit avoir une tranche? »Une erreur sur un mot fait varier le WER de tous les appels de test en anglais d’environ 0,025 point. Pour tous les appels en français, c’est environ 0,03 point. Une petite tranche varie beaucoup plus. La tranche VoIP n’a que 7 appels et 829 mots de référence. Un seul mot la fait donc varier de 0,12 point. Un mauvais appel peut la faire varier de plusieurs points. Traitez une différence entre petites tranches comme une question à vérifier, pas comme un résultat. Si une tranche compte pour une décision, ajoutez-y des appels avant de décider.
Nos appels sont plus faciles que la parole réelle
Section intitulée « Nos appels sont plus faciles que la parole réelle »Tous les nombres du cours jusqu’ici portent sur les appels synthétiques de Larkfield. Des voix de synthèse vocale ouvertes lisent des scripts propres : personne n’hésite, ne tousse ni ne parle en même temps que l’agent. Ces appels sont donc plus faciles que de vrais appels téléphoniques.
Le cours a vérifié cela avec de la parole réelle. Il a exécuté les mêmes modèles Whisper sur 73 phrases de LibriSpeech, lues par de vraies personnes. C’est un jeu public d’enregistrements de livres audio (CC BY 4.0). Il les a traitées telles quelles, puis à travers la même ligne téléphonique que les appels de Larkfield.
- Appels en anglais de Larkfield (synthétiques, téléphoniques)
- LibriSpeech (vraie parole lue)
Description textuelle du graphique
Un graphique à colonnes avec trois paires de colonnes, sur un axe de 0 à 14 %. Whisper tiny : 7,0 % sur les appels en anglais de Larkfield et 12,4 % sur LibriSpeech. Whisper base : 5,2 % et 11,0 %. Whisper small : 3,1 % et 7,8 %. À travers la ligne téléphonique de Larkfield, LibriSpeech donne 17,5 %, 12,7 % et 8,1 %.
Whisper small fait 7,8 % d’erreurs sur de la vraie parole lue. Il en fait 8,1 % quand les mêmes phrases passent par la ligne téléphonique de Larkfield. Sur les appels en anglais de Larkfield, il en fait 3,1 %. Un système de reconnaissance presque parfait sur les appels synthétiques ne l’est pas sur de vrais appelants. Quand vous lisez un nombre dans ce cours, comprenez donc « sur les appels synthétiques de Larkfield ». Utilisez-le pour comparer les systèmes de reconnaissance et les réglages. C’est équitable, car tous reçoivent les mêmes appels. Ne l’utilisez pas pour promettre à Grace un WER sur de vrais appels. Les études de cas du cours utilisent des enregistrements réels pour cela.
Quand compter les mots importants, et ce que cela coûte
Section intitulée « Quand compter les mots importants, et ce que cela coûte »Comptez les mots importants chaque fois qu’une transcription alimente une décision : un menu téléphonique, une fiche d’appel, une recherche. Le WER vous renseigne sur la transcription en général; les mots importants vous renseignent sur la décision.
La méthode a des coûts et des limites :
- Quelqu’un doit énumérer les mots importants pour chaque appel de test et tenir la liste à jour quand la boutique ajoute des produits. Pour les appels synthétiques de Larkfield, les scripts les énumèrent. Pour les appels réels, une personne doit les marquer.
- La qualité de la vérification dépend de sa règle. « Tous les mots dans l’ordre, n’importe où dans l’appel » peut être trompé par un agent qui répète le numéro. L’appel C-0052 l’a montré. Le cas d’échec ci-dessous montre un autre piège.
- Les petits comptes varient par hasard. 52 numéros de commande, ce n’est pas beaucoup. Une différence d’un ou deux entre deux systèmes de reconnaissance est du bruit.
Exercice guidé : mots importants et tranches dans le carnet
Section intitulée « Exercice guidé : mots importants et tranches dans le carnet »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation et la cellule auxiliaire. La cellule de préparation se termine par une ligne
Ready:(prêt). - Dans la section 1, exécutez les deux cellules. Vous voyez les mots importants de C-0052, puis
missed(manqué) à 0 pour la commande sur l’appel complet et à 1 sur le tour de l’appelant. - Dans la section 2, exécutez le compte. Vous voyez 20, 8 et 35 numéros de commande manqués sur 52.
- Dans la section 3, exécutez les tranches. Vous voyez 3,1 % pour l’anglais et 15,1 % pour le français.
- Dans la section 4, exécutez la cellule de négation. Vous voyez
missedà 0 et'refund' kept: False(« refund » conservé : faux).
À vous de jouer : les numéros de commande par ligne
Section intitulée « À vous de jouer : les numéros de commande par ligne »Dans la section 5 du carnet Jupyter, comptez les numéros de commande manqués par Whisper small pour chaque type de ligne. Créez un dictionnaire orders_missed_by_line qui associe chaque ligne au nombre de numéros de commande manqués. Utilisez cp.important_errors avec seulement les éléments order (commande) de chaque appel. Avant de l’exécuter, faites une prédiction : la ligne VoIP a le WER le plus élevé. Manque-t-elle aussi le plus de numéros de commande?
Afficher la réponse
orders_missed_by_line = {}for c in test: e = cp.important_errors({"order": c["important"]["order"]}, small[c["call_id"]], c["language"]) orders_missed_by_line[c["line"]] = orders_missed_by_line.get(c["line"], 0) + e["order"]["missed"]print(orders_missed_by_line){'landline': 7, 'voip_g726': 1, 'mobile': 0}Non. La ligne fixe manque le plus de numéros de commande (7), car 43 des 60 appels de test utilisent une ligne fixe. Comparez les proportions, pas les nombres : 7 numéros de commande sur 38 sur la ligne fixe (18 %), 1 sur 6 sur VoIP (17 %) et 0 sur 8 sur la ligne mobile. speech score --method whisper-small --by line affiche les deux valeurs. Avec seulement 6 numéros de commande sur VoIP, un numéro manqué de plus changerait sa proportion de 17 points. La tranche est trop petite pour classer les lignes selon les numéros de commande.
Erreur courante
Une vérification réussie même quand le sens disparaît
Symptôme : la vérification des négations indique que Whisper tiny a manqué 0 négation sur 29. C’est le meilleur résultat des trois systèmes de reconnaissance. Mais regardez l’appel C-0056. L’appelant a dit « I do not want a refund, I want a new one ». Whisper tiny a écrit « I do not want to be feeling forward to new work ».
sentence = "I do not want a refund, I want a new one."print(cp.important_errors({"negation": [sentence]}, "I do not want to be feeling forward to new work.", "en"))print("'refund' kept:", " refund " in " " + cp.normalise("I do not want to be feeling forward to new work.") + " "){'negation': {'items': 1, 'missed': 0}}'refund' kept: FalseCause : la vérification des négations cherche seulement les mots de négation : « not », « no », « don’t » et « cannot ». « not » est encore dans le texte, donc la vérification réussit. Elle ne vérifie pas sur quoi porte le « not ».
Correction : lisez vous-même un échantillon de transcriptions en parallèle avec les comptes, au moins quelques appels de chaque tranche. Quand une décision dépend d’un mot, ajoutez ce mot aux mots importants. C’est le cas de « refund » pour une demande de remboursement. Le module 6 transforme les transcriptions en motifs d’appel et mesure directement cette décision.
Conséquence dans le travail en IA : une vérification qui semble parfaite donne une fausse confiance à l’équipe. Ici, un système de reconnaissance avec un WER de 20,7 % semble meilleur pour les négations qu’un autre à 8,6 %. Une fiche d’appel fondée sur son texte ne pourrait pas dire ce que l’appelant voulait. Et personne ne le regarderait, car la vérification a réussi.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
La transcription de l'appel C-0052 par Whisper tiny a un WER de 8,7 %. Mais elle donne le numéro de commande 2091-17 au lieu de 280917. Expliquez à Omar pourquoi le WER ne l'a pas averti et ce que Larkfield devrait aussi mesurer.
Afficher la réponse
Le WER compte chaque mot de la même façon. Un mauvais numéro de commande représente donc une erreur parmi environ 130 mots dans l’appel. Mais le numéro de commande détermine la suite. Le menu téléphonique ne trouve aucune commande, ou trouve la mauvaise. L’appel passe alors à une personne (4,00 $ US selon les hypothèses du cours). Ou l’appelant reçoit un mauvais statut (15 $ US). Larkfield doit compter séparément les mots importants : numéros de commande, noms de produits, dates et négations, en parallèle avec le WER. L’entreprise devrait vérifier les mots de l’appelant lui-même. Sur l’appel complet, la relecture de l’agent peut masquer l’erreur.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Deux réglages de Whisper base ont presque le même WER sur les 60 appels de test. A (avec une courte liste de mots de Larkfield) : 15,2 %. B (le même modèle exécuté par un autre programme, whisper.cpp) : 15,3 %. A manque 14 numéros de commande, 18 noms de produits et 3 négations; B en manque 18, 45 et 1. Lequel choisiriez-vous pour la recherche dans les appels de Larkfield? Et pour un menu téléphonique qui agit selon les paroles de l'appelant? Pourquoi?
Afficher la réponse
Les WER diffèrent de 0,1 point, ce qui relève du bruit. Le WER ne permet donc pas de choisir. Pour la recherche dans les appels, A est bien meilleur : il manque 18 noms de produits contre 45. Et la recherche se fait par produit. Prenez maintenant un menu téléphonique qui agit selon les paroles de l’appelant. A est un peu meilleur pour les numéros de commande : 14 contre 18, un petit écart sur 52 numéros. Mais A manque 3 négations contre 1. Un « not » perdu peut déclencher une mauvaise action au coût de 15 $ US. Avant de choisir A pour le menu, lisez ces trois négations. Ajoutez aussi une étape où le menu confirme ce qu’il a entendu. Le bon choix dépend de la décision, et le WER ne peut pas le montrer.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Whisper small a un WER de 8,6 % sur les appels de test de Larkfield. Omar prévoit d'ouvrir la ligne téléphonique aux appelants francophones le mois prochain. Que lui dites-vous, et quelles sont les limites de ces chiffres?
Afficher la réponse
Le résultat de 8,6 % cache une tranche faible : les appels en français ont 15,1 %, contre 3,1 % en anglais. Six des huit numéros de commande manqués se trouvent dans les appels en français. Les appelants francophones rencontreront donc beaucoup plus d’erreurs. Une partie des erreurs en français vient du petit nombre de voix françaises dans le jeu d’appels. De plus, tous ces appels sont synthétiques et plus faciles que la vraie parole. Sur de vrais enregistrements de textes lus (LibriSpeech), Whisper small fait 7,8 % d’erreurs, pas 3,1 %. Avant le lancement en français, Larkfield devrait tester de vrais appels en français, par tranche, et compter séparément les mots importants.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Le WER compte chaque mot de la même façon. Comptez séparément les mots importants : numéros de commande, noms de produits, dates, négations et numéros de carte. Un élément est correct seulement si tous ses mots apparaissent dans l’ordre dans le texte normalisé.
- Sur les 60 appels de test synthétiques de Larkfield, Whisper small manque 8 numéros de commande sur 52. Il manque aussi 41 noms de produits sur 60. Vosk small manque 35 numéros de commande. Sur les appels complets, la relecture de l’agent peut masquer une erreur dans les mots de l’appelant.
- Évaluez par tranche : Whisper small fait 3,1 % d’erreurs en anglais et 15,1 % en français. Il en fait 5,9 % sur ligne mobile et 12,2 % sur VoIP. L’écart entre les lignes vient surtout de la langue (anglais seulement : 3,1 %, 3,0 %, 3,5 %). Les petites tranches varient par hasard, et une tranche peut en cacher une autre.
- Les appels synthétiques sont plus faciles que la vraie parole. Whisper small obtient 7,8 % sur de vrais enregistrements de textes lus, contre 3,1 % sur nos appels en anglais. Comparez les systèmes de reconnaissance avec ces chiffres; ne promettez pas ces résultats.
- Une vérification vaut seulement ce que vaut sa règle : la vérification des négations a réussi sur une phrase qui a perdu son sens.
Vous pouvez maintenant dire si un système de reconnaissance convient à chaque décision de Larkfield, et pour quels appelants. Mais chaque système de ce module a aussi rencontré des parties d’appels où personne ne parle. Il y avait de la musique d’attente, des conversations en arrière-plan et du silence. Ensuite, vous repérerez la parole et verrez pourquoi cela compte avant même de commencer la reconnaissance.
Leçon suivante : Parole ou silence?