Aller au contenu
English

Un serveur vocal pour des intentions dites à voix haute

  • Étude de cas 4
  • 150 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

En neuf modules, nous avons construit et testé le SVI de Larkfield. Dans cette étude de cas, nous construisons un SVI avec menu et parole pour les demandes courantes d'une banque. Nous le testons avec de vrais enregistrements d'intentions parlées et comparons trois façons de trouver l'intention.

Étude de cas 4 sur 4 · IA de la parole : transcrire, comprendre et parlerUn serveur vocal pour des intentions dites à voix haute
Aperçu du cours

Ce que vous saurez faire

Choisissez l’étape d’intention d’une ligne téléphonique qui comprend les demandes parlées. Vous testerez des règles de mots-clés, un classificateur et un LLM sur de vraies voix dans quatre variétés linguistiques. Vous traduirez l’exactitude en appels acheminés sans intervention humaine, puis en argent. Vous choisirez ensuite une conception (menu, parole ou les deux) et nommerez les appelants qu’elle sert le moins bien.

Étude de casPièce de portfolio

Licence
CC BY 4.0
Durée
Environ 2,5 heures
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Règles de mots-clés
  • Classificateur TF-IDF avec validation croisée
  • Intentions du LLM enregistrées
  • Rétention et coût par 1 000 appels
  • Seuils et menu de repli
  • Résultats par groupe de locuteurs
  • Exécution de bout en bout sur de nouvelles entrées

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Le carnet (notebook) Jupyter exécute les étapes de cette page avec le même code. Il télécharge quelques mégaoctets : le texte et les étiquettes de chaque demande, les transcriptions et réponses du LLM enregistrées, et 12 courts enregistrements. À la fin, il exécute Whisper base en direct sur ces 12 enregistrements. Il ne nécessite ni compte ni clé.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

Ce que vous devez savoir

Cette étude de cas utilise les parties du cours sur la compréhension et le serveur vocal interactif (SVI, IVR). Ces leçons sont les plus importantes :

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet n’en a pas besoin)

  • Un environnement virtuel avec scikit-learn et faster-whisper, comme dans le projet. Le projet larkspeech convient; cette étude de cas ne modifie pas ses fichiers.
  • Le carnet, téléchargé à partir du lien ci-dessus. Sa cellule de préparation crée un nouveau dossier minds-ivr. Pour recommencer, supprimez ce dossier.

Testé sur macOS avec Python 3.12. Windows, Linux, Colab et Kaggle n’ont pas été testés.

Le SVI de Larkfield comprend quatre intentions : l’état d’une commande, les heures d’ouverture, un retour et « une personne ». Omar, le gestionnaire de produit, en veut plus. Les appelants posent des questions sur les factures, les cartes de paiement, les modifications de compte et bien d’autres sujets. « Le SVI peut-il acheminer vingt types de demandes par la parole? Ou faut-il un long menu au clavier? Ou les deux? »

Priya voit deux problèmes. Tous les appels de Larkfield sont synthétiques, et les vraies personnes parlent avec leurs propres mots. De plus, Larkfield n’a pas encore d’enregistrements étiquetés de vraies demandes. Elle teste donc d’abord sur des données publiques : de vraies voix, plusieurs intentions et de l’audio téléphonique. Le jeu ouvert le plus proche porte sur les services bancaires, pas sur les produits de jardinage. Mais la question reste la même : quelle étape d’intention, avec quel filet de sécurité, pour quels appelants?

Deux erreurs comptent, et leurs coûts diffèrent :

  • Un mauvais acheminement. L’appelant arrive dans la mauvaise file d’attente, attend, explique de nouveau et se fait transférer. Le cours suppose un coût de 15 $ US pour une mauvaise action.
  • Un transfert à une personne qui n’était pas nécessaire. Une personne répond à un appel que le SVI aurait pu acheminer. Le cours suppose un coût de 4,00 $ US par appel (6 minutes à 40 $ US l’heure).

Vous construirez l’étape d’intention d’un SVI et son filet de sécurité. Vous comparerez ensuite trois méthodes sur les mêmes demandes avec la même mesure.

Un flux de gauche à droite. L'appelant dit « I'd like to freeze my card ». Whisper écrit les mots. L'étape d'intention (règles de mots-clés, classificateur ou LLM) donne une intention. Si elle est assez sûre, le système achemine l'appel. Sinon, un court menu au clavier propose trois intentions et le 0 pour une personne. Si la bonne intention figure au menu, le système achemine l'appel; sinon, une personne le prend.
L'étape d'intention et son filet de sécurité. « Parole seulement » transfère chaque appel incertain à une personne; « les deux » propose d'abord un court menu au clavier.
Description textuelle du diagramme

Un appelant dit sa demande. Whisper écrit les mots : base, le modèle de reconnaissance du SVI de Larkfield, ou small. L’étape d’intention choisit une des 14 intentions. Si elle est assez sûre, le SVI achemine l’appel. Sinon, deux conceptions sont possibles. Parole seulement confie l’appel à une personne. Les deux (parole et menu) fait d’abord entendre un court menu au clavier avec les trois intentions les plus probables : « Appuyez sur 1 pour une carte perdue ou bloquée, 2 pour…, 3 pour…, ou 0 pour une personne. » Si l’appelant y trouve son intention, le système achemine l’appel. Sinon, une personne le prend.

Les données proviennent de MInDS-14 (Multilingual Intent Detection from Speech), publié par PolyAI. Des travailleurs participatifs ont enregistré des demandes parlées destinées à la ligne téléphonique d’une banque. Le jeu contient 14 intentions, dans 14 variétés linguistiques. Chaque travailleur recevait une intention, une courte description et trois exemples, puis formulait une nouvelle demande avec ses propres mots. Seuls des locuteurs natifs de chaque variété ont participé. Certaines demandes australiennes ont passé par un vrai système vocal téléphonique; les autres ont été enregistrées en ligne. Tous les enregistrements sont de l’audio téléphonique à 8 kHz, comme les appels de Larkfield.

Nous utilisons quatre variétés, pour un total de 2 348 demandes et de 5,47 heures :

Variété Demandes Heures Durée médiane
Anglais américain (en-US) 563 1,34 6,4 s
Anglais britannique (en-GB) 592 1,35 6,3 s
Anglais australien (en-AU) 654 1,53 6,6 s
Français (fr-FR) 539 1,25 6,6 s

Les 14 intentions sont : utilisation à l’étranger (la carte dans un autre pays), adresse, erreur d’application, limite au guichet automatique, solde, prêt commercial, problèmes de carte, dépôt d’espèces, prélèvement automatique, blocage, paiement de montant élevé, compte conjoint, dernières transactions et paiement d’une facture. Chaque variété contient environ 30 à 50 demandes par intention.

Quatre demandes, une par variété. Chacune est courte. Sous chaque lecteur figurent deux transcriptions, car aucune personne n’a transcrit ces mots. Le système de reconnaissance de Google a produit la transcription du jeu de données (l’article le précise). La deuxième vient de Whisper base et a été enregistrée pour cette étude de cas.

en-US-151, intention « freeze » (blocage), 3,9 s. Une vraie personne, de MInDS-14 (CC BY 4.0). Transcription du jeu de données : « I’d like to freeze my card ». Whisper base : « I’d like to freeze my card. »
en-GB-316, intention « balance » (solde), 4,3 s. Une vraie personne, de MInDS-14 (CC BY 4.0). Transcription du jeu de données : « what is my current account balance ». Whisper base : « What is my current account, Helen? »
en-AU-553, intention « direct debit » (prélèvement automatique), 3,5 s. Une vraie personne, de MInDS-14 (CC BY 4.0). Transcription du jeu de données : « hello I want to return a direct debit ». Whisper base : « Hello, I want to return a direct delete. »
fr-FR-256, intention « balance », 4,2 s. Une vraie personne, de MInDS-14 (CC BY 4.0). Transcription du jeu de données : « montre-moi le solde de mon compte ». Whisper base : « Montre-en-warre est sur le démoncompte. »

Les deux modèles de reconnaissance s’accordent sur la première demande. Dans la demande britannique, Whisper base transforme « balance » en prénom. Dans la demande française, il perd le mot-clé « solde ».

Les transcriptions sont produites par une machine. Nous ne pouvons donc pas mesurer un véritable taux d’erreur sur les mots. Nous pouvons mesurer à quelle fréquence deux modèles de reconnaissance ne s’accordent pas. Nous utilisons le calcul du WER, avec le texte du jeu de données comme référence, après application du guide de normalisation du cours. Un désaccord signifie qu’au moins un des deux modèles se trompe.

Variété Whisper base ne s’accorde pas sur Whisper small ne s’accorde pas sur
Anglais américain 35,6 % des mots 35,0 %
Anglais britannique 24,4 % des mots 22,6 %
Anglais australien 19,5 % des mots 18,0 %
Français 45,7 % des mots 34,9 %

Le français présente le plus de désaccords. Sur les appels synthétiques de Larkfield, Whisper base avait un WER de 5,2 % en anglais et de 23,8 % en français. Les vraies voix sont plus difficiles, et le français reste le plus difficile.

L’intention est la vérité. Les étiquettes viennent de la tâche donnée à chaque travailleur. Certaines étiquettes se chevauchent. « Freeze my card » porte l’étiquette « freeze », et « my card is blocked » peut porter « card issues » (problèmes de carte). Nous gardons les étiquettes telles quelles.

Il n’y a pas d’identifiants de locuteurs. Un travailleur peut avoir enregistré plusieurs demandes. Le seul groupe permettant de créer des tranches est la variété. Il n’y a ni genre ni âge.

D’abord, nous gardons à part 20 % de chaque variété, avec la même proportion de chaque intention : 471 demandes. Ce sont les nouvelles entrées pour l’exécution de bout en bout. Nous ne les utilisons jamais pour faire des choix. La comparaison utilise les 1 877 autres demandes.

Imaginez un enseignant qui n’a qu’un seul ensemble de questions d’examen. Si la classe s’exerce sur toutes les questions, l’examen mesure la mémoire, pas les compétences. Un enseignant équitable cache quelques questions chaque fois.

Nous n’avons qu’environ 450 demandes étiquetées par variété. Un seul ensemble de test serait donc petit et bruité. La validation croisée utilise chaque demande pour le test, mais jamais avec un modèle qui l’a déjà vue. Nous divisons les demandes en 5 parties. Un modèle apprend sur 4 parties et évalue la cinquième. Nous répétons cela 5 fois, pour évaluer chaque partie une fois.

Cinq rangées de cinq cases. Dans la rangée 1, la première case est orange (évaluer) et les autres sont pâles (apprendre). Dans la rangée 2, la deuxième case est orange, et ainsi de suite jusqu'à la rangée 5.
Validation croisée à 5 plis : cinq tours, chaque partie évaluée une fois par un modèle qui a appris sur les quatre autres.
Description textuelle du diagramme

Cinq tours, un par rangée. Chaque rangée contient cinq parties. Au tour 1, le modèle apprend sur les parties 2 à 5 et évalue la partie 1. Au tour 2, il apprend sur les parties 1, 3, 4 et 5 et évalue la partie 2. Après cinq tours, chaque demande a un score provenant d’un modèle qui ne l’a jamais vue.

Chaque partie garde le même mélange de variétés et d’intentions que l’ensemble (« stratifié »). Le cours Apprentissage automatique : du problème à un modèle fiable l’explique en détail dans Données d’entraînement, de validation et de test.

L’étape d’intention la plus simple répond toujours avec l’intention la plus fréquente. Elle a raison pour 7,6 % des demandes, soit environ 1 sur 14. La référence de base actuelle, de type Larkfield, est aussi simple : chaque appelant parle à une personne. Elle n’achemine aucun appel au mauvais endroit et coûte 4 000 $ US par 1 000 appels. Chaque conception ci-dessous doit faire mieux que les deux.

Les trois lisent la transcription de Whisper base, comme le SVI de Larkfield.

Méthode 1 : règles de mots-clés. Comme dans le SVI de Larkfield, chaque intention a une liste de mots en anglais et en français. La dernière intention nommée par l’appelant l’emporte. Nous avons écrit les listes une seule fois, à partir des noms d’intentions, avant de voir les résultats. Par exemple, « freeze » contient freeze, frozen, suspend, block my account, geler, bloquer.

Méthode 2 : un classificateur. Le classificateur TF-IDF avec régression logistique du module 6, maintenant avec une probabilité pour chaque intention. Un modèle apprend sur les trois variétés anglaises ensemble, un autre sur le français, avec une validation croisée à 5 plis.

Méthode 3 : un LLM. Azure chat-small lit la transcription (seulement le texte, jamais l’audio). Il renvoie du JSON : une intention de la liste, ou « unclear » (incertain), et jusqu’à deux autres possibilités. Il n’a aucun exemple, seulement la liste avec une ligne sur chaque intention. Ses réponses ont été enregistrées une seule fois, donc le carnet n’a pas besoin de clé. Nous avons utilisé deux versions de la liste (voir ci-dessous); les graphiques utilisent la deuxième.

Barres horizontales groupées montrant l'exactitude pour chaque variété et chaque méthode. Le classificateur et le LLM sont proches, au-dessus de 90 % en anglais. Les règles de mots-clés sont beaucoup plus basses, surtout en français. En français, le LLM dépasse légèrement le classificateur. Une ligne pointillée près de 8 % indique l'intention la plus fréquente.
Intention correcte, par variété et méthode (transcriptions de Whisper base; classificateur avec validation croisée à 5 plis; LLM avec la deuxième liste). Le français est la variété la moins bien servie par chaque méthode.
Description textuelle du diagramme

Quatre groupes de trois barres, un groupe par variété. Règles de mots-clés : Anglais américain 73 %, Anglais britannique 74 %, Anglais australien 71 %, Français 49 %. Classificateur : Anglais américain 98 %, Anglais britannique 97 %, Anglais australien 96 %, Français 88 %. LLM : Anglais américain 96 %, Anglais britannique 96 %, Anglais australien 94 %, Français 90 %. La référence de base, l’intention la plus fréquente, est à 8 %.

Les règles de mots-clés (67,1 %) échouent de deux façons. Plusieurs demandes n’utilisent aucun mot des listes : Anglais américain 15 %, Anglais britannique 17 %, Anglais australien 17 %, Français 39 %. Les appelants disent « my card keeps getting declined », « can I pay in some cash » ou, en français, « montre-moi mes dernières opérations », avec une erreur de reconnaissance au milieu. Certaines demandes nomment aussi deux intentions. La règle « la dernière l’emporte » choisit alors la mauvaise (voir le cas d’échec ci-dessous).

Le classificateur (95,0 %) a appris les mots que les appelants utilisent vraiment, y compris les erreurs habituelles du modèle de reconnaissance. Son erreur la plus fréquente est « card issues » pour une demande « app error » (erreur d’application), 7 fois. Beaucoup de problèmes d’application concernent la carte. La bonne intention figure dans ses trois premiers choix pour 99,1 % des demandes. Un court menu constitue donc un bon filet de sécurité.

Le LLM n’a pas besoin de données étiquetées, un véritable avantage dès le premier jour. Mais il sait seulement ce que la liste lui dit. Avec notre première liste, il a obtenu 85,4 %. Sa plus grande erreur : 117 demandes « freeze » ont été dirigées vers « card issues ». Notre liste décrivait « freeze » comme le compte, et « card issues » comme une carte « perdue, volée, bloquée ». Pour les annotateurs, « freeze » signifie surtout « freeze my card ». Le modèle a suivi nos mots, pas les étiquettes.

Nous avons donc réécrit cinq lignes de la liste pour préciser le sens des étiquettes. Par exemple : « freeze : geler, bloquer ou arrêter une carte ou le compte ». Nous avons lu seulement les erreurs de l’ensemble de comparaison. Avec la deuxième liste, il a obtenu 94,2 %, et en français 90,5 % : mieux que le classificateur dans cette langue (88,2 %). Il a encore répondu « unclear » pour 3,7 % des demandes, surtout les prêts commerciaux et les dépôts d’espèces. Il coûte environ 0,040 $ US par 1 000 demandes au tarif du déploiement. Sa durée médiane est de 1,09 s par réponse : une attente que l’appelant entend.

Changez une chose : un plus grand modèle de reconnaissance. Avec Whisper small plutôt que base, le classificateur obtient 97,0 % plutôt que 95,0 %. Le gain concerne surtout le français : 93,0 % contre 88,2 %. Whisper small ne s’accorde pas avec le jeu de données sur 34,9 % des mots français, contre 45,7 % pour base. Le prix à payer est le temps. Sur le processeur du portable, la transcription d’une demande prenait une durée médiane de 0,93 s avec small et de 0,3 s avec base. Dans Laisser les appelants dire ce qu’ils veulent, tiny et base réussissaient aussi bien sur de courtes réponses au menu. Ici, les réponses sont des phrases libres, et le plus grand modèle mérite sa place. Évaluez la taille du modèle sur la tâche.

L’exactitude ne dit pas ce qui arrive à l’appelant. Nous comparons le coût par 1 000 appels :

  • un appel pris par une personne : 4,00 $ US (hypothèse);
  • un appel mal acheminé : 15 $ US (hypothèse);
  • calcul : Whisper sur un serveur CPU à 0,17 $ US par heure et le travail du SVI à 0,002 $ US par appel (hypothèses); le prix consigné du LLM lorsqu’il est utilisé.

Nous indiquons aussi le taux de rétention (containment) : la part des appels bien acheminés sans intervention humaine. C’est une mesure indirecte. Elle mesure seulement la première question de l’appel, pas toute la conversation de Tester le serveur vocal comme un produit.

Pour la conception avec menu, il faut une autre hypothèse, clairement indiquée : quand la bonne intention figure au menu court, 9 appelants sur 10 appuient sur sa touche. Les autres appuient sur 0 ou abandonnent, et une personne prend l’appel.

Le classificateur donne une probabilité. Sous un seuil, le SVI n’achemine pas l’appel. Quel seuil est le meilleur? Nous avons essayé chaque valeur de 0,10 à 0,90 et calculé le coût.

Deux courbes du coût en dollars US par 1 000 appels selon le seuil. « Sinon, une personne » forme un U dont le minimum se trouve à un seuil bas. « Sinon, un menu à 3 options » descend vite et reste basse sur une large plage. Une ligne pointillée à 4 000 $ US représente tous les appels à une personne.
Coût par 1 000 appels pour chaque seuil (classificateur sur Whisper base; hypothèses de coût du cours). Avec un menu court comme filet de sécurité, le coût reste bas sur une large plage.
Description textuelle du diagramme

Sans menu, le coût est le plus bas à un seuil de 0,30 : 552 $ US par 1 000 appels. Un seuil plus élevé envoie trop de bonnes réponses à une personne. Un seuil plus bas achemine mal trop d’appels. Avec un menu court, le coût descend à 156 $ US au seuil de 0,60, et reste sous 220 $ US de 0,40 à 0,80. Envoyer tous les appels à une personne coûte 4 000 $ US.

Avec un filet de sécurité, le SVI peut prendre moins de risques. Sans filet, le meilleur seuil est bas, car une personne est la seule autre option qu’une réponse incertaine.

Huit barres empilées : bien acheminé, à une personne et mal acheminé, avec le coût par 1 000 appels à droite. Tous les appels à une personne : tout en gris, 4 000 $ US. Règles de mots-clés : environ deux tiers bien acheminés et une partie rouge. Le classificateur avec menu court a la plus longue partie verte et le coût le plus bas, surtout sur Whisper small.
Ce qui arrive aux appels avec chaque conception (données de comparaison, Whisper base sauf indication contraire, validation croisée). À droite : dollars US par 1 000 appels, selon les hypothèses de coût du cours.
Description textuelle du diagrammeTous les appels à une personne : bien acheminé 0 %, à une personne 100 %, mal acheminé 0 %, 4 000 $ US par 1 000 appels. Règles de mots-clés : bien acheminé 67 %, à une personne 21 %, mal acheminé 11 %, 2 579 $ US par 1 000 appels. Classificateur, acheminer chaque appel : bien acheminé 95 %, à une personne 0 %, mal acheminé 5 %, 745 $ US par 1 000 appels. Classificateur, sûr, sinon une personne : bien acheminé 91 %, à une personne 7 %, mal acheminé 2 %, 552 $ US par 1 000 appels. Classificateur, sûr, sinon un menu court : bien acheminé 97 %, à une personne 3 %, mal acheminé 0 %, 156 $ US par 1 000 appels. La même conception sur Whisper small : bien acheminé 97 %, à une personne 2 %, mal acheminé 0 %, 118 $ US par 1 000 appels. LLM, acheminer chaque réponse : bien acheminé 94 %, à une personne 4 %, mal acheminé 2 %, 469 $ US par 1 000 appels. LLM, « unclear » : un menu de ses autres options : bien acheminé 95 %, à une personne 2 %, mal acheminé 2 %, 421 $ US par 1 000 appels.
Conception (Whisper base sauf indication contraire) Bien acheminé À une personne Mal acheminé Entend le menu $ US par 1 000 appels
Tous les appels à une personne 0 % 100 % 0 % 0 % 4 000 $ US
Règles de mots-clés (aucune correspondance : une personne) 67 % 21 % 11,5 % 0 % 2 579 $ US
LLM, première liste, acheminer chaque réponse (« unclear » : une personne) 85 % 4 % 10,4 % 0 % 1 737 $ US
LLM, deuxième liste, acheminer chaque réponse (« unclear » : une personne) 94 % 4 % 2,1 % 0 % 469 $ US
LLM, deuxième liste, « unclear » : un menu de ses autres options 95 % 2 % 2,1 % 2 % 421 $ US
Classificateur, acheminer chaque appel 95 % 0 % 5,0 % 0 % 745 $ US
Classificateur, sûr (≥ 0,30), sinon une personne 91 % 7 % 1,7 % 0 % 552 $ US
Classificateur, sûr (≥ 0,60), sinon un menu court 97 % 3 % 0,2 % 22 % 156 $ US
La même conception sur Whisper small (≥ 0,60) 97 % 2 % 0,1 % 18 % 118 $ US

Ce que cela nous apprend. Les mauvais acheminements font monter le coût : un seul coûte presque autant que quatre transferts à une personne. Les règles de mots-clés acheminent environ un appel sur neuf au mauvais endroit. Le classificateur avec menu court se trompe très rarement, car il achemine seulement quand il est sûr. Ses trois premières intentions comprennent presque toujours la bonne. En contrepartie, l’appel dure plus longtemps pour 22 % des appelants, qui entendent une question supplémentaire.

Le LLM avec la deuxième liste est presque aussi exact que le classificateur, mais il coûte plus cher ici. Il répond « unclear » (incertain) pour quelques demandes seulement et se montre sûr de toutes les autres réponses. Les appelants subissent donc tous ses mauvais acheminements (2,1 %). Notre conception ne fournit aucune probabilité sur laquelle fixer un seuil. Une courte liste de mots dans une requête (prompt) a aussi changé son exactitude de 9 points. Cela montre la fragilité de ce réglage.

Et un menu seul? Quatorze intentions ne tiennent pas dans un seul menu au clavier. Un appelant peut retenir seulement quelques options. Un SVI au clavier seulement exige donc deux niveaux : « carte et paiements, appuyez sur 1… », puis un deuxième menu. Chaque appelant entend deux menus, et leurs mots ne sont pas ceux de l’appelant. Nous ne pouvons pas mesurer cela avec ces données (les enregistrements contiennent de la parole, pas des touches pressées). Sur les appels synthétiques de Larkfield, le réglage au clavier seulement retenait 10 % des appels, contre 35 % avec la parole (Laisser les appelants dire ce qu’ils veulent).

Variété Règles, bonne réponse Classificateur, bonne réponse LLM, bonne réponse Menu court, Whisper small : bien acheminé À une personne Entend le menu
Anglais américain 73 % 98 % 96 % 99 % 1,4 % 10 %
Anglais britannique 74 % 97 % 96 % 98 % 1,8 % 12 %
Anglais australien 71 % 96 % 94 % 98 % 2,1 % 13 %
Français 49 % 88 % 90 % 95 % 4,9 % 40 %

Les trois premières colonnes utilisent Whisper base. Les appelants francophones sont les moins bien servis par chaque méthode. Avec la meilleure conception, 40 % entendent le menu supplémentaire (contre 10 % des appelants anglophones des États-Unis), et 4,9 % finissent avec une personne. Avec Whisper base, c’était pire : 49 % et 7,0 %.

Changer une chose : est-ce la langue ou la quantité de données? Le modèle anglais a appris avec trois variétés, soit environ trois fois plus de demandes que le modèle français. Nous avons donc donné à chaque variété son propre modèle, avec environ le même nombre de demandes :

Variété, son propre modèle Demandes pour apprendre (par tour) Exactitude
Anglais américain environ 360 96,7 %
Anglais britannique environ 378 96,0 %
Anglais australien environ 418 95,4 %
Français environ 345 88,2 %

Chaque variété anglaise atteint encore environ 95 % ou plus à elle seule; le français reste près de 88 %. L’écart ne vient donc pas seulement des données. Les transcriptions françaises sont moins bonnes : Whisper base diffère du jeu de données pour 45,7 % des mots français.

Un modèle fonctionne-t-il avec d’autres accents? Entraîné sur deux variétés anglaises et testé sur la troisième, il a obtenu 97,1 % (anglais américain), 96,2 % (anglais britannique), 96,4 % (anglais australien) : presque autant qu’avec les trois.

Pour les demandes courantes d’une banque (ou les vingt prochaines de Larkfield), Priya recommande les deux : la parole d’abord, avec un menu court au clavier comme filet de sécurité.

  1. Le message d’accueil pose une question ouverte : « Dites-moi en quelques mots ce dont vous avez besoin. » Gardez le clavier : « 0 pour une personne » fonctionne à chaque étape.
  2. Whisper small transcrit les mots de la réponse ouverte. Il demande environ 0,93 secondes de calcul par demande sur le CPU d’un portable, contre 0,3 secondes pour base. Il aide surtout le français. Gardez Whisper base pour les réponses au menu court, comme le fait le SVI de Larkfield.
  3. Un classificateur TF-IDF par langue choisit l’intention, après un entraînement sur les demandes étiquetées de votre propre ligne.
  4. Acheminez quand sa probabilité la plus élevée atteint au moins 0,60. En dessous, faites entendre un menu court avec ses trois premières intentions et 0 pour une personne.
  5. Gardez le LLM hors de l’étape d’acheminement pour le moment. Il était meilleur en français. Testez-le donc comme deuxième avis quand le classificateur hésite. Utilisez-le aussi pour proposer des étiquettes pour les nouvelles demandes, qu’une personne vérifie ensuite.

Ce qu’une personne vérifie encore :

  • Chaque semaine, un échantillon d’appels acheminés, par langue : les mauvais acheminements sont rares, mais coûtent le plus cher.
  • La ligne française d’abord. 40 % des appelants francophones entendent le menu supplémentaire. Écoutez ces appels et ajoutez des demandes françaises étiquetées.
  • Les nouvelles intentions. Quand les appelants demandent quelque chose de nouveau, le classificateur leur impose une ancienne intention. Lisez les appels envoyés à une personne.

Coût par 1 000 appels : 118 $ US sur les données de comparaison, contre 4 000 $ US quand une personne répond à chaque appel (hypothèses du cours). Le calcul représente une petite part : Whisper small et le SVI coûtent environ 2,05 $ US par 1 000 appels. L’étiquetage est le coût caché : environ 450 demandes étiquetées par langue avant de commencer.

Les 471 demandes mises à part n’ont jamais servi à faire un choix. Nous avons entraîné les classificateurs sur toutes les demandes de comparaison, puis exécuté une fois la conception recommandée.

Quatre barres empilées, une par variété : bien acheminé, à une personne et mal acheminé. Les quatre sont presque entièrement vertes. Le français a la plus grande partie grise.
La conception recommandée sur les nouvelles entrées (Whisper small; acheminement au seuil choisi, sinon un menu court).
Description textuelle du diagrammeAnglais américain, 113 demandes : bien acheminé 97,1 %, à une personne 2,0 %, mal acheminé 0,9 %. Anglais britannique, 119 demandes : bien acheminé 97,4 %, à une personne 2,6 %, mal acheminé 0,0 %. Anglais australien, 131 demandes : bien acheminé 99,0 %, à une personne 1,0 %, mal acheminé 0,0 %. Français, 108 demandes : bien acheminé 93,6 %, à une personne 5,5 %, mal acheminé 0,9 %.

Au total : bien acheminé 96,9 %, mal acheminé 0,4 %, à une personne 2,7 %, 173 $ US par 1 000 appels. C’est proche de la comparaison (118 $ US), donc le choix tient. Le français présente encore le plus de transferts à une personne et entend le menu le plus souvent. Avec environ 110 demandes par variété, un mauvais acheminement change son coût d’environ 140 $ US par 1 000 appels. Les petits écarts entre les variétés anglaises sont donc du bruit.

Le carnet (notebook) Jupyter exécute ensuite toute la chaîne en direct sur 12 de ces enregistrements : l’audio, Whisper small sur le portable, le classificateur, puis « route » (acheminer) ou « menu ». Voici cinq lignes de sa sortie (sortie réelle; l’intention entre crochets est l’étiquette) :

en-GB-316 [balance] 'What is my current account, Holland?' -> balance (0.92)
en-GB-259 [joint_account] 'I would like to start a joint succumb.' -> menu: joint_account, pay_bill, direct_debit (0.44)
en-AU-553 [direct_debit] 'Hello, I want to return a direct visit.' -> direct_debit (0.79)
fr-FR-256 [balance] 'Montre-moi le sol de mon compte.' -> balance (0.99)
fr-FR-219 [freeze] 'je souhaite bloquer ma carte' -> freeze (0.95)

Whisper small transforme encore « balance » en un nom (« Holland ») et « account » en « succumb ». Le classificateur achemine quand même la première demande : « current account » suffit. Il hésite pour la deuxième (0,44), donc l’appelant entend un menu court où la bonne intention arrive en premier. La demande française que Whisper base avait perdue est maintenant correcte (« le sol » pour « le solde »). Un modèle qui a appris avec la sortie réelle du système de reconnaissance tolère ses erreurs habituelles.

  • Les vraies voix sont plus difficiles que les appels synthétiques de Larkfield. Là, le test des motifs d’appel était trop facile (règles 90 %, classificateur 96,7 %, LLM 100 %). Ici, les règles tombent à 67 %.
  • Un filet de sécurité change le meilleur seuil, et les mauvais acheminements, pas les transferts à une personne, font monter le coût.
  • Le français est le groupe le moins bien servi par chaque méthode, et pas seulement à cause du manque de données.

Limites. Chaque personne connaissait l’intention et voyait trois exemples. Les demandes sont donc mieux formulées que celles de vrais appelants. Il n’y a aucun tour de parole de suivi. Les transcriptions proviennent d’une machine : nous indiquons donc le désaccord, pas le WER. Sans identifiants de locuteur, les demandes d’une personne peuvent se trouver des deux côtés d’une séparation des données. Les résultats du classificateur peuvent donc être un peu élevés. Les coûts sont des hypothèses, et « 9 appelants sur 10 appuient sur la bonne touche » est la nôtre. Nous n’avons mesuré ni un menu au clavier seulement, ni la patience de vrais appelants.

Erreur courante

Le dernier mot gagne, et perd

Symptôme : les règles de mots-clés ont envoyé 45 demandes « freeze » (bloquer) vers « latest transactions » (dernières transactions). Par exemple : « Could you please freeze my card and make sure no transactions happen from now on? » (Pourriez-vous bloquer ma carte et vous assurer qu’aucune transaction ne passe à partir de maintenant?)

Cause : la règle de Larkfield garde la dernière intention nommée par l’appelant, car les appelants de Larkfield se corrigent à la fin (« retour… non, suivre ma commande »). Ces appelants font l’inverse. Ils nomment d’abord l’intention, puis expliquent, et leur explication contient un mot d’une autre intention.

Correction : ne transférez pas une règle d’une ligne à une autre sans la tester sur les appelants de cette ligne. Un classificateur apprend quels mots comptent à partir de demandes étiquetées. Il a traité correctement la plupart de ces cas (96,9 % de bonnes réponses pour « freeze »).

Conséquence dans le travail en IA : une règle est une hypothèse sur la façon dont les gens parlent. Chaque groupe d’appelants a besoin de son propre test.

  • Les voix de vraies personnes. Nous faisons entendre seulement de courts extraits, chacun avec ses transcriptions, et utilisons les identifiants du jeu de données. Nous ne cherchons jamais à savoir qui a parlé. Aucun audio n’a été envoyé à un modèle hébergé : le LLM a lu le texte de Whisper.
  • Dites aux appelants qu’ils parlent à une machine, et gardez « 0 pour une personne » à chaque étape, comme dans Clonage de voix, contrôle du locuteur et abus.
  • Ne pénalisez pas un accent. Si un groupe entend beaucoup plus souvent le menu supplémentaire, il attend plus longtemps pour le même service. Mesurez cela par langue et par ligne, et corrigez d’abord le groupe le moins bien servi.
  • Les demandes bancaires sont des données personnelles. Dans une vraie banque, les transcriptions des appels « balance » (solde) et « freeze » exigent les mêmes règles que l’audio : conservation, suppression et accès.
  • Les étiquettes tirées de vos propres appels exigent un consentement. S’entraîner sur de vraies demandes exige de les enregistrer, avec un avis et une raison.

Placez l’étude de cas dans un dépôt public :

  • README : le problème, les données avec leur licence et leur attribution, les trois méthodes, le tableau des coûts avec la référence de base, la recommandation et le groupe le moins bien servi.
  • Le carnet Jupyter, exécuté depuis le début, avec les versions des paquets.
  • Une courte note de conception : le message d’accueil du SVI, le texte du menu, le seuil et les vérifications hebdomadaires d’une personne.

En entrevue, dites-le en deux phrases : « J’ai comparé des règles de mots-clés, un classificateur TF-IDF et un LLM pour l’étape d’intention d’un SVI sur MInDS-14. Ce sont de vraies demandes bancaires parlées dans quatre variétés. Un classificateur qui achemine seulement quand il est sûr, sinon propose ses trois premières intentions, a réduit le coût supposé de 4 000 $ US à 118 $ US par 1 000 appels. Les appelants francophones étaient les moins bien servis par chaque méthode. »

Pour aller plus loin : ajoutez d’autres variétés de MInDS-14, essayez un modèle de plongement de phrases comme les auteurs de l’article, ou écrivez un menu au clavier à deux niveaux et testez-le avec cinq amis.

Vérifiez votre compréhension

Le classificateur choisit la bonne intention pour 95 % des appels. Pourquoi ne pas acheminer chaque appel?

Afficher la réponse

Parce que les 5 % de mauvais acheminements coûtent le plus cher. Selon les hypothèses du cours, un mauvais acheminement coûte 15 $ US et un transfert à une personne, 4,00 $ US. Acheminer chaque appel coûte 745 $ US par 1 000 appels. Acheminer seulement quand le modèle est sûr, avec un menu court pour le reste, coûte 156 $ US. La bonne intention figure dans les trois premières pour 99,1 % des demandes. Le menu récupère donc la plupart des appels incertains.

Vérifiez votre compréhension

Les appelants francophones entendent beaucoup plus souvent le menu supplémentaire. Tomás dit : « Ajoutez simplement plus de données françaises. » Est-ce suffisant?

Afficher la réponse

Probablement pas. Nous avons donné à chaque variété son propre modèle avec environ la même quantité de données. Chaque variété anglaise obtenait encore environ 95 % ou plus, et le français environ 88 %. Les transcriptions françaises sont moins bonnes. Plus de demandes françaises étiquetées aident, mais un meilleur système de reconnaissance du français pourrait aussi aider. Mesurez les deux changements sur la ligne française.

Vérifiez votre compréhension

Pourquoi cette étude de cas ne peut-elle pas donner un taux d'erreur sur les mots pour Whisper?

Afficher la réponse

Parce qu’aucune personne n’a transcrit les paroles des appelants. Les transcriptions du jeu de données proviennent du système de reconnaissance de Google. Les comparer à Whisper donne un taux de désaccord : au moins un des deux se trompe, mais nous ignorons lequel. Les étiquettes d’intention viennent de la tâche donnée à chaque personne. Elles sont la vérité à laquelle nous comparons les résultats.

Récapitulatif

  • Avec de vraies voix, l’étape d’intention est beaucoup plus difficile qu’avec les appels synthétiques de Larkfield : les règles de mots-clés sont tombées à 67 %.
  • La validation croisée évalue chaque demande avec un modèle qui ne l’a jamais vue : le bon outil pour de petits jeux étiquetés.
  • Comparez les conceptions selon le coût, pas l’exactitude : un mauvais acheminement coûte plus qu’un transfert à une personne.
  • La parole d’abord, avec un menu court au clavier comme filet de sécurité, a donné le coût le plus bas : 118 $ US par 1 000 appels avec Whisper small, contre 4 000 $ US.
  • Les appelants francophones étaient les moins bien servis par chaque méthode; vérifiez chaque groupe et corrigez d’abord le moins bien servi.

Ensuite, le travail final : la nouvelle ligne française de Larkfield, avec tout ce que vous avez construit dans ce cours.

Leçon suivante : Travail final