Aller au contenu
English

Clonage de voix, contrôle du locuteur et abus

  • Leçon 35
  • 30 min
  • Module 9 : L'exploiter en production, en sécurité

Où nous en sommes

Nous protégeons ce que disent les appelants. Nous devons aussi penser à la voix elle-même. Dans cette leçon, nous voyons pourquoi une voix n'est pas un mot de passe. Nous voyons comment une voix semblable peut réussir un contrôle du locuteur faible. Nous voyons aussi pourquoi les appelants doivent savoir qu'ils parlent à une machine.

Leçon 35 sur 36 · IA de la parole : transcrire, comprendre et parlerClonage de voix, contrôle du locuteur et abus
Aperçu du cours

Ce que vous saurez faire

Décidez ce qu’une voix peut prouver sur la ligne téléphonique de Larkfield. Enregistrez une voix de référence, comparez-y de nouvelles paroles et comptez les autres voix acceptées à chaque seuil. Découvrez pourquoi le contrôle du locuteur est un signal parmi plusieurs, jamais la seule clé d’accès à un compte. Dites à chaque appelant qu’il parle à une machine.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter enregistre la voix de référence de l’agente Chloe à partir de trois tours de parole d’un appel. Il compare ensuite ses autres tours, la voix semblable et 28 autres appelants à cette référence. Vous choisissez un seuil et comptez les personnes acceptées. Il télécharge une seule fois le modèle de locuteur de 27 Mo et ne demande aucun compte. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Cette leçon n’ajoute aucune commande au projet. Les exercices se font dans le carnet.

Imaginez une employée de banque qui répond aux appels. Une cliente régulière appelle chaque semaine, et l’employée connaît bien sa voix. « Bonjour, c’est Maria. » L’employée se détend. Mais avant de transférer de l’argent, elle demande quand même le numéro de compte et envoie un code au téléphone de Maria.

Pourquoi? Parce qu’on peut copier les voix, et que certaines personnes ont des voix semblables. Une voix familière est un bon indice. Ce n’est pas une preuve.

L’équipe produit de Larkfield demande : « La ligne pourrait-elle reconnaître les appelants habituels par leur voix? Ils éviteraient ainsi les questions. » Priya teste l’idée avec les voix synthétiques du cours. Elle utilise la voix de l’agente Chloe comme « cliente », parce que Chloe parle dans de nombreux appels.

Écoutez d’abord deux voix.

Chloe, l’agente de l’appel C-0225, de 0,45 à 5,9 secondes, canal de l’agente, audio téléphonique sur ligne fixe (8 kHz). Une voix synthétique : Piper, entraîné sur le corpus LibriTTS-R (locuteur 5401).

Transcription. Chloe : « Thank you for calling Larkfield, this is Chloe. This call is recorded for quality and training. How can I help you today? »

L’appelant de l’appel C-0144, de 6,0 à 11,9 secondes, audio téléphonique sur ligne fixe avec du bruit de rue. Une voix synthétique : Piper, entraîné sur le corpus LibriTTS-R (locuteur 1914), choisie pour sa ressemblance avec Chloe.

Transcription. Appelant : « Yes, hi. I’m a bit lost here; I need to change the email on my account, and I think it may be connected to my Grow Hub. »

La deuxième voix est celle d’un autre locuteur du même modèle de voix. Parmi toutes les voix synthétiques du jeu d’appels, c’est la plus proche de Chloe. Leurs plongements ont une similarité cosinus de 0,952. La médiane des autres voix est de 0,717.

Le clonage de voix consiste à créer une voix de synthèse qui ressemble à une personne précise, souvent à partir d’un court enregistrement. Les outils modernes n’ont besoin que de quelques secondes de parole. Voilà la menace : un attaquant enregistre un client, clone sa voix et appelle la banque.

Le cours ne clone aucune voix et n’enregistre aucune personne réelle. La « voix semblable » ci-dessus n’est pas un clone. C’est la voix la plus proche que nous avons trouvée parmi les voix synthétiques ouvertes. Un vrai clone est conçu exprès pour ressembler à sa cible. Nous n’en avons pas mesuré, donc nous ne pouvons pas dire quel score il obtiendrait. Il serait imprudent de supposer qu’il ferait moins bien qu’une voix semblable par hasard.

La vérification du locuteur répond à une question : « Cette personne est-elle bien celle qu’elle prétend être? » Elle comporte trois étapes :

  1. Enregistrer la référence. Enregistrez la personne une fois, ici avec trois phrases. Transformez chaque phrase en plongement de locuteur et conservez leur moyenne : l’empreinte vocale.
  2. Calculer le score. Quand une personne appelle et dit « Je suis Chloe », transformez ses paroles en plongement. Calculez la similarité cosinus avec l’empreinte vocale de Chloe.
  3. Décider. Acceptez si le score atteint ou dépasse un seuil.

Deux erreurs sont possibles. Un faux rejet refuse la vraie personne. Une fausse acceptation laisse entrer quelqu’un d’autre. Augmenter le seuil réduit les fausses acceptations, mais augmente les faux rejets. Aucun réglage n’élimine les deux.

Le cours a enregistré la référence de Chloe avec trois phrases (« Thank you for calling Larkfield. », « I can help with that. », « Is there anything else I can help with? »). Les voix ont lu chaque phrase elles-mêmes, sur la ligne téléphonique. Le modèle de locuteur du projet (WeSpeaker ResNet-34) a transformé chacune en plongement. Le cours a ensuite calculé les scores de trois nouvelles phrases de Chloe et de trois phrases de la voix semblable. Il a aussi testé une phrase pour chacune de 30 autres voix.

Phrase Chloe Voix semblable Acceptée à 0,7? (Chloe / semblable) À 0,8?
« Please hold while I check your order. » 0,855 0,854 oui / oui oui / oui
« Your order shipped on Monday. » 0,794 0,769 oui / oui non / non
« Have a good day. » 0,734 0,667 oui / non non / non
30 autres voix médiane 0,743, maximum 0,902 19 sur 30 acceptées 7 sur 30 acceptées

Lisez le tableau ligne par ligne. Pour la première phrase, la voix semblable et Chloe obtiennent presque le même score (0,854 et 0,855). Les phrases courtes donnent des scores plus bas pour tout le monde. La courte phrase « Have a good day » donne seulement 0,734 à Chloe, son score le plus bas. Et l’une des 30 autres voix obtient 0,902, un score supérieur à celui de toutes les phrases de Chloe.

Le graphique montre la proportion de paroles acceptées par le contrôle à chaque seuil, pour les trois groupes.

  • Chloe elle-même (devrait être acceptée)
  • La voix semblable (devrait être refusée)
  • 30 autres voix (devraient être refusées)
Un contrôle du locuteur avec Chloe comme référence, sur les voix synthétiques de Larkfield transmises par téléphone (mesuré; plongements WeSpeaker). Aucun seuil n'accepte Chloe tout en refusant les autres. Chaque point pour Chloe et la voix semblable ne représente que 3 phrases.
Description textuelle du graphique

Un graphique en courbes avec le seuil de 0,5 à 0,9 sur l’axe horizontal et la proportion acceptée sur l’axe vertical. Chloe : 100 % à 0,5, 0,6 et 0,7, puis 33 % à 0,8 et 0 % à 0,9. La voix semblable : 100 % à 0,5 et 0,6, 67 % à 0,7, 33 % à 0,8, 0 % à 0,9. Les 30 autres voix : 97 % à 0,5, 90 % à 0,6, 63 % à 0,7, 23 % à 0,8, 3 % à 0,9. Les courbes de Chloe et de la voix semblable se superposent presque.

  • À 0,7, Chloe réussit 3 fois sur 3. C’est aussi le cas de 2 phrases sur 3 de la voix semblable et de 19 autres voix sur 30.
  • À 0,8, Chloe réussit seulement 1 fois sur 3, et 7 autres voix sur 30 réussissent encore.
  • À 0,9, Chloe ne réussit jamais, et 1 autre voix réussit encore.

Sur ces voix synthétiques transmises par téléphone, le contrôle du locuteur est faible à chaque seuil. La ligne téléphonique retire une grande partie de ce qui rend une voix unique : seules les fréquences de 300 à 3 400 Hz restent. Les phrases courtes portent aussi peu d’information sur la voix. Les voix réelles pourraient se distinguer mieux ou moins bien. Le cours n’a pas testé de personnes réelles, par choix. Des nombres aussi petits (3 phrases) sont un avertissement, pas une mesure d’un produit.

Le carnet répète le contrôle sur l’audio des appels, avec les tours de parole de Chloe tirés de plusieurs appels. Il montre le même résultat : d’autres appelants réussissent aux seuils où Chloe réussit.

Un contrôle du locuteur peut quand même servir : comme un signal parmi plusieurs. Repensez à l’employée de banque. La voix familière l’a un peu rassurée, mais le numéro de compte et le code ont déterminé la décision.

Un appelant demande une action risquée, comme changer le courriel ou envoyer un remboursement. Trois signaux alimentent une décision : le score vocal, la similarité cosinus avec la voix de référence; quelque chose qu'il connaît, le numéro de commande et le code postal concordent; quelque chose qu'il possède, un code à usage unique envoyé au courriel au dossier. Assez de signaux pour cette action? Oui : faites-la et consignez les signaux validés. Non ou incertain : transférez à une personne, ne refusez jamais en silence.
Le score vocal est une entrée de la décision, jamais la seule clé. Les actions risquées exigent quelque chose que l'appelant connaît et quelque chose qu'il possède.
Description textuelle du diagramme

Un appelant demande une action risquée, comme changer le courriel du compte ou envoyer un remboursement. Trois signaux alimentent une seule décision. Signal 1, le score vocal : la similarité cosinus avec la voix de référence. Signal 2, quelque chose qu’il connaît : le numéro de commande et le code postal concordent. Signal 3, quelque chose qu’il possède : un code à usage unique envoyé au courriel que Larkfield possède déjà. La décision pose la question : y a-t-il assez de signaux pour cette action? Si oui, faites-la et consignez les signaux validés. Si non ou incertain, transférez à une personne. Ne refusez jamais en silence.

Pour Larkfield, les règles sont simples :

  • L’état d’une commande et les heures d’ouverture ne nécessitent aucune vérification d’identité. Le SVI donne l’état d’une commande seulement à quelqu’un qui possède son numéro à 6 chiffres. Ce numéro comprend un chiffre de contrôle.
  • Une modification du compte ou un remboursement exige quelque chose que l’appelant connaît et quelque chose qu’il possède, comme un code à usage unique. Le score vocal peut ajouter un indice. Un score bas peut faire transférer l’appel à une personne. Un score élevé ne permet jamais de sauter une étape.
  • Les empreintes vocales sont des données personnelles sensibles. De nombreuses lois les traitent comme des données biométriques, avec des règles strictes. Par exemple, le RGPD de l’UE range les « données biométriques aux fins d’identifier une personne physique de manière unique » parmi les catégories particulières de données de l’article 9, paragraphe 1. Ces données peuvent être traitées seulement dans les conditions de l’article 9, paragraphe 2. Enregistrez la référence d’un appelant seulement avec son autorisation explicite. Conservez l’empreinte vocale comme un mot de passe et supprimez-la à sa demande. Le tableau de conservation de la leçon précédente comprend une ligne pour elle.

Le cours Sécurité de l’IA, vie privée et conception responsable enseigne une méthode pour cela. Listez ce que vous protégez et qui pourrait l’attaquer dans Actifs et acteurs, puis Prioriser les menaces. Pour une ligne vocale, les tentatives habituelles sont :

Tentative Exemple Ce qui l’arrête
Rejeu faire jouer un enregistrement du vrai client un code à usage unique; des questions qui changent à chaque appel
Voix clonée une voix de synthèse créée à partir d’une vidéo du client ne jamais laisser un score vocal autoriser une action à lui seul
Ingénierie sociale « Je suis pressé, changez-le, s’il vous plaît » des règles fixes : le SVI et l’agent ne peuvent pas sauter d’étapes
Recherche de données « Lisez-moi l’adresse de la commande 742155 » le SVI ne relit jamais les adresses ni les autres données personnelles

L’abus peut aussi venir de l’autre côté : la machine d’une entreprise se fait passer pour une personne. Les appelants ont le droit de savoir à qui, ou à quoi, ils parlent. Certaines lois l’exigent. Par exemple, selon l’article 50, paragraphe 1, du règlement de l’UE sur l’intelligence artificielle, les personnes doivent être « informées qu’elles interagissent avec un système d’IA », sauf si c’est évident. Vérifiez les règles là où vous exercez vos activités.

Le SVI de Larkfield le dit dès sa première phrase. Voici un passage de la réexécution enregistrée des appels de test du SVI :

« Welcome to Larkfield. You are talking to an automated assistant. For English, say English or press 1. Pour le français, dites français ou appuyez sur 2. »

Trois autres règles en découlent :

  • L’agent vocal ne doit jamais prétendre être une personne, même si un appelant demande « Êtes-vous une vraie personne? ». Il dit ce qu’il est et propose un transfert à une personne.
  • Les messages utilisent des voix synthétiques ouvertes dont les licences permettent cet usage (module 7). N’utilisez jamais la voix d’une personne réelle, comme un employé ou un acteur, sans son autorisation écrite pour cet usage précis.
  • Appuyer sur 0 ou dire « person » mène toujours à une personne, comme dans Tester le serveur vocal comme un produit.

Omar veut permettre les remboursements par téléphone en dehors des heures d’ouverture. Utilisez les nombres ci-dessus. Laquelle de ces règles accepteriez-vous, et pourquoi?

  1. Accepter si le score vocal est de 0,8 ou plus.
  2. Accepter si le score vocal est de 0,7 ou plus et si le numéro de commande est correct.
  3. Accepter si le numéro de commande est correct et si l’appelant relit un code à usage unique envoyé au courriel du compte. Transférer à une personne si le score vocal est inférieur à 0,5.
Afficher la réponse

La règle 3. La règle 1 accepte 7 autres voix sur 30 parmi nos voix synthétiques et refuse la vraie Chloe 2 fois sur 3. La règle 2 accepte encore toute personne qui possède un numéro de commande et une voix acceptée à 0,7. C’était le cas de 19 autres voix sur 30. Les numéros de commande figurent aussi sur les bons de livraison et dans les courriels. La règle 3 utilise quelque chose que l’appelant connaît et quelque chose qu’il possède. La voix sert seulement à transférer les appels douteux à une personne. À 0,5, Chloe n’a jamais échoué, donc elle n’est pas dérangée.

Erreur courante

Augmenter le seuil pour arrêter les imposteurs

Symptôme : le contrôle acceptait d’autres voix, alors l’équipe a augmenté le seuil à 0,8. Maintenant, les clients se plaignent que la ligne les refuse.

Cause : pour ces voix, les scores du vrai locuteur et ceux des autres locuteurs se chevauchent. À 0,8, Chloe a réussi pour 1 phrase sur 3, et 7 autres voix sur 30 ont encore réussi. Un seuil plus élevé déplace les erreurs; il ne les élimine pas.

Correction : gardez le seuil à un niveau où les vrais clients réussissent. Ne laissez pas le score vocal décider de quoi que ce soit d’important. Ajoutez un deuxième facteur pour les actions risquées.

Erreur courante

Tester avec les phrases de référence

Symptôme : le contrôle du locuteur semble excellent au test : le vrai locuteur obtient toujours un score supérieur à 0,95.

Cause : le test utilisait les mêmes phrases que l’enregistrement de référence, ou les mêmes mots (« Thank you for calling Larkfield »). Les plongements des mêmes mots sont plus proches, peu importe qui parle. Un attaquant ne prononce pas la phrase de référence pour vous.

Correction : testez avec d’autres phrases, d’autres jours, d’autres lignes et des réponses courtes. Présentez séparément les fausses acceptations et les faux rejets, avec le nombre de tests.

Vérifiez votre compréhension

Tomás dit : « On peut enregistrer la voix de chaque appelant et laisser tomber le numéro de commande. Chaque voix est unique. » Répondez-lui avec les chiffres du cours.

Afficher la réponse

Sur les voix synthétiques de Larkfield transmises par la ligne téléphonique, un contrôle configuré pour Chloe a accepté 19 autres voix sur 30. Le seuil était de 0,7. À 0,8, il en acceptait encore 7 sur 30. Il n’a accepté Chloe elle-même qu’une fois sur trois. Une autre voix a obtenu un score de 0,902, supérieur à celui de toutes les phrases de Chloe. Les voix sont peut-être uniques, mais une ligne téléphonique et des phrases courtes masquent une grande partie de leurs particularités. Et un clone est conçu pour ressembler à sa cible. La voix peut servir de signal parmi d’autres. Le numéro de commande, ou mieux, un code à usage unique, doit rester le critère décisif.

Vérifiez votre compréhension

La « voix clonée » du cours a obtenu un score de 0,952 par rapport à Chloe. Pourquoi la leçon refuse-t-elle de l'appeler un clone, et pourquoi est-ce important pour la conclusion?

Afficher la réponse

Aucune voix n’a été clonée. C’est la voix la plus proche que le cours a trouvée parmi des voix synthétiques ouvertes. Elle ressemble à Chloe par hasard. Le cours ne clone aucune voix et n’enregistre aucune personne réelle, par choix. C’est important, car un vrai clone est conçu pour ressembler à sa cible. Nous n’en avons pas mesuré. Nous ne devons donc pas affirmer qu’un clone échouerait au contrôle. La seule conclusion sûre est que même une voix ressemblante par hasard réussit un contrôle faible.

Vérifiez votre compréhension

Quelles trois choses le SVI et l'agent vocal de Larkfield doivent-ils faire pour que les appelants sachent qu'ils parlent à une machine et puissent joindre une personne?

Afficher la réponse

D’abord, annoncez-le au début : « You are talking to an automated assistant. » (vous parlez à un assistant automatisé). Ensuite, ne prétendez jamais être une personne, même si on vous le demande. Proposez plutôt de joindre une personne. Enfin, permettez toujours à l’appelant de joindre une personne en appuyant sur 0 ou en disant « person ». Utilisez aussi uniquement des voix avec une autorisation et une licence pour cet usage. N’utilisez jamais la voix d’une personne réelle sans son autorisation écrite.

Récapitulatif

  • Vérification du locuteur : enregistrez une empreinte vocale, calculez le score d’une nouvelle parole avec la similarité cosinus, puis acceptez selon un seuil. Les fausses acceptations et les faux rejets évoluent en sens opposés.
  • Sur les voix synthétiques de Larkfield transmises par la ligne téléphonique, le contrôle était faible à tous les seuils. À 0,7 : Chloe, 3 sur 3; autres voix, 19 sur 30. À 0,8 : Chloe, 1 sur 3; autres voix, 7 sur 30.
  • La « voix clonée » est la voix synthétique la plus proche que nous avons trouvée (similarité cosinus de 0,952), pas un clone. Aucune voix n’a été clonée.
  • Un signal parmi d’autres, jamais le seul : les actions risquées exigent quelque chose que l’appelant connaît et quelque chose qu’il possède. Les empreintes vocales sont des données sensibles.
  • Dites aux appelants qu’ils parlent à une machine. Ne prétendez jamais être une personne et proposez toujours de joindre une personne.

Le système est maintenant sûr dès sa conception. Mais il ne restera pas bon tout seul : les appelants, les produits et les lignes téléphoniques changent. Ensuite, nous décidons quoi surveiller chaque jour, chaque semaine et chaque mois.

Leçon suivante : Surveiller le système