Aller au contenu
English

IA de la parole : transcrire, comprendre et parler

Transformez les appels téléphoniques en texte et en décisions, et construisez une ligne téléphonique qui répond toute seule. Mesurez honnêtement la reconnaissance de la parole sur un audio de qualité téléphonique, comparez les détecteurs de voix, les systèmes de reconnaissance, la séparation des locuteurs et les voix sur les mêmes appels, construisez un petit serveur vocal interactif qui comprend la parole et les fréquences vocales du clavier, et comparez-le à un agent vocal.

Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.

Ce cours est-il le bon pour vous?Ce que ce cours couvre et ne couvre pas, et 4 autres cours pour d'autres besoins.

Ce cours enseigne la parole comme un système d'affaires : l'audio comme des données, la mesure honnête de la reconnaissance de la parole, la détection d'activité vocale, des systèmes de reconnaissance locaux comparés par tranche, la séparation des locuteurs et les temps des mots, les motifs d'appel, les résumés et les contrôles de conformité tirés des transcriptions, la synthèse vocale, un petit serveur vocal interactif avec la parole et les fréquences vocales du clavier que vous construisez et testez, un agent vocal avec un budget de latence, et les risques des voix pour la confidentialité et les abus. Il n'enseigne pas comment les réseaux de neurones et les transformeurs apprennent, la conception de requêtes depuis le début, ni la plateforme qui déploie et surveille les modèles.

Suivez un autre cours si vous voulez :

Ce que vous apprendrez

À la fin de ce cours, vous pourrez :

  • Décrire l'audio comme des données (fréquence d'échantillonnage, canaux, résolution, codecs, intensité sonore, spectrogrammes) et préparer de vrais enregistrements pour les modèles de parole sans perdre d'information.
  • Mesurer honnêtement la reconnaissance de la parole : le taux d'erreur sur les mots et sur les caractères après une normalisation écrite, par tranche, avec les erreurs qui comptent pour l'entreprise comptées à part.
  • Construire et comparer des méthodes de détection d'activité vocale, de reconnaissance de la parole, de diarisation et de synthèse vocale sur le même audio, et en choisir une selon l'erreur, la vitesse, le coût et la confidentialité.
  • Transformer des transcriptions en décisions (motif d'appel, résumé, contrôles de conformité, mots-clés) et savoir quand les erreurs de transcription faussent la décision.
  • Construire un petit serveur vocal interactif qui comprend la parole et les fréquences vocales du clavier, confirme ce qu'il a entendu et transfère l'appel à une personne, et le tester avec des appels enregistrés.
  • Concevoir un agent vocal avec un budget de latence, la diffusion en continu, la prise de parole et les interruptions, le comparer au serveur vocal sur les mêmes appels, et choisir à partir de preuves.
  • Exploiter la parole en production : traitement par lots et en continu, coût par heure d'audio, caviardage des données personnelles dans le texte et l'audio, consentement et conservation, et les risques du clonage de voix et de la vérification du locuteur.

À propos de ce cours

Le centre d’assistance de Larkfield reçoit environ 4 000 appels téléphoniques par mois, en anglais et en français. Les appels sont enregistrés avec le consentement des appelants, mais personne ne peut y faire de recherche. Personne ne sait pourquoi la plupart des gens appellent, quelles promesses les agents ont faites, ni quels appels demandent un suivi. La nuit, le téléphone sonne dans le vide.

Dans ce cours, vous suivez Priya, la scientifique des données de Larkfield, Grace, la responsable du soutien, et Malik, l’ingénieur en téléphonie, qui transforment les appels en décisions. Vous commencez par mesurer : vous construisez des données de test, vous écrivez un guide de normalisation, et vous comptez à part du score global les erreurs qui comptent, comme un mauvais numéro de commande. Vous testez chaque méthode de la même façon, sur les mêmes appels, dans un seul tableau de comparaison. Dans l’étude de cas sur la détection de commandes, vous voyez un petit modèle spécialisé battre un grand modèle là où cela compte.

Ensuite, vous allez plus loin : des détecteurs de voix qui trouvent la parole et empêchent un système de reconnaissance d’inventer du texte dans le silence, des systèmes de reconnaissance locaux de différentes tailles sur le processeur d’un portable, la séparation des locuteurs, les motifs d’appel et les résumés tirés des transcriptions, et les contrôles de conformité.

Vous construisez un seul projet pendant le cours : le serveur vocal interactif (SVI) de Larkfield, une petite ligne téléphonique que vous appelez depuis un téléphone de test dans votre navigateur. Il comprend la parole et les fréquences vocales du clavier, relit le numéro de commande qu’il a entendu, redemande après un échec et transfère l’appel à une personne après deux. Vous le testez avec des appels enregistrés, puis vous le comparez à un agent vocal et à un hybride sur les mêmes appels. Vous terminez par le travail de production : le coût par heure d’audio, les numéros de carte retirés du texte et de l’audio, le consentement et la conservation, et pourquoi une voix n’est pas un mot de passe. Chaque appel de Larkfield est synthétique, créé avec des voix de synthèse vocale ouvertes; aucun vrai appel de client n’est utilisé.

Avant de commencer

Vous avez terminé le cours Apprentissage automatique : du problème à un modèle fiable, ou vous avez les mêmes compétences. Vous savez lire et modifier du code Python, utiliser des carnets (notebooks) et un terminal, et lire du JSON, et vous connaissez les données de test, la précision et le rappel, les seuils et les tranches. Les cours d'apprentissage profond et d'API de LLM aident mais ne sont pas obligatoires. Vous avez besoin de Python 3.12 sur votre ordinateur, ou d'un compte Google ou Kaggle gratuit pour les carnets, et d'écouteurs. Vous n'avez besoin ni de clé, ni de carte graphique, ni d'argent.

Cours à suivre avant : Apprentissage automatique : du problème à un modèle fiable.

À qui s'adresse ce cours

Les ingénieurs en IA et en apprentissage automatique, les développeurs backend et les scientifiques des données qui doivent transformer la parole en texte et en décisions, par exemple pour des centres d'appels, des réunions, des notes vocales ou des sous-titres, ou construire une ligne téléphonique ou un assistant vocal, et les responsables techniques qui doivent choisir entre des modèles de parole locaux et hébergés.

Comment nous avons créé ce cours

Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours

Dans ce cours

Module 4Reconnaissance de la parole : comparer les familles

5 leçons

Reconnaissance de la parole : comparer les familles. Vosk et les tailles de Whisper sur le processeur d'un portable selon l'erreur, la vitesse et la mémoire, les services hébergés, le vocabulaire de Larkfield, et deux langues sur des lignes bruyantes.

  1. Du son au texte35 min
  2. Les tailles de Whisper sur un portable40 min
  3. Une API de reconnaissance hébergée25 min
  4. Aider le modèle avec vos mots35 min
  5. Accents, bruit et deux langues35 min

Module 7Construire un petit serveur vocal interactif

6 leçons

Construire un petit serveur vocal interactif. Un menu téléphonique comme une carte des états, des voix pour les messages, les fréquences vocales du clavier, la parole avec le clavier comme solution de repli, les numéros de commande relus et confirmés, un transfert à un agent après deux échecs, et des appels de test enregistrés.

  1. Ce qu'est un serveur vocal interactif, et pourquoi les entreprises en utilisent encore30 min
  2. La synthèse vocale pour les messages35 min
  3. D'abord un menu au clavier40 min
  4. Laisser les appelants dire ce qu'ils veulent40 min
  5. Nombres, confirmation et reprise40 min
  6. Tester le serveur vocal comme un produit40 min

Module 8Du serveur vocal à l'agent vocal

5 leçons

Du serveur vocal à l'agent vocal. Ce qu'un LLM ajoute et ce qu'il coûte, un budget de latence pour un tour de parole, la prise de parole et les interruptions, l'évaluation d'un agent vocal comme un tout, et le serveur vocal, l'agent et un hybride sur les mêmes appels.

  1. Là où un menu ne suffit plus30 min
  2. Le pipeline de l'agent vocal40 min
  3. Prise de parole et interruptions35 min
  4. Les modèles parole-parole et l'évaluation30 min
  5. Menu, agent ou les deux?40 min

Module 9L'exploiter en production, en sécurité

4 leçons

L'exploiter en production, en sécurité. Le traitement par lots et en continu, le coût par heure d'audio, les numéros de carte retirés du texte et de l'audio, le consentement et la conservation, le clonage de voix et le contrôle du locuteur, et la surveillance du système dans le temps.

  1. Par lots et en continu35 min
  2. Les données personnelles dans la voix40 min
  3. Clonage de voix, contrôle du locuteur et abus30 min
  4. Surveiller le système30 min

Dernier module · choisissez-en au moins uneÉtudes de cas

4 études de cas

Quatre études de cas complètes sur de la vraie parole ouverte. Des systèmes de reconnaissance pour deux langues, des transcriptions de réunions avec les locuteurs, la détection de commandes et un serveur vocal pour des demandes bancaires dites à voix haute. Terminez-en au moins une pour obtenir le certificat. Chacune peut entrer dans votre portfolio.

Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune

  1. Choisir un système de reconnaissance pour deux langues120 min
  2. Transcriptions de réunions avec les locuteurs150 min
  3. Détecter des commandes sur un petit appareil150 min
  4. Un serveur vocal pour des intentions dites à voix haute150 min

Après les études de casTravail final

Utilisez tous les modules dans un projet pratique. Vous recueillez des preuves, puis vous les comparez aux objectifs du cours.

  1. Travail final180 min

Études de cas

Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.

  1. Choisir un système de reconnaissance pour deux langues2 h

    Comparez Vosk et des tailles de Whisper sur de la vraie parole en anglais et en français d'un jeu de données ouvert, par groupe de locuteurs, et recommandez-en un selon l'erreur, la vitesse et le coût.

  2. Transcriptions de réunions avec les locuteurs2 h 30 min

    Faites la diarisation et la transcription de vraies réunions enregistrées d'un corpus ouvert, mesurez le DER et le WER, et rédigez des notes avec les tâches à faire.

  3. Détecter des commandes sur un petit appareil2 h 30 min

    Construisez un détecteur de mots-clés sur un jeu ouvert de commandes vocales, comparez un petit CNN sur des spectrogrammes avec Whisper tiny, et mesurez les fausses alertes par heure.

  4. Un serveur vocal pour des intentions dites à voix haute2 h 30 min

    Construisez un serveur vocal à menu et à parole pour les demandes courantes d'une banque, testez-le avec des enregistrements ouverts d'intentions par groupe de locuteurs, et comparez des règles par mots-clés, un classificateur et un LLM pour l'étape de l'intention.

Avis

Chargement des avis…

    Vous avez suivi ce cours? Connectez-vous pour donner votre avis. Vous pouvez donner un avis après avoir terminé 25 % des leçons.

    Partager ce cours