IA de la parole : transcrire, comprendre et parler
Transformez les appels téléphoniques en texte et en décisions, et construisez une ligne téléphonique qui répond toute seule. Mesurez honnêtement la reconnaissance de la parole sur un audio de qualité téléphonique, comparez les détecteurs de voix, les systèmes de reconnaissance, la séparation des locuteurs et les voix sur les mêmes appels, construisez un petit serveur vocal interactif qui comprend la parole et les fréquences vocales du clavier, et comparez-le à un agent vocal.
Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.
Inscrivez-vous pour enregistrer les leçons que vous terminez. C'est gratuit.
Vous êtes inscrit. Dès maintenant, les leçons que vous terminez sont enregistrées.
Pour obtenir votre certificat, marquez chaque vérification des connaissances comme concordante. Ces leçons ont des vérifications à terminer :
Ce cours est-il le bon pour vous?Ce que ce cours couvre et ne couvre pas, et 4 autres cours pour d'autres besoins.
Ce cours enseigne la parole comme un système d'affaires : l'audio comme des données, la mesure honnête de la reconnaissance de la parole, la détection d'activité vocale, des systèmes de reconnaissance locaux comparés par tranche, la séparation des locuteurs et les temps des mots, les motifs d'appel, les résumés et les contrôles de conformité tirés des transcriptions, la synthèse vocale, un petit serveur vocal interactif avec la parole et les fréquences vocales du clavier que vous construisez et testez, un agent vocal avec un budget de latence, et les risques des voix pour la confidentialité et les abus. Il n'enseigne pas comment les réseaux de neurones et les transformeurs apprennent, la conception de requêtes depuis le début, ni la plateforme qui déploie et surveille les modèles.
Décrire l'audio comme des données (fréquence d'échantillonnage, canaux, résolution, codecs, intensité sonore, spectrogrammes) et préparer de vrais enregistrements pour les modèles de parole sans perdre d'information.
Mesurer honnêtement la reconnaissance de la parole : le taux d'erreur sur les mots et sur les caractères après une normalisation écrite, par tranche, avec les erreurs qui comptent pour l'entreprise comptées à part.
Construire et comparer des méthodes de détection d'activité vocale, de reconnaissance de la parole, de diarisation et de synthèse vocale sur le même audio, et en choisir une selon l'erreur, la vitesse, le coût et la confidentialité.
Transformer des transcriptions en décisions (motif d'appel, résumé, contrôles de conformité, mots-clés) et savoir quand les erreurs de transcription faussent la décision.
Construire un petit serveur vocal interactif qui comprend la parole et les fréquences vocales du clavier, confirme ce qu'il a entendu et transfère l'appel à une personne, et le tester avec des appels enregistrés.
Concevoir un agent vocal avec un budget de latence, la diffusion en continu, la prise de parole et les interruptions, le comparer au serveur vocal sur les mêmes appels, et choisir à partir de preuves.
Exploiter la parole en production : traitement par lots et en continu, coût par heure d'audio, caviardage des données personnelles dans le texte et l'audio, consentement et conservation, et les risques du clonage de voix et de la vérification du locuteur.
À propos de ce cours
Le centre d’assistance de Larkfield reçoit environ 4 000 appels téléphoniques par mois, en anglais et en français. Les appels sont enregistrés avec le consentement des appelants, mais personne ne peut y faire de recherche. Personne ne sait pourquoi la plupart des gens appellent, quelles promesses les agents ont faites, ni quels appels demandent un suivi. La nuit, le téléphone sonne dans le vide.
Dans ce cours, vous suivez Priya, la scientifique des données de Larkfield, Grace, la responsable du soutien, et Malik, l’ingénieur en téléphonie, qui transforment les appels en décisions. Vous commencez par mesurer : vous construisez des données de test, vous écrivez un guide de normalisation, et vous comptez à part du score global les erreurs qui comptent, comme un mauvais numéro de commande. Vous testez chaque méthode de la même façon, sur les mêmes appels, dans un seul tableau de comparaison. Dans l’étude de cas sur la détection de commandes, vous voyez un petit modèle spécialisé battre un grand modèle là où cela compte.
Ensuite, vous allez plus loin : des détecteurs de voix qui trouvent la parole et empêchent un système de reconnaissance d’inventer du texte dans le silence, des systèmes de reconnaissance locaux de différentes tailles sur le processeur d’un portable, la séparation des locuteurs, les motifs d’appel et les résumés tirés des transcriptions, et les contrôles de conformité.
Vous construisez un seul projet pendant le cours : le serveur vocal interactif (SVI) de Larkfield, une petite ligne téléphonique que vous appelez depuis un téléphone de test dans votre navigateur. Il comprend la parole et les fréquences vocales du clavier, relit le numéro de commande qu’il a entendu, redemande après un échec et transfère l’appel à une personne après deux. Vous le testez avec des appels enregistrés, puis vous le comparez à un agent vocal et à un hybride sur les mêmes appels. Vous terminez par le travail de production : le coût par heure d’audio, les numéros de carte retirés du texte et de l’audio, le consentement et la conservation, et pourquoi une voix n’est pas un mot de passe. Chaque appel de Larkfield est synthétique, créé avec des voix de synthèse vocale ouvertes; aucun vrai appel de client n’est utilisé.
Avant de commencer
Vous avez terminé le cours Apprentissage automatique : du problème à un modèle fiable, ou vous avez les mêmes compétences. Vous savez lire et modifier du code Python, utiliser des carnets (notebooks) et un terminal, et lire du JSON, et vous connaissez les données de test, la précision et le rappel, les seuils et les tranches. Les cours d'apprentissage profond et d'API de LLM aident mais ne sont pas obligatoires. Vous avez besoin de Python 3.12 sur votre ordinateur, ou d'un compte Google ou Kaggle gratuit pour les carnets, et d'écouteurs. Vous n'avez besoin ni de clé, ni de carte graphique, ni d'argent.
Les ingénieurs en IA et en apprentissage automatique, les développeurs backend et les scientifiques des données qui doivent transformer la parole en texte et en décisions, par exemple pour des centres d'appels, des réunions, des notes vocales ou des sous-titres, ou construire une ligne téléphonique ou un assistant vocal, et les responsables techniques qui doivent choisir entre des modèles de parole locaux et hébergés.
Comment nous avons créé ce cours
Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours
Dans ce cours
Module 1Le problème de la parole et son coût
3 leçons
Le problème de la parole et son coût. Vous chiffrez les erreurs sur 4 000 appels par mois, vous voyez le son comme des nombres et pourquoi une ligne téléphonique perd des sons, et vous préparez le projet de parole avec un appel et sa référence.
Mesurer avant de choisir. Le taux d'erreur sur les mots et sur les caractères étape par étape, un guide de normalisation écrit, et les erreurs qui comptent le plus, les numéros de commande, les noms de produits et les négations, comptées à part par tranche.
Module 3Trouver la parole : la détection d'activité vocale
3 leçons
Trouver la parole. Un seuil d'énergie, WebRTC VAD et Silero VAD comparés sur la musique d'attente et les conversations en arrière-plan, et comment couper le silence empêche le texte inventé et réduit le coût.
Module 4Reconnaissance de la parole : comparer les familles
5 leçons
Reconnaissance de la parole : comparer les familles. Vosk et les tailles de Whisper sur le processeur d'un portable selon l'erreur, la vitesse et la mémoire, les services hébergés, le vocabulaire de Larkfield, et deux langues sur des lignes bruyantes.
Module 5Qui a parlé et quand : diarisation et temps des mots
4 leçons
Qui a parlé et quand. Les locuteurs séparés par canal, les plongements de locuteur et le regroupement sur les appels mono, les pipelines préentraînés et leurs conditions, et les temps des mots qui disent qui a dit quoi et quand.
De la transcription à la décision. Les motifs d'appel par des règles, un classificateur et un LLM, des résumés structurés vérifiés par rapport à l'appel, et les phrases de conformité trouvées dans la transcription et dans l'audio.
Module 7Construire un petit serveur vocal interactif
6 leçons
Construire un petit serveur vocal interactif. Un menu téléphonique comme une carte des états, des voix pour les messages, les fréquences vocales du clavier, la parole avec le clavier comme solution de repli, les numéros de commande relus et confirmés, un transfert à un agent après deux échecs, et des appels de test enregistrés.
Du serveur vocal à l'agent vocal. Ce qu'un LLM ajoute et ce qu'il coûte, un budget de latence pour un tour de parole, la prise de parole et les interruptions, l'évaluation d'un agent vocal comme un tout, et le serveur vocal, l'agent et un hybride sur les mêmes appels.
L'exploiter en production, en sécurité. Le traitement par lots et en continu, le coût par heure d'audio, les numéros de carte retirés du texte et de l'audio, le consentement et la conservation, le clonage de voix et le contrôle du locuteur, et la surveillance du système dans le temps.
Dernier module · choisissez-en au moins uneÉtudes de cas
4 études de cas
Quatre études de cas complètes sur de la vraie parole ouverte. Des systèmes de reconnaissance pour deux langues, des transcriptions de réunions avec les locuteurs, la détection de commandes et un serveur vocal pour des demandes bancaires dites à voix haute. Terminez-en au moins une pour obtenir le certificat. Chacune peut entrer dans votre portfolio.
Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune
Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.
Comparez Vosk et des tailles de Whisper sur de la vraie parole en anglais et en français d'un jeu de données ouvert, par groupe de locuteurs, et recommandez-en un selon l'erreur, la vitesse et le coût.
Faites la diarisation et la transcription de vraies réunions enregistrées d'un corpus ouvert, mesurez le DER et le WER, et rédigez des notes avec les tâches à faire.
Construisez un détecteur de mots-clés sur un jeu ouvert de commandes vocales, comparez un petit CNN sur des spectrogrammes avec Whisper tiny, et mesurez les fausses alertes par heure.
Construisez un serveur vocal à menu et à parole pour les demandes courantes d'une banque, testez-le avec des enregistrements ouverts d'intentions par groupe de locuteurs, et comparez des règles par mots-clés, un classificateur et un LLM pour l'étape de l'intention.
Avis
Chargement des avis…
Vous avez suivi ce cours? Connectez-vous pour donner votre avis. Vous pouvez donner un avis après avoir terminé 25 % des leçons.