Voyez comment un réseau de neurones apprend, d'un seul neurone jusqu'à un petit transformeur. Vous entraînez un réseau qui oriente les billets de soutien de Larkfield, vous découvrez pourquoi son entraînement tourne mal et vous le corrigez. Puis vous ouvrez un vrai modèle de langage préentraîné pour voir ce qu'il contient.
Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.
Inscrivez-vous pour enregistrer les leçons que vous terminez. C'est gratuit.
À la fin de ce cours, vous pourrez :
L’apprentissage profond fait fonctionner les outils d’image, de parole et de langage que vous utilisez tous les jours. De l’extérieur, cela peut sembler magique. De l’intérieur, ce sont quelques idées simples répétées de nombreuses fois : des sommes pondérées, une mesure de l’erreur et de petits pas qui rendent l’erreur plus petite.
Dans ce cours, vous construisez ces idées une à la fois. Vous partez de la régression logistique que vous connaissez déjà et vous la transformez en réseau de neurones. Vous voyez comment le réseau apprend, pourquoi son entraînement échoue parfois, et comment trouver la cause à partir de preuves au lieu de deviner.
Le service d’assistance de Larkfield vous donne une seule tâche pour tout le cours : lire un billet et l’envoyer à la bonne équipe. Vous la résolvez avec un petit réseau, puis avec des plongements et l’attention, et enfin avec un tout petit transformeur que vous entraînez vous-même. Vous comparez chacun au modèle linéaire simple du cours d’apprentissage automatique, qui reste le meilleur pour orienter ces billets. Le tout petit transformeur est le plus faible, parce que quelques milliers de billets ne suffisent pas pour apprendre une langue à partir de rien. À la fin, vous ouvrez un vrai modèle de langage préentraîné, la réponse à ce problème. Vous lisez ses parties et vous mesurez ce que coûte son exécution.
Des diagrammes, des explorateurs interactifs et des résultats annotés portent les idées principales, ce qui garde le texte court. Chaque exemple s’exécute sur un ordinateur ordinaire, sans carte graphique.
Vous avez suivi les cours Python pour l'ingénierie de l'IA en pratique, Mathématiques et statistiques essentielles pour l'IA, et Apprentissage automatique : du problème à un modèle fiable, ou vous avez les mêmes compétences. Il vous faut un compte Google ou Kaggle gratuit pour les carnets (notebooks), ou Python 3.12 ou une version plus récente sur votre ordinateur. Tout s'exécute sur un ordinateur ordinaire, sans carte graphique, et tous les outils sont gratuits.
Cours à suivre avant : Python pour l'ingénierie de l'IA en pratique, Mathématiques et statistiques essentielles pour l'IA, Apprentissage automatique : du problème à un modèle fiable.
Les personnes qui ont terminé le cours Apprentissage automatique : du problème à un modèle fiable, ou qui ont les mêmes bases, et qui veulent comprendre comment fonctionnent vraiment les réseaux de neurones et les transformeurs. Nouveaux diplômés et professionnels qui passent à des rôles en IA.
Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours
Découvrez ce qu'est un réseau de neurones, à partir de la régression logistique du cours d'apprentissage automatique. Un neurone est une somme pondérée, une couche est un groupe de neurones, et les fonctions d'activation permettent au réseau de tracer des frontières courbes qu'une seule droite ne peut pas tracer.
Découvrez les tenseurs, les tableaux qui contiennent tous les nombres qu'un réseau utilise, et apprenez à lire leur forme. Installez PyTorch, vérifiez qu'il fonctionne et faites passer les billets de Larkfield dans un premier réseau non entraîné.
Voyez comment un réseau apprend. Mesurez à quel point il se trompe avec une perte, descendez la pente avec la descente de gradient, renvoyez la responsabilité de l'erreur vers l'arrière avec la rétropropagation, puis réunissez ces étapes dans une boucle d'entraînement que vous vérifiez sur des données mises de côté.
Découvrez pourquoi l'entraînement tourne mal et comment le corriger. Lisez les courbes d'un mauvais taux d'apprentissage, contrôlez le surapprentissage et déboguez une expérience qui ne fonctionne pas, étape par étape, à partir de preuves.
Transformez des mots en vecteurs avec les jetons (tokens) et les plongements (embeddings). Voyez où un sac de mots échoue parce que l'ordre et le contexte comptent, et calculez l'attention à la main sur de très petites matrices.
Assemblez un bloc de transformeur à partir de l'attention, d'une couche à propagation avant, de connexions résiduelles et de la normalisation. Ajoutez les positions et les masques, entraînez un tout petit transformeur sur les billets, et comparez les deux façons dont les modèles de langage apprennent à partir de texte brut.
Ouvrez un petit modèle de langage préentraîné. Séparez l'entraînement de l'inférence, mesurez ce que la génération coûte en mémoire et en temps, et documentez une expérience pour qu'une autre personne puisse la refaire.
Approfondissez les mathématiques derrière les idées du cours. Transformez du texte en vecteurs avec des comptes, TF-IDF et des plongements, voyez comment word2vec et GloVe apprennent le sens des mots à partir de texte brut, écrivez l'attention sous forme matricielle, et suivez pas à pas le transformeur original de 2017. Facultatif : ces leçons ne sont pas obligatoires pour le certificat.
Quatre études de cas de bout en bout sur des données ouvertes. Classez des images de vêtements, comparez un réseau de neurones au gradient boosting sur un tableau de données, faites le réglage fin d'un petit transformeur et entraînez un tout petit modèle de langage. Terminez-en au moins une pour obtenir le certificat. Chacune peut entrer dans votre portfolio.
Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune
Utilisez tous les modules dans un projet pratique. Vous recueillez des preuves, puis vous les comparez aux objectifs du cours.
Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.
Classer des images de vêtements2 h
Entraîner et diagnostiquer un petit réseau sur Fashion-MNIST, du début à la fin : une référence de base, des courbes d'entraînement, une matrice de confusion, les erreurs du réseau et un modèle enregistré et reproductible.
Réseau profond ou gradient boosting?2 h
Comparer un réseau de neurones et le gradient boosting sur un jeu de données tabulaires ouvert, avec la même séparation et la même métrique, puis décider honnêtement si le réseau vaut son coût.
Faire le réglage fin d'un petit transformeur2 h
Adapter un petit transformeur préentraîné à une tâche de classification de texte sur des données ouvertes, le comparer à un modèle entraîné à partir de zéro et mesurer ce que le préentraînement apporte.
Entraîner un tout petit modèle de langage2 h
Entraîner un transformeur au niveau des caractères sur des textes du domaine public par prédiction du jeton suivant, observer ses échantillons s'améliorer pendant l'entraînement et mesurer la perte sur un texte mis de côté.
D'autres personnes enseignent bien ce sujet. Nous avons choisi ces ressources pour accompagner ce cours. Elles s'ouvrent sur d'autres sites.Voir tous les choix de la communauté
Cours · 1 h 16 minDeepLearning.AI · Josh Starmer
Pourquoi nous le recommandonsJosh Starmer explains attention one step at a time, with simple pictures. Then you write it in PyTorch. Take it when you know basic Python and what a matrix is.
ChaîneYouTube · Luis Serrano
Pourquoi nous le recommandonsLuis Serrano explains machine learning, the mathematics behind it and how transformers work, with simple pictures and friendly examples. He is the author of Grokking Machine Learning. A good partner to our mathematics and machine learning courses.
Chargement des avis…
Vous avez suivi ce cours? Connectez-vous pour donner votre avis. Vous pouvez donner un avis après avoir terminé 25 % des leçons.
