Gardez un service d'IA utile pour ses utilisateurs après sa mise en production. Vous rendez le service de tickets de Larkfield exploitable, un module à la fois, avec des responsables, des objectifs, des versions, de la télémétrie, une surveillance, des mises en production sûres et des procédures, et vous détectez une mauvaise version avant que les clients ne vous la signalent.
Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.
Inscrivez-vous pour enregistrer les leçons que vous terminez. C'est gratuit.
À la fin de ce cours, vous pourrez :
Le service de tickets de Larkfield est en production. Les clients envoient des tickets, un assistant d’IA choisit l’équipe, décide si une personne doit traiter le ticket et rédige une réponse. Le tableau de bord indique que le service est disponible 99,9 % du temps. Mais la semaine dernière, des clients ont attendu deux jours une réponse à des tickets de sécurité, et personne ne l’a remarqué. Grace demande : « Comment saurions-nous que l’assistant laisse tomber nos clients, avant qu’ils nous le disent ? »
Dans ce cours, vous répondez à la question de Grace. D’abord, vous listez ce dont le service dépend et qui est responsable de chaque partie, et vous transformez « fonctionner » en objectifs mesurables. Ensuite, vous donnez un identifiant de version à chaque réponse, pour retrouver les versions du code, des données, du prompt et du modèle qui l’ont produite.
Puis vous ajoutez de la télémétrie : des traces, des métriques et des journaux qui suivent un ticket à travers tout le service, avec ses jetons, son coût et sa qualité, et sans texte privé. Vous surveillez les changements dans les entrées, dans les étiquettes qui arrivent plus tard et dans les documents que l’assistant cite.
Enfin, vous mettez en production un nouveau prompt avec une barrière et un canari, vous détectez sa défaillance, vous revenez en arrière et vous prouvez que le service s’est rétabli. Vous gérez une panne du fournisseur avec une procédure et vous rédigez l’analyse ensuite. Chaque chiffre du cours porte une étiquette : mesuré sur votre ordinateur, rejoué à partir de vraies réponses enregistrées, simulé, ou hypothèse annoncée.
Vous avez suivi les cours Évaluer et tester les systèmes d'IA, Déployer des modèles d'IA pour de vrais utilisateurs, CI/CD, tests et mises en production sûres, Bases de données et stockage pour les applications d'IA, et Mettre à l'échelle les API et les charges de travail d'IA, ou vous avez les mêmes compétences. Vous n'avez besoin ni d'un compte ni d'argent. Le fournisseur d'IA est simulé sur votre ordinateur, et ses réponses sont de vraies réponses enregistrées. Grafana tourne dans un seul conteneur Docker et reste facultatif : chaque leçon fonctionne aussi avec la télémétrie enregistrée.
Cours à suivre avant : Évaluer et tester les systèmes d'IA, Déployer des modèles d'IA pour de vrais utilisateurs, CI/CD, tests et mises en production sûres, Bases de données et stockage pour les applications d'IA, Mettre à l'échelle les API et les charges de travail d'IA.
Les personnes qui ont évalué un assistant d'IA, déployé un modèle derrière une API, construit une chaîne de mise en production, une base de données et une file d'attente, comme dans les cours Évaluer et tester les systèmes d'IA, Déployer des modèles d'IA pour de vrais utilisateurs, CI/CD, tests et mises en production sûres, Bases de données et stockage pour les applications d'IA, et Mettre à l'échelle les API et les charges de travail d'IA. Maintenant le service est en production et elles doivent savoir quand il ne sert plus ses utilisateurs. Les développeurs, ingénieurs en IA et scientifiques des données qui exploitent l'IA en production.
Vous pouvez étudier les idées de ce cours sans écrire de code. Lisez les modules 1, 4 et 6 (environ 5–7 h), répondez à leurs vérifications des connaissances, et obtenez un certificat des notions gratuit. Vous pourrez revenir à la pratique plus tard.
Certaines leçons de ces modules ne sont pas encore publiées. Le certificat des notions s'ouvre quand elles le sont.
Les parcours pour les personnes qui dirigent ou utilisent l'IA suivent ce cours de cette façon. Voir les parcours
Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours
Sachez ce que vous exploitez et ce que « fonctionner » veut dire. Vous faites tourner le service, vous listez chaque partie dont il dépend, vous transformez les parcours des utilisateurs en objectifs mesurables, et vous donnez un responsable à chaque partie et à chaque alerte.
Rendez chaque réponse traçable. Vous rédigez un manifeste de version qui relie le code, les données, les prompts, le modèle et l'index, vous comparez deux versions réglage par réglage, et vous gardez une trace des expériences et des décisions.
Voyez à l'intérieur du service. Vous ajoutez des traces, des métriques et des journaux avec OpenTelemetry, vous suivez un ticket de l'API jusqu'au modèle et retour, vous mesurez la qualité et le coût par version, et vous gardez le texte privé hors de la télémétrie.
Remarquez quand le comportement change. Vous testez la dérive des entrées avec une méthode annoncée, vous prévoyez des étiquettes qui arrivent tard, et vous surveillez les défaillances propres aux modèles de langage et à la recherche documentaire.
Mettez en production sans danger. Vous combinez les résultats d'évaluation avec des limites de coût et de latence dans une barrière de mise en production, vous déployez avec un canari et revenez en arrière avec des preuves, et vous choisissez la correction qui correspond à la cause.
Gérez les mauvais jours. Vous rédigez des procédures, vous gardez le service utile pendant une panne du fournisseur, vous vérifiez la reprise et vous tirez les leçons des incidents sans chercher de coupable.
Deux études de cas de bout en bout sur des sources publiques. Surveillez un modèle sur un jeu de données public qui change avec le temps, et analysez une panne publiée par un fournisseur dans le format du cours. Terminez-en au moins une pour obtenir le certificat. Chacune peut entrer dans votre portfolio.
Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune
Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.
Surveiller un modèle sur des données publiques qui changentBientôt
Entraîner un modèle simple sur les premiers mois d'un jeu de données public et daté, puis construire mois par mois sa surveillance de la dérive et des étiquettes tardives, et dire ce que cette surveillance peut prouver et ce qu'elle ne peut pas prouver.
Analyse post-incident d'une panne publiqueBientôt
Reconstruire la chronologie, la détection, l'atténuation et les actions préventives d'un rapport d'incident publié par un fournisseur, dans le format de procédure et d'analyse du cours.
Chargement des avis…
Vous avez suivi ce cours? Connectez-vous pour donner votre avis. Vous pouvez donner un avis après avoir terminé 25 % des leçons.
