Observabilité des agents d'IA : traces, coûts et pistes d'audit
Voyez ce que font vos agents d'IA, ce qu'ils coûtent et qui a approuvé chaque changement. Instrumentez un flux de travail du soutien en production avec OpenTelemetry, trouvez les défaillances des agents dans les traces, répartissez le coût par modèle et par étape, et tenez une piste d'audit qui répond à « pourquoi l'agent a-t-il fait cela ? ».
Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.
Inscrivez-vous pour enregistrer les leçons que vous terminez. C'est gratuit.
Vous êtes inscrit. Dès maintenant, les leçons que vous terminez sont enregistrées.
Pour obtenir votre certificat, marquez chaque vérification des connaissances comme concordante. Ces leçons ont des vérifications à terminer :
Ce cours est-il le bon pour vous?Ce que ce cours couvre et ne couvre pas, et 5 autres cours pour d'autres besoins.
Ce cours enseigne à observer des agents d'IA en production : OpenTelemetry pour les exécutions à plusieurs étapes, les approbations et les passages de relais, les défaillances propres aux agents, le coût par exécution et par ticket résolu, et une piste d'audit complète et inviolable. Il n'enseigne pas à construire l'agent, la télémétrie générale des services, les jeux d'évaluation ni les contrôles de plateforme eux-mêmes.
Expliquer ce qu'il faut enregistrer pour un agent (traces, métriques, événements, enregistrements d'audit) et ce qu'il ne faut pas enregistrer, et pourquoi un seul outil ne suffit pas.
Instrumenter un agent à plusieurs étapes qui utilise des outils avec OpenTelemetry et ses conventions GenAI, y compris les approbations qui mettent une exécution en pause et le travail réparti entre agents.
Trouver dans les traces les défaillances propres aux agents (boucles, erreurs d'outil cachées, écritures en double, succès sans action, instructions injectées suivies) et prouver la cause avec des preuves.
Attribuer le coût aux exécutions, aux étapes, aux clients et aux modèles, et fixer des budgets et des alertes qui mènent à une décision.
Tenir une piste d'audit complète, inviolable et à accès contrôlé, et répondre à une question d'audit à partir d'elle.
Envoyer la même télémétrie vers Grafana et Langfuse, choisir des outils pour une équipe avec des critères énoncés, et juger ce qu'une vue conçue pour les agents ajoute.
À propos de ce cours
Le flux de travail du soutien de Larkfield est en production. Chaque jour, il lit des tickets, consulte les commandes et la politique, propose des remboursements, des retours et des réexpéditions, attend l’approbation d’un agent, puis écrit. La semaine dernière, un client a été remboursé deux fois. Le tableau de bord est resté vert, et personne n’a pu dire quelle étape, quelle décision du modèle ou quelle personne en était la cause.
Dans ce cours, vous suivez Amira, la développeuse responsable du flux de travail, qui le rend observable. Vous enregistrez chaque exécution comme une seule trace avec OpenTelemetry, du ticket jusqu’à l’écriture, en passant par les appels de modèle, les appels d’outils et l’approbation. Vous envoyez les mêmes données à Grafana et à Langfuse, et vous tenez une piste d’audit séparée que personne ne peut modifier sans que cela se voie.
Ensuite, vous utilisez ce que vous avez enregistré. Vous trouvez des boucles, des erreurs d’outil cachées, des écritures en double et des instructions injectées dans les traces d’une semaine rejouée. Vous découvrez pourquoi le coût par ticket résolu a augmenté après un changement de modèle. Et vous répondez à la question de Grace : pourquoi avons-nous remboursé ce ticket deux fois ?
Tout fonctionne sur votre ordinateur, sans compte et sans clé. Chaque décision de modèle est un vrai enregistrement du cours sur les agents, rejoué. Les incidents d’exercice sont des cas que nous avons causés exprès, et chaque leçon dit quelles preuves sont rejouées et lesquelles sont simulées. Le texte des prompts, les données personnelles et les secrets ne quittent jamais l’application.
Avant de commencer
Vous avez terminé le cours sur les agents d'IA et l'orchestration des flux de travail, ou vous avez les mêmes compétences. Vous savez lire et modifier du Python, utiliser un terminal et lire du JSON. Les cours sur le MLOps, la gouvernance des agents et MCP aident mais ne sont pas obligatoires. Vous n'avez besoin ni d'un compte, ni d'une clé, ni d'argent. Grafana fonctionne dans Docker si vous le voulez, et chaque leçon fonctionne aussi avec la télémétrie sauvegardée. Langfuse est facultatif, dans un module, avec un compte gratuit.
Les ingénieurs en IA, les développeurs du serveur et les ingénieurs de plateforme ou d'exploitation qui font fonctionner des agents d'IA en production, et les responsables techniques qui doivent dire ce qu'un agent a fait, pourquoi, et ce que cela a coûté.
Vous dirigez ou utilisez l'IA, sans la créer?
Vous pouvez étudier les idées de ce cours sans écrire de code. Lisez les modules 1, 5 et 6 (environ 6–7 h), répondez à leurs vérifications des connaissances, et obtenez un certificat des notions gratuit. Vous pourrez revenir à la pratique plus tard.
Les parcours pour les personnes qui dirigent ou utilisent l'IA suivent ce cours de cette façon. Voir les parcours
Comment nous avons créé ce cours
Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours
Dans ce cours
Module 1NotionsPourquoi les agents ont besoin de leur propre observabilité
3 leçons
Pourquoi les agents ont besoin de leur propre observabilité. Vous découvrez un remboursement payé deux fois que personne ne peut expliquer, vous décidez quoi enregistrer et quoi garder dehors, et vous exécutez le flux de travail instrumenté sur votre ordinateur.
OpenTelemetry pour les agents. Vous apprenez les spans, les traces et le contexte, les conventions GenAI pour les exécutions d'agents, les appels de modèle et les appels d'outils, et le Collector qui masque, échantillonne et route hors de l'application.
Instrumenter le flux de travail. Vous enregistrez les appels de modèle, les appels d'outils avec leur clé d'idempotence, les approbations qui mettent une exécution en pause pendant la nuit, les passages de relais entre agents et à travers MCP, et vous reliez les traces de l'application aux enregistrements de la passerelle.
Module 4Trouver les défaillances des agents dans Grafana
4 leçons
Trouver les défaillances des agents dans Grafana. Vous lisez la cascade d'une exécution, vous cherchez des exécutions par leur structure avec TraceQL, vous trouvez les cinq modèles de défaillance, et vous passez d'une trace aux métriques et aux événements autour.
Le coût. Vous calculez le coût par exécution et par étape avec une table de prix datée, vous le répartissez par modèle, par sous-ensemble et par client sans faire exploser les métriques, et vous fixez des alertes de budget qui mènent aux exécutions responsables.
Pistes d'audit. Vous enregistrez les propositions, les approbations, les refus, les écritures et l'accès aux données avec un schéma fixe, vous les gardez dans un stockage en ajout seul avec une chaîne de hachage, et vous répondez à la question d'audit sur le double remboursement.
Alertes, niveaux de service et qualité. Vous choisissez des niveaux de service pour un agent, vous écrivez des alertes qui se déclenchent sur leur scénario et restent calmes pendant une semaine saine, et vous ajoutez une revue humaine par échantillon avec des notes sur les traces.
Module 8Outils : Langfuse, les autres et l'inspecteur d'exécutions
3 leçons
Les outils. Vous envoyez les mêmes traces masquées à Langfuse, vous comparez des outils pour une équipe sur des critères énoncés, et vous visitez l'inspecteur d'exécutions pour voir ce qu'une vue conçue pour les agents ajoute.
Dernier module · choisissez-en au moins uneÉtudes de cas
3 études de cas
Trois études de cas complètes sur des données ouvertes. Trouvez des défaillances dans des exécutions d'agents publiques, mesurez le coût d'un agent de programmation, et concevez les enregistrements qui auraient répondu à un cas public. Terminez-en au moins une pour obtenir le certificat. Chacune peut entrer dans votre portfolio.
Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune
Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.
Convertir un ensemble ouvert d'exécutions d'agents de service client en OpenTelemetry, les charger dans Grafana, et compter les défaillances avec des preuves.
Mesurer le coût par tâche, par étape et par résultat sur des trajectoires ouvertes d'agents de programmation, et proposer un budget et une limite d'étapes.