Aller au contenu
English

Observabilité des agents d'IA : traces, coûts et pistes d'audit

Voyez ce que font vos agents d'IA, ce qu'ils coûtent et qui a approuvé chaque changement. Instrumentez un flux de travail du soutien en production avec OpenTelemetry, trouvez les défaillances des agents dans les traces, répartissez le coût par modèle et par étape, et tenez une piste d'audit qui répond à « pourquoi l'agent a-t-il fait cela ? ».

Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.

Ce cours est-il le bon pour vous?Ce que ce cours couvre et ne couvre pas, et 5 autres cours pour d'autres besoins.

Ce cours enseigne à observer des agents d'IA en production : OpenTelemetry pour les exécutions à plusieurs étapes, les approbations et les passages de relais, les défaillances propres aux agents, le coût par exécution et par ticket résolu, et une piste d'audit complète et inviolable. Il n'enseigne pas à construire l'agent, la télémétrie générale des services, les jeux d'évaluation ni les contrôles de plateforme eux-mêmes.

Suivez un autre cours si vous voulez :

Ce que vous apprendrez

À la fin de ce cours, vous pourrez :

  • Expliquer ce qu'il faut enregistrer pour un agent (traces, métriques, événements, enregistrements d'audit) et ce qu'il ne faut pas enregistrer, et pourquoi un seul outil ne suffit pas.
  • Instrumenter un agent à plusieurs étapes qui utilise des outils avec OpenTelemetry et ses conventions GenAI, y compris les approbations qui mettent une exécution en pause et le travail réparti entre agents.
  • Trouver dans les traces les défaillances propres aux agents (boucles, erreurs d'outil cachées, écritures en double, succès sans action, instructions injectées suivies) et prouver la cause avec des preuves.
  • Attribuer le coût aux exécutions, aux étapes, aux clients et aux modèles, et fixer des budgets et des alertes qui mènent à une décision.
  • Tenir une piste d'audit complète, inviolable et à accès contrôlé, et répondre à une question d'audit à partir d'elle.
  • Envoyer la même télémétrie vers Grafana et Langfuse, choisir des outils pour une équipe avec des critères énoncés, et juger ce qu'une vue conçue pour les agents ajoute.

À propos de ce cours

Le flux de travail du soutien de Larkfield est en production. Chaque jour, il lit des tickets, consulte les commandes et la politique, propose des remboursements, des retours et des réexpéditions, attend l’approbation d’un agent, puis écrit. La semaine dernière, un client a été remboursé deux fois. Le tableau de bord est resté vert, et personne n’a pu dire quelle étape, quelle décision du modèle ou quelle personne en était la cause.

Dans ce cours, vous suivez Amira, la développeuse responsable du flux de travail, qui le rend observable. Vous enregistrez chaque exécution comme une seule trace avec OpenTelemetry, du ticket jusqu’à l’écriture, en passant par les appels de modèle, les appels d’outils et l’approbation. Vous envoyez les mêmes données à Grafana et à Langfuse, et vous tenez une piste d’audit séparée que personne ne peut modifier sans que cela se voie.

Ensuite, vous utilisez ce que vous avez enregistré. Vous trouvez des boucles, des erreurs d’outil cachées, des écritures en double et des instructions injectées dans les traces d’une semaine rejouée. Vous découvrez pourquoi le coût par ticket résolu a augmenté après un changement de modèle. Et vous répondez à la question de Grace : pourquoi avons-nous remboursé ce ticket deux fois ?

Tout fonctionne sur votre ordinateur, sans compte et sans clé. Chaque décision de modèle est un vrai enregistrement du cours sur les agents, rejoué. Les incidents d’exercice sont des cas que nous avons causés exprès, et chaque leçon dit quelles preuves sont rejouées et lesquelles sont simulées. Le texte des prompts, les données personnelles et les secrets ne quittent jamais l’application.

Avant de commencer

Vous avez terminé le cours sur les agents d'IA et l'orchestration des flux de travail, ou vous avez les mêmes compétences. Vous savez lire et modifier du Python, utiliser un terminal et lire du JSON. Les cours sur le MLOps, la gouvernance des agents et MCP aident mais ne sont pas obligatoires. Vous n'avez besoin ni d'un compte, ni d'une clé, ni d'argent. Grafana fonctionne dans Docker si vous le voulez, et chaque leçon fonctionne aussi avec la télémétrie sauvegardée. Langfuse est facultatif, dans un module, avec un compte gratuit.

Cours à suivre avant : Agents d'IA et orchestration des flux de travail.

À qui s'adresse ce cours

Les ingénieurs en IA, les développeurs du serveur et les ingénieurs de plateforme ou d'exploitation qui font fonctionner des agents d'IA en production, et les responsables techniques qui doivent dire ce qu'un agent a fait, pourquoi, et ce que cela a coûté.

Vous dirigez ou utilisez l'IA, sans la créer?

Vous pouvez étudier les idées de ce cours sans écrire de code. Lisez les modules 1, 5 et 6 (environ 6–7 h), répondez à leurs vérifications des connaissances, et obtenez un certificat des notions gratuit. Vous pourrez revenir à la pratique plus tard.

Les parcours pour les personnes qui dirigent ou utilisent l'IA suivent ce cours de cette façon. Voir les parcours

Comment nous avons créé ce cours

Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours

Dans ce cours

Module 1NotionsPourquoi les agents ont besoin de leur propre observabilité

3 leçons

Pourquoi les agents ont besoin de leur propre observabilité. Vous découvrez un remboursement payé deux fois que personne ne peut expliquer, vous décidez quoi enregistrer et quoi garder dehors, et vous exécutez le flux de travail instrumenté sur votre ordinateur.

  1. Un remboursement que personne ne peut expliquer30 min
  2. Ce qu'il faut enregistrer, et ce qu'il ne faut pas35 min
  3. Découvrir le flux de travail en production40 min

Module 3Instrumenter le flux de travail

5 leçons

Instrumenter le flux de travail. Vous enregistrez les appels de modèle, les appels d'outils avec leur clé d'idempotence, les approbations qui mettent une exécution en pause pendant la nuit, les passages de relais entre agents et à travers MCP, et vous reliez les traces de l'application aux enregistrements de la passerelle.

  1. Appels de modèle et jetons35 min
  2. Appels d'outils, erreurs et nouvelles tentatives35 min
  3. Approbations, personnes et temps d'attente40 min
  4. Plusieurs agents et passages de relais35 min
  5. Ce que voit la passerelle et ce que voit l'application40 min

Module 6NotionsPistes d'audit

4 leçons

Pistes d'audit. Vous enregistrez les propositions, les approbations, les refus, les écritures et l'accès aux données avec un schéma fixe, vous les gardez dans un stockage en ajout seul avec une chaîne de hachage, et vous répondez à la question d'audit sur le double remboursement.

  1. Une piste d'audit n'est pas un journal30 min
  2. Enregistrer les décisions, les approbations et les changements40 min
  3. La rendre inviolable et contrôlée45 min
  4. Répondre à une question d'audit40 min

Dernier module · choisissez-en au moins uneÉtudes de cas

3 études de cas

Trois études de cas complètes sur des données ouvertes. Trouvez des défaillances dans des exécutions d'agents publiques, mesurez le coût d'un agent de programmation, et concevez les enregistrements qui auraient répondu à un cas public. Terminez-en au moins une pour obtenir le certificat. Chacune peut entrer dans votre portfolio.

Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune

  1. Trouver des défaillances dans des exécutions d'agents publiques150 min
  2. Le coût d'un agent de programmation150 min
  3. Les enregistrements auraient-ils pu répondre ?180 min

Après les études de casTravail final

Utilisez tous les modules dans un projet pratique. Vous recueillez des preuves, puis vous les comparez aux objectifs du cours.

  1. Travail final180 min

Études de cas

Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.

  1. Trouver des défaillances dans des exécutions d'agents publiques2 h 30 min

    Convertir un ensemble ouvert d'exécutions d'agents de service client en OpenTelemetry, les charger dans Grafana, et compter les défaillances avec des preuves.

  2. Le coût d'un agent de programmation2 h 30 min

    Mesurer le coût par tâche, par étape et par résultat sur des trajectoires ouvertes d'agents de programmation, et proposer un budget et une limite d'étapes.

  3. Les enregistrements auraient-ils pu répondre ?3 h

    Prendre un cas public et documenté d'une réponse d'assistant d'IA qu'une entreprise a dû défendre, et concevoir la piste d'audit qui aurait répondu.

Avis

Chargement des avis…

    Vous avez suivi ce cours? Connectez-vous pour donner votre avis. Vous pouvez donner un avis après avoir terminé 25 % des leçons.

    Partager ce cours