Aller au contenu
English

Une piste d'audit n'est pas un journal

  • Leçon 19
  • 30 min
  • Module 6 : Pistes d'audit

Où nous en sommes

Dans le module 5, nous avons calculé le coût de chaque exécution et repéré les plus coûteuses. Nos traces expliquent maintenant les défaillances et les coûts. Mais Grace pose une autre question : qui a approuvé le deuxième remboursement de T-90104, et avec quelle autorisation? Les traces sont échantillonnées, conservées deux semaines et lues par les ingénieurs. Dans cette leçon, nous voyons pourquoi une piste d'audit constitue un enregistrement distinct, avec ses propres règles. Nous retournons à la boutique du module 1 et à son coffre-fort.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 19 sur 28 · Observabilité des agents d'IA : traces, coûts et pistes d'auditUne piste d'audit n'est pas un journal
Aperçu du cours

Ce que vous saurez faire

Décidez ce qui appartient à une piste d’audit et ce qui appartient aux traces. Les chiffres de la semaine rejouée montrent pourquoi un stockage de traces ne peut pas répondre à une question d’audit. Lisez ensuite les premiers enregistrements d’audit du double remboursement.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet dans son état à la fin du module 5 : python -m pytest -q indique 96 passed, 1 skipped (96 tests réussis, 1 ignoré), ou 97 passed (97 tests réussis) avec le paquet MCP installé.
  • Un terminal dans observable-workflow, avec l’environnement virtuel actif.

Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes Windows et Linux sont rédigées, mais n’ont pas été exécutées.

Dans le module 1, nous avons découvert une petite boutique avec quatre types d’enregistrements. Deux comptent maintenant : la caméra au-dessus de la porte et le registre du coffre-fort.

La caméra filme tout le monde, toute la journée. La vidéo montre le parcours de chaque client dans la boutique. Le propriétaire la regarde quand quelque chose d’étrange se produit, puis la vidéo est supprimée après 30 jours. Si la caméra manque quelques minutes, personne ne s’en soucie vraiment.

Le registre est différent. Chaque ouverture du coffre-fort occupe une ligne : qui, quand, quel montant et qui l’a autorisée. Ses pages sont numérotées, et personne ne peut en arracher une. Le comptable le lit une fois par année, et la loi fixe sa durée de conservation.

Un an plus tard, un client dit : « Vous m’avez remboursé deux fois. » La vidéo a disparu. Le registre répond, si chaque ouverture y figure et si personne n’a modifié de ligne.

Le problème : la question de Grace et la réponse des traces

Section intitulée « Le problème : la question de Grace et la réponse des traces »

Grace dirige le soutien chez Larkfield. Elle pose la question de chaque audit. « Qui a approuvé le deuxième remboursement de T-90104? Avec quelle autorisation? Et pourquoi avons-nous payé deux fois? » Un auditeur pourrait lui poser la même question dans un an.

Tomás répond aussitôt : « Les traces sont la piste d’audit. Tempo contient tout. » Dans ce cours, les traces ont déjà expliqué le double remboursement. Alors, pourquoi pas? La semaine rejouée donne quatre raisons, avec des chiffres.

  1. Les traces sont échantillonnées. L’équipe du cours a fait passer la semaine dans le Collector. L’échantillonnage en fin de trace a conservé 275 traces sur 434. Parmi les 118 exécutions avec une approbation, 99 ont perdu l’une de leurs deux traces. La trace qui contient la décision du modèle n’a ni erreur ni écriture. C’est donc généralement celle qu’on élimine.
  2. Les traces sont conservées pendant des jours, pas des années. Par défaut, Tempo supprime les données de trace après 14 jours. Le deuxième remboursement a eu lieu le jeudi 15 octobre. Deux semaines plus tard, sa trace a disparu.
  3. Les traces sont écrites pour les ingénieurs. execute_tool request_refund ERROR timeout (exécution de l’outil de remboursement, erreur de délai dépassé) signifie quelque chose pour Amira. Grace et un auditeur ont besoin d’un enregistrement clair de la décision. De plus, un span (segment de trace) contient l’identifiant du client en clair, que personne ne peut conserver pendant des années.
  4. Rien ne protège une trace contre les modifications. Un stockage de traces peut supprimer des spans quand il est plein. Toute personne ayant un accès en écriture peut les modifier ou les supprimer. Personne ne le saurait.

Les traces sont comme la caméra. Elles conviennent pour répondre à « Comment cette exécution s’est-elle déroulée? ». Elles ne conviennent pas pour répondre à « Qui a autorisé cela, et pouvez-vous le prouver? ».

Une piste d’audit consigne qui a fait quoi, quand, avec quelle autorisation et quelles preuves. Chaque ligne constitue un enregistrement d’audit : une décision ou un changement. Le terme vient de la comptabilité : un auditeur vérifie les comptes. La piste permet de remonter de chaque paiement à la décision qui l’a autorisé.

Quatre règles distinguent une piste d’audit de tous les autres signaux :

  • Complète. Chaque décision et chaque changement y figurent. Elle n’est jamais échantillonnée, et un enregistrement perdu est une défaillance, pas du bruit.
  • Conservée plus longtemps. Aussi longtemps que quelqu’un peut poser une question : dans ce cours, 7 ans. C’est une hypothèse pour Larkfield. La durée réelle dépend de la loi et des contrats. Consultez donc votre équipe juridique.
  • Protégée contre les modifications. Personne ne peut modifier ou supprimer un enregistrement sans que cela soit détecté.
  • Lue par d’autres personnes. Les responsables du soutien, les auditeurs et les propriétaires des données la lisent, pas seulement les ingénieurs. Elle contient donc des faits dans des champs clairs, pas du texte, et aucun secret.

Un journal est différent. Une ligne de journal est un message qu’un programme adresse à ses développeurs. C’est du texte libre, souvent filtré, souvent supprimé après quelques jours. Le journal d’Amira indiquait status=resolved writes=1 (état résolu, une écriture) pour le double remboursement, sans mentionner de personne ni d’autorisation.

Un tableau comparant une trace et une piste d'audit. Ce qui est enregistré : une trace consigne chaque étape d'une exécution, avec les appels de modèle, les appels d'outils, les durées et les erreurs; la piste d'audit consigne les décisions et les changements : propositions, approbations, refus, écritures, accès aux données et clôtures. Un enregistrement est : un span avec un nom, un début, une fin et un parent; ou un événement avec des champs fixes : qui, quoi, quand, avec quelle autorisation et quelles preuves. Échantillonné : oui, le Collector a conservé 275 des 434 traces de la semaine; jamais, 1 331 des 1 331 enregistrements d'audit sont arrivés. Durée de conservation : 14 jours, la valeur par défaut de Tempo; 7 ans, une hypothèse pour Larkfield. Lecteurs : les ingénieurs de garde, Amira et Tomás; Grace, les auditeurs et Mei, en lecture seule. Protection contre les modifications : aucune, le stockage peut supprimer ou modifier des spans; ajout seulement, chaîne de hachage et ancrage. Le client : son identifiant en clair; un pseudonyme comme cust:6899a74a.
Une trace et un enregistrement d'audit côte à côte : ce que chacun conserve, pendant combien de temps et pour qui. Les chiffres d'échantillonnage viennent des mesures de l'équipe du cours lors du passage de la semaine rejouée dans le Collector.
Description textuelle du diagramme

Deux colonnes. La trace s’adresse aux ingénieurs et explique le déroulement d’une exécution. Elle contient chaque étape, est échantillonnée et conservée 14 jours. Elle n’a aucune protection contre les modifications et affiche l’identifiant du client. La piste d’audit s’adresse aux personnes qui doivent répondre d’une décision. Elle contient les décisions et les changements sous forme d’événements à champs fixes. Elle n’est jamais échantillonnée et est conservée 7 ans (une hypothèse). Grace, les auditeurs et Mei la consultent en lecture seule. Une chaîne de hachage la protège, et le client est représenté par un pseudonyme.

Les trois dernières lignes du tableau correspondent aux prochaines leçons. Cette leçon porte sur les quatre premières : ce qu’on enregistre, et pourquoi tout doit arriver.

Exemple détaillé : le même remboursement, deux enregistrements

Section intitulée « Exemple détaillé : le même remboursement, deux enregistrements »

Le projet du cours contient déjà la piste d’audit de la semaine rejouée. Dans le module 1, vous l’avez vérifiée avec obs audit verify. Maintenant, vous la lisez.

L’outil obs du module 5 peut seulement vérifier la piste. Essayez d’afficher les enregistrements du double remboursement :

Fenêtre de terminal
python -m obs audit show R-1014-040 --data data/telemetry/week
usage: python -m obs audit [-h] [--data DATA] [--audit AUDIT] [--markdown]
{verify} [target]
python -m obs audit: error: argument action: invalid choice: 'show' (choose from verify)

Vous devez donc d’abord copier la nouvelle version de obs.

  1. Copiez quatre fichiers de l’instantané end-of-m06 : la nouvelle commande obs, le récit d’audit, la liste du personnel de Larkfield et le nouveau test.

    Fenêtre de terminal
    S=../nextia-learning-labs/C31/snapshots/end-of-m06
    cp $S/obs/__main__.py $S/obs/story.py obs/
    cp $S/data/people.json data/
    cp $S/tests/test_obs_cli.py tests/
  2. Exécutez les tests : python -m pytest -q. La dernière ligne indique 97 passed, 1 skipped, 1 deselected (97 tests réussis, 1 ignoré, 1 non sélectionné). Le nouveau test lit le récit d’audit du double remboursement.

  3. Affichez les enregistrements d’audit de l’exécution R-1014-040 :

    Fenêtre de terminal
    python -m obs audit show R-1014-040 --data data/telemetry/week
    610 2026-10-14T21:52:02+00:00 data_access agent:support-workflow/agent_structured {"orders": ["LK-793996"], "status": "ok", "tool": "get_order"}
    611 2026-10-14T21:52:06+00:00 proposal agent:support-workflow/agent_structured {"actions": [{"amount": 9.95, "order_id": "LK-793996", "reason_code": "RFD-LATE", "tool": "request_refund"}], "design": "agent_structured", "outcome": "resolve", "rule": "W2"}
    671 2026-10-15T13:17:12+00:00 approval person:usr-sam/agent {"decision": "approved", "proposal_digest": "f28887b94cb6", "proposal_event_id": "2f48cd67-4d3a-428e-b4f2-b9ed3f266100", "wait_s": 55505.4}
    672 2026-10-15T13:17:22+00:00 write system:support-workflow/executor {"attempt": 1, "effect": {"amount": 9.95, "order_id": "LK-793996", "reason_code": "RFD-LATE", "tool": "request_refund"}, "idempotency_key": "797fbb5bbb9f8a7e", "operation_id": "797fbb5bbb9f8a7e", "outcome": "timeout", "tool": "request_refund"}
    673 2026-10-15T13:17:22+00:00 write system:support-workflow/executor {"attempt": 2, "effect": {"amount": 9.95, "order_id": "LK-793996", "reason_code": "RFD-LATE", "tool": "request_refund"}, "idempotency_key": "797fbb5bbb9f8a7e-retry1", "operation_id": "797fbb5bbb9f8a7e", "outcome": "done", "tool": "request_refund"}
    674 2026-10-15T13:17:22+00:00 run_closed system:support-workflow/executor {"helpdesk_status": "resolved", "outcome": "resolved", "reply_status": "sent", "writes_done": 1}
  4. Affichez la trace de la même exécution, comme au module 3 : python -m obs trace R-1014-040 --data data/telemetry/week. Voici la deuxième trace :

    Trace 2 15ba0d9388d1b9e001af373f21c4b955 Thu 15 Oct 09:17:12 10.0 s
    0.0 s |========================| 10.01 s approve support-resolution approved by usr-sam (agent, limit 100)
    0.0 s |========================| 10.00 s execute_tool request_refund ERROR timeout LK-793996 9.95 RFD-LATE key 797fbb5bbb9f8a7e
    10.0 s | =| 0.00 s execute_tool request_refund done LK-793996 9.95 RFD-LATE key 797fbb5bbb9f8a7e-retry1
    10.0 s | =| 0.00 s execute_tool send_reply sent

Lisez les deux sorties côte à côte. Chaque ligne de audit show est un enregistrement d’audit : son numéro dans le stockage, son heure, son type, l’acteur et l’action effectuée.

  • Qui : l’enregistrement 671 désigne une personne, usr-sam, avec le rôle agent. Les enregistrements 672 et 673 désignent le flux de travail lui-même, l’executor (exécuteur). La proposition, 611, désigne l’agent d’IA avec sa conception.
  • Quoi : une lecture de la commande, une proposition de remboursement de 9,95, une approbation, deux appels d’écriture et la clôture.
  • Quand : en UTC. 13:17:12+00:00 correspond à 9 h 17 min 12 s à Toronto, l’heure affichée dans la trace.
  • Avec quelle autorisation : chaque écriture désigne l’approbation qui l’a autorisée, et l’approbation désigne la proposition. Vous verrez ces liens dans la prochaine leçon.

La trace contient des éléments absents de la piste : les deux appels de modèle, leurs jetons et leur coût, le délai dépassé de 10 secondes et la réponse. La piste contient des éléments que la trace n’aura peut-être plus demain : les six enregistrements, pendant 7 ans.

Il n’y a aucun enregistrement pour les appels de modèle ni pour la réponse. C’est voulu. La piste consigne les décisions et les changements, pas chaque étape. Le travail du modèle aboutit à un seul enregistrement, la proposition, avec les preuves qu’il a lues.

La première règle est « complète ». Voici ce que l’exécution du Collector par l’équipe du cours a conservé de la semaine rejouée, signal par signal :

Mesure : la semaine rejouée envoyée dans le Collector du cours (otelcol-contrib 0.162.0, autonome), à partir de runs/collector.json. Une exécution entière est une exécution dont toutes les traces sont conservées.
Description textuelle du graphique

Quatre barres. Spans : 63.5 % conservés (1287 sur 2027). Traces : 63.4 % (275 sur 434). Exécutions entières, avec toutes leurs traces conservées : 49.7 % (157 sur 316). Enregistrements d’audit : 100 % (1331 sur 1331), et aucun n’est allé dans Loki.

La moitié des exécutions ont perdu une partie de leur histoire dans le stockage de traces. C’est acceptable pour les traces : l’échantillonneur a conservé chaque trace contenant une erreur, une approbation ou une écriture. Les ingénieurs voient donc encore les problèmes. Les enregistrements d’audit ont suivi un autre chemin, sans échantillonneur, et les 1331 sont tous arrivés.

Votre propre flux de travail n’enregistre pas encore de piste d’audit

Section intitulée « Votre propre flux de travail n’enregistre pas encore de piste d’audit »

La semaine sauvegardée possède une piste d’audit parce que la version du flux de travail de l’équipe du cours l’a écrite. La vôtre ne le fait pas encore. Vérifiez :

  1. Supprimez le dossier work pour repartir de zéro.

  2. Traitez un billet de soutien : python -m resolver run T-80008. La dernière ligne indique Reply sent. Ticket: resolved. (réponse envoyée, billet résolu).

  3. Vérifiez votre propre piste : python -m obs audit verify.

    No audit trail at …/observable-workflow/work/audit/audit.jsonl.

Votre flux de travail écrit des traces, des métriques et des événements, mais aucun enregistrement d’audit. La prochaine leçon les ajoute.

Toutes les exécutions ne changent pas quelque chose. L’exécution R-1012-034 traite le même billet, T-90104, le lundi, avec chat-small. Le modèle a posé une question au client, et aucun paiement n’a eu lieu.

  1. Affichez ses enregistrements d’audit :

    Fenêtre de terminal
    python -m obs audit show R-1012-034 --data data/telemetry/week
    137 2026-10-12T19:31:38+00:00 data_access agent:support-workflow/agent {"orders": ["LK-793996"], "status": "ok", "tool": "get_order"}
    138 2026-10-12T19:31:40+00:00 proposal agent:support-workflow/agent {"actions": [], "design": "agent", "outcome": "ask_customer", "rule": "W3"}
    139 2026-10-12T19:31:40+00:00 run_closed system:support-workflow/executor {"helpdesk_status": "waiting_customer", "outcome": "asked_customer", "reply_status": "sent", "writes_done": 0}
  2. Affichez sa trace : python -m obs trace R-1012-034 --data data/telemetry/week. Elle contient cinq spans : l’exécution, deux appels de modèle, la recherche de la commande et la réponse.

  3. Comptez : trois enregistrements d’audit contre cinq spans. Il n’y a ni approbation ni écriture, car rien ne nécessitait une personne.

L’exécution contient quand même un enregistrement de proposition avec "actions": []. C’est important. « L’agent a décidé de ne rien changer » est aussi une décision, et un auditeur pourrait poser une question à son sujet.

À vous : quel enregistrement répond à quelle question?

Section intitulée « À vous : quel enregistrement répond à quelle question? »

Changez la question, pas l’exécution. Pour chaque question ci-dessous, prévoyez quel enregistrement y répond : la piste d’audit, la trace ou les deux. Vérifiez ensuite avec les deux commandes de R-1014-040.

  1. Combien de temps le deuxième appel de modèle a-t-il pris?
  2. Quelle règle l’agent a-t-il utilisée?
  3. Quelle était la limite d’approbation de Sam?
  4. La réponse a-t-elle été envoyée?
  5. Combien de jetons d’entrée l’exécution a-t-elle utilisés?
Les réponses
  1. La trace seulement : 4,17 secondes, le deuxième span chat chat-strong (conversation avec chat-strong) de la trace 1.
  2. Les deux : rule W2 (règle W2) dans l’enregistrement 611 et sur le span invoke_agent (invoquer l’agent).
  3. Les deux : limit 100 (limite de 100) sur le span approve (approuver). La piste la consigne dans l’autorisation de l’enregistrement 671, que la prochaine leçon montre en entier.
  4. Les deux : reply_status: sent (état de la réponse : envoyée) dans l’enregistrement 674 et le span send_reply (envoyer la réponse).
  5. La trace seulement : 4 586 jetons d’entrée. Les jetons représentent un coût, pas une décision.

Quand les deux répondent, la piste est celle qui sera encore là dans un an.

Erreur courante

L'approbation semble arriver quatre heures après l'écriture

Symptôme : Sam compare les deux sorties et dit : « La piste indique une approbation à 13 h 17. La trace indique 9 h 17. Laquelle est fausse? »

Cause : aucune. obs audit show affiche le champ at (horodatage) de chaque enregistrement tel qu’il est stocké, en UTC. Le suffixe +00:00 l’indique. obs trace affiche l’heure locale de Larkfield, à Toronto, qui a 4 heures de retard sur UTC en octobre.

Diagnostic : cherchez le décalage à la fin de l’heure. +00:00 indique UTC. Une heure sans décalage, comme Thu 15 Oct 09:17:12 (jeudi 15 octobre, 9 h 17 min 12 s), est locale.

Correction : comparez les heures dans un même fuseau. Stockez chaque enregistrement d’audit en UTC, comme le fait le projet, puis convertissez l’heure pour l’afficher à une personne. Le récit d’audit de la dernière leçon de ce module affiche l’heure de Toronto.

Quand conserver une piste d’audit, et ce que cela coûte

Section intitulée « Quand conserver une piste d’audit, et ce que cela coûte »

Conservez une piste d’audit quand quelqu’un pourrait devoir répondre d’une décision plus tard. L’argent, les données d’un client, un changement dans un autre système et l’approbation d’une personne sont des décisions de ce type. Un agent d’IA qui prépare seulement du texte à réviser peut n’avoir besoin que d’un journal. Un agent qui verse des remboursements a besoin d’une piste.

Cela a un coût. La piste de la semaine rejouée occupe 955 Ko pour 1 331 enregistrements : environ 0,7 Ko par enregistrement, 3 Ko par exécution. À ce rythme, 7 ans de trafic de Larkfield représentent environ 350 Mo. C’est peu. Les vrais coûts sont ailleurs : un deuxième chemin pour les enregistrements, un schéma fixe à maintenir, des droits d’accès et un processus pour les demandes de suppression. Les trois prochaines leçons construisent chacun de ces éléments.

N’y mettez pas tout. Une piste contenant chaque appel de modèle et chaque jeton redevient un stockage de traces, plus difficile à lire. Consignez chaque décision et chaque changement une seule fois, puis liez-les à la trace pour les détails.

Vérifiez votre compréhension

Tomás dit : « Les traces sont la piste d'audit. Tempo contient tout. » Donnez trois raisons tirées de la semaine rejouée pour lesquelles Tempo ne pourra pas répondre à Grace dans un an.

Afficher la réponse

Les traces sont échantillonnées : le Collector a conservé 275 traces sur 434. Parmi les 118 exécutions avec une approbation, 99 ont perdu l’une de leurs deux traces. Tempo conserve les traces 14 jours par défaut. La trace du remboursement du jeudi disparaît donc deux semaines plus tard. Les traces sont écrites pour les ingénieurs et contiennent l’identifiant du client en clair. On ne peut donc pas les transmettre aux auditeurs ni les conserver pendant des années. De plus, rien ne protège une trace contre une modification ou la perte d’un span.

Vérifiez votre compréhension

Une exécution n'a proposé aucune action et a posé une question au client. Devrait-elle avoir des enregistrements d'audit? Lesquels, et pourquoi?

Afficher la réponse

Oui. R-1012-034 en a trois : un accès aux données (commande LK-793996), une proposition sans action (ask_customer, règle W3) et la clôture (writes_done 0). Lire la commande d’un client et décider de ne rien changer sont deux faits que quelqu’un pourrait devoir expliquer plus tard. Il n’y a ni approbation ni écriture, car rien ne nécessitait une personne et rien n’a changé.

Vérifiez votre compréhension

Exercice pratique : exécutez python -m obs audit show R-1014-040 --data data/telemetry/week. Nommez l'enregistrement qui indique qui a approuvé le remboursement, ceux des deux appels d'écriture et l'heure de l'approbation à Toronto.

Afficher la réponse

L’enregistrement 671 est l’approbation : la personne usr-sam avec le rôle agent. Les enregistrements 672 (tentative 1, clé 797fbb5bbb9f8a7e, délai dépassé) et 673 (tentative 2, clé 797fbb5bbb9f8a7e-retry1, terminé) sont les deux appels d’écriture. L’heure de l’approbation est 2026-10-15T13:17:12+00:00 en UTC, soit le jeudi 15 octobre à 9 h 17 min 12 s à Toronto.

Récapitulatif

  • Une piste d’audit consigne qui a fait quoi, quand, avec quelle autorisation et quelles preuves. Une trace consigne le déroulement d’une exécution.
  • La piste est complète, conservée plus longtemps, protégée contre les modifications et lue par d’autres personnes. Dans la semaine rejouée, le stockage de traces a conservé 63 % des traces et la moitié des exécutions entières. Le chemin d’audit a conservé les 1 331 enregistrements.
  • Elle consigne les décisions et les changements, pas chaque étape : le double remboursement compte six enregistrements, contre neuf spans.
  • obs audit show lit la piste. Ses heures sont en UTC.

Votre projet maintenant : les fichiers du module 5, plus le nouvel obs, obs/story.py, data/people.json et le nouveau test, avec 97 tests réussis. Vous pouvez lire la piste de la semaine. Mais votre propre flux de travail n’écrit toujours aucun enregistrement d’audit. Vous ne savez pas encore exactement ce qu’un enregistrement doit contenir. Ensuite, vous concevez l’enregistrement, et le flux de travail en écrit un pour chaque décision et chaque changement.

Leçon suivante : Enregistrer les décisions, les approbations et les changements