Aller au contenu
English

La rendre inviolable et contrôlée

  • Leçon 21
  • 45 min
  • Module 6 : Pistes d'audit

Où nous en sommes

Dans la dernière leçon, le flux de travail a commencé à écrire un événement d'audit pour chaque décision et chaque changement. Mais la piste est un simple fichier. Toute personne qui peut le modifier peut remplacer 9,95 par 0,95, sans que personne le sache. Dans cette leçon, nous rendons chaque changement visible grâce à une chaîne de hachage. Nous envoyons les événements par le Collector vers un stockage qui permet seulement les ajouts. Nous décidons aussi qui peut les lire, les conserver et les supprimer. Commençons par un cahier relié.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 21 sur 28 · Observabilité des agents d'IA : traces, coûts et pistes d'auditLa rendre inviolable et contrôlée
Aperçu du cours

Ce que vous saurez faire

Rendez toute modification de la piste d’audit détectable. Reliez chaque enregistrement au précédent par un hachage, conservez le dernier hachage à part, puis vérifiez. Envoyez les événements d’audit par le Collector vers un stockage qui permet seulement les ajouts. Donnez à chaque lecteur les droits nécessaires à son travail. Traitez une demande de suppression sans briser la chaîne.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet dans l’état laissé par la dernière leçon : 103 tests réussissent.
  • otelcol-contrib 0.162.0 dans le dossier otelcol à côté du projet, comme dans Le Collector.
  • Trois terminaux dans observable-workflow. L’environnement virtuel est actif dans celui qui exécute le flux de travail.

Testé sur macOS (Apple silicon) avec Python 3.12.13 et otelcol-contrib 0.162.0. Les commandes Windows et Linux sont écrites, mais n’ont pas été exécutées.

Un laboratoire conserve ses résultats dans un cahier relié. Les pages sont numérotées et cousues. Personne ne peut arracher une page : le numéro manquant le révélerait.

Mais une personne pourrait quand même modifier soigneusement un nombre à la page 40 avec un stylo. Le laboratoire ajoute donc deux habitudes. En haut de chaque nouvelle page, le scientifique copie une courte marque de la page précédente. Chaque soir, une collègue inscrit le numéro de la dernière page et sa marque dans son propre journal. Le scientifique n’y touche jamais.

Maintenant, une page 40 modifiée ne correspond plus à la marque sur la page 41. Une dernière page arrachée ne correspond plus au journal de la collègue. Personne ne peut empêcher un changement, mais personne ne peut le cacher.

Le problème : un simple fichier n’oublie rien et ne prouve rien

Section intitulée « Le problème : un simple fichier n’oublie rien et ne prouve rien »

Le stockage d’audit est un fichier texte, work/audit/audit.jsonl, avec un enregistrement par ligne. Regardez l’enregistrement 673 de la semaine rejouée, le second remboursement :

Fenêtre de terminal
sed -n 673p data/telemetry/week/audit.jsonl | cut -c1-400
{"event":{"action":{"attempt":2,"effect":{"amount":9.95,"order_id":"LK-793996","reason_code":"RFD-LATE","tool":"request_refund"},"idempotency_key":"797fbb5bbb9f8a7e-retry1","operation_id":"797fbb5bbb9f8a7e","outcome":"done","tool":"request_refund"},"actor":{"id":"support-workflow","kind":"system","role":"executor"},"at":"2026-10-15T13:17:22+00:00","authority":{"approval_event_id":"b5188674-35aa-4e

Supposons qu’une personne veuille faire paraître le double remboursement plus petit. Elle ouvre le fichier et remplace 9.95 par 0.95. La ligne reste du JSON valide. Tous les outils la lisent encore. Sans autre mécanisme, aucun lecteur ne pourrait savoir que l’enregistrement a changé. Une piste d’audit que n’importe qui peut modifier en silence ne prouve rien.

Un hachage est une courte empreinte de données. Le projet utilise SHA-256 : à partir de n’importe quelle entrée, il produit 64 caractères hexadécimaux. La même entrée donne toujours le même hachage. Un changement d’un seul caractère donne un hachage complètement différent. Personne ne peut retrouver l’entrée à partir du hachage, ni créer une seconde entrée avec le même hachage.

Essayez avec les deux montants :

Fenêtre de terminal
python -c "import hashlib; print(hashlib.sha256(b'refund 9.95').hexdigest()); print(hashlib.sha256(b'refund 0.95').hexdigest())"
7c578ae242639f8091e878e6c58fb79d112fe5cf4f96416b5b74ef019eb96516
c3abdfc44cd6acbd25202002aae4cb349e4e4ff18b38756cb6509d35125380e8

Un chiffre a changé, et les deux hachages ne se ressemblent plus du tout.

Un hachage par enregistrement ne suffit pas : une personne qui modifie un enregistrement peut aussi calculer son nouveau hachage. Chaque enregistrement conserve donc aussi le hachage du précédent, comme le cahier copie la marque de la page précédente. C’est une chaîne de hachage :

  • seq est le numéro de l’enregistrement : 1, 2, 3…
  • prev est le hachage de l’enregistrement précédent. Le prev du premier enregistrement contient 64 zéros.
  • hash est le hachage SHA-256 de seq, de prev et de l’événement, écrits selon un format fixe (record_hash() dans auditstore/store.py).

Après chaque ajout, le stockage écrit aussi une ancre, un petit fichier contenant le nombre d’enregistrements et le dernier hachage. C’est le journal de la collègue. obs audit verify recalcule chaque hachage depuis le premier enregistrement, vérifie chaque prev, puis compare la fin à l’ancre.

Le stockage ne permet ni modification ni suppression : append() est le seul moyen d’y écrire. Un tel stockage fonctionne par ajout seulement. Avec la chaîne, il rend les modifications détectables : il ne peut pas empêcher un changement, mais il le révèle.

Exemple détaillé : trois enregistrements, quatre façons de tricher

Section intitulée « Exemple détaillé : trois enregistrements, quatre façons de tricher »

Créez tiny_chain.py dans le dossier du projet. Il crée un stockage de trois enregistrements dans work/tiny/, affiche la chaîne, puis modifie l’enregistrement 2 de quatre façons. Chaque essai utilise un nouveau stockage :

Le texte de tiny_chain.py
"""A tiny hash chain: three audit events in a store of their own, then four ways to change record 2.
python tiny_chain.py (in the project folder, the virtual environment active)
"""
import json
from pathlib import Path
from auditstore.store import AuditStore, record_hash
path = Path("work/tiny/audit.jsonl")
def fresh() -> AuditStore:
for f in path.parent.glob("audit*"):
f.unlink() # start again each time
store = AuditStore(path)
for n, kind in enumerate(["proposal", "approval", "write"], 1):
store.append({"schema": "larkfield.audit/1", "event_id": f"e{n}", "type": kind,
"at": "2026-10-15T13:17:12+00:00", "actor": {"kind": "system", "id": "demo"},
"run_id": "R-demo", "ticket_id": "T-demo", "trace_id": "", "span_id": "",
"subject": {"order_id": "LK-793996"}, "action": {"amount": 9.95},
"authority": {}, "evidence": []})
return store
def change(store: AuditStore, rehash: str) -> None:
"""Change the amount of record 2 by hand. rehash: '' (no), 'own' (its hash), 'all' (every hash after it)."""
recs = store.records()
recs[1]["event"]["action"]["amount"] = 0.95
for i, r in enumerate(recs):
if (rehash == "own" and i == 1) or (rehash == "all" and i >= 1):
r["prev"] = recs[i - 1]["hash"]
r["hash"] = record_hash(r["seq"], r["prev"], r["event"])
path.write_text("".join(json.dumps(r, sort_keys=True, separators=(",", ":")) + "\n" for r in recs))
store = fresh()
for r in store.records():
print(f'record {r["seq"]} prev {r["prev"][:12]} amount {r["event"]["action"]["amount"]} hash {r["hash"][:12]}')
print("verify:", store.verify()["problems"] or "ok")
for label, rehash, anchor_too in [("A. change the amount only", "", False),
("B. change it and compute its own hash again", "own", False),
("C. change it and compute every hash after it again", "all", False),
("D. as C, and write the anchor again too", "all", True)]:
store = fresh()
change(store, rehash)
if anchor_too:
last = store.records()[-1]
store.anchor.write_text(json.dumps({"count": last["seq"], "head": last["hash"]}) + "\n")
print(f"{label}: {store.verify()['problems'] or 'ok'}")

Exécutez-le avec python tiny_chain.py :

record 1 prev 000000000000 amount 9.95 hash ab37a2f0d1b3
record 2 prev ab37a2f0d1b3 amount 9.95 hash c4d81416b363
record 3 prev c4d81416b363 amount 9.95 hash 999b64682730
verify: ok
A. change the amount only: ['record 2: its content does not match its hash: the record was changed']
B. change it and compute its own hash again: ['record 3: its link to record 2 does not match: an earlier record was changed or removed']
C. change it and compute every hash after it again: ["the store has 3 records, as the anchor says, but its last hash is not the anchor's head: a record was changed and the hashes after it computed again"]
D. as C, and write the anchor again too: ok

Vos hachages sont identiques à ceux-ci : les enregistrements ont un contenu fixe. Suivez la chaîne dans les trois premières lignes. Le prev de l’enregistrement 2 est le hash de l’enregistrement 1. Le prev de l’enregistrement 3 est le hash de l’enregistrement 2.

Un tableau de quatre lignes. A, modifier seulement le montant : verify indique enregistrement 2 : son contenu ne correspond pas à son hachage : l'enregistrement a été modifié; détecté par son propre hachage. B, le modifier et recalculer son propre hachage : enregistrement 3 : son lien vers l'enregistrement 2 ne correspond pas : un enregistrement précédent a été modifié ou supprimé; détecté par le prev de l'enregistrement suivant. C, le modifier et recalculer tous les hachages suivants : le stockage contient 3 enregistrements, comme l'indique l'ancre, mais son dernier hachage n'est pas le head de l'ancre : un enregistrement a été modifié et les hachages suivants ont été recalculés; détecté par le head de l'ancre. D, faire comme précédemment et réécrire aussi l'ancre : la piste d'audit est intacte; rien dans le fichier ne le détecte, seule une copie de l'ancre ailleurs le permet.
Quatre façons de modifier l'enregistrement 2 d'une chaîne de trois enregistrements, et ce qu'indique verify. Chaque étape demande plus de travail à la personne qui le modifie. Seule la dernière cache le changement, et seulement si personne d'autre ne détient l'ancre.
Description textuelle du diagramme

Un contenu modifié ne correspond plus à son propre hachage. Un nouveau hachage ne correspond plus au prev de l’enregistrement suivant. De nouveaux hachages pour tous les enregistrements suivants ne correspondent plus au head de l’ancre. Seule une personne qui peut aussi réécrire l’ancre cache le changement. Il faut donc une copie de l’ancre à laquelle cette personne n’a pas accès.

Dans le cas C, le nombre est correct, mais le dernier hachage n’est pas celui que l’ancre a conservé. Le vérificateur sait donc que la chaîne a été recalculée après un changement.

Le cas D est la vraie leçon. Une personne qui peut écrire dans les deux fichiers peut réécrire la chaîne et l’ancre. La chaîne ne prouve alors rien. En production, une copie de l’ancre va donc dans un autre système avec d’autres droits d’accès. Ce peut être un compartiment de stockage à écriture unique, la base de données d’une autre équipe ou un message quotidien à Mei.

Faites maintenant la même chose sur la vraie piste de la semaine. Dans une copie, remplacez 9,95 par 0,95 dans l’enregistrement 673, puis vérifiez la copie :

Fenêtre de terminal
mkdir -p work
cp data/telemetry/week/audit.jsonl work/t.jsonl
cp data/telemetry/week/audit.anchor.json work/t.anchor.json
sed -i.bak '673s/9.95/0.95/' work/t.jsonl
python -m obs audit verify --audit work/t.jsonl
The audit trail does NOT verify (673 records read):
record 673: its content does not match its hash: the record was changed

Le nom du fichier de stockage détermine celui de l’ancre : t.jsonl va avec t.anchor.json. C’est pourquoi vous copiez les deux.

Quatre cases d'enregistrement alignées, reliées par des flèches allant de chaque hachage stocké au prev de l'enregistrement suivant. Enregistrement 671, approbation par usr-sam : prev 8dd09d48, hachage stocké ac63a5ff. Enregistrement 672, tentative d'écriture 1, délai dépassé : prev ac63a5ff, remboursement 9,95, hachage stocké 6fbf9d7d. Enregistrement 673, tentative d'écriture 2, terminée, dessiné en rouge : prev 6fbf9d7d, remboursement 0,95, auparavant 9,95, hachage stocké ed0673cf, recalculé a5192794. Enregistrement 674, run_closed, résolu : prev ed0673cf, hachage stocké 9051db26. Sous l'enregistrement 674, le fichier d'ancre : count 1331, head e378b7d0, le dernier hachage de tout le stockage, conservé à part. En bas, la commande python -m obs audit verify --audit work/t.jsonl et sa réponse : la piste d'audit ne passe PAS la vérification (673 enregistrements lus) : enregistrement 673 : son contenu ne correspond pas à son hachage : l'enregistrement a été modifié.
Enregistrements 671 à 674 de la semaine rejouée, avec l'enregistrement 673 modifié à la main. Le hachage recalculé ne correspond plus au hachage stocké, et verify nomme l'enregistrement.
Description textuelle du diagramme

Chaque hachage stocké est le prev de l’enregistrement suivant. Le montant de l’enregistrement 673 étant passé à 0,95, son hachage recalculé est a5192794, et non le hachage stocké ed0673cf. Le vérificateur s’arrête à ce premier problème et nomme l’enregistrement 673. L’ancre contient le nombre d’enregistrements, 1 331, et le dernier hachage du stockage.

Une chaîne vérifie chaque enregistrement par rapport au précédent. Supprimez le dernier enregistrement, et tous les liens restants sont encore corrects. Seule l’ancre le détecte :

Fenêtre de terminal
head -n 1330 data/telemetry/week/audit.jsonl > work/t.jsonl
python -m obs audit verify --audit work/t.jsonl
The audit trail does NOT verify (1330 records read):
the store has 1330 records, the anchor says 1331: records were removed at the end or added without the store

L’ancre tient sur une ligne : {"count": 1331, "head": "e378b7d00139f1c356862b87968f9e407ce33a9e91e7ddfd3b0d412cbb9c0dec"}.

La chaîne révèle les changements. Les droits d’accès rendent d’abord ces changements difficiles :

Rangée du haut, le trajet : le flux de travail envoie un événement d'audit par décision ou changement avec OBS_EXPORT=otlp, par OTLP sur le port 4318, au Collector; son connecteur de routage vérifie si l'événement contient audit.type; si oui, il va uniquement au pipeline logs/audit, sans échantillonnage et sans aller à Loki; son exportateur otlp_http/audit l'envoie à la porte d'entrée sur le port 8313, qui accepte seulement POST /v1/logs, vérifie le schéma et ne permet ni lecture, ni modification, ni suppression; la porte d'entrée ajoute l'événement à audit.jsonl avec seq, prev, l'événement et son hachage, ainsi que le fichier d'ancre. Rangée du milieu, les réponses de la porte d'entrée : 200, stocké dans la chaîne; 200 et quarantaine, un événement invalide va dans audit.rejected.jsonl pour qu'une personne le traite; 503, impossible d'écrire maintenant, donc le Collector le renvoie; 400, le Collector abandonne définitivement le lot, ce que provoquait la première porte d'entrée. En bas, les droits de chacun : le flux de travail et le Collector envoient des événements à la porte d'entrée et ne font rien d'autre; Grace et les auditeurs lisent le stockage avec obs audit verify, show et story; Mei, la propriétaire du stockage, gère le stockage, le fichier des clés et la conservation, et ne peut pas modifier les enregistrements; en production, un autre système conserve une copie de l'ancre que l'application ne peut pas modifier.
Le trajet d'un événement d'audit par le Collector vers la porte d'entrée du stockage, ses réponses et les droits d'accès distincts autour du stockage.
Description textuelle du diagramme

Le connecteur de routage envoie chaque événement contenant audit.type vers son propre pipeline, sans échantillonnage. Son exportateur l’envoie à la porte d’entrée. Celle-ci permet seulement les ajouts. Elle répond 200 pour un événement stocké, et 200 avec mise en quarantaine pour un événement invalide. Elle répond 503 quand elle ne peut pas écrire, pour que le Collector réessaie. Elle ne répond jamais 400, car le Collector abandonne un lot qui reçoit cette réponse. Le flux de travail envoie seulement; Grace et les auditeurs lisent seulement; Mei gère le stockage, mais ne peut pas le modifier. Une copie de l’ancre se trouve ailleurs.

Les réponses de la porte d’entrée viennent d’une découverte réelle. La première porte d’entrée de l’équipe du cours répondait HTTP 400 à un événement qui ne respectait pas le schéma. C’est la réponse habituelle pour une entrée invalide. Mais l’exportateur otlp_http du Collector traite une réponse 400 comme définitive et ne réessaie pas. Avec une porte d’entrée de test qui répond 400, le Collector a inscrit ceci dans son journal, et l’événement a disparu :

error internal/queue_sender.go:57 Exporting failed. Dropping data.
"error": "not retryable error: Permanent error: rpc error: code = InvalidArgument desc = error exporting items, request to http://127.0.0.1:8313/v1/logs responded with HTTP Status Code 400
"dropped_items": 1

La porte d’entrée conserve donc maintenant un événement invalide dans audit.rejected.jsonl, pour qu’une personne le traite, et répond 200. Elle répond 503 seulement quand elle ne peut pas écrire, car le Collector réessaie après une réponse 503. Les commentaires dans do_POST (auditstore/server.py) expliquent chaque réponse.

  1. Copiez la porte d’entrée du stockage, son test et le README du module :

    Fenêtre de terminal
    S=../nextia-learning-labs/C31/snapshots/end-of-m06
    cp $S/auditstore/server.py $S/auditstore/__main__.py auditstore/
    cp $S/tests/test_auditstore_server.py tests/
    cp $S/README.md .
  2. Exécutez les tests : python -m pytest -q. La dernière ligne indique 104 passed, 1 skipped, 1 deselected (104 réussis, 1 ignoré, 1 exclu). Votre projet correspond maintenant à l’instantané end-of-m06.

  3. Supprimez work/, pour que la nouvelle piste commence à l’enregistrement 1.

  4. Dans le premier terminal, démarrez la porte d’entrée :

    Fenêtre de terminal
    python -m auditstore serve
    Audit store: http://127.0.0.1:8313/v1/logs -> …/observable-workflow/work/audit/audit.jsonl
  5. Dans le deuxième terminal, démarrez le Collector, comme dans Le Collector :

    Fenêtre de terminal
    mkdir -p work/collector-out
    OUT_DIR=work/collector-out AUDIT_STORE_URL=http://127.0.0.1:8313 ../otelcol/otelcol-contrib --config collector/standalone.yaml

    Attendez la ligne Everything is ready. Begin running and processing data. (tout est prêt; commencez l’exécution et le traitement des données).

  6. Dans le troisième terminal, rejouez le double remboursement par le Collector. Dans PowerShell, définissez d’abord $env:OBS_EXPORT = "otlp", puis omettez OBS_EXPORT=otlp devant les commandes.

    Fenêtre de terminal
    OBS_EXPORT=otlp python -m resolver run T-90104 --variant agent_structured --model chat-strong
    OBS_EXPORT=otlp python -m resolver approve T-90104-agent_structured-chat-strong-1 --as agent --fault request_refund:timeout_after_write --naive-retry
  7. Vérifiez la piste écrite par la porte d’entrée, puis lisez-la :

    Fenêtre de terminal
    python -m obs audit verify
    python -m obs audit story T-90104
    The audit trail is intact: 6 records, the chain and the anchor match (head d9fb6017bf615484).
    Audit story of ticket T-90104, run T-90104-agent_structured-chat-strong-1: 6 records (the trail verifies).
    1. … The AI agent support-workflow (chat-strong, agent_structured) read get_order (LK-793996): ok.
    2. … The AI agent support-workflow (chat-strong, agent_structured) proposed: resolve (rule W2): refund 9.95 (RFD-LATE) on LK-793996. It needs a support agent or above to approve. Evidence it read: order:LK-793996.
    3. … Sam (usr-sam, support agent) approved the proposal of record 2 (limit 100).
    4. … The workflow (support-workflow) sent refund 9.95 (RFD-LATE) on LK-793996: TIMEOUT (attempt 1, key 797fbb5bbb9f8a7e). Authority: the approval of record 3.
    5. … The workflow (support-workflow) sent refund 9.95 (RFD-LATE) on LK-793996: done (attempt 2, key 797fbb5bbb9f8a7e-retry1). Authority: the approval of record 3.
    6. … The ticket was closed: resolved (writes done: 1, reply: sent).
    Changes asked of the systems: 2 write call(s) after 1 approval(s).
    refund 9.95 (RFD-LATE) on LK-793996: 2 call(s) that may have changed it (timeout, done), 2 different key(s)

    Les six enregistrements sont arrivés, et le flux de travail n’en a écrit aucun lui-même. En mode OTLP, la porte d’entrée s’en est chargée. Votre dernier hachage diffère, car vos identifiants d’événement et vos heures sont nouveaux.

  8. Vérifiez qu’aucun événement d’audit n’est allé dans la sortie des journaux, ici le fichier de Loki : grep -c larkfield.audit work/collector-out/logs.jsonl (PowerShell : (Select-String -Path work\collector-out\logs.jsonl -Pattern larkfield.audit).Count). La commande affiche 0.

Votre ordre peut différer. Dans deux des trois exécutions de l’équipe du cours, la proposition est arrivée avant la lecture et est devenue l’enregistrement 1. Le Collector envoie les requêtes en parallèle. seq est donc l’ordre d’arrivée; at est l’heure de l’événement.

Passons aux traces. Attendez 15 secondes, puis exécutez python -m obs runs --data work/collector-out. L’équipe du cours a obtenu ceci :

run ticket started outcome model tools appr cost US$ secs model flags
T-90104-agent_structured-chat-strong-1 … resolved 0 0 1 0.00000 0.0 duplicate_write
1 run(s), 1 flagged

Aucun appel de modèle : l’échantillonnage en fin de trace a éliminé la trace 1 et conservé la trace 2. Celle-ci contient une approbation et des écritures. Le stockage de traces contient la moitié de l’histoire; la piste la contient au complet.

À vous de jouer : modifier un enregistrement à la main

Section intitulée « À vous de jouer : modifier un enregistrement à la main »

Faites-le comme une personne qui utilise un éditeur.

  1. Laissez la porte d’entrée et le Collector fonctionner.
  2. Ouvrez work/audit/audit.jsonl dans VS Code. Trouvez la ligne contenant retry1 : le second remboursement.
  3. Remplacez "amount":9.95 par "amount":0.95 sur cette ligne, puis enregistrez.
  4. Prédisez ce qu’indiquera verify (vérifier). Exécutez ensuite python -m obs audit verify.
  5. Annulez le changement dans l’éditeur (Ctrl+Z, ou Cmd+Z sur un Mac), enregistrez, puis vérifiez à nouveau.
Le résultat de l’équipe du cours
The audit trail does NOT verify (5 records read):
record 5: its content does not match its hash: the record was changed

Après l’annulation :

The audit trail is intact: 6 records, the chain and the anchor match (head d9fb6017bf615484).

Le vérificateur s’arrête au premier problème, ici l’enregistrement 5, et indique combien d’enregistrements il a lus. Votre numéro d’enregistrement est celui de la ligne où se trouve retry1.

Envoyez directement à la porte d’entrée un événement qui ne respecte pas le schéma. Créez bad-event.json dans le dossier du projet :

{"resourceLogs":[{"scopeLogs":[{"logRecords":[{"eventName":"larkfield.audit.approval","body":{"stringValue":"{\"schema\": \"larkfield.audit/1\", \"type\": \"approval\", \"note\": \"Sam said OK on the phone\"}"}}]}]}]}

Envoyez-le ensuite (sur Windows, tapez curl.exe plutôt que curl) :

Fenêtre de terminal
curl -s -X POST -H "Content-Type: application/json" --data @bad-event.json http://127.0.0.1:8313/v1/logs
{"partialSuccess": {}}

La porte d’entrée a répondu oui, donc un Collector n’abandonnerait pas le lot. Le premier terminal indique 1 event(s) kept in audit.rejected.jsonl: they do not pass the schema (1 événement conservé dans audit.rejected.jsonl : il ne respecte pas le schéma). Ce fichier contient l’événement et la raison. verify indique toujours 6 enregistrements. La quarantaine contient le texte « Sam a dit OK au téléphone ». Elle nécessite donc les droits d’accès du stockage et une personne qui la vide.

Arrêtez la porte d’entrée et le Collector avec Ctrl+C quand vous avez terminé.

Erreur courante

La porte d'entrée est arrêtée, ou le Collector ne fonctionne pas

Symptôme 1, la porte d’entrée est arrêtée : le flux de travail s’exécute comme d’habitude, mais verify ne montre aucun nouvel enregistrement. Le terminal du Collector affiche ceci toutes les quelques secondes :

info internal/retry_sender.go:136 Exporting failed. Will retry the request after interval. "otelcol.component.id": "otlp_http/audit", … "error": "failed to make an HTTP request: Post \"http://127.0.0.1:8313/v1/logs\": dial tcp 127.0.0.1:8313: connect: connection refused"

Rétablissement : redémarrez la porte d’entrée. Dans l’exécution de l’équipe du cours, les 3 enregistrements de T-80008 sont arrivés en moins de 10 secondes : 9 enregistrements. Le réglage max_elapsed_time: 0 de l’exportateur signifie qu’il n’abandonne jamais, mais il conserve les événements en attente en mémoire. Si le Collector s’arrête aussi, ils sont perdus. En production, donnez à l’exportateur d’audit une file d’attente sur disque.

Symptôme 2, aucun Collector : avec OBS_EXPORT=otlp et rien sur le port 4318, le flux de travail affiche des lignes Transient error … port=4318 … (erreur temporaire… port 4318…). Puis il affiche quatre fois Failed to export logs batch due to timeout, max retries or shutdown. (échec d’exportation du lot de journaux : délai dépassé, maximum de tentatives atteint ou arrêt). Il termine quand même avec Reply sent. Ticket: resolved. (réponse envoyée; billet résolu). La piste ne contient aucun enregistrement de cette exécution.

Cause : en mode OTLP, le flux de travail remet ses événements d’audit à l’exportateur OpenTelemetry sans attendre le stockage. Quand l’exportateur abandonne, les événements disparaissent. Seul le mode fichier arrête l’exécution quand un événement ne peut pas être stocké.

Rétablissement : c’est une lacune dans le code du cours et dans bien des systèmes réels. Corrigez-la avec une boîte d’envoi (outbox). Le flux de travail écrit d’abord chaque événement d’audit dans un fichier local. Un processus d’envoi vide ensuite le fichier vers le stockage. Ou arrêtez les écritures quand le trajet d’audit est indisponible. Comparez aussi les nombres chaque jour : les exécutions terminées dans les métriques et les enregistrements run_closed. Une chaîne ne peut pas révéler un événement qui n’est jamais arrivé.

Conservation. Le stockage ne permet aucune suppression. Larkfield conserve la piste pendant 7 ans, selon notre hypothèse. Une conception courante crée un fichier chaque année. Le dernier hachage de l’ancien fichier devient le premier prev du nouveau fichier. On peut alors supprimer une année entière, et la chaîne plus récente reste vérifiable. Le stockage du cours contient un seul fichier : c’est un conseil, pas une méthode testée ici.

Une demande de suppression. Une cliente demande à Larkfield de supprimer ses données. La loi applicable sur la vie privée peut lui accorder ce droit. Par exemple, le droit à l’effacement figure dans l’article 17 du RGPD de l’UE. Mais la piste d’audit permet seulement les ajouts, et retirer un enregistrement brise la chaîne. Le cours Sécurité de l’IA, vie privée et conception responsable traite de la suppression dans toutes les copies. Il le fait dans Réduire et conserver de façon réfléchie. Voici la partie qui concerne la piste.

Le stockage ne contient jamais l’identifiant de la cliente. Il contient un pseudonyme : un HMAC, un hachage à clé, de son identifiant avec sa propre clé, tirée de audit.keys.json. Une demande de suppression entraîne la suppression de la clé. Les enregistrements restent et la chaîne reste vérifiable. Mais personne ne peut recalculer le pseudonyme à partir de l’identifiant de la cliente : c’est l’effacement cryptographique (crypto-shredding).

La cliente du double remboursement est C-61975. Essayez sur une copie de la semaine :

  1. Copiez le stockage, l’ancre et les clés de la semaine : cp data/telemetry/week/audit* work/ (PowerShell : Copy-Item data\telemetry\week\audit* work\).

  2. Faites oublier la cliente :

    Fenêtre de terminal
    python -m obs audit forget C-61975 --audit work/audit.jsonl
    Deleted the key of customer C-61975: their audit events stay, but they can no longer be linked to the customer.
  3. Vérifiez : python -m obs audit verify --audit work/audit.jsonl. La commande affiche The audit trail is intact: 1331 records, the chain and the anchor match (head e378b7d00139f1c3) (la piste d’audit est intacte : 1 331 enregistrements, la chaîne et l’ancre correspondent).

  4. Comptez ses enregistrements : grep -c 'cust:6899a74add4687df' work/audit.jsonl (PowerShell : (Select-String -Path work\audit.jsonl -Pattern 'cust:6899a74add4687df').Count). La commande affiche encore 22 : les enregistrements des cinq exécutions de T-90104 pendant la semaine. Le fichier de clés ne contient plus C-61975.

obs audit story R-1014-040 raconte encore toute l’histoire, car celle-ci n’a jamais eu besoin de son identifiant. Soyez honnête sur les limites de cette méthode :

  • Les enregistrements contiennent encore des identifiants de commande, comme LK-793996, que le système de commandes peut relier à la cliente. La suppression est complète seulement si le système de commandes l’oublie aussi.
  • Les traces contiennent son identifiant en clair : larkfield.customer.id = C-61975. Dans un stockage de traces, il disparaît après les 14 jours de conservation.
  • Déterminer si un pseudonyme sans sa clé compte comme supprimé est une question juridique. Le considérant 26 du RGPD traite les données pseudonymisées comme des données personnelles quand des renseignements supplémentaires permettent de retrouver la personne. Consultez une personne qualifiée. Le fichier de clés est un contrôle qui permet de répondre, pas la réponse elle-même.

Utilisez la chaîne et l’ancre pour toute piste que quelqu’un pourrait vouloir modifier plus tard. Elles coûtent un calcul SHA-256 et une petite écriture de fichier par enregistrement. Cela fait partie des 1,9 ms par exécution que l’équipe du cours a mesurées pour toute la télémétrie. Gardez une copie de l’ancre ailleurs si les personnes qui exploitent l’application pourraient être tentées de modifier la piste, ou accusées. Sans cette copie, la chaîne révèle les modifications négligentes, mais pas celles d’une personne déterminée ayant un accès interne.

La séparation des droits d’accès demande le plus d’efforts. Elle coûte tout de même moins que d’expliquer à un auditeur pourquoi un développeur pouvait modifier un enregistrement de remboursement. Une base de données de registre ou un compartiment à écriture unique offre les mêmes garanties sous forme de produit. Ce produit a son propre prix et crée une dépendance envers le fournisseur.

Vérifiez votre compréhension

Quelqu'un retire le dernier enregistrement du stockage d'audit. Pourquoi la chaîne de hachage seule ne le détecte-t-elle pas? Qu'est-ce qui le détecte?

Afficher la réponse

Chaque enregistrement est vérifié par rapport au précédent. Après le retrait du dernier enregistrement, chaque lien restant est encore correct. La chaîne reste donc vérifiable. L’ancre détecte le retrait : elle contient le nombre d’enregistrements et le dernier hachage. La vérification indique « le stockage contient 1 330 enregistrements, l’ancre en indique 1 331 ». Il faut une copie de l’ancre dans un autre système. Une personne qui peut réécrire le stockage et l’ancre peut cacher n’importe quelle modification.

Vérifiez votre compréhension

Le point d'entrée du stockage répond HTTP 200 pour un événement qui ne respecte pas le schéma. Pourquoi pas 400, la réponse habituelle aux entrées invalides? Où va l'événement invalide?

Afficher la réponse

L’exportateur otlp_http du Collector traite une réponse 400 comme une erreur permanente. Il inscrit « Exporting failed. Dropping data. » (échec de l’exportation, abandon des données) dans les journaux et abandonne tout le lot. Les événements d’audit valides du même lot seraient donc perdus aussi. Le point d’entrée conserve l’événement invalide dans audit.rejected.jsonl, avec la raison, pour qu’une personne l’examine, et répond 200. Il répond 503 seulement lorsqu’il ne peut pas écrire, car le Collector réessaie après une réponse 503.

Vérifiez votre compréhension

Exercice autonome : envoyez le double remboursement au stockage d'audit par le Collector. Modifiez un enregistrement à la main et montrez que la vérification échoue. Collez les deux sorties de verify. Indiquez quel enregistrement le vérificateur désigne et pourquoi.

Afficher la réponse

Après le passage par le point d’entrée, verify indique que la piste est intacte, avec 6 enregistrements. Après le remplacement de 9,95 par 0,95 sur la ligne contenant retry1, verify désigne l’enregistrement 5. Son message est « son contenu ne correspond pas à son hachage : l’enregistrement a été modifié ». Le vérificateur recalcule chaque hachage à partir de seq, de prev et de l’événement. Le montant modifié produit un autre hachage, et le vérificateur s’arrête à ce premier problème.

Vérifiez votre compréhension

Une cliente demande à Larkfield de supprimer ses données. Que fait python -m obs audit forget? Pourquoi la chaîne reste-t-elle vérifiable, et quels éléments échappent à cette suppression?

Afficher la réponse

La commande supprime la clé de la cliente. Ses enregistrements restent inchangés, donc la chaîne et l’ancre restent vérifiables. Mais personne ne peut recalculer son pseudonyme à partir de son identifiant : c’est l’effacement cryptographique. Cette suppression ne touche pas les identifiants de commande dans les enregistrements, que le système de commandes peut relier à elle. Elle ne touche pas les traces, qui conservent son identifiant pendant 14 jours. Déterminer si cela compte comme une suppression est une question juridique.

Récapitulatif

  • Chaque enregistrement contient le hachage du précédent; l’ancre contient le nombre d’enregistrements et le dernier hachage. verify (vérifier) désigne le premier enregistrement qui ne correspond pas. L’ancre détecte les enregistrements retirés à la fin.
  • Une copie de l’ancre doit se trouver dans un autre système. Sinon, une personne qui peut réécrire les deux fichiers peut cacher n’importe quelle modification.
  • Les événements d’audit passent par le pipeline du Collector réservé à l’audit vers un point d’entrée qui permet seulement les ajouts. Ce point d’entrée ne répond jamais 400; un événement invalide est mis en quarantaine.
  • Une chaîne ne peut pas révéler un événement qui n’est jamais arrivé. En mode OTLP, l’absence du Collector entraîne la perte d’événements d’audit. Comparez les nombres d’événements et utilisez une boîte d’envoi en production.
  • Une demande de suppression entraîne la suppression de la clé de la cliente, pas de ses enregistrements. Les identifiants de commande et les traces nécessitent leur propre suppression.

Votre projet est maintenant à l’instantané end-of-m06, avec 104 tests qui réussissent. La piste est complète, chaînée, vérifiée et contrôlée. Mais la valeur d’une piste dépend des réponses qu’elle fournit. Ensuite, vous reprenez la question à l’origine de ce cours : pourquoi T-90104 a-t-il été remboursé deux fois? Vous y répondez à partir de la piste, pour Grace et pour un auditeur.

Leçon suivante : Répondre à une question d'audit