La rendre inviolable et contrôlée
- Leçon 21
- 45 min
- Module 6 : Pistes d'audit
Où nous en sommes
Dans la dernière leçon, le flux de travail a commencé à écrire un événement d'audit pour chaque décision et chaque changement. Mais la piste est un simple fichier. Toute personne qui peut le modifier peut remplacer 9,95 par 0,95, sans que personne le sache. Dans cette leçon, nous rendons chaque changement visible grâce à une chaîne de hachage. Nous envoyons les événements par le Collector vers un stockage qui permet seulement les ajouts. Nous décidons aussi qui peut les lire, les conserver et les supprimer. Commençons par un cahier relié.
Leçon 21 sur 28 · Observabilité des agents d'IA : traces, coûts et pistes d'auditLa rendre inviolable et contrôlée
1. Pourquoi les agents ont besoin de leur propre observabilité
2. OpenTelemetry pour les agents
3. Instrumenter le flux de travail
4. Trouver les défaillances des agents dans Grafana
5. Le coût
6. Pistes d'audit
7. Alertes, niveaux de service et qualité
8. Outils : Langfuse, les autres et l'inspecteur d'exécutions
Ce que vous saurez faire
Rendez toute modification de la piste d’audit détectable. Reliez chaque enregistrement au précédent par un hachage, conservez le dernier hachage à part, puis vérifiez. Envoyez les événements d’audit par le Collector vers un stockage qui permet seulement les ajouts. Donnez à chaque lecteur les droits nécessaires à son travail. Traitez une demande de suppression sans briser la chaîne.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- L’événement d’audit et ses champs, dans Enregistrer les décisions, les approbations et les changements.
- Le Collector, son connecteur de routage et le binaire autonome, dans Le Collector.
Ce qu’il vous faut sur votre ordinateur
- Le projet dans l’état laissé par la dernière leçon : 103 tests réussissent.
otelcol-contrib0.162.0 dans le dossierotelcolà côté du projet, comme dans Le Collector.- Trois terminaux dans
observable-workflow. L’environnement virtuel est actif dans celui qui exécute le flux de travail.
Testé sur macOS (Apple silicon) avec Python 3.12.13 et otelcol-contrib 0.162.0. Les commandes Windows et Linux sont écrites, mais n’ont pas été exécutées.
Un cahier relié et un second journal
Section intitulée « Un cahier relié et un second journal »Un laboratoire conserve ses résultats dans un cahier relié. Les pages sont numérotées et cousues. Personne ne peut arracher une page : le numéro manquant le révélerait.
Mais une personne pourrait quand même modifier soigneusement un nombre à la page 40 avec un stylo. Le laboratoire ajoute donc deux habitudes. En haut de chaque nouvelle page, le scientifique copie une courte marque de la page précédente. Chaque soir, une collègue inscrit le numéro de la dernière page et sa marque dans son propre journal. Le scientifique n’y touche jamais.
Maintenant, une page 40 modifiée ne correspond plus à la marque sur la page 41. Une dernière page arrachée ne correspond plus au journal de la collègue. Personne ne peut empêcher un changement, mais personne ne peut le cacher.
Le problème : un simple fichier n’oublie rien et ne prouve rien
Section intitulée « Le problème : un simple fichier n’oublie rien et ne prouve rien »Le stockage d’audit est un fichier texte, work/audit/audit.jsonl, avec un enregistrement par ligne. Regardez l’enregistrement 673 de la semaine rejouée, le second remboursement :
sed -n 673p data/telemetry/week/audit.jsonl | cut -c1-400{"event":{"action":{"attempt":2,"effect":{"amount":9.95,"order_id":"LK-793996","reason_code":"RFD-LATE","tool":"request_refund"},"idempotency_key":"797fbb5bbb9f8a7e-retry1","operation_id":"797fbb5bbb9f8a7e","outcome":"done","tool":"request_refund"},"actor":{"id":"support-workflow","kind":"system","role":"executor"},"at":"2026-10-15T13:17:22+00:00","authority":{"approval_event_id":"b5188674-35aa-4eSupposons qu’une personne veuille faire paraître le double remboursement plus petit. Elle ouvre le fichier et remplace 9.95 par 0.95. La ligne reste du JSON valide. Tous les outils la lisent encore. Sans autre mécanisme, aucun lecteur ne pourrait savoir que l’enregistrement a changé. Une piste d’audit que n’importe qui peut modifier en silence ne prouve rien.
L’idée : une empreinte pour chaque enregistrement
Section intitulée « L’idée : une empreinte pour chaque enregistrement »Un hachage est une courte empreinte de données. Le projet utilise SHA-256 : à partir de n’importe quelle entrée, il produit 64 caractères hexadécimaux. La même entrée donne toujours le même hachage. Un changement d’un seul caractère donne un hachage complètement différent. Personne ne peut retrouver l’entrée à partir du hachage, ni créer une seconde entrée avec le même hachage.
Essayez avec les deux montants :
python -c "import hashlib; print(hashlib.sha256(b'refund 9.95').hexdigest()); print(hashlib.sha256(b'refund 0.95').hexdigest())"7c578ae242639f8091e878e6c58fb79d112fe5cf4f96416b5b74ef019eb96516c3abdfc44cd6acbd25202002aae4cb349e4e4ff18b38756cb6509d35125380e8Un chiffre a changé, et les deux hachages ne se ressemblent plus du tout.
La chaîne
Section intitulée « La chaîne »Un hachage par enregistrement ne suffit pas : une personne qui modifie un enregistrement peut aussi calculer son nouveau hachage. Chaque enregistrement conserve donc aussi le hachage du précédent, comme le cahier copie la marque de la page précédente. C’est une chaîne de hachage :
seqest le numéro de l’enregistrement : 1, 2, 3…prevest le hachage de l’enregistrement précédent. Leprevdu premier enregistrement contient 64 zéros.hashest le hachage SHA-256 deseq, deprevet de l’événement, écrits selon un format fixe (record_hash()dansauditstore/store.py).
Après chaque ajout, le stockage écrit aussi une ancre, un petit fichier contenant le nombre d’enregistrements et le dernier hachage. C’est le journal de la collègue. obs audit verify recalcule chaque hachage depuis le premier enregistrement, vérifie chaque prev, puis compare la fin à l’ancre.
Le stockage ne permet ni modification ni suppression : append() est le seul moyen d’y écrire. Un tel stockage fonctionne par ajout seulement. Avec la chaîne, il rend les modifications détectables : il ne peut pas empêcher un changement, mais il le révèle.
Exemple détaillé : trois enregistrements, quatre façons de tricher
Section intitulée « Exemple détaillé : trois enregistrements, quatre façons de tricher »Créez tiny_chain.py dans le dossier du projet. Il crée un stockage de trois enregistrements dans work/tiny/, affiche la chaîne, puis modifie l’enregistrement 2 de quatre façons. Chaque essai utilise un nouveau stockage :
Le texte de tiny_chain.py
"""A tiny hash chain: three audit events in a store of their own, then four ways to change record 2.
python tiny_chain.py (in the project folder, the virtual environment active)"""import jsonfrom pathlib import Path
from auditstore.store import AuditStore, record_hash
path = Path("work/tiny/audit.jsonl")
def fresh() -> AuditStore: for f in path.parent.glob("audit*"): f.unlink() # start again each time store = AuditStore(path) for n, kind in enumerate(["proposal", "approval", "write"], 1): store.append({"schema": "larkfield.audit/1", "event_id": f"e{n}", "type": kind, "at": "2026-10-15T13:17:12+00:00", "actor": {"kind": "system", "id": "demo"}, "run_id": "R-demo", "ticket_id": "T-demo", "trace_id": "", "span_id": "", "subject": {"order_id": "LK-793996"}, "action": {"amount": 9.95}, "authority": {}, "evidence": []}) return store
def change(store: AuditStore, rehash: str) -> None: """Change the amount of record 2 by hand. rehash: '' (no), 'own' (its hash), 'all' (every hash after it).""" recs = store.records() recs[1]["event"]["action"]["amount"] = 0.95 for i, r in enumerate(recs): if (rehash == "own" and i == 1) or (rehash == "all" and i >= 1): r["prev"] = recs[i - 1]["hash"] r["hash"] = record_hash(r["seq"], r["prev"], r["event"]) path.write_text("".join(json.dumps(r, sort_keys=True, separators=(",", ":")) + "\n" for r in recs))
store = fresh()for r in store.records(): print(f'record {r["seq"]} prev {r["prev"][:12]} amount {r["event"]["action"]["amount"]} hash {r["hash"][:12]}')print("verify:", store.verify()["problems"] or "ok")for label, rehash, anchor_too in [("A. change the amount only", "", False), ("B. change it and compute its own hash again", "own", False), ("C. change it and compute every hash after it again", "all", False), ("D. as C, and write the anchor again too", "all", True)]: store = fresh() change(store, rehash) if anchor_too: last = store.records()[-1] store.anchor.write_text(json.dumps({"count": last["seq"], "head": last["hash"]}) + "\n") print(f"{label}: {store.verify()['problems'] or 'ok'}")Exécutez-le avec python tiny_chain.py :
record 1 prev 000000000000 amount 9.95 hash ab37a2f0d1b3record 2 prev ab37a2f0d1b3 amount 9.95 hash c4d81416b363record 3 prev c4d81416b363 amount 9.95 hash 999b64682730verify: okA. change the amount only: ['record 2: its content does not match its hash: the record was changed']B. change it and compute its own hash again: ['record 3: its link to record 2 does not match: an earlier record was changed or removed']C. change it and compute every hash after it again: ["the store has 3 records, as the anchor says, but its last hash is not the anchor's head: a record was changed and the hashes after it computed again"]D. as C, and write the anchor again too: okVos hachages sont identiques à ceux-ci : les enregistrements ont un contenu fixe. Suivez la chaîne dans les trois premières lignes. Le prev de l’enregistrement 2 est le hash de l’enregistrement 1. Le prev de l’enregistrement 3 est le hash de l’enregistrement 2.
Description textuelle du diagramme
Un contenu modifié ne correspond plus à son propre hachage. Un nouveau hachage ne correspond plus au prev de l’enregistrement suivant. De nouveaux hachages pour tous les enregistrements suivants ne correspondent plus au head de l’ancre. Seule une personne qui peut aussi réécrire l’ancre cache le changement. Il faut donc une copie de l’ancre à laquelle cette personne n’a pas accès.
Dans le cas C, le nombre est correct, mais le dernier hachage n’est pas celui que l’ancre a conservé. Le vérificateur sait donc que la chaîne a été recalculée après un changement.
Le cas D est la vraie leçon. Une personne qui peut écrire dans les deux fichiers peut réécrire la chaîne et l’ancre. La chaîne ne prouve alors rien. En production, une copie de l’ancre va donc dans un autre système avec d’autres droits d’accès. Ce peut être un compartiment de stockage à écriture unique, la base de données d’une autre équipe ou un message quotidien à Mei.
Le double remboursement, modifié à la main
Section intitulée « Le double remboursement, modifié à la main »Faites maintenant la même chose sur la vraie piste de la semaine. Dans une copie, remplacez 9,95 par 0,95 dans l’enregistrement 673, puis vérifiez la copie :
mkdir -p workcp data/telemetry/week/audit.jsonl work/t.jsonlcp data/telemetry/week/audit.anchor.json work/t.anchor.jsonsed -i.bak '673s/9.95/0.95/' work/t.jsonlpython -m obs audit verify --audit work/t.jsonlNew-Item -ItemType Directory -Force work | Out-NullCopy-Item data\telemetry\week\audit.jsonl work\t.jsonlCopy-Item data\telemetry\week\audit.anchor.json work\t.anchor.json$l = Get-Content work\t.jsonl; $l[672] = $l[672].Replace('9.95', '0.95'); Set-Content work\t.jsonl $l -Encoding utf8NoBOMpython -m obs audit verify --audit work/t.jsonl-Encoding utf8NoBOM nécessite PowerShell 7.
mkdir -p workcp data/telemetry/week/audit.jsonl work/t.jsonlcp data/telemetry/week/audit.anchor.json work/t.anchor.jsonsed -i '673s/9.95/0.95/' work/t.jsonlpython -m obs audit verify --audit work/t.jsonlThe audit trail does NOT verify (673 records read): record 673: its content does not match its hash: the record was changedLe nom du fichier de stockage détermine celui de l’ancre : t.jsonl va avec t.anchor.json. C’est pourquoi vous copiez les deux.
Description textuelle du diagramme
Chaque hachage stocké est le prev de l’enregistrement suivant. Le montant de l’enregistrement 673 étant passé à 0,95, son hachage recalculé est a5192794, et non le hachage stocké ed0673cf. Le vérificateur s’arrête à ce premier problème et nomme l’enregistrement 673. L’ancre contient le nombre d’enregistrements, 1 331, et le dernier hachage du stockage.
Les derniers enregistrements sont le point faible
Section intitulée « Les derniers enregistrements sont le point faible »Une chaîne vérifie chaque enregistrement par rapport au précédent. Supprimez le dernier enregistrement, et tous les liens restants sont encore corrects. Seule l’ancre le détecte :
head -n 1330 data/telemetry/week/audit.jsonl > work/t.jsonlpython -m obs audit verify --audit work/t.jsonlGet-Content data\telemetry\week\audit.jsonl -TotalCount 1330 | Set-Content work\t.jsonl -Encoding utf8NoBOMpython -m obs audit verify --audit work/t.jsonlhead -n 1330 data/telemetry/week/audit.jsonl > work/t.jsonlpython -m obs audit verify --audit work/t.jsonlThe audit trail does NOT verify (1330 records read): the store has 1330 records, the anchor says 1331: records were removed at the end or added without the storeL’ancre tient sur une ligne : {"count": 1331, "head": "e378b7d00139f1c356862b87968f9e407ce33a9e91e7ddfd3b0d412cbb9c0dec"}.
Le trajet et les droits de chacun
Section intitulée « Le trajet et les droits de chacun »La chaîne révèle les changements. Les droits d’accès rendent d’abord ces changements difficiles :
Description textuelle du diagramme
Le connecteur de routage envoie chaque événement contenant audit.type vers son propre pipeline, sans échantillonnage. Son exportateur l’envoie à la porte d’entrée. Celle-ci permet seulement les ajouts. Elle répond 200 pour un événement stocké, et 200 avec mise en quarantaine pour un événement invalide. Elle répond 503 quand elle ne peut pas écrire, pour que le Collector réessaie. Elle ne répond jamais 400, car le Collector abandonne un lot qui reçoit cette réponse. Le flux de travail envoie seulement; Grace et les auditeurs lisent seulement; Mei gère le stockage, mais ne peut pas le modifier. Une copie de l’ancre se trouve ailleurs.
Les réponses de la porte d’entrée viennent d’une découverte réelle. La première porte d’entrée de l’équipe du cours répondait HTTP 400 à un événement qui ne respectait pas le schéma. C’est la réponse habituelle pour une entrée invalide. Mais l’exportateur otlp_http du Collector traite une réponse 400 comme définitive et ne réessaie pas. Avec une porte d’entrée de test qui répond 400, le Collector a inscrit ceci dans son journal, et l’événement a disparu :
error internal/queue_sender.go:57 Exporting failed. Dropping data."error": "not retryable error: Permanent error: rpc error: code = InvalidArgument desc = error exporting items, request to http://127.0.0.1:8313/v1/logs responded with HTTP Status Code 400"dropped_items": 1La porte d’entrée conserve donc maintenant un événement invalide dans audit.rejected.jsonl, pour qu’une personne le traite, et répond 200. Elle répond 503 seulement quand elle ne peut pas écrire, car le Collector réessaie après une réponse 503. Les commentaires dans do_POST (auditstore/server.py) expliquent chaque réponse.
Exercice guidé : par le Collector vers le stockage
Section intitulée « Exercice guidé : par le Collector vers le stockage »-
Copiez la porte d’entrée du stockage, son test et le README du module :
Fenêtre de terminal S=../nextia-learning-labs/C31/snapshots/end-of-m06cp $S/auditstore/server.py $S/auditstore/__main__.py auditstore/cp $S/tests/test_auditstore_server.py tests/cp $S/README.md .Fenêtre de terminal $S = "..\nextia-learning-labs\C31\snapshots\end-of-m06"Copy-Item $S\auditstore\server.py, $S\auditstore\__main__.py auditstore\Copy-Item $S\tests\test_auditstore_server.py tests\Copy-Item -Force $S\README.md .Fenêtre de terminal S=../nextia-learning-labs/C31/snapshots/end-of-m06cp $S/auditstore/server.py $S/auditstore/__main__.py auditstore/cp $S/tests/test_auditstore_server.py tests/cp $S/README.md . -
Exécutez les tests :
python -m pytest -q. La dernière ligne indique104 passed, 1 skipped, 1 deselected(104 réussis, 1 ignoré, 1 exclu). Votre projet correspond maintenant à l’instantanéend-of-m06. -
Supprimez
work/, pour que la nouvelle piste commence à l’enregistrement 1. -
Dans le premier terminal, démarrez la porte d’entrée :
Fenêtre de terminal python -m auditstore serveAudit store: http://127.0.0.1:8313/v1/logs -> …/observable-workflow/work/audit/audit.jsonl -
Dans le deuxième terminal, démarrez le Collector, comme dans Le Collector :
Fenêtre de terminal mkdir -p work/collector-outOUT_DIR=work/collector-out AUDIT_STORE_URL=http://127.0.0.1:8313 ../otelcol/otelcol-contrib --config collector/standalone.yamlFenêtre de terminal New-Item -ItemType Directory -Force work\collector-out | Out-Null$env:OUT_DIR = "work/collector-out"; $env:AUDIT_STORE_URL = "http://127.0.0.1:8313"..\otelcol\otelcol-contrib.exe --config collector\standalone.yamlFenêtre de terminal mkdir -p work/collector-outOUT_DIR=work/collector-out AUDIT_STORE_URL=http://127.0.0.1:8313 ../otelcol/otelcol-contrib --config collector/standalone.yamlAttendez la ligne
Everything is ready. Begin running and processing data.(tout est prêt; commencez l’exécution et le traitement des données). -
Dans le troisième terminal, rejouez le double remboursement par le Collector. Dans PowerShell, définissez d’abord
$env:OBS_EXPORT = "otlp", puis omettezOBS_EXPORT=otlpdevant les commandes.Fenêtre de terminal OBS_EXPORT=otlp python -m resolver run T-90104 --variant agent_structured --model chat-strongOBS_EXPORT=otlp python -m resolver approve T-90104-agent_structured-chat-strong-1 --as agent --fault request_refund:timeout_after_write --naive-retry -
Vérifiez la piste écrite par la porte d’entrée, puis lisez-la :
Fenêtre de terminal python -m obs audit verifypython -m obs audit story T-90104The audit trail is intact: 6 records, the chain and the anchor match (head d9fb6017bf615484).Audit story of ticket T-90104, run T-90104-agent_structured-chat-strong-1: 6 records (the trail verifies).1. … The AI agent support-workflow (chat-strong, agent_structured) read get_order (LK-793996): ok.2. … The AI agent support-workflow (chat-strong, agent_structured) proposed: resolve (rule W2): refund 9.95 (RFD-LATE) on LK-793996. It needs a support agent or above to approve. Evidence it read: order:LK-793996.3. … Sam (usr-sam, support agent) approved the proposal of record 2 (limit 100).4. … The workflow (support-workflow) sent refund 9.95 (RFD-LATE) on LK-793996: TIMEOUT (attempt 1, key 797fbb5bbb9f8a7e). Authority: the approval of record 3.5. … The workflow (support-workflow) sent refund 9.95 (RFD-LATE) on LK-793996: done (attempt 2, key 797fbb5bbb9f8a7e-retry1). Authority: the approval of record 3.6. … The ticket was closed: resolved (writes done: 1, reply: sent).Changes asked of the systems: 2 write call(s) after 1 approval(s).refund 9.95 (RFD-LATE) on LK-793996: 2 call(s) that may have changed it (timeout, done), 2 different key(s)Les six enregistrements sont arrivés, et le flux de travail n’en a écrit aucun lui-même. En mode OTLP, la porte d’entrée s’en est chargée. Votre dernier hachage diffère, car vos identifiants d’événement et vos heures sont nouveaux.
-
Vérifiez qu’aucun événement d’audit n’est allé dans la sortie des journaux, ici le fichier de Loki :
grep -c larkfield.audit work/collector-out/logs.jsonl(PowerShell :(Select-String -Path work\collector-out\logs.jsonl -Pattern larkfield.audit).Count). La commande affiche0.
Votre ordre peut différer. Dans deux des trois exécutions de l’équipe du cours, la proposition est arrivée avant la lecture et est devenue l’enregistrement 1. Le Collector envoie les requêtes en parallèle. seq est donc l’ordre d’arrivée; at est l’heure de l’événement.
Passons aux traces. Attendez 15 secondes, puis exécutez python -m obs runs --data work/collector-out. L’équipe du cours a obtenu ceci :
run ticket started outcome model tools appr cost US$ secs model flagsT-90104-agent_structured-chat-strong-1 … resolved 0 0 1 0.00000 0.0 duplicate_write1 run(s), 1 flaggedAucun appel de modèle : l’échantillonnage en fin de trace a éliminé la trace 1 et conservé la trace 2. Celle-ci contient une approbation et des écritures. Le stockage de traces contient la moitié de l’histoire; la piste la contient au complet.
À vous de jouer : modifier un enregistrement à la main
Section intitulée « À vous de jouer : modifier un enregistrement à la main »Faites-le comme une personne qui utilise un éditeur.
- Laissez la porte d’entrée et le Collector fonctionner.
- Ouvrez
work/audit/audit.jsonldans VS Code. Trouvez la ligne contenantretry1: le second remboursement. - Remplacez
"amount":9.95par"amount":0.95sur cette ligne, puis enregistrez. - Prédisez ce qu’indiquera
verify(vérifier). Exécutez ensuitepython -m obs audit verify. - Annulez le changement dans l’éditeur (Ctrl+Z, ou Cmd+Z sur un Mac), enregistrez, puis vérifiez à nouveau.
Le résultat de l’équipe du cours
The audit trail does NOT verify (5 records read): record 5: its content does not match its hash: the record was changedAprès l’annulation :
The audit trail is intact: 6 records, the chain and the anchor match (head d9fb6017bf615484).Le vérificateur s’arrête au premier problème, ici l’enregistrement 5, et indique combien d’enregistrements il a lus. Votre numéro d’enregistrement est celui de la ligne où se trouve retry1.
Un événement invalide va en quarantaine
Section intitulée « Un événement invalide va en quarantaine »Envoyez directement à la porte d’entrée un événement qui ne respecte pas le schéma. Créez bad-event.json dans le dossier du projet :
{"resourceLogs":[{"scopeLogs":[{"logRecords":[{"eventName":"larkfield.audit.approval","body":{"stringValue":"{\"schema\": \"larkfield.audit/1\", \"type\": \"approval\", \"note\": \"Sam said OK on the phone\"}"}}]}]}]}Envoyez-le ensuite (sur Windows, tapez curl.exe plutôt que curl) :
curl -s -X POST -H "Content-Type: application/json" --data @bad-event.json http://127.0.0.1:8313/v1/logs{"partialSuccess": {}}La porte d’entrée a répondu oui, donc un Collector n’abandonnerait pas le lot. Le premier terminal indique 1 event(s) kept in audit.rejected.jsonl: they do not pass the schema (1 événement conservé dans audit.rejected.jsonl : il ne respecte pas le schéma). Ce fichier contient l’événement et la raison. verify indique toujours 6 enregistrements. La quarantaine contient le texte « Sam a dit OK au téléphone ». Elle nécessite donc les droits d’accès du stockage et une personne qui la vide.
Arrêtez la porte d’entrée et le Collector avec Ctrl+C quand vous avez terminé.
Erreur courante
La porte d'entrée est arrêtée, ou le Collector ne fonctionne pas
Symptôme 1, la porte d’entrée est arrêtée : le flux de travail s’exécute comme d’habitude, mais verify ne montre aucun nouvel enregistrement. Le terminal du Collector affiche ceci toutes les quelques secondes :
info internal/retry_sender.go:136 Exporting failed. Will retry the request after interval. "otelcol.component.id": "otlp_http/audit", … "error": "failed to make an HTTP request: Post \"http://127.0.0.1:8313/v1/logs\": dial tcp 127.0.0.1:8313: connect: connection refused"Rétablissement : redémarrez la porte d’entrée. Dans l’exécution de l’équipe du cours, les 3 enregistrements de T-80008 sont arrivés en moins de 10 secondes : 9 enregistrements. Le réglage max_elapsed_time: 0 de l’exportateur signifie qu’il n’abandonne jamais, mais il conserve les événements en attente en mémoire. Si le Collector s’arrête aussi, ils sont perdus. En production, donnez à l’exportateur d’audit une file d’attente sur disque.
Symptôme 2, aucun Collector : avec OBS_EXPORT=otlp et rien sur le port 4318, le flux de travail affiche des lignes Transient error … port=4318 … (erreur temporaire… port 4318…). Puis il affiche quatre fois Failed to export logs batch due to timeout, max retries or shutdown. (échec d’exportation du lot de journaux : délai dépassé, maximum de tentatives atteint ou arrêt). Il termine quand même avec Reply sent. Ticket: resolved. (réponse envoyée; billet résolu). La piste ne contient aucun enregistrement de cette exécution.
Cause : en mode OTLP, le flux de travail remet ses événements d’audit à l’exportateur OpenTelemetry sans attendre le stockage. Quand l’exportateur abandonne, les événements disparaissent. Seul le mode fichier arrête l’exécution quand un événement ne peut pas être stocké.
Rétablissement : c’est une lacune dans le code du cours et dans bien des systèmes réels. Corrigez-la avec une boîte d’envoi (outbox). Le flux de travail écrit d’abord chaque événement d’audit dans un fichier local. Un processus d’envoi vide ensuite le fichier vers le stockage. Ou arrêtez les écritures quand le trajet d’audit est indisponible. Comparez aussi les nombres chaque jour : les exécutions terminées dans les métriques et les enregistrements run_closed. Une chaîne ne peut pas révéler un événement qui n’est jamais arrivé.
Durée de conservation et demande de suppression
Section intitulée « Durée de conservation et demande de suppression »Conservation. Le stockage ne permet aucune suppression. Larkfield conserve la piste pendant 7 ans, selon notre hypothèse. Une conception courante crée un fichier chaque année. Le dernier hachage de l’ancien fichier devient le premier prev du nouveau fichier. On peut alors supprimer une année entière, et la chaîne plus récente reste vérifiable. Le stockage du cours contient un seul fichier : c’est un conseil, pas une méthode testée ici.
Une demande de suppression. Une cliente demande à Larkfield de supprimer ses données. La loi applicable sur la vie privée peut lui accorder ce droit. Par exemple, le droit à l’effacement figure dans l’article 17 du RGPD de l’UE. Mais la piste d’audit permet seulement les ajouts, et retirer un enregistrement brise la chaîne. Le cours Sécurité de l’IA, vie privée et conception responsable traite de la suppression dans toutes les copies. Il le fait dans Réduire et conserver de façon réfléchie. Voici la partie qui concerne la piste.
Le stockage ne contient jamais l’identifiant de la cliente. Il contient un pseudonyme : un HMAC, un hachage à clé, de son identifiant avec sa propre clé, tirée de audit.keys.json. Une demande de suppression entraîne la suppression de la clé. Les enregistrements restent et la chaîne reste vérifiable. Mais personne ne peut recalculer le pseudonyme à partir de l’identifiant de la cliente : c’est l’effacement cryptographique (crypto-shredding).
La cliente du double remboursement est C-61975. Essayez sur une copie de la semaine :
-
Copiez le stockage, l’ancre et les clés de la semaine :
cp data/telemetry/week/audit* work/(PowerShell :Copy-Item data\telemetry\week\audit* work\). -
Faites oublier la cliente :
Fenêtre de terminal python -m obs audit forget C-61975 --audit work/audit.jsonlDeleted the key of customer C-61975: their audit events stay, but they can no longer be linked to the customer. -
Vérifiez :
python -m obs audit verify --audit work/audit.jsonl. La commande afficheThe audit trail is intact: 1331 records, the chain and the anchor match (head e378b7d00139f1c3)(la piste d’audit est intacte : 1 331 enregistrements, la chaîne et l’ancre correspondent). -
Comptez ses enregistrements :
grep -c 'cust:6899a74add4687df' work/audit.jsonl(PowerShell :(Select-String -Path work\audit.jsonl -Pattern 'cust:6899a74add4687df').Count). La commande affiche encore22: les enregistrements des cinq exécutions de T-90104 pendant la semaine. Le fichier de clés ne contient plusC-61975.
obs audit story R-1014-040 raconte encore toute l’histoire, car celle-ci n’a jamais eu besoin de son identifiant. Soyez honnête sur les limites de cette méthode :
- Les enregistrements contiennent encore des identifiants de commande, comme LK-793996, que le système de commandes peut relier à la cliente. La suppression est complète seulement si le système de commandes l’oublie aussi.
- Les traces contiennent son identifiant en clair :
larkfield.customer.id = C-61975. Dans un stockage de traces, il disparaît après les 14 jours de conservation. - Déterminer si un pseudonyme sans sa clé compte comme supprimé est une question juridique. Le considérant 26 du RGPD traite les données pseudonymisées comme des données personnelles quand des renseignements supplémentaires permettent de retrouver la personne. Consultez une personne qualifiée. Le fichier de clés est un contrôle qui permet de répondre, pas la réponse elle-même.
Quand utiliser chaque contrôle, et à quel coût
Section intitulée « Quand utiliser chaque contrôle, et à quel coût »Utilisez la chaîne et l’ancre pour toute piste que quelqu’un pourrait vouloir modifier plus tard. Elles coûtent un calcul SHA-256 et une petite écriture de fichier par enregistrement. Cela fait partie des 1,9 ms par exécution que l’équipe du cours a mesurées pour toute la télémétrie. Gardez une copie de l’ancre ailleurs si les personnes qui exploitent l’application pourraient être tentées de modifier la piste, ou accusées. Sans cette copie, la chaîne révèle les modifications négligentes, mais pas celles d’une personne déterminée ayant un accès interne.
La séparation des droits d’accès demande le plus d’efforts. Elle coûte tout de même moins que d’expliquer à un auditeur pourquoi un développeur pouvait modifier un enregistrement de remboursement. Une base de données de registre ou un compartiment à écriture unique offre les mêmes garanties sous forme de produit. Ce produit a son propre prix et crée une dépendance envers le fournisseur.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Quelqu'un retire le dernier enregistrement du stockage d'audit. Pourquoi la chaîne de hachage seule ne le détecte-t-elle pas? Qu'est-ce qui le détecte?
Afficher la réponse
Chaque enregistrement est vérifié par rapport au précédent. Après le retrait du dernier enregistrement, chaque lien restant est encore correct. La chaîne reste donc vérifiable. L’ancre détecte le retrait : elle contient le nombre d’enregistrements et le dernier hachage. La vérification indique « le stockage contient 1 330 enregistrements, l’ancre en indique 1 331 ». Il faut une copie de l’ancre dans un autre système. Une personne qui peut réécrire le stockage et l’ancre peut cacher n’importe quelle modification.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le point d'entrée du stockage répond HTTP 200 pour un événement qui ne respecte pas le schéma. Pourquoi pas 400, la réponse habituelle aux entrées invalides? Où va l'événement invalide?
Afficher la réponse
L’exportateur otlp_http du Collector traite une réponse 400 comme une erreur permanente. Il inscrit « Exporting failed. Dropping data. » (échec de l’exportation, abandon des données) dans les journaux et abandonne tout le lot. Les événements d’audit valides du même lot seraient donc perdus aussi. Le point d’entrée conserve l’événement invalide dans audit.rejected.jsonl, avec la raison, pour qu’une personne l’examine, et répond 200. Il répond 503 seulement lorsqu’il ne peut pas écrire, car le Collector réessaie après une réponse 503.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Exercice autonome : envoyez le double remboursement au stockage d'audit par le Collector. Modifiez un enregistrement à la main et montrez que la vérification échoue. Collez les deux sorties de verify. Indiquez quel enregistrement le vérificateur désigne et pourquoi.
Afficher la réponse
Après le passage par le point d’entrée, verify indique que la piste est intacte, avec 6 enregistrements. Après le remplacement de 9,95 par 0,95 sur la ligne contenant retry1, verify désigne l’enregistrement 5. Son message est « son contenu ne correspond pas à son hachage : l’enregistrement a été modifié ». Le vérificateur recalcule chaque hachage à partir de seq, de prev et de l’événement. Le montant modifié produit un autre hachage, et le vérificateur s’arrête à ce premier problème.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Une cliente demande à Larkfield de supprimer ses données. Que fait python -m obs audit forget? Pourquoi la chaîne reste-t-elle vérifiable, et quels éléments échappent à cette suppression?
Afficher la réponse
La commande supprime la clé de la cliente. Ses enregistrements restent inchangés, donc la chaîne et l’ancre restent vérifiables. Mais personne ne peut recalculer son pseudonyme à partir de son identifiant : c’est l’effacement cryptographique. Cette suppression ne touche pas les identifiants de commande dans les enregistrements, que le système de commandes peut relier à elle. Elle ne touche pas les traces, qui conservent son identifiant pendant 14 jours. Déterminer si cela compte comme une suppression est une question juridique.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Chaque enregistrement contient le hachage du précédent; l’ancre contient le nombre d’enregistrements et le dernier hachage.
verify(vérifier) désigne le premier enregistrement qui ne correspond pas. L’ancre détecte les enregistrements retirés à la fin. - Une copie de l’ancre doit se trouver dans un autre système. Sinon, une personne qui peut réécrire les deux fichiers peut cacher n’importe quelle modification.
- Les événements d’audit passent par le pipeline du Collector réservé à l’audit vers un point d’entrée qui permet seulement les ajouts. Ce point d’entrée ne répond jamais 400; un événement invalide est mis en quarantaine.
- Une chaîne ne peut pas révéler un événement qui n’est jamais arrivé. En mode OTLP, l’absence du Collector entraîne la perte d’événements d’audit. Comparez les nombres d’événements et utilisez une boîte d’envoi en production.
- Une demande de suppression entraîne la suppression de la clé de la cliente, pas de ses enregistrements. Les identifiants de commande et les traces nécessitent leur propre suppression.
Votre projet est maintenant à l’instantané end-of-m06, avec 104 tests qui réussissent. La piste est complète, chaînée, vérifiée et contrôlée. Mais la valeur d’une piste dépend des réponses qu’elle fournit. Ensuite, vous reprenez la question à l’origine de ce cours : pourquoi T-90104 a-t-il été remboursé deux fois? Vous y répondez à partir de la piste, pour Grace et pour un auditeur.
Leçon suivante : Répondre à une question d'audit