Aller au contenu
English

Répondre à une question d'audit

  • Leçon 22
  • 40 min
  • Module 6 : Pistes d'audit

Où nous en sommes

Dans les trois dernières leçons, nous avons construit une piste d'audit. Elle contient un événement par décision et changement, chaîné, vérifié et envoyé par son propre chemin. Une piste ne vaut que par les réponses qu'elle fournit. Dans cette leçon, nous répondons à la question qui a ouvert le cours : pourquoi le billet T-90104 a-t-il été remboursé deux fois? Nous utilisons la piste, les traces et le service de paiement pour répondre à Grace et à un auditeur. Nous commençons par un paiement par carte contesté.

Leçon 22 sur 28 · Observabilité des agents d'IA : traces, coûts et pistes d'auditRépondre à une question d'audit
Aperçu du cours

Ce que vous saurez faire

Répondez à une question d’audit à partir des enregistrements. Vérifiez la piste, trouvez la bonne exécution et lisez son histoire. Nommez la source de chaque partie de la réponse. Rédigez ensuite deux versions, pour une responsable du soutien et pour un auditeur, en indiquant clairement chaque lacune.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

  • L’événement d’audit, ses liens, la chaîne et l’ancrage, présentés dans les trois dernières leçons.
  • Comment lire les deux traces du double remboursement, présentées dans Approbations, personnes et temps d’attente.

Ce qu’il vous faut sur votre ordinateur

  • Le projet dans l’état laissé à la dernière leçon, l’instantané end-of-m06 : 104 tests réussissent.
  • Un terminal dans observable-workflow, avec l’environnement virtuel activé. Aucun Collector n’est nécessaire : vous lisez la semaine enregistrée.

Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes Windows et Linux sont fournies, mais n’ont pas été exécutées.

Une cliente appelle sa banque : « Le magasin m’a facturé deux fois. » La banque ne demande pas à la caissière ce dont elle se souvient. Elle ouvre ses propres enregistrements : deux paiements, leurs heures, la carte, le terminal et le code qui a autorisé chacun.

Elle rédige ensuite deux réponses. La cliente reçoit une courte lettre en mots simples : ce qui s’est passé et ce que la banque fait maintenant. Le dossier de l’auditeur contient les numéros d’enregistrement, les heures et les preuves. Il indique aussi ce que la banque n’a pas pu vérifier.

Une seule histoire, tirée des enregistrements, racontée deux fois. Voilà une réponse d’audit.

Grace demande : « Pourquoi avons-nous remboursé le billet T-90104 deux fois? » L’équipe a trois réponses rapides, et chacune échoue.

  • Le journal d’Amira indique status=resolved writes=1 reply=sent (état résolu, une écriture, réponse envoyée). C’est faux : deux remboursements ont été versés.
  • La vue en cascade de Tomás montre deux spans (segments de trace) request_refund (demander un remboursement). Grace ne sait pas la lire, rien ne prouve qu’elle est complète, et dans deux semaines, elle aura disparu.
  • L’histoire du billet : python -m obs audit story T-90104 --data data/telemetry/week raconte une histoire nette avec un seul remboursement. C’est la mauvaise exécution, comme le montre le cas de défaillance ci-dessous.

Une bonne réponse a quatre propriétés. Elle vient d’enregistrements complets et inchangés. Elle indique la source de chaque fait. Elle est adaptée à son lecteur. Et elle nomme ce que les enregistrements ne peuvent pas dire.

  1. Vérifiez les enregistrements. Vérifiez la piste et notez le résultat.
  2. Trouvez l’exécution. Un billet peut avoir plusieurs exécutions. Trouvez celle qui contient les écritures.
  3. Lisez l’histoire de cette exécution, à partir de la piste seulement.
  4. Nommez une source pour chaque partie de la réponse, et indiquez les lacunes : piste, traces, service de paiement, journal des versions.
  5. Rédigez deux réponses : une pour la personne qui a posé la question, une pour un auditeur.

Étapes 1 et 2 : vérifier les enregistrements, trouver l’exécution

Section intitulée « Étapes 1 et 2 : vérifier les enregistrements, trouver l’exécution »
Fenêtre de terminal
python -m obs audit verify --data data/telemetry/week
The audit trail is intact: 1331 records, the chain and the anchor match (head e378b7d00139f1c3).

Notez la tête de la chaîne. Si quelqu’un modifie un enregistrement plus tard, la tête change. Votre réponse indique toujours la piste dont elle provient.

Trouvez ensuite les exécutions de T-90104 qui ont écrit quelque chose. La piste contient un enregistrement par écriture, avec son identifiant d’exécution :

Fenêtre de terminal
grep '"ticket_id":"T-90104"' data/telemetry/week/audit.jsonl | grep '"type":"write"' | grep -o '"run_id":"[^"]*"' | sort | uniq -c

Dans PowerShell :

Fenêtre de terminal
Select-String -Path data\telemetry\week\audit.jsonl -Pattern '"ticket_id":"T-90104"' | Where-Object { $_.Line -match '"type":"write"' } | ForEach-Object { [regex]::Match($_.Line, '"run_id":"[^"]*"').Value } | Group-Object | Select-Object Count, Name
2 "run_id":"R-1014-040"
1 "run_id":"R-1015-020"
1 "run_id":"R-1016-016"

Trois exécutions du billet ont versé un paiement. L’une d’elles contient deux appels d’écriture : R-1014-040.

Fenêtre de terminal
python -m obs audit story R-1014-040 --data data/telemetry/week
Audit story of ticket T-90104, run R-1014-040: 6 records (the trail verifies).
610. Wed 14 Oct 17:52:02 The AI agent support-workflow (chat-strong, agent_structured) read get_order (LK-793996): ok.
611. Wed 14 Oct 17:52:06 The AI agent support-workflow (chat-strong, agent_structured) proposed: resolve (rule W2): refund 9.95 (RFD-LATE) on LK-793996. It needs a support agent or above to approve. Evidence it read: order:LK-793996.
671. Thu 15 Oct 09:17:12 Sam (usr-sam, support agent) approved the proposal of record 611 after 15 h 25 min (limit 100).
672. Thu 15 Oct 09:17:22 The workflow (support-workflow) sent refund 9.95 (RFD-LATE) on LK-793996: TIMEOUT (attempt 1, key 797fbb5bbb9f8a7e). Authority: the approval of record 671.
673. Thu 15 Oct 09:17:22 The workflow (support-workflow) sent refund 9.95 (RFD-LATE) on LK-793996: done (attempt 2, key 797fbb5bbb9f8a7e-retry1). Authority: the approval of record 671.
674. Thu 15 Oct 09:17:22 The ticket was closed: resolved (writes done: 1, reply: sent).
Changes asked of the systems: 2 write call(s) after 1 approval(s).
refund 9.95 (RFD-LATE) on LK-793996: 2 call(s) that may have changed it (timeout, done), 2 different key(s)

L’histoire utilise uniquement la piste, avec les noms de data/people.json et l’heure de Toronto. Lisez ce qu’elle prouve :

  • L’agent a proposé un seul remboursement de 9,95, selon la règle W2, après avoir lu une commande.
  • Sam a approuvé une seule proposition, dans sa limite de 100, 15 h 25 minutes plus tard.
  • Le flux de travail a envoyé deux appels pour cette seule approbation. Le premier a dépassé le délai. Le second avait une clé différente.
  • La clôture a compté une écriture effectuée. C’est de là que vient writes=1 (une écriture) dans le journal d’Amira.

Et ce qu’elle ne prouve pas : si le premier appel, qui a dépassé le délai, a effectué un remboursement. « TIMEOUT » signifie que le flux de travail a cessé d’attendre, pas que rien ne s’est passé. L’histoire le formule prudemment : « 2 appels qui ont peut-être modifié la situation ».

La piste répond aux questions « qui » et « quoi ». Pour le reste, consultez les autres sources pendant qu’elles existent encore.

Les traces donnent les détails et la version. À partir de python -m obs trace R-1014-040 --data data/telemetry/week :

Run R-1014-040 | ticket T-90104 | chat-strong (agent_structured) | release 2.1.0 | language en
…
Trace 2 15ba0d9388d1b9e001af373f21c4b955 Thu 15 Oct 09:17:12 10.0 s
0.0 s |========================| 10.01 s approve support-resolution approved by usr-sam (agent, limit 100)
0.0 s |========================| 10.00 s execute_tool request_refund ERROR timeout LK-793996 9.95 RFD-LATE key 797fbb5bbb9f8a7e
10.0 s | =| 0.00 s execute_tool request_refund done LK-793996 9.95 RFD-LATE key 797fbb5bbb9f8a7e-retry1
10.0 s | =| 0.00 s execute_tool send_reply sent

Le premier appel a attendu les 10 secondes complètes. Et l’exécution utilise la version 2.1.0.

Le journal des versions indique ce que la version 2.1.0 a changé. Dans les données d’exercice, il s’agit de la liste releases (versions) de data/telemetry/week/plan.json :

{'from': '2026-10-12T00:00:00-04:00', 'version': '2.0.0', 'retry': 'safe', 'reply_failure': 'person', 'hard_model': ''}
{'from': '2026-10-14T09:00:00-04:00', 'version': '2.1.0', 'retry': 'naive', 'reply_failure': 'close', 'hard_model': 'chat-strong'}
{'from': '2026-10-16T11:30:00-04:00', 'version': '2.1.1', 'retry': 'safe', 'reply_failure': 'person', 'hard_model': 'chat-strong'}

La version 2.1.0, active depuis mercredi à 9 h, utilise la nouvelle tentative naïve de Tomás. Après un dépassement du délai, elle renvoie l’appel avec une nouvelle clé. La nouvelle tentative sûre de la version 2.0.0 vérifie d’abord, avec la même clé. La version 2.1.1 a rétabli la nouvelle tentative sûre vendredi à 11 h 30.

Le service de paiement sait ce qu’il a versé. C’est le système de référence : le système dont les données font foi pour l’argent. Dans les données d’exercice, les enregistrements du service de paiement pour la semaine ne sont pas conservés. Les données de vérité du scénario les remplacent. La liste des incidents du plan explique pourquoi l’appel était lent jeudi, de 8 h 30 à 9 h 30. Elle indique : « Le premier appel de chaque remboursement répond après le délai de 10 secondes, mais le remboursement est effectué. » Dans data/telemetry/week/truth.json, R-1014-040 a la valeur duplicate_refunds 1 (un remboursement en double). Dans vos propres exécutions, python -m resolver changes montre les enregistrements du service de paiement dans la base de données d’exercice : deux changements pour le double remboursement.

Quatre couloirs, deux moments. Mercredi 14 octobre à 17 h 52, l'agent propose; jeudi 15 octobre à 9 h 17, Sam approuve, 15 h 25 minutes plus tard. Piste d'audit : 610, lecture get_order et 611, proposition, remboursement de 9,95, nécessite un agent; puis 671, approbation par usr-sam, agent, limite de 100; 672, écriture, tentative 1, clé se terminant par 5bbb9f8a7e, délai dépassé; 673, écriture, tentative 2, clé se terminant par a7e-retry1, terminée; 674, clôture, résolu, writes_done 1. Traces : trace 1 avec 2 appels de modèle, get_order et approval.request; puis trace 2 avec l'approbation par usr-sam et l'attente de 15 h 25 minutes, request_refund ERROR timeout après 10 secondes, request_refund terminé avec une nouvelle clé, et version 2.1.0 sur chaque span. Service de paiement : rien encore; puis remboursement de 9,95 effectué avec la clé se terminant par 5bbb9f8a7e, et remboursement de 9,95 effectué avec la clé se terminant par a7e-retry1; les données de vérité de l'exercice indiquent duplicate_refunds 1. Journal des versions : 2.1.0 depuis mercredi à 9 h, nouvelle tentative naïve.
L'exécution R-1014-040 dans quatre sources. La piste indique qui a décidé et ce qui a été envoyé; les traces ajoutent le dépassement du délai et la version; le journal des versions explique la nouvelle clé; seul le service de paiement sait que les deux appels ont versé un paiement.
Description textuelle du diagramme

Lisez chaque couloir de gauche à droite. La piste contient la proposition mercredi, puis l’approbation, les deux appels d’écriture et la clôture jeudi. Les traces contiennent les mêmes étapes avec leurs heures, le délai dépassé de 10 secondes et la version, 2.1.0. Le journal des versions indique que la version 2.1.0 réessaie avec une nouvelle clé. Le service de paiement a effectué les deux remboursements, un par clé. Aucune source ne raconte toute l’histoire à elle seule.

Comparez maintenant chaque question d’audit à chaque source :

Un tableau avec sept questions et quatre sources. Qui a proposé le remboursement, sur quelles preuves : piste d'audit oui, enregistrement 611 et commande LK-793996; traces oui, si la trace 1 a été conservée; service de paiement non; journal des versions non. Qui l'a approuvé, avec quelle autorité : piste oui, enregistrement 671, usr-sam, agent, limite de 100; traces oui, si la trace 2 a été conservée; service de paiement non; journal des versions non. Qu'est-ce qui a été envoyé au service de paiement : piste oui, deux appels et deux clés, enregistrements 672 et 673; traces oui; service de paiement oui; journal des versions non. Pourquoi le second appel avait-il une nouvelle clé : piste non, elle ne contient ni version ni règle de nouvelle tentative; traces en partie, version 2.1.0; service de paiement non; journal des versions oui, la version 2.1.0 réessaie avec une nouvelle clé. L'appel qui a dépassé le délai a-t-il versé un paiement : piste non, elle indique un dépassement du délai; traces non, elles indiquent ERROR timeout; service de paiement oui, deux remboursements; journal des versions non. Les enregistrements sont-ils complets et inchangés : piste oui, vérification, chaîne et ancrage; traces non; service de paiement, ses propres vérifications; journal des versions non. Pourrons-nous encore répondre dans un an : piste oui, conservation de 7 ans, une hypothèse; traces non, 14 jours; service de paiement oui, sa propre conservation; journal des versions oui.
Quelle source répond à quelle partie de la question de Grace. La piste répond à « qui » et « quoi », pendant des années; elle a besoin du journal des versions pour « pourquoi », et du service de paiement pour les montants versés.
Description textuelle du diagramme

Sept lignes. La piste indique qui a proposé, qui a approuvé avec quelle autorité, et ce qui a été envoyé. Elle montre que les enregistrements sont complets et inchangés, et elle peut encore répondre dans un an. Elle ne peut pas expliquer pourquoi le second appel avait une nouvelle clé, ni si l’appel ayant dépassé le délai a versé un paiement. Les traces ajoutent la version, mais seulement pendant 14 jours et seulement si l’échantillonnage les a conservées. Le journal des versions répond à « pourquoi ». Le service de paiement indique ce qui a été versé.

La réponse complète nécessite donc trois sources. Ce n’est pas une faiblesse de cette piste; c’est la structure de toute réponse d’audit. La piste indique qui a décidé quoi. Le système de référence indique ce qui est arrivé à l’argent. Aucun ne peut faire le travail de l’autre.

Pour Grace, en mots simples :

Mercredi 14 octobre à 17 h 52, l’agent d’IA a proposé un remboursement de 9,95 pour la commande LK-793996, en retard. Il a utilisé la règle W2. Sam l’a approuvé jeudi à 9 h 17, dans sa limite de 100. Le flux de travail a ensuite envoyé le remboursement au service de paiement. Le service était lent ce matin-là et n’a pas répondu dans les 10 secondes. Le flux de travail a donc réessayé.

La version exécutée cette semaine-là, 2.1.0, réessayait avec une nouvelle clé. Le service de paiement a donc traité le second appel comme un nouveau remboursement et a versé les deux. Aucune personne ni aucun modèle n’a décidé du second remboursement : c’est le code de nouvelle tentative qui l’a fait. La version 2.1.1 a retiré cette nouvelle tentative vendredi à 11 h 30. Un autre client a reçu deux paiements de la même façon, pour le billet T-90606. Nous recommandons de récupérer les deux remboursements de 9,95 ou de les accepter comme geste commercial. Nous recommandons aussi que chaque nouvelle tentative d’écriture conserve sa clé.

Pour un auditeur, la même histoire avec ses preuves. La piste l’exporte en Markdown :

Fenêtre de terminal
python -m obs audit story R-1014-040 --data data/telemetry/week --markdown
# Audit story: ticket T-90104
Run `R-1014-040`. 6 records (the trail verifies).
| # | Time (Toronto) | What happened |
|---|---|---|
| 610 | Wed 14 Oct 17:52:02 | The AI agent support-workflow (chat-strong, agent_structured) read get_order (LK-793996): ok. |
| 611 | Wed 14 Oct 17:52:06 | The AI agent support-workflow (chat-strong, agent_structured) proposed: resolve (rule W2): refund 9.95 (RFD-LATE) on LK-793996. It needs a support agent or above to approve. Evidence it read: order:LK-793996. |
| 671 | Thu 15 Oct 09:17:12 | Sam (usr-sam, support agent) approved the proposal of record 611 after 15 h 25 min (limit 100). |
| 672 | Thu 15 Oct 09:17:22 | The workflow (support-workflow) sent refund 9.95 (RFD-LATE) on LK-793996: TIMEOUT (attempt 1, key 797fbb5bbb9f8a7e). Authority: the approval of record 671. |
| 673 | Thu 15 Oct 09:17:22 | The workflow (support-workflow) sent refund 9.95 (RFD-LATE) on LK-793996: done (attempt 2, key 797fbb5bbb9f8a7e-retry1). Authority: the approval of record 671. |
| 674 | Thu 15 Oct 09:17:22 | The ticket was closed: resolved (writes done: 1, reply: sent). |
Changes asked of the systems: 2 write call(s) after 1 approval(s).
- refund 9.95 (RFD-LATE) on LK-793996: 2 call(s) that may have changed it (timeout, done), 2 different key(s)
Source: the audit store (append-only, hash-chained). The trace IDs of each record are in the store.

Ajoutez quatre courtes sections sous le tableau, dans vos propres mots :

  1. Les enregistrements vérifiés : « obs audit verify : 1 331 enregistrements, la chaîne et l’ancrage correspondent, tête e378b7d00139f1c3. »
  2. Autres sources : trace 1 f0433c4403e2767e1d69ece18a947526 et trace 2 15ba0d9388d1b9e001af373f21c4b955, version 2.1.0 dans le journal des versions, et les deux remboursements du service de paiement, avec leurs clés.
  3. Lacunes : la piste enregistre le résultat de chaque appel tel que le flux de travail l’a vu, pas ce qu’a fait le service de paiement. Elle n’enregistre ni la version ni la règle de nouvelle tentative. Les traces ont été conservées ici, mais elles sont échantillonnées et conservées 14 jours.
  4. Limites : la piste prouve que les enregistrements n’ont pas changé après leur arrivée. Elle ne peut pas prouver que chaque événement est arrivé. Les comptes concordent : 316 exécutions et 316 enregistrements de clôture.

L’inspecteur d’exécutions, l’outil à télécharger utilisé plus tard dans ce cours, exporte exactement ce Markdown depuis son écran d’audit.

T-90606 a aussi été payé deux fois, dans l’exécution R-1014-051. Lisez son histoire :

Fenêtre de terminal
python -m obs audit story R-1014-051 --data data/telemetry/week
Audit story of ticket T-90606, run R-1014-051: 7 records (the trail verifies).
642. Wed 14 Oct 19:31:58 The AI agent support-workflow (chat-strong, agent_structured) read get_order (LK-645556): ok.
643. Wed 14 Oct 19:32:02 The AI agent support-workflow (chat-strong, agent_structured) proposed: resolve (rule W2): refund 9.95 (RFD-LATE) on LK-645556. It needs a support agent or above to approve. Evidence it read: order:LK-645556.
666. Thu 15 Oct 09:16:27 Sam (usr-sam, support agent) approved the proposal of record 643 after 13 h 44 min (limit 100).
667. Thu 15 Oct 09:16:27 The workflow (support-workflow) sent refund 9.95 (RFD-LATE) on LK-645556: UNAVAILABLE (attempt 1, key c18d8c3f31b823c4). Authority: the approval of record 666.
668. Thu 15 Oct 09:16:37 The workflow (support-workflow) sent refund 9.95 (RFD-LATE) on LK-645556: TIMEOUT (attempt 2, key c18d8c3f31b823c4). Authority: the approval of record 666.
669. Thu 15 Oct 09:16:37 The workflow (support-workflow) sent refund 9.95 (RFD-LATE) on LK-645556: done (attempt 3, key c18d8c3f31b823c4-retry2). Authority: the approval of record 666.
670. Thu 15 Oct 09:16:37 The ticket was closed: resolved (writes done: 1, reply: sent).
Changes asked of the systems: 3 write call(s) after 1 approval(s).
refund 9.95 (RFD-LATE) on LK-645556: 2 call(s) that may have changed it (unavailable, timeout, done), 2 different key(s)

Trois appels cette fois. Le premier a trouvé le service indisponible : il n’a rien changé, donc l’histoire ne le compte pas. Le deuxième a conservé la clé et dépassé le délai. Le troisième avait une nouvelle clé, -retry2. Rédigez les deux phrases pour Grace qui diffèrent de la réponse ci-dessus. Les données de vérité du scénario indiquent aussi duplicate_refunds 1 pour cette exécution.

Erreur courante

L'histoire du billet montre la mauvaise exécution

Symptôme : vous cherchez par billet, et l’histoire semble nette :

Fenêtre de terminal
python -m obs audit story T-90104 --data data/telemetry/week
Audit story of ticket T-90104, run R-1016-016: 5 records (the trail verifies).
940. Fri 16 Oct 10:17:30 The AI agent support-workflow (chat-strong, agent_structured) read get_order (LK-793996): ok.
941. Fri 16 Oct 10:17:34 The AI agent support-workflow (chat-strong, agent_structured) proposed: resolve (rule W2): refund 9.95 (RFD-LATE) on LK-793996. It needs a support agent or above to approve. Evidence it read: order:LK-793996.
942. Fri 16 Oct 10:25:56 Sam (usr-sam, support agent) approved the proposal of record 941 after 8 min (limit 100).
943. Fri 16 Oct 10:25:56 The workflow (support-workflow) sent refund 9.95 (RFD-LATE) on LK-793996: done (attempt 1, key 797fbb5bbb9f8a7e). Authority: the approval of record 942.
944. Fri 16 Oct 10:25:56 The ticket was closed: resolved (writes done: 1, reply: sent).

Cause : T-90104 a cinq exécutions dans la semaine rejouée, du lundi au vendredi. Quand un billet a plusieurs exécutions, story (histoire) raconte la dernière. L’exécution de vendredi a payé une fois, avec la version 2.1.0, et le service de paiement était de nouveau rapide.

Diagnostic : lisez l’identifiant d’exécution sur la première ligne. Comparez les dates à la question : Grace a demandé des explications sur les remboursements de jeudi.

Correction : cherchez toujours par identifiant d’exécution. Trouvez l’exécution dans la piste, comme à l’étape 2, par ses écritures ou sa date. Inscrivez ensuite l’identifiant d’exécution dans la réponse, pour que chacun puisse la vérifier.

Vérification de fin de leçon : une réponse tirée de la piste seulement

Section intitulée « Vérification de fin de leçon : une réponse tirée de la piste seulement »

Voici une nouvelle question. Kwame demande : « Pour le billet T-90604, avons-nous envoyé deux étiquettes de retour au client? » Répondez à partir de la piste d’audit seulement. Nommez ensuite la lacune qui empêche une réponse complète.

Fenêtre de terminal
python -m obs audit story R-1014-024 --data data/telemetry/week

Faites d’abord une prédiction : cette histoire semble-t-elle différente de celle du double remboursement?

La réponse de l’équipe du cours
Audit story of ticket T-90604, run R-1014-024: 6 records (the trail verifies).
543. Wed 14 Oct 13:24:10 The AI agent support-workflow (chat-small, agent) read get_order (LK-645334): ok.
544. Wed 14 Oct 13:24:13 The AI agent support-workflow (chat-small, agent) proposed: resolve (rule W6): return label for LADDER-3 (change_of_mind) on LK-645334. It needs a support agent or above to approve. Evidence it read: order:LK-645334.
552. Wed 14 Oct 13:36:16 Sam (usr-sam, support agent) approved the proposal of record 544 after 12 min (limit 100).
553. Wed 14 Oct 13:36:26 The workflow (support-workflow) sent return label for LADDER-3 (change_of_mind) on LK-645334: TIMEOUT (attempt 1, key 2ed3b2a93ab0f494). Authority: the approval of record 552.
554. Wed 14 Oct 13:36:26 The workflow (support-workflow) sent return label for LADDER-3 (change_of_mind) on LK-645334: done (attempt 2, key 2ed3b2a93ab0f494-retry1). Authority: the approval of record 552.
555. Wed 14 Oct 13:36:26 The ticket was closed: resolved (writes done: 1, reply: sent).
Changes asked of the systems: 2 write call(s) after 1 approval(s).
return label for LADDER-3 (change_of_mind) on LK-645334: 2 call(s) that may have changed it (timeout, done), 2 different key(s)

À partir de la piste seulement : l’agent a proposé une étiquette de retour, et Sam l’a approuvée. Pour cette seule approbation, le flux de travail a envoyé deux appels avec deux clés. Le premier a dépassé le délai, le second s’est terminé. Une étiquette a donc certainement été créée, et peut-être deux.

La lacune : la piste indique que le premier appel a dépassé le délai. Elle ne dit pas si le service de commandes a créé une étiquette avant ce dépassement. Cela ressemble exactement au double remboursement. Les traces ne peuvent pas le dire non plus : leur indicateur duplicate_write (écriture en double) se déclenche pour cette exécution, et c’est une fausse alerte. Seul le service de commandes, le système de référence pour les étiquettes, peut répondre. Dans les données d’exercice, le fichier de tâche le précise : "Simulated: the first call times out before the label is written." (Simulation : le premier appel dépasse le délai avant l’écriture de l’étiquette.) Une seule étiquette.

Voilà pourquoi la piste et le système de référence permettent de trancher, tandis que l’indicateur de la trace avertit seulement.

Quand rédiger une réponse d’audit, et ce qu’elle coûte

Section intitulée « Quand rédiger une réponse d’audit, et ce qu’elle coûte »

Rédigez-en une pour chaque question venant de l’extérieur de l’ingénierie : plainte, question d’un gestionnaire, échantillon d’un auditeur, lettre d’un organisme de réglementation. Inscrivez l’identifiant d’exécution, la tête de la piste et les sources, pour que chacun puisse la vérifier plus tard.

Cela coûte du temps humain : la réponse de l’équipe du cours a demandé six commandes et deux courts textes. Le coût augmente quand un champ manque dans la piste. Ici, un champ release (version) dans chaque enregistrement permettrait de répondre à « pourquoi » sans le journal des versions. Avec la nouvelle tentative sûre, un enregistrement de sa vérification de rapprochement, « trouvé : l’opération a eu lieu », indiquerait si un appel ayant dépassé le délai a versé un paiement. Aujourd’hui, ce résultat se trouve seulement dans les traces. Ajouter un champ coûte peu maintenant, mais c’est impossible pour les enregistrements déjà écrits.

Vérifiez votre compréhension

Pourquoi « writes done : 1 » dans l'enregistrement de clôture n'est-il pas un mensonge? Pourquoi cela ne répond-il toujours pas à « combien de remboursements le client a-t-il reçus »?

Afficher la réponse

Le flux de travail a compté une écriture terminée. Le premier appel a dépassé le délai, donc le flux de travail ne le considérait pas comme réussi. Le deuxième appel était terminé. Voilà ce qu’il a observé. Mais le service de paiement a effectué un remboursement pour chaque clé. Le client en a donc reçu deux. L’enregistrement de clôture indique ce que le flux de travail croyait. Le système de référence, le service de paiement, indique ce qui est arrivé à l’argent.

Vérifiez votre compréhension

Nommez les sources qui répondent entièrement à « pourquoi avons-nous remboursé T-90104 deux fois ». Précisez ce que chacune apporte.

Afficher la réponse

La piste d’audit indique qui a proposé l’action (l’agent, règle W2, preuve : commande LK-793996). Elle indique aussi qui l’a approuvée (Sam, agent, limite de 100). Elle indique ce qui a été envoyé (deux appels, deux clés, une approbation), et elle est vérifiée. Les traces donnent le délai dépassé de 10 secondes et la version, 2.1.0. Le journal des mises en production indique que la version 2.1.0 réessaie avec une nouvelle clé. Le service de paiement, ici la vérité fournie par les données d’exercice, indique que les deux appels ont effectué un paiement.

Vérifiez votre compréhension

Vérification de fin : répondez à « Pour le billet T-90604, avons-nous envoyé deux étiquettes de retour ? » avec la piste d'audit seulement. Nommez l'information manquante qui empêche une réponse complète.

Afficher la réponse

Selon la piste (exécution R-1014-024) : une proposition d’une étiquette de retour et une approbation par Sam. Sous cette approbation, deux appels d’écriture avec deux clés : le premier a dépassé le délai, le deuxième était terminé. Donc, au moins une étiquette, peut-être deux. L’information manquante : la piste enregistre le dépassement du délai. Elle ne précise pas si le service de commandes avait créé l’étiquette avant ce dépassement. L’indicateur duplicate_write de la trace ne permet pas non plus de le savoir. Seuls les enregistrements du service de commandes le permettent. Dans les données d’exercice, la tâche précise que le premier appel dépasse le délai avant la création de l’étiquette. Il y avait donc une seule étiquette.

Récapitulatif

  • Une réponse d’audit comporte cinq étapes : vérifier, trouver l’exécution, lire le récit, nommer chaque source et écrire pour chaque lecteur.
  • Faites la recherche par identifiant d’exécution. Un billet peut avoir plusieurs exécutions, et son récit correspond à sa dernière exécution.
  • La piste indique qui a décidé quoi, pendant des années. Le système de référence indique ce qui s’est passé. Le journal des mises en production explique pourquoi le code a agi ainsi.
  • Notez chaque information manquante dans la réponse. Pour T-90104 et T-90604, les pistes se ressemblent. Seuls les services de paiement et de commandes permettent de les distinguer.

Dans ce module, vous avez créé une piste d’audit qui répond à la question de Grace. Vous avez aussi vu où elle a besoin d’autres enregistrements. Votre télémétrie peut maintenant expliquer chaque exécution, après coup. Mais personne ne veut apprendre qu’un remboursement a été effectué deux fois par une lettre d’un auditeur. Ensuite, dans le module 7, vous définissez ce que « bien fonctionner » signifie pour le service de soutien. Puis, vous configurez des alertes qui se déclenchent pendant qu’un problème est encore mineur.

Leçon suivante : Des niveaux de service pour les agents