Travail final
- Après les études de cas
- environ 3 h
Où nous en sommes
Dans le module 8, nous avons envoyé les mêmes traces à un deuxième outil et choisi des vues pour une équipe. Chaque module a ajouté un élément et l'a testé séparément : traces, modèles de défaillance, coût, piste d'audit et alertes. Dans ce travail, vous les utilisez tous à la fois. Vous exploitez une nouvelle version candidate pendant une semaine rejouée. Vous trouvez ce qu'elle a brisé uniquement à partir de sa télémétrie, puis vous remettez les preuves. Nous commençons comme un opérateur qui prend son quart : avec une nouvelle copie et la question de Grace.
Ce que vous saurez faire
Exploitez la version candidate 2.2 du flux de travail de Larkfield pendant une semaine rejouée. Trouvez ce qu’elle a brisé uniquement à partir de sa télémétrie. Livrez ensuite le dossier d’observabilité : instrumentation avec tests, configuration du Collector, tableau de bord et alertes, incident diagnostiqué avec rapport de coûts et réponse d’audit. Chaque affirmation renvoie à une commande et à sa sortie.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les modules 1 à 8. Chaque partie nomme les leçons qu’elle utilise. Le certificat exige aussi une étude de cas.
Ce qu’il vous faut sur votre ordinateur
- La configuration du cours : Python 3.12, VS Code, trois terminaux et le dépôt des laboratoires dans
~/projects/nextia-learning-labs. Consultez Découvrir le flux de travail en production. - L’instantané
end-of-m08, copié dans un nouveau dossier. Votre projet du cours reste inchangé. - Le binaire du Collector
otelcol-contrib0.162.0 dans~/projects/otelcol, présenté dans Le Collector. Docker et Grafana sont facultatifs. - Git, pour que
git diffmontre chaque changement. Aucun compte, aucune clé et aucun paiement.
Testé sur macOS (Apple silicon) avec Python 3.12.13 et otelcol-contrib 0.162.0. Les commandes Windows et Linux sont écrites, mais n’ont pas été exécutées.
La situation : une version candidate pendant une semaine
Section intitulée « La situation : une version candidate pendant une semaine »La version 2.2 du flux de travail traite une semaine de billets de soutien de Larkfield comme version candidate. L’équipe livre trois autres versions candidates pendant la semaine. Le passage à chat-strong décidé par Omar pour les billets difficiles reste actif. Tomás essaie de nouveau le modèle local gemma3:4b. Personne ne vous dit ce que chaque version candidate a changé.
Vous êtes l’opérateur. À la fin de la semaine, Grace pose une question : « Un client a-t-il été remboursé deux fois, et qui l’a approuvé? » Kwame en pose une deuxième : « Combien coûte maintenant un billet résolu, et avec quel modèle? »
La semaine candidate est une semaine d’exercice. Les quatre versions candidates sont construites : nous avons introduit leurs problèmes. Chaque décision de modèle est rejouée à partir du cours Agents d’IA et orchestration des flux de travail. Les services lents et défaillants sont simulés : des incidents d’exercice que nous avons causés volontairement. La semaine utilise une graine fixe : vos identifiants d’exécution, comptes et empreintes de tête d’audit correspondent aux nôtres. Le budget d’Omar de 0,002 $ US par billet résolu est une hypothèse.
Description textuelle du diagramme
Les parties ne suivent pas l’ordre des éléments. Vous diagnostiquez dans la partie 3 avant de changer l’instrumentation dans la partie 4, pour conserver les preuves « avant ».
Étiquetez chaque nombre dans votre dossier : rejoué, simulé, construit, mesuré (votre propre exécution), prix ou hypothèse.
Préparer une nouvelle copie
Section intitulée « Préparer une nouvelle copie »-
Copiez l’instantané dans un nouveau dossier et enregistrez son état initial dans Git :
Fenêtre de terminal cd ~/projectscp -R nextia-learning-labs/C31/snapshots/end-of-m08 candidate-weekcd candidate-weekgit init -q && git add -A && git commit -qm "end-of-m08"Fenêtre de terminal cd ~\projectsCopy-Item -Recurse nextia-learning-labs\C31\snapshots\end-of-m08 candidate-weekcd candidate-weekgit init -q; git add -A; git commit -qm "end-of-m08"Fenêtre de terminal cd ~/projectscp -R nextia-learning-labs/C31/snapshots/end-of-m08 candidate-weekcd candidate-weekgit init -q && git add -A && git commit -qm "end-of-m08" -
Créez un environnement virtuel, installez
requirements-dev.txtet lancez les tests, comme dans Découvrir le flux de travail en production. La dernière ligne indique114 passed, 1 skipped, 1 deselected(114 tests réussis, 1 ignoré, 1 exclu). -
Créez un fichier
REPORT.mdvide avec les sections de Ce qu’il faut remettre. Après chaque partie, collez-y vos commandes, sorties et décisions.
Partie 1 : exploiter la version candidate pendant une semaine
Section intitulée « Partie 1 : exploiter la version candidate pendant une semaine »Utilise Découvrir le flux de travail en production, Des niveaux de service pour les agents et Les modèles de défaillance des agents.
-
Lancez la semaine candidate. Elle rejoue 316 billets en environ 2 secondes. Elle écrit sa télémétrie, sa piste d’audit et le journal d’Amira dans
work/candidate:Fenêtre de terminal python -m scenarios week --candidate --out work/candidatecandidate-week: 316 runs in 2 s -> work/candidateresolved 186, right by the course's labels 279Conservez
resolved 186(186 résolus) : le compte des événements établi par le programme d’exécution. La télémétrie doit correspondre. -
Lisez la semaine une vue à la fois, chacune avec
--data work/candidate:obs runs,obs slo,obs alerts,obs find all,obs cost --by releaseetobs audit verify. Ensuite, lancezpython -m obs check-redaction work/candidate. -
Prédisez, puis vérifiez. Combien d’exécutions
obscompte-t-il comme résolues? Est-ce 186? -
Rédigez un tableau dans votre rapport avec une ligne par constat : observation, depuis quand, version, preuves et personne responsable d’agir.
N’ouvrez pas
candidate_week()dansscenarios/week.pyavant d’avoir rédigé votre tableau. Cette fonction énumère les problèmes introduits.
Ce que l’équipe du cours a observé
release runs resolved cost US$ per run per resolved success2.2.0-rc1 74 52 0.2396 0.00324 0.00461 70.3%2.2.0-rc2 62 16 0.2318 0.00374 0.01449 25.8%2.2.1-rc1 79 19 0.2316 0.00293 0.01219 24.1%2.2.2-rc1 101 61 0.2713 0.00269 0.00445 60.4%total 316 148 0.9743 0.00308 0.00658 46.8%run ticket started outcome model tools appr cost US$ secs model flagsR-1015-042 T-90207 Thu 17:09 waiting_approval 3 3 0 0.00084 4.2 chat-small -R-1015-043 T-90408 Thu 17:11 waiting_approval 2 1 0 0.01178 6.6 chat-strong -R-1015-048 T-90201 Thu 18:48 waiting_approval 3 2 0 0.01844 9.1 chat-strong -45 run(s), 0 flagged (last 3 shown)Checked 1999 span(s), 497 event(s), 178 metric line(s) in work/candidate.218 problem(s): text that must not leave the application: span chat chat-small: attribute gen_ai.input.messages (text) …obs compte 148 exécutions résolues, et non 186, et 45 exécutions attendent encore une approbation. Leurs décisions ont été exécutées sous 2.2.0-rc2 ou 2.2.1-rc1. Ces versions semblent résoudre le quart de leurs billets. La version 2.2.2-rc1 place du texte de requête sur ses spans (unités de trace) de modèle. Alertes : boucles et passages de relais à partir de jeudi, coût à partir de lundi. obs find all : cinq boucles gemma3:4b, aucune écriture en double. La piste d’audit se vérifie : 1 342 enregistrements, empreinte de tête 6ab932ef5352491b.
Partie 2 : la semaine à travers le Collector
Section intitulée « Partie 2 : la semaine à travers le Collector »Utilise Le Collector, La rendre inviolable et contrôlée et Envoyer les mêmes traces à Langfuse.
Montrez que votre Collector exclut les requêtes de 2.2.2-rc1, échantillonne les traces, mais jamais les événements d’audit, et envoie vers deux destinations. Sans Docker, la configuration autonome écrit des fichiers à la place de Tempo, Prometheus et Loki. Le stockage d’audit est la deuxième destination.
-
Dans le terminal 1, démarrez le point d’entrée du stockage d’audit avec son propre fichier :
python -m auditstore serve --store work/collector-audit/audit.jsonl. -
Dans le terminal 2, démarrez le Collector, comme dans Le Collector :
Fenêtre de terminal mkdir -p work/collector-outOUT_DIR=work/collector-out AUDIT_STORE_URL=http://127.0.0.1:8313 ../otelcol/otelcol-contrib --config collector/standalone.yamlFenêtre de terminal New-Item -ItemType Directory -Force work\collector-out | Out-Null$env:OUT_DIR = "work/collector-out"; $env:AUDIT_STORE_URL = "http://127.0.0.1:8313"..\otelcol\otelcol-contrib.exe --config collector\standalone.yamlFenêtre de terminal mkdir -p work/collector-outOUT_DIR=work/collector-out AUDIT_STORE_URL=http://127.0.0.1:8313 ../otelcol/otelcol-contrib --config collector/standalone.yaml -
Dans un troisième terminal, envoyez la semaine au Collector aussi vite que possible. Le programme écrit aussi la copie de l’application dans
work/candidate-otlp:Fenêtre de terminal python -m scenarios week --candidate --otlp --speed 1000000 --out work/candidate-otlp -
Attendez 15 secondes pour les décisions d’échantillonnage. Arrêtez le Collector et le point d’entrée avec Ctrl+C. Comparez ensuite ce qui est sorti de l’application avec ce qui est sorti du Collector :
Fenêtre de terminal python -m obs check-redaction work/candidate-otlppython -m obs check-redaction work/collector-outpython -m obs runs --data work/collector-outpython -m obs audit verify --audit work/collector-audit/audit.jsonl -
Comptez les enregistrements d’audit des deux côtés et les événements d’audit dans le fichier Loki (
work/collector-out/logs.jsonl). Sous Windows, utilisez(Get-Content FILE).CountetSelect-String. -
Dans votre rapport, justifiez chaque processeur et chaque route : masquage, échantillonnage en fin de trace, route d’audit et chaque exportateur. Précisez quelles traces l’échantillonnage doit toujours conserver.
Ce que le Collector de l’équipe du cours a laissé sortir
Checked 1999 span(s), 497 event(s), 178 metric line(s) in work/candidate-otlp.218 problem(s): text that must not leave the application:Checked 1173 span(s), 497 event(s), 1 metric line(s) in work/collector-out.No text attribute, no e-mail address and no card number found.208 run(s), 5 flaggedThe audit trail is intact: 1342 records, the chain and the anchor match (head 32f85d7348e75efe).L’application a envoyé 1 342 enregistrements d’audit, le stockage en contient 1 342 et le fichier Loki n’en contient aucun. L’échantillonnage en fin de trace a conservé 1 173 des 1 999 spans, provenant de 208 exécutions. L’échantillon de 10 % varie, donc vos comptes et l’empreinte de tête du stockage diffèrent. Avec Docker, grafana/compose.yaml monte la même configuration.
Partie 3 : le remboursement invisible pour obs
Section intitulée « Partie 3 : le remboursement invisible pour obs »Utilise Lire une exécution, Chercher des exécutions avec TraceQL, Appels d’outils, erreurs et nouvelles tentatives et D’une trace aux métriques et aux journaux.
obs find duplicate_write ne trouve rien et unreconciled-writes reste silencieux. Ne vous arrêtez pas là. Diagnostiquez un incident avec des preuves de trace : nous utilisons les délais de remboursement dépassés. Les 45 exécutions en attente sont un deuxième choix.
-
Lisez le compteur d’écritures, pas les exécutions. Quels remboursements ont dépassé le délai mercredi, et une réconciliation a-t-elle suivi?
Fenêtre de terminal python -m obs metrics larkfield.writes --data work/candidate --where larkfield.write.outcome=timeout --day wedpython -m obs metrics larkfield.reconciles --data work/candidate --day wedlarkfield.writes: Write calls by outcome, increase per exported interval, larkfield.write.outcome=timeout, wedWed 16:00-17:00 +2 tool.name=request_refund example: ? (trace 5f4710a6)Wed 17:00-18:00 +1 tool.name=request_refund example: ? (trace 3457d66b)2 interval(s) with an increase, 2 with an example tracelarkfield.reconciles: Checks of an uncertain write (did it happen?), increase per exported interval, wed0 interval(s) with an increase, 0 with an example trace?: la trace d’exemple n’a pas d’identifiant d’exécution. -
Enregistrez ce court script sous
follow.py. Il part d’un identifiant d’exécution ou du début d’un identifiant de trace. Il suit ensuite une proposition jusqu’à l’approbation qui la nomme, puis l’approbation jusqu’à ses écritures, par identifiant d’événement :"""Follow a run's authority in the audit trail by event IDs: its proposal, the approval that names the proposal,the writes that name the approval, and the close of the same trace.python follow.py AUDIT_FILE RUN_ID_OR_TRACE_ID"""import jsonimport syspath, target = sys.argv[1], sys.argv[2]records = [json.loads(line)["event"] | {"seq": json.loads(line)["seq"]} for line in open(path, encoding="utf-8")]ids = {e["event_id"] for e in records if e["run_id"] == target and e["type"] == "proposal"}ids |= {e["action"]["proposal_event_id"] for e in records if e["trace_id"].startswith(target) and e["type"] == "approval"}traces = set()for e in records:if e["action"].get("proposal_event_id") in ids or e["authority"].get("approval_event_id") in ids:ids.add(e["event_id"])traces.add(e["trace_id"])for e in records:if e["event_id"] in ids or (e["type"] == "run_closed" and e["trace_id"] in traces):a = e["action"]what = {"proposal": lambda: f"{a['outcome']} (rule {a['rule']}): " + ", ".join(f"{x['tool']} {x.get('amount', '')} on {x['order_id']}" for x in a["actions"]),"approval": lambda: f"{a['decision']} by {e['actor']['id']} after {a['wait_s']} s","write": lambda: f"{a['effect']['tool']} {a['effect']['amount']} on {a['effect']['order_id']}: "f"{a['outcome']} (key {a['idempotency_key']})","run_closed": lambda: f"{a['outcome']}, writes done {a['writes_done']}"}.get(e["type"], lambda: a)()print(f"{e['seq']:>5} {e['type']:<10} run {e['run_id'] or '(none)':<10} trace {e['trace_id'][:8]} {what}") -
Partez de la trace de la métrique, puis lisez l’exécution qu’elle nomme dans deux autres vues :
Fenêtre de terminal python follow.py work/candidate/audit.jsonl 5f4710a6python -m obs trace R-1014-042 --data work/candidateTrouvez ensuite la ligne de l’exécution dans le journal d’Amira :
grep R-1014-042 work/candidate/workflow.logsur macOS et Linux,Select-String R-1014-042 work\candidate\workflow.logsous Windows. -
Avec Docker (facultatif) : envoyez la semaine à Grafana comme dans Chercher des exécutions avec TraceQL, avec
--candidate. Lancez la requêteduplicate write(écriture en double) de la fiche. Elle lit la trace, pas l’exécution. Dans Grafana, pour la semaine candidate de l’équipe du cours, elle a retourné 1 trace.{ span.gen_ai.operation.name = "approve" && span.larkfield.run.id = nil }a retourné les 45 décisions ayant perdu leur exécution. -
Rédigez l’incident : ce qui s’est passé, quand, sur quelle version, les preuves de trace et ce que la trace ne révèle pas.
Les trois vues de R-1014-042
619 proposal run R-1014-042 trace e0705657 resolve (rule W2, W1): request_refund 9.95 on LK-640763 628 approval run (none) trace 5f4710a6 approved by usr-sam after 1135.0 s 629 write run (none) trace 5f4710a6 request_refund 9.95 on LK-640763: timeout (key cc62a160432a19db) 630 write run (none) trace 5f4710a6 request_refund 9.95 on LK-640763: done (key cc62a160432a19db-retry1) 631 run_closed run (none) trace 5f4710a6 resolved, writes done 1Run R-1014-042 | ticket T-90201 | chat-strong (agent_structured) | release 2.2.1-rc1 | language en3 model call(s), 2 read(s), 0 write call(s), 7313 tokens in, 381 out, US$0.01844… 9.1 s | =| 0.00 s approval.request needs agent
Outcome: waiting_approval2026-10-14T16:48:37-04:00 INFO ticket=T-90201 run=R-1014-042 model=chat-strong status=resolved writes=1 reply=sentLa trace de l’exécution s’arrête à approval.request; le journal indique resolved (résolu) avec une écriture. La piste d’audit indique que Sam a approuvé après 19 minutes et que le premier remboursement a dépassé le délai. Une nouvelle tentative avec une nouvelle clé a ensuite réussi. Depuis 2.2.0-rc2, la décision s’exécute sans le contexte de l’exécution. Sa trace et ses enregistrements n’ont donc aucun identifiant d’exécution. Depuis 2.2.1-rc1, la nouvelle tentative naïve est de retour. Ensemble, ces changements cachent un double remboursement à toutes les vues qui lisent les exécutions.
La trace 5f4710a6 contient les deux appels de remboursement. Tempo peut la trouver; obs ne peut pas, car elle n’a pas d’exécution. Aucune trace ne montre que le premier appel a été payé : le service de paiement est le système d’enregistrement officiel. Sur six remboursements ayant dépassé le délai sans réconciliation, le service de paiement a refusé cinq nouvelles tentatives comme invalid (invalides). Un client a été remboursé deux fois.
Partie 4 : les tests d’abord, puis le changement d’instrumentation
Section intitulée « Partie 4 : les tests d’abord, puis le changement d’instrumentation »Utilise Appels de modèle et jetons, Appels d’outils, erreurs et nouvelles tentatives, Approbations, personnes et temps d’attente, Plusieurs agents et passages de relais et Ce qu’il faut enregistrer, et ce qu’il ne faut pas.
Les paramètres de la version sont des interrupteurs dans resolver/live.py. RESOLVER_APPROVAL_CONTEXT=off représente la tâche de décision qui ne connaît pas l’exécution, et OBS_CAPTURE_CONTENT=on représente la capture. Écrivez d’abord les tests dans tests/test_release_gate.py. Un test par domaine, chacun avec le paramètre d’une version candidate :
| Domaine | Ce que le test montre | Paramètre |
|---|---|---|
| Approbations | La trace de décision est liée à approval.request et porte l’identifiant d’exécution, comme chaque événement d’audit de l’exécution. |
RESOLVER_APPROVAL_CONTEXT=off |
| Outils | Un remboursement retenté après un délai dépassé : les deux appels avec leurs clés dans une exécution, l’indicateur duplicate_write, une écriture non réconciliée. |
off + RESOLVER_RETRY=naive |
| Passages de relais | Une écriture échouée après l’approbation transmet le billet à une personne; l’événement d’audit handoff conserve l’identifiant d’exécution. |
off + --fault request_refund:unavailable:3 |
| Appels de modèle | Hors d’un environnement de développement, la capture ne place aucun texte sur un span. Le span indique la demande de capture et conserve ses jetons. | OBS_CAPTURE_CONTENT=on, OBS_ENVIRONMENT=practice |
Utilisez les fixtures (préparations de test) de tests/conftest.py et la structure de tests/test_approval_traces.py. Définissez les variables avec monkeypatch.setenv. Pour la capture, définissez telemetry.CONTENT avec monkeypatch.setattr, car le module lit la variable une seule fois.
-
Lancez vos tests sur l’instantané inchangé. Chaque test qui exige un changement doit échouer :
FFFF. [100%]…4 failed, 1 passed in 0.40sNotre cinquième test réussit avant et après : avec
OBS_ENVIRONMENT=dev, la capture fonctionne encore pour tester le masquage du Collector. -
Modifiez l’instrumentation jusqu’à ce qu’ils réussissent. Deux changements suffisent. La décision prend l’identifiant d’exécution et le lien de la demande dans l’exécution enregistrée, comme le message de relais transporte
traceparent. La capture fonctionne seulement quandOBS_ENVIRONMENTvautdev. Ailleurs, le span reçoitlarkfield.capture.refused, pas le texte. -
Lancez tous les tests :
119 passed, 1 skipped, 1 deselected(119 tests réussis, 1 ignoré, 1 exclu) avec nos cinq tests. Rejouez la semaine avec votre changement :python -m scenarios week --candidate --out work/candidate-2. La dernière ligne doit encore indiquerresolved 186, right by the course's labels 279(186 résolus, 279 corrects selon les étiquettes du cours). Votre changement touche la télémétrie, pas les décisions. -
Lisez la nouvelle semaine. Lancez
obs runs --outcome waiting_approval,obs find alletobs trace R-1014-042, chacun avec--data work/candidate-2, puisobs check-redaction work/candidate-2. -
Créez une semaine saine avec votre code pour la partie 5 :
python -m scenarios week --healthy --out work/healthy.
La même exécution, avec son contexte conservé
0 run(s), 0 flaggedR-1014-042 T-90201 Wed 16:29 chat-strong duplicate_write: request_refund LK-640763 9.95 was written twice: key cc62a160432a19db at Wed 16:48:27 and key cc62a160432a19db-retry1 at Wed 16:48:37…6 match(es) in 316 run(s)... waited 18 min 54 s for a person (this trace has a link to 79b9a09ca0dd2c81 in trace e0705657...)Trace 2 5f4710a633154c98b02f7979659e8782 Wed 14 Oct 16:48:27 10.0 s 0.0 s |========================| 10.00 s approve support-resolution approved by usr-sam (agent, limit 100) 0.0 s |========================| 10.00 s execute_tool request_refund ERROR timeout LK-640763 9.95 RFD-LATE key cc62a160432a19db 10.0 s | =| 0.00 s execute_tool request_refund done LK-640763 9.95 RFD-LATE key cc62a160432a19db-retry1 10.0 s | =| 0.00 s execute_tool send_reply sent
Outcome: resolvedFlag duplicate_write: request_refund LK-640763 9.95 was written twice: key cc62a160432a19db at Wed 16:48:27 and key cc62a160432a19db-retry1 at Wed 16:48:37Aucune exécution n’attend, l’indicateur trouve R-1014-042 et check-redaction ne trouve rien. La trace 2 est l’exemple de la métrique de la partie 3, 5f4710a6 : la même semaine à graine fixe, maintenant reliée. Cela corrige la télémétrie, pas la version : la tentative naïve a encore payé deux fois. Le problème retourne à l’équipe d’Amira avec vos tests.
Partie 5 : un tableau de bord et trois alertes
Section intitulée « Partie 5 : un tableau de bord et trois alertes »Utilise Des niveaux de service pour les agents, Des alertes qui mènent à une action et Budgets, alertes et l’exécution coûteuse.
-
Lancez les règles sur votre nouvelle semaine et sur votre semaine saine :
Fenêtre de terminal python -m obs alerts --data work/candidate-2python -m obs alerts --data work/healthy -
Choisissez au moins trois alertes qui se déclenchent. Vérifiez que chacune indique
quiet(silencieuse) pendant la semaine saine. Pour chacune, notez le problème détecté, quand, son exécution d’exemple et ce que sa première étape a trouvé. Une règle personnelle pour--rules, comme dans Des alertes qui mènent à une action, compte aussi. -
Ajoutez au moins un panneau à
grafana/dashboards/agent-runs.jsonpour un problème absent des panneaux du cours. Notre panneau compte les exécutions fermées sans version : une décision ayant perdu son exécution. Sa requête estsum(increase(larkfield_runs_total{larkfield_release=""}[90s])). Vérifiez le fichier avecpython -m json.tool grafana/dashboards/agent-runs.json. -
Montrez les données du panneau. Avec Docker, envoyez la semaine à Grafana et prenez une capture d’écran. Sans Docker, lisez le même compteur dans les fichiers de la partie 1 :
Fenêtre de terminal python -m obs metrics larkfield.runs --data work/candidate --where larkfield.release= --day tuelarkfield.runs: Finished runs by outcome, increase per exported interval, larkfield.release=, tueTue 14:00-15:00 +1 request.model=chat-strong design=agent_structured outcome=resolved ticket.language= example: ? (trace bb4c87f7)Tue 15:00-16:00 +1 request.model=chat-small design=agent outcome=resolved ticket.language= example: ? (trace f00476fa)Tue 16:00-17:00 +1 request.model=chat-small design=agent outcome=resolved ticket.language= example: ? (trace 07a0b00b)3 interval(s) with an increase, 3 with an example trace
Les alertes lors de l’exécution de l’équipe du cours
unreconciled-writes (unreconciled_writes > 0 over the last 45 runs): FIRED 1 time(s) from Wed 14 Oct 16:47 (run 146, R-1014-043) until Fri 16 Oct 10:39 (run 218); peak 6 example runs: R-1014-043 (python -m obs trace RUN_ID)…loop-stops (loop_stops >= 3 over the last 45 runs): FIRED 1 time(s) from Thu 15 Oct 11:24 (run 171, R-1015-016) until Sat 17 Oct 15:32 (run 280); peak 16…cost-per-resolved (cost_per_resolved > 0.002 over the last 45 runs): FIRED 1 time(s) from Mon 12 Oct 12:34 (run 20, R-1012-020) still firing at the end; peak 0.0103 the window held only 20 run(s) when it fired…handoff-rate (handoff_rate > 0.45 over the last 45 runs): FIRED 7 time(s) from Thu 15 Oct 08:40 (run 160, R-1015-003) until Thu 15 Oct 08:49 (run 161); peak 0.4667…Pendant la semaine saine, les cinq indiquent quiet. unreconciled-writes était silencieuse dans la partie 1 : elle lit les exécutions, et les écritures n’avaient pas d’exécution. Son exemple, R-1014-043, n’est pas le double remboursement : le service de paiement a refusé sa nouvelle tentative. L’alerte de coût se déclenche dès lundi, car le changement d’Omar est actif toute la semaine. Les passages de relais et les boucles suivent le modèle local à partir de jeudi, puis la panne de paiement samedi.
Dans Grafana, l’équipe du cours a lancé la semaine candidate telle que livrée et la semaine saine, chacune à vitesse multipliée par 1 000. Elle a utilisé le panneau et la règle d’alerte du corrigé. Pendant la semaine candidate, la règle du corrigé « Exécutions fermées sans leur version » s’est déclenchée mardi à 19 h 14, heure d’exercice. C’était environ 7 h après le démarrage de rc2. Les autres se sont déclenchées comme l’indique obs alerts, quelques heures d’exercice plus tard. Pendant la semaine saine, la règle du corrigé est restée silencieuse. Seule la règle de passage de relais s’est déclenchée une fois, samedi à 22 h 11. Une fenêtre temporelle contient peu d’exécutions un soir de fin de semaine, comme le montre Des alertes qui mènent à une action. Vos heures peuvent différer de quelques heures d’exercice. Le texte de requête de la version 2.2.2-rc1 n’était pas dans Tempo : le masquage du Collector l’a retiré. Les fichiers écrits par le flux de travail, et lus par check-redaction, le contiennent encore.
Partie 6 : le rapport de coûts
Section intitulée « Partie 6 : le rapport de coûts »Utilise Coût par exécution et par étape et Coût par client, par agent, par locataire et par modèle.
- Ventilez le coût de la semaine par modèle et par langue :
python -m obs cost --by model --data work/candidate-2, puis--by language. - Exécutez les deux mêmes commandes sur
work/candidate, la semaine telle que livrée. Prédisez d’abord : le montant reste le même. Et le coût par billet résolu? - Rédigez le rapport pour Kwame : le coût par billet résolu par modèle et par sous-groupe, ce qui l’a changé, et une décision avec son compromis.
Le coût de la semaine, avec et sans le contexte de l’exécution
model runs resolved cost US$ per run per resolved successchat-small 220 130 0.1250 0.00057 0.00096 59.1%chat-strong 69 55 0.8492 0.01231 0.01544 79.7%gemma3:4b 27 1 0.0000 0.00000 0.00000 3.7%total 316 186 0.9743 0.00308 0.00524 58.9%
language runs resolved cost US$ per run per resolved successde 4 4 0.0023 0.00057 0.00057 100.0%en 293 164 0.8936 0.00305 0.00545 56.0%fr 19 18 0.0784 0.00413 0.00436 94.7%total 316 186 0.9743 0.00308 0.00524 58.9%Dans la version livrée, les mêmes 0,9743 $ US sont divisés par 148 billets résolus, et non 186 : 0,00658 $ US au lieu de 0,00524 $ US. Pour l’allemand, le résultat semble être 1 billet résolu sur 4, plutôt que 4 sur 4. Une jointure défectueuse fausse le coût par billet résolu. Et le statut résolu est incorrect : les quatre exécutions en allemand concernent T-90305, qui doit être confié à une personne. C’est le cas décrit dans La qualité à partir des exécutions en production. chat-strong coûte 16 fois plus par billet résolu que chat-small, et en résout davantage. gemma3:4b ne coûte rien en jetons et a résolu 1 billet sur 27. Les personnes qui ont pris les 26 autres représentent son coût réel. Les deux montants dépassent le budget d’Omar, qui est une hypothèse.
Partie 7 : la question de Grace
Section intitulée « Partie 7 : la question de Grace »Utilise Enregistrer les décisions, les approbations et les changements, La rendre inviolable et contrôlée et Répondre à une question d’audit.
Répondez à Grace à partir de la piste de la semaine telle que livrée, work/candidate/audit.jsonl. C’est la piste que Larkfield aurait réellement.
-
Vérifiez-la :
python -m obs audit verify --data work/candidate. La réponse :The audit trail is intact: 1342 records, the chain and the anchor match (head 6ab932ef5352491b).(La piste d’audit est intacte : 1 342 enregistrements, la chaîne et l’ancre correspondent, avec la tête 6ab932ef5352491b.) -
Montrez qu’un changement est détecté, comme dans La rendre inviolable et contrôlée. Dans une copie, remplacez 9,95 par 0,95 dans l’enregistrement 630, puis vérifiez la copie :
Fenêtre de terminal cp work/candidate/audit.jsonl work/t.jsonlcp work/candidate/audit.anchor.json work/t.anchor.jsonsed -i.bak '630s/9.95/0.95/' work/t.jsonlpython -m obs audit verify --audit work/t.jsonlFenêtre de terminal Copy-Item work\candidate\audit.jsonl work\t.jsonlCopy-Item work\candidate\audit.anchor.json work\t.anchor.json$l = Get-Content work\t.jsonl; $l[629] = $l[629].Replace('9.95', '0.95'); Set-Content work\t.jsonl $l -Encoding utf8NoBOMpython -m obs audit verify --audit work\t.jsonlFenêtre de terminal cp work/candidate/audit.jsonl work/t.jsonlcp work/candidate/audit.anchor.json work/t.anchor.jsonsed -i '630s/9.95/0.95/' work/t.jsonlpython -m obs audit verify --audit work/t.jsonlThe audit trail does NOT verify (630 records read):record 630: its content does not match its hash: the record was changed -
Rédigez la réponse selon les cinq étapes de Répondre à une question d’audit : les enregistrements, l’exécution, le récit, une source pour chaque partie, et deux réponses, une pour Grace et une pour le client.
-
Nommez la lacune. Depuis 2.2.0-rc2, les enregistrements de la décision n’ont ni identifiant d’exécution ni identifiant de billet.
obs audit story R-1014-042s’arrête à la proposition. Expliquez comment vous les avez reliés, puis comparez avec le récit danswork/candidate-2.
Exécution dans un environnement neuf
Section intitulée « Exécution dans un environnement neuf »Copiez le projet sans work/ ni .venv, créez un nouvel environnement virtuel et installez requirements-dev.txt. Exécutez les tests, la semaine candidate, obs audit verify et obs check-redaction, puis collez les dernières lignes. Avec votre changement, la tête est dc988509b2b0d0d4 et aucun texte n’est trouvé.
Ce qu’il faut remettre
Section intitulée « Ce qu’il faut remettre »Votre dossier de projet sans .venv ni work/, avec vos changements dans Git, et REPORT.md :
# Release candidate 2.2: the observability pack## 1. What the week showed (Part 1: the findings table, each row with its release and evidence)## 2. Instrumentation changes (Part 4: the four tests, failing before and passing after; the change; the week again: no waiting runs, the flag, no prompt text)## 3. Collector configuration (Part 2: a reason per processor and route; text before and after; audit records sent, stored and verified; none in the Loki file)## 4. Dashboard and alerts (Part 5: the panel and its data; three alerts, each with its problem, time, example run and first step; the healthy week quiet)## 5. The incident (Part 3: the timeline, the trace evidence, the audit records, what the trace cannot tell, who acts)## 6. Cost report (Part 6: per resolved ticket by model and by language, as shipped and after the change; one decision)## 7. The audit answer (Part 7: verify, the changed copy, the answer, the gap)## 8. Fresh-environment run## 9. Labels and limits (which numbers are replayed, simulated, constructed, measured, assumed; what this practice week cannot say about production)Incluez git diff --stat par rapport à votre premier commit (enregistrement des changements). Un réviseur lit les différences de l’instrumentation, des tests, du tableau de bord et de tout fichier de règles.
Vérifiez votre travail
Section intitulée « Vérifiez votre travail »Un réviseur marque chaque élément démontré, partiellement démontré ou pas encore démontré, avec une raison concrète. Pour terminer le cours, les cinq doivent être démontrés; vous pouvez améliorer un élément et le soumettre de nouveau. Sans réviseur, utilisez le tableau pour évaluer votre propre dossier.
| Élément requis | Démontré quand | Partiellement démontré, par exemple | Pas encore démontré, par exemple |
|---|---|---|---|
| 1. Changements d’instrumentation pour les appels de modèle, les outils, les approbations et les passages de relais, avec tests (Instrumenter le flux de travail) | Quatre tests, un par domaine, échouent sur l’instantané et réussissent après le changement; tous les tests réussissent. La semaine exécutée de nouveau : aucune exécution en attente, l’indicateur sur R-1014-042, aucun texte. | Personne n’a vu les tests échouer. Ou un domaine n’a aucun test. | Les paramètres de la version candidate ont été changés, dans scenarios/week.py ou l’environnement, plutôt que l’instrumentation. Ou aucun test. |
| 2. Une configuration du Collector avec masquage, échantillonnage des traces seulement et deux destinations (OpenTelemetry pour les agents, Pistes d’audit) | Du texte avant, aucun après. Autant d’enregistrements d’audit stockés qu’envoyés, vérifiés, aucun dans le fichier Loki. Une raison pour chaque partie. | Aucune raison pour l’échantillonnage, ou aucun compte des enregistrements d’audit. | La sortie contient du texte. Ou les événements d’audit sont échantillonnés. |
| 3. Un tableau de bord et au moins trois alertes, chacune déclenchée dans son scénario et silencieuse durant une semaine sans problème (Alertes, niveaux de service et qualité) | Trois alertes, chacune avec son problème, l’heure, une exécution d’exemple et une première étape. Toutes restent silencieuses durant une semaine sans problème produite avec votre code. Un nouveau panneau avec sa requête et ses données. | Une alerte sans première étape. Ou la semaine sans problème sauvegardée, plutôt que la vôtre. | Une alerte qui ne s’est jamais déclenchée. Ou aucune semaine sans problème. |
| 4. Un incident avec des preuves tirées des traces, et le rapport de coûts (Trouver les défaillances des agents dans Grafana, Le coût) | Une chronologie, la version, les preuves tirées des traces et ce que la trace ne peut pas dire. Le coût par billet résolu par modèle et par langue, avec une décision. | Le coût utilise la semaine telle que livrée sans expliquer pourquoi il est incorrect. | « Aucun double remboursement » à partir de obs find seulement. Ou le coût par appel seulement. |
| 5. Une piste d’audit qui passe la vérification, et une réponse d’audit (Pistes d’audit) | La piste passe la vérification, mais la copie modifiée échoue. La réponse nomme l’exécution, Sam, les deux clés et la lacune. | La réponse utilise seulement la piste après votre changement. | La piste échoue à la vérification. Ou aucune source. |
Non accepté, peu importe ce que le reste démontre (l’élément est « pas encore démontré ») :
- La télémétrie exporte le texte des requêtes, des données personnelles ou des secrets. Aucun texte dans votre exportation ni dans la sortie du Collector; aucune clé ni donnée réelle de client dans votre dossier. (Éléments 1 et 2.)
- La piste d’audit peut être modifiée sans détection. Une copie modifiée doit échouer à
obs audit verify. (Élément 5.) - Les événements d’audit sont échantillonnés. Chaque enregistrement envoyé se trouve dans le stockage. (Élément 2.)
Erreur courante
Les tests réussissent avant tout changement
Symptôme : votre test des approbations réussit sur l’instantané.
Cause : le test n’utilise pas le paramètre de la version candidate. Sans RESOLVER_APPROVAL_CONTEXT=off, la décision conserve son contexte.
Correction : définissez la variable dans le test avec monkeypatch.setenv, puis vérifiez que le test échoue d’abord. Un test qui n’a jamais échoué ne prouve rien.
Erreur courante
La sortie du Collector ne contient aucune trace
Symptôme : obs runs --data work/collector-out indique 0 run(s) (0 exécution).
Cause : vous avez arrêté le Collector trop tôt : l’échantillonnage en fin de trace attend 10 secondes pour chaque trace.
Correction : supprimez work/collector-out et work/collector-audit, sinon les comptes doublent. Envoyez la semaine de nouveau et attendez 15 secondes avant d’arrêter le Collector.
Récapitulatif
Dans ce cours, vous avez rendu le travail d’un agent visible et vérifiable :
- Enregistrez une seule fois avec OpenTelemetry, avec des noms fixes et aucun texte par défaut.
- Conservez le contexte de l’exécution durant la pause d’approbation, le passage de relais et l’appel d’outil.
- Laissez le Collector décider où vont les données : masquez, échantillonnez seulement les traces, dirigez les événements d’audit vers un stockage à ajout seulement.
- Déclenchez des alertes pour ce qui exige une intervention humaine, avec une première étape, et aucune alerte durant une semaine sans problème.
- Calculez le coût par billet résolu, par modèle et par sous-groupe, et vérifiez la jointure qui sert au calcul.
- Répondez à partir d’une piste d’audit qui passe la vérification, et dites ce qu’elle ne peut pas montrer.
Un tableau de bord vert ne signifie pas que l’agent fonctionne bien. Des preuves concordantes entre les traces, les métriques, les journaux et la piste d’audit le démontrent.