D'une trace aux métriques et aux journaux
- Leçon 15
- 35 min
- Module 4 : Trouver les défaillances des agents dans Grafana
Où nous en sommes
Dans la dernière leçon, nous avons nommé cinq modèles de défaillance et trouvé chacun dans les traces de la semaine. Mais une exécution signalée ne dit pas si un seul client a subi un préjudice, ou plusieurs. Dans cette leçon, nous passons d'une trace aux événements de la même exécution, puis aux métriques environnantes. Nous décidons ensuite si la défaillance est un cas isolé ou un modèle de défaillance. Nous commençons avec une gérante de restaurant et une soupe froide.
Leçon 15 sur 28 · Observabilité des agents d'IA : traces, coûts et pistes d'auditD'une trace aux métriques et aux journaux
1. Pourquoi les agents ont besoin de leur propre observabilité
2. OpenTelemetry pour les agents
3. Instrumenter le flux de travail
4. Trouver les défaillances des agents dans Grafana
5. Le coût
6. Pistes d'audit
7. Alertes, niveaux de service et qualité
8. Outils : Langfuse, les autres et l'inspecteur d'exécutions
Ce que vous saurez faire
Décidez si une défaillance est un cas isolé ou un modèle de défaillance. Passez d’une trace aux événements de la même exécution, puis aux métriques environnantes. Revenez ensuite à d’autres traces grâce aux exemplaires et aux identifiants partagés.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les cinq modèles de défaillance et l’exécution R-1015-023, un succès sans action, dans Les modèles de défaillance des agents.
- Ce que sont les événements et les métriques, et leurs différences avec une trace, dans Ce qu’il faut enregistrer, et ce qu’il ne faut pas.
Ce qu’il vous faut sur votre ordinateur
- Le projet tel qu’il était à la fin de la dernière leçon : 93 tests réussissent.
Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes Windows (PowerShell) et Linux sont fournies, mais le cours ne les a pas exécutées. Le cours n’a pas vérifié les exemplaires dans Grafana.
Une soupe froide
Section intitulée « Une soupe froide »Un client au restaurant retourne une soupe : elle est froide. La gérante peut s’excuser et apporter un nouveau bol. Mais elle se pose d’abord une question : un seul mauvais bol, ou un problème en cuisine?
Elle fait deux choses. Elle lit le bon de commande de cette table : quand la soupe a été commandée, quand elle a quitté la cuisine, qui l’a apportée. Le bon porte le numéro de table. Puis elle regarde le nombre de plats retournés, heure par heure. Une soupe froide à 13 h 10, c’est un incident isolé. Neuf plats froids entre 12 h 30 et 15 h 30 indiquent que le chauffe-plats est tombé en panne au dîner.
Le bon raconte l’histoire d’une commande. Le nombre lui indique la fréquence. Le numéro de table et l’heure relient les deux.
Le problème : quatre exécutions signalées, mais un préjudice plus large
Section intitulée « Le problème : quatre exécutions signalées, mais un préjudice plus large »Dans la dernière leçon, la règle du succès sans action a signalé 4 exécutions le jeudi. R-1015-023 en fait partie : la réponse a échoué, aucune écriture n’a eu lieu, et le billet a été fermé comme résolu. La première idée d’Amira est de corriger « ces quatre billets ».
Mais la règle pose une question limitée : résolu, et aucune écriture, et aucune réponse. Une exécution qui a effectué un remboursement, puis échoué à envoyer sa réponse, n’est pas signalée : une écriture a eu lieu. Ce client a-t-il aussi subi un préjudice? Le problème concernait-il un modèle, un billet, une heure ou une version? La trace de R-1015-023 ne peut pas le dire. Elle représente une seule exécution.
L’idée : trois signaux reliés par des identifiants partagés
Section intitulée « L’idée : trois signaux reliés par des identifiants partagés »Le flux de travail enregistre trois signaux pour chaque exécution. Le module 1 a montré à quelle question chacun répond. Ici, ils fonctionnent ensemble :
- La trace raconte l’histoire d’une exécution, avec ses spans (segments de trace).
- Les événements sont des enregistrements qui portent un nom fixe, comme
larkfield.reply.failed, écrits à un moment de l’exécution. Chaque événement contient l’identifiant de trace, l’identifiant de span et l’identifiant d’exécution. Il appartient donc à une exécution, comme le bon de commande. - Les métriques sont des nombres et des sommes pour chaque exécution, selon quelques étiquettes comme l’outil et son état. Elles ne sont jamais échantillonnées. Elles ne contiennent aucun identifiant d’exécution. Une série par exécution rendrait les métriques énormes (le module 5 l’explique). Une métrique indique donc la fréquence, comme le compte de la gérante.
Comment passer d’un nombre à une exécution? Avec un exemplaire : un exemple associé à un point de métrique. Quand le flux de travail ajoute 1 à un compteur pendant un span, le SDK OpenTelemetry peut joindre l’identifiant de trace de ce span au point. Le point dit alors : « 3 réponses ont échoué dans cette heure, et voici l’une d’elles. »
Description textuelle du diagramme
Un point de métrique compte chaque exécution et n’a aucun identifiant d’exécution. Son exemplaire contient un identifiant de trace donné en exemple, qui mène à une trace. La trace contient un identifiant de trace, des identifiants de span et un identifiant d’exécution. Les événements de la même exécution portent les mêmes identifiants de trace et d’exécution, comme les enregistrements d’audit du module 6.
Vous pouvez donc parcourir les liens dans les deux sens. D’une trace à ses événements, grâce à l’identifiant d’exécution. D’une trace aux métriques environnantes, grâce à l’heure et aux étiquettes. D’un point de métrique à une trace, grâce à son exemplaire.
Ajouter les fichiers de la leçon
Section intitulée « Ajouter les fichiers de la leçon »Le code de cette leçon fait écrire des événements à votre flux de travail. Il les écrit quand une exécution attend une personne, quand une réponse échoue et quand une exécution se ferme. La semaine sauvegardée les contenait déjà lors de son enregistrement.
-
Copiez les fichiers :
Fenêtre de terminal S=../nextia-learning-labs/C31/snapshots/end-of-m04cp $S/resolver/live.py resolver/cp $S/tests/test_approval_traces.py tests/cp $S/README.md .Fenêtre de terminal $S = "..\nextia-learning-labs\C31\snapshots\end-of-m04"Copy-Item $S\resolver\live.py resolver\Copy-Item $S\tests\test_approval_traces.py tests\Copy-Item -Force $S\README.md .Fenêtre de terminal S=../nextia-learning-labs/C31/snapshots/end-of-m04cp $S/resolver/live.py resolver/cp $S/tests/test_approval_traces.py tests/cp $S/README.md . -
Exécutez les tests : la dernière ligne indique
93 passed, 1 skipped, 1 deselected(93 réussis, 1 ignoré, 1 non sélectionné). Votre projet correspond maintenant à l’instantanéend-of-m04.
Exemple détaillé : d’une exécution à un modèle de défaillance
Section intitulée « Exemple détaillé : d’une exécution à un modèle de défaillance »Suivez R-1015-023 au-delà de sa trace, une étape à la fois. Chaque étape utilise un identifiant partagé ou l’heure.
Description textuelle du diagramme
L’étape 1 est la trace de R-1015-023 : la réponse a échoué, aucune écriture n’a eu lieu, et le billet a été fermé comme résolu. L’étape 2 lit les événements portant le même identifiant d’exécution : un échec de réponse et l’événement de fermeture. L’étape 3 cherche le même événement dans chaque exécution : 9 échecs de réponse, tous le jeudi entre 12 h 32 et 15 h 14. Toutes ces exécutions ont été fermées comme résolues. L’étape 4 lit la métrique des appels de réponse : des échecs de 12 h à 16 h, et aucune réponse envoyée de 13 h à 15 h. L’étape 5 suit un exemplaire vers R-1015-020, où un remboursement a été effectué et la réponse a échoué. La conclusion : un modèle de défaillance touchant 9 exécutions dans une même période, pas une seule exécution.
-
Les événements de l’exécution. Lisez les événements portant l’identifiant d’exécution de R-1015-023 :
Fenêtre de terminal python -m obs events R-1015-023 --data data/telemetry/weekThu 15 Oct 14:03:34 larkfield.reply.failed trace 05e8ee9c {"run.id": "R-1015-023", "ticket.id": "T-90107"}Thu 15 Oct 14:03:34 larkfield.run.closed trace 05e8ee9c {"run.id": "R-1015-023", "ticket.id": "T-90107", "outcome": "resolved", "writes_done": 0, "reply": "failed", "helpdesk.status": "resolved"}2 event(s)L’identifiant de trace
05e8ee9ccorrespond à la trace lue dans la dernière leçon. L’événement de fermeture indique ce que le service de soutien a vu :helpdesk.status: resolved(état du service de soutien : résolu), avecreply: failed(réponse : échec). -
Le même événement dans chaque exécution. Retirez l’identifiant d’exécution et cherchez l’événement par son nom :
Fenêtre de terminal python -m obs events --data data/telemetry/week --name larkfield.reply.failedThu 15 Oct 12:32:55 larkfield.reply.failed trace f62fe6a2 {"run.id": "R-1015-017", "ticket.id": "T-90209"}Thu 15 Oct 13:01:17 larkfield.reply.failed trace e1d921f7 {"run.id": "R-1015-018", "ticket.id": "T-90408"}Thu 15 Oct 13:04:37 larkfield.reply.failed trace 335d5d16 {"run.id": "R-1015-019", "ticket.id": "T-90705"}Thu 15 Oct 13:33:46 larkfield.reply.failed trace 4f92fb98 {"run.id": "R-1015-020", "ticket.id": "T-90104"}Thu 15 Oct 14:03:34 larkfield.reply.failed trace 05e8ee9c {"run.id": "R-1015-023", "ticket.id": "T-90107"}Thu 15 Oct 14:55:59 larkfield.reply.failed trace b720472b {"run.id": "R-1015-025", "ticket.id": "T-90701"}Thu 15 Oct 15:08:58 larkfield.reply.failed trace 8d8aa1d5 {"run.id": "R-1015-028", "ticket.id": "T-90402"}Thu 15 Oct 15:12:50 larkfield.reply.failed trace 84543e9b {"run.id": "R-1015-027", "ticket.id": "T-90101"}Thu 15 Oct 15:14:43 larkfield.reply.failed trace 0b33e67c {"run.id": "R-1015-030", "ticket.id": "T-90502"}9 event(s)Neuf échecs de réponse, tous le jeudi, de 12 h 32 à 15 h 14, et aucun les autres jours. Neuf billets différents. Il ne s’agit donc pas d’un seul billet ni d’un seul client.
-
La fermeture de chaque exécution. Gardez les événements de fermeture avec une réponse en échec :
Fenêtre de terminal python -m obs events --data data/telemetry/week --name larkfield.run.closed | grep '"reply": "failed"'Fenêtre de terminal python -m obs events --data data/telemetry/week --name larkfield.run.closed | Select-String '"reply": "failed"'Fenêtre de terminal python -m obs events --data data/telemetry/week --name larkfield.run.closed | grep '"reply": "failed"'Thu 15 Oct 12:32:55 larkfield.run.closed trace f62fe6a2 {"run.id": "R-1015-017", "ticket.id": "T-90209", "outcome": "resolved", "writes_done": 0, "reply": "failed", "helpdesk.status": "resolved"}Thu 15 Oct 13:01:17 larkfield.run.closed trace e1d921f7 {"run.id": "R-1015-018", "ticket.id": "T-90408", "outcome": "resolved", "writes_done": 1, "reply": "failed", "helpdesk.status": "resolved"}…Thu 15 Oct 15:14:43 larkfield.run.closed trace 0b33e67c {"run.id": "R-1015-030", "ticket.id": "T-90502", "outcome": "resolved", "writes_done": 0, "reply": "failed", "helpdesk.status": "resolved"}Les neuf ont été fermées comme
resolved(résolues). Quatre ontwrites_done: 0(aucune écriture effectuée) : les quatre exécutions signalées par la règle. Cinq ontwrites_done: 1(une écriture effectuée) : un remboursement, une étiquette ou une réexpédition a été effectué, sans jamais en informer le client. Aucune règle ne les a signalées. -
La métrique environnante. Comptez maintenant chaque appel de réponse le jeudi, par état, heure par heure.
obs metricsaffiche l’augmentation d’un compteur entre deux points exportés, ainsi que l’exemplaire de chaque point :Fenêtre de terminal python -m obs metrics larkfield.tool.calls --data data/telemetry/week --where gen_ai.tool.name=send_reply --day thularkfield.tool.calls: Tool calls, increase per exported interval, gen_ai.tool.name=send_reply, thuThu 09:00-10:00 +8 tool.kind=write tool.status=sent example: R-1014-051 (trace f346995f)Thu 10:00-11:00 +3 tool.kind=write tool.status=sent example: R-1015-008 (trace e2f9fffd)Thu 11:00-12:00 +6 tool.kind=write tool.status=sent example: R-1015-012 (trace 86e3553d)Thu 12:00-13:00 +1 tool.kind=write tool.status=failed example: R-1015-017 (trace f62fe6a2)Thu 12:00-13:00 +1 tool.kind=write tool.status=sent example: R-1015-015 (trace 675517b2)Thu 13:00-14:00 +3 tool.kind=write tool.status=failed example: R-1015-020 (trace 4f92fb98)Thu 14:00-15:00 +2 tool.kind=write tool.status=failed example: R-1015-023 (trace 05e8ee9c)Thu 15:00-16:00 +3 tool.kind=write tool.status=failed example: R-1015-028 (trace 8d8aa1d5)Thu 15:00-16:00 +4 tool.kind=write tool.status=sent example: R-1015-032 (trace 8fc571d6)Thu 16:00-17:00 +5 tool.kind=write tool.status=sent example: R-1015-034 (trace 24b77b9e)Thu 17:00-18:00 +5 tool.kind=write tool.status=sent example: R-1015-044 (trace 3fe78f36)Thu 18:00-19:00 +3 tool.kind=write tool.status=sent example: R-1015-048 (trace 34a77ddf)Thu 19:00-20:00 +2 tool.kind=write tool.status=sent example: R-1015-050 (trace c300cc75)13 interval(s) with an increase, 13 with an example trace
Tracez les deux séries, et la période apparaît :
- envoyés
- en échec
Description textuelle du graphique
Deux lignes pour le jeudi, de 6 h à 21 h. Réponses envoyées par heure : 6:00 0, 7:00 0, 8:00 0, 9:00 8, 10:00 3, 11:00 6, 12:00 1, 13:00 0, 14:00 0, 15:00 4, 16:00 5, 17:00 5, 18:00 3, 19:00 2, 20:00 0. Réponses en échec par heure : 6:00 0, 7:00 0, 8:00 0, 9:00 0, 10:00 0, 11:00 0, 12:00 1, 13:00 3, 14:00 2, 15:00 3, 16:00 0, 17:00 0, 18:00 0, 19:00 0, 20:00 0. La ligne des échecs dépasse zéro seulement de 12 h à 16 h : 1, 3, 2 et 3. Pendant ces heures, la ligne des envois descend à 1, puis à 0, 0, et remonte à 4. Le point de 13 h à 14 h contient l’exemplaire R-1015-020.
La métrique compte chaque exécution. Elle confirme donc ce que les événements suggéraient : de 13 h à 15 h, aucune réponse n’a été envoyée. C’est la panne du service de réponse, un incident d’exercice que nous avons causé volontairement (jeudi de 12 h 30 à 15 h 30). Avant 12 h et après 16 h, toutes les réponses ont été envoyées.
Suivez maintenant l’exemplaire du point de 13 h pour revenir à une trace :
python -m obs trace R-1015-020 --data data/telemetry/weekRun R-1015-020 | ticket T-90104 | chat-strong (agent_structured) | release 2.1.0 | language en…Trace 2 4f92fb98fb8725c926cdcb57e19fb417 Thu 15 Oct 13:33:46 0.0 s 0.0 s |========================| 0.00 s approve support-resolution approved by usr-sam (agent, limit 100) 0.0 s |========================| 0.00 s execute_tool request_refund done LK-793996 9.95 RFD-LATE key 797fbb5bbb9f8a7e 0.0 s | =| 0.00 s execute_tool send_reply ERROR failed
Outcome: resolvedEncore le billet T-90104, l’arrosoir. Cette fois, le remboursement a été effectué une seule fois, la réponse a échoué, et le billet a été fermé comme résolu. C’est l’une des cinq exécutions qu’aucune règle n’a signalées.
La réponse est donc : un modèle de défaillance, pas une seule exécution. Neuf clients dans une même période, tous avec une réponse en échec, tous avec un billet fermé comme résolu. Deux causes ont agi ensemble. Le service de réponse était en panne (l’incident d’exercice). Et la version 2.1.0 fermait un billet comme résolu après un échec de réponse (son bogue introduit volontairement). La version 2.1.1, à partir du vendredi à 11 h 30, transmet plutôt un tel billet à une personne. La correction d’Amira concerne la version, pas quatre billets, et l’équipe de soutien doit contacter neuf clients.
Un deuxième parcours : les doubles remboursements
Section intitulée « Un deuxième parcours : les doubles remboursements »Le même parcours fonctionne pour le double remboursement. Comptez les appels d’écriture dont le délai d’attente a expiré, pour toute la semaine :
python -m obs metrics larkfield.writes --data data/telemetry/week --where larkfield.write.outcome=timeoutlarkfield.writes: Write calls by outcome, increase per exported interval, larkfield.write.outcome=timeoutMon 11:00-12:00 +1 tool.name=create_return_label example: R-1012-012 (trace 064b08d9)Mon 11:00-12:00 +1 tool.name=request_refund example: R-1012-015 (trace 9658f20b)Tue 11:00-12:00 +1 tool.name=request_refund example: R-1013-014 (trace a50f35d4)Tue 17:00-18:00 +1 tool.name=request_refund example: R-1013-043 (trace 9dc2a00c)Wed 13:00-14:00 +1 tool.name=create_return_label example: R-1014-024 (trace 0bf792cf)Thu 09:00-10:00 +2 tool.name=request_refund example: R-1014-051 (trace f346995f)Fri 12:00-13:00 +1 tool.name=create_return_label example: R-1016-021 (trace 76e38e4d)Fri 14:00-15:00 +1 tool.name=create_return_label example: R-1016-032 (trace 3372a85a)Sat 10:00-11:00 +1 tool.name=request_refund example: R-1017-001 (trace da363bec)9 interval(s) with an increase, 9 with an example traceDes délais d’attente expirent presque tous les jours : chacun de ces billets contient une anomalie d’exercice enregistrée. Un délai d’attente expiré ne constitue pas à lui seul une défaillance. Dans les versions 2.0.0 et 2.1.1, la nouvelle tentative sûre vérifie l’état par rapprochement, comme R-1012-012 l’a montré dans la dernière leçon. Les deux points importants concernent la version 2.1.0, avec sa nouvelle tentative naïve. Le mercredi à 13 h correspond à R-1014-024, l’étiquette que la trace ne permettait pas de juger. Le jeudi de 9 h à 10 h compte +2 remboursements. Le service de paiement était lent à ce moment-là (un incident d’exercice, de 8 h 30 à 9 h 30), pendant que Sam approuvait les propositions de la nuit. Son exemplaire est R-1014-051, l’un des deux doubles remboursements. La métrique montre quand et à quelle fréquence; l’exemplaire et les traces montrent quelles exécutions sont concernées.
Exercice guidé : créer votre propre modèle de défaillance
Section intitulée « Exercice guidé : créer votre propre modèle de défaillance »Provoquez maintenant un échec de réponse dans votre flux de travail, d’abord avec le réglage sûr, puis avec le bogue de la version 2.1.0.
-
Partez d’un dossier
work/neuf et exécutez le billet T-90107 avec un service de réponse en panne :Fenêtre de terminal rm -rf workpython -m resolver run T-90107 --fault send_reply:unavailableFenêtre de terminal Remove-Item -Recurse -Force workpython -m resolver run T-90107 --fault send_reply:unavailableFenêtre de terminal rm -rf workpython -m resolver run T-90107 --fault send_reply:unavailableLa dernière ligne :
Reply failed. Ticket: handed to person.(La réponse a échoué. Billet : transmis à une personne.) Le réglage par défaut,RESOLVER_REPLY_FAILURE=person, fait ce qu’il faut.python -m obs find allaffiche0 match(es) in 1 run(s)(0 correspondance dans 1 exécution). -
Exécutez-le de nouveau avec le bogue de la version 2.1.0 :
Fenêtre de terminal rm -rf workRESOLVER_REPLY_FAILURE=close python -m resolver run T-90107 --fault send_reply:unavailableFenêtre de terminal Remove-Item -Recurse -Force work$env:RESOLVER_REPLY_FAILURE = "close"python -m resolver run T-90107 --fault send_reply:unavailableRemove-Item Env:RESOLVER_REPLY_FAILUREFenêtre de terminal rm -rf workRESOLVER_REPLY_FAILURE=close python -m resolver run T-90107 --fault send_reply:unavailableLa dernière ligne :
Reply failed. Ticket: resolved.(La réponse a échoué. Billet : résolu.) -
Trouvez le modèle de défaillance, lisez les événements et comptez :
Fenêtre de terminal python -m obs find allpython -m obs eventspython -m obs metrics larkfield.tool.calls --where gen_ai.tool.name=send_replyT-90107-agent-chat-small-1 T-90107 … chat-small no_action: closed as resolved with no write and no reply sent (send_reply failed at +3.4 s)1 match(es) in 1 run(s)… larkfield.reply.failed trace … {"run.id": "T-90107-agent-chat-small-1", "ticket.id": "T-90107"}… larkfield.run.closed trace … {"run.id": "T-90107-agent-chat-small-1", "ticket.id": "T-90107", "outcome": "resolved", "writes_done": 0, "reply": "failed", "helpdesk.status": "resolved"}2 event(s)larkfield.tool.calls: Tool calls, increase per exported interval, gen_ai.tool.name=send_reply… +1 tool.kind=write tool.status=failed example: T-90107-agent-chat-small-1 (trace …)1 interval(s) with an increase, 1 with an example traceVos heures et vos identifiants de trace diffèrent. Vérifiez que l’identifiant de trace des événements correspond à celui de l’exemple de la métrique : les trois signaux désignent une même exécution.
Erreur courante
obs events affiche 0 event(s) pour votre propre exécution
Symptôme : après une de vos exécutions, python -m obs events affiche seulement 0 event(s) (0 événement).
Cause : votre fichier resolver/live.py est encore la version du module 3, qui n’écrit aucun événement. La semaine sauvegardée en contient parce qu’elle a été enregistrée avec le code final du cours.
Diagnostic : python -m pytest -q indique 93 tests dans les deux cas, alors vérifiez le fichier : grep -c "larkfield.run.closed" resolver/live.py (Windows : Select-String larkfield.run.closed resolver\live.py) ne trouve rien dans l’ancien fichier.
Correction : recopiez resolver/live.py depuis l’instantané end-of-m04, supprimez work/ et exécutez de nouveau le billet.
Erreur courante
obs metrics indique No metric
Symptôme : python -m obs metrics larkfield.tool.call --data data/telemetry/week affiche No metric larkfield.tool.call in data/telemetry/week. (Aucune métrique larkfield.tool.call dans data/telemetry/week.)
Cause : le nom de la métrique contient une faute (call, plutôt que calls), ou votre dossier work/telemetry ne contient pas encore de métriques. Le flux de travail écrit vos métriques à la fin de chaque commande.
Correction : utilisez les noms exacts : larkfield.tool.calls, larkfield.writes, larkfield.runs, larkfield.run.stops, et les métriques de durée GenAI du module 2.
Dans Grafana
Section intitulée « Dans Grafana »Dans Grafana, le même parcours utilise trois sources de données : Tempo pour la trace, Loki pour les événements et Prometheus pour les métriques. Un panneau de séries chronologiques peut afficher les exemplaires comme de petits points lorsque Prometheus les stocke. Un clic sur un point ouvre la trace donnée en exemple. La leçon Journaux, métriques et traces du cours MLOps et LLMOps : exploiter l’IA en production configure ces liens pour un service. Le cours n’a pas vérifié les exemplaires lors de son exécution dans Grafana. obs metrics les affiche à partir des fichiers sauvegardés. Cette leçon fonctionne donc sans Grafana.
À vous de jouer : une boucle ou un modèle de défaillance?
Section intitulée « À vous de jouer : une boucle ou un modèle de défaillance? »Changez une condition : partez de la boucle de R-1017-007 le samedi.
-
Faites une prédiction : il y a eu trois boucles le samedi. La boucle concernait-elle un seul billet ou un problème plus large? Quelle métrique vous le dirait?
-
Comptez les exécutions arrêtées par les limites de la boucle, pour toute la semaine, par raison :
Fenêtre de terminal python -m obs metrics larkfield.run.stops --data data/telemetry/week -
Suivez deux exemplaires avec
obs traceet notez le modèle de chaque exécution.
Vérifiez votre prédiction
larkfield.run.stops: Runs stopped by a limit, by reason, increase per exported intervalWed 10:00-11:00 +1 stop_reason=provider_error example: R-1014-014 (trace 7f6ab892)Thu 05:00-06:00 +1 stop_reason=provider_error example: R-1015-001 (trace 5b4f935f)Sat 09:00-10:00 +1 stop_reason=provider_error example: R-1017-004 (trace d21473ff)Sat 09:00-10:00 +1 stop_reason=too_many_errors example: R-1017-005 (trace 05936b96)Sat 10:00-11:00 +2 stop_reason=repeated_call example: R-1017-006 (trace 3197f96c)Sat 11:00-12:00 +2 stop_reason=too_many_errors example: R-1017-010 (trace 7ad8163f)…Sun 17:00-18:00 +1 stop_reason=repeated_call example: R-1018-023 (trace 35d276a1)Sun 21:00-22:00 +1 stop_reason=too_many_errors example: R-1018-028 (trace 3ed419fd)14 interval(s) with an increase, 14 with an example traceLes arrêts pour repeated_call (appel répété) (3) et too_many_errors (trop d’erreurs) (10) se produisent seulement le samedi et le dimanche. Leurs exemplaires sont des exécutions de gemma3:4b. Ensemble, ils représentent 13 des 16 exécutions sur le modèle local. Les 3 autres ont été fermées comme résolues, dont R-1018-010 et R-1018-022, avec leurs erreurs d’outils cachées. La boucle est donc un modèle de défaillance de l’essai de fin de semaine de Tomás, pas d’un seul billet. Les trois arrêts pour provider_error (erreur du fournisseur) sont différents : le billet T-80002 sur chat-small, avec le filtre de contenu enregistré par le cours Agents d’IA et orchestration des flux de travail, sur trois jours. Seuls les arrêts pour repeated_call sont signalés comme des boucles; les arrêts pour too_many_errors indiquent ce qu’il faut lire ensuite.
Quand passer d’une trace aux métriques, et à quel coût
Section intitulée « Quand passer d’une trace aux métriques, et à quel coût »Faites ce parcours chaque fois qu’une règle ou une personne trouve une mauvaise exécution, avant de corriger quoi que ce soit. La question « une exécution ou un modèle de défaillance? » détermine la correction : un billet, une version, un modèle ou un service.
Ce parcours a des coûts et des limites. Les événements demandent du stockage pour chaque exécution. Gardez-en donc peu, avec des noms et des identifiants, mais sans texte. Les métriques coûtent peu et sont complètes, mais elles n’ont que quelques étiquettes. Elles peuvent donc dire « 9 réponses en échec », jamais « quel client ». Un exemplaire est un exemple par point, pas la liste complète : pour la liste, revenez aux événements ou à une recherche. Et tout cela fonctionne uniquement parce que chaque signal porte les mêmes identifiants. Un signal sans identifiant de trace ni identifiant d’exécution reste isolé.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
La règle sans action a signalé 4 exécutions jeudi. Comment les événements ont-ils montré que les conséquences étaient plus étendues, et à quel point?
Afficher la réponse
Les événements nommés larkfield.reply.failed ont montré 9 réponses échouées, toutes jeudi entre 12 h 32 et 15 h 14. Elles concernaient 9 billets différents. Les événements de clôture de ces 9 exécutions indiquent tous resolved (résolu). Quatre ont writes_done à 0 : les exécutions signalées. Cinq ont writes_done à 1 : un remboursement, une étiquette ou une réexpédition a été effectué, sans jamais informer le client. Donc, 9 clients ont été touchés, et non 4.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Qu'est-ce qu'un exemplaire, et pourquoi un point de métrique en a-t-il besoin pour vous mener à une exécution?
Afficher la réponse
Un exemplaire est un exemple associé à un point de métrique. Il contient l’identifiant de trace et de span d’un span qui a contribué au compte. Une métrique n’a aucun identifiant d’exécution dans ses étiquettes. Une série par exécution rendrait les métriques beaucoup trop volumineuses. Le compte seul ne peut donc pas identifier une exécution. L’exemplaire fait le lien entre « 3 réponses ont échoué pendant cette heure » et une de ces exécutions, ici R-1015-020.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification du module : pour une exécution échouée de la semaine, montrez les preuves dans la trace. Quelle étape a causé l'échec, et pourquoi la réponse semblait-elle correcte?
Afficher la réponse
L’exécution R-1018-010 utilise gemma3:4b pour le billet T-90602, une question sur une double facturation. L’étape responsable de l’échec est execute_tool get_payments à +3,7 s, avec ERROR service_unavailable (erreur : service indisponible). Aucun appel ultérieur à get_payments n’a réussi. Le modèle n’a donc jamais vu les paiements. Le modèle a ensuite fait cinq autres appels de modèle. L’exécution a envoyé une réponse (execute_tool send_reply, sent, à +19,7 s). Le résultat est resolved, avec la proposition reply_only (réponse seulement). La réponse semblait correcte parce qu’elle avait été envoyée et que le billet avait été fermé comme résolu. Rien dans le résultat, la ligne de journal ou le système de soutien n’indique que la vérification des paiements a échoué. Seul le span rouge le montre. Les étiquettes du cours prévoyaient un passage de relais à une personne pour ce billet.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une trace raconte une exécution. Les événements ayant le même identifiant d’exécution ajoutent ce qui s’est passé à des moments nommés. Les métriques comptent toutes les exécutions, et un exemplaire mène d’un compte à une trace donnée.
- À partir de R-1015-023, les événements ont révélé 9 réponses échouées jeudi, toutes avec une clôture indiquant resolved. Quatre n’avaient aucune action, et cinq avaient une écriture, mais aucune réponse. La métrique a montré la période : aucune réponse envoyée entre 13 h et 15 h. Ce modèle de défaillance résultait de la panne des réponses et du bogue de la version 2.1.0.
- Le compteur de délais dépassés a situé les deux doubles remboursements dans une même heure, jeudi entre 9 h et 10 h. Il fournissait un exemplaire menant à R-1014-051.
Votre projet correspond maintenant à l’instantané end-of-m04. Votre flux de travail écrit des événements, obs find et obs metrics les lisent, et 92 tests réussissent. Vous pouvez maintenant trouver les défaillances des agents et distinguer une exécution d’un modèle de défaillance. Mais vos propres traces affichent encore « - » pour le coût de chaque appel de modèle. Personne ne peut dire quelle étape, quel modèle ou quel client a fait augmenter la facture de la semaine. Ensuite, dans le module 5, vous ajoutez le coût à chaque exécution et à chaque étape.
Leçon suivante : Coût par exécution et par étape