Aller au contenu
English

D'une trace aux métriques et aux journaux

  • Leçon 15
  • 35 min
  • Module 4 : Trouver les défaillances des agents dans Grafana

Où nous en sommes

Dans la dernière leçon, nous avons nommé cinq modèles de défaillance et trouvé chacun dans les traces de la semaine. Mais une exécution signalée ne dit pas si un seul client a subi un préjudice, ou plusieurs. Dans cette leçon, nous passons d'une trace aux événements de la même exécution, puis aux métriques environnantes. Nous décidons ensuite si la défaillance est un cas isolé ou un modèle de défaillance. Nous commençons avec une gérante de restaurant et une soupe froide.

Leçon 15 sur 28 · Observabilité des agents d'IA : traces, coûts et pistes d'auditD'une trace aux métriques et aux journaux
Aperçu du cours

Ce que vous saurez faire

Décidez si une défaillance est un cas isolé ou un modèle de défaillance. Passez d’une trace aux événements de la même exécution, puis aux métriques environnantes. Revenez ensuite à d’autres traces grâce aux exemplaires et aux identifiants partagés.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet tel qu’il était à la fin de la dernière leçon : 93 tests réussissent.

Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes Windows (PowerShell) et Linux sont fournies, mais le cours ne les a pas exécutées. Le cours n’a pas vérifié les exemplaires dans Grafana.

Un client au restaurant retourne une soupe : elle est froide. La gérante peut s’excuser et apporter un nouveau bol. Mais elle se pose d’abord une question : un seul mauvais bol, ou un problème en cuisine?

Elle fait deux choses. Elle lit le bon de commande de cette table : quand la soupe a été commandée, quand elle a quitté la cuisine, qui l’a apportée. Le bon porte le numéro de table. Puis elle regarde le nombre de plats retournés, heure par heure. Une soupe froide à 13 h 10, c’est un incident isolé. Neuf plats froids entre 12 h 30 et 15 h 30 indiquent que le chauffe-plats est tombé en panne au dîner.

Le bon raconte l’histoire d’une commande. Le nombre lui indique la fréquence. Le numéro de table et l’heure relient les deux.

Le problème : quatre exécutions signalées, mais un préjudice plus large

Section intitulée « Le problème : quatre exécutions signalées, mais un préjudice plus large »

Dans la dernière leçon, la règle du succès sans action a signalé 4 exécutions le jeudi. R-1015-023 en fait partie : la réponse a échoué, aucune écriture n’a eu lieu, et le billet a été fermé comme résolu. La première idée d’Amira est de corriger « ces quatre billets ».

Mais la règle pose une question limitée : résolu, et aucune écriture, et aucune réponse. Une exécution qui a effectué un remboursement, puis échoué à envoyer sa réponse, n’est pas signalée : une écriture a eu lieu. Ce client a-t-il aussi subi un préjudice? Le problème concernait-il un modèle, un billet, une heure ou une version? La trace de R-1015-023 ne peut pas le dire. Elle représente une seule exécution.

L’idée : trois signaux reliés par des identifiants partagés

Section intitulée « L’idée : trois signaux reliés par des identifiants partagés »

Le flux de travail enregistre trois signaux pour chaque exécution. Le module 1 a montré à quelle question chacun répond. Ici, ils fonctionnent ensemble :

  • La trace raconte l’histoire d’une exécution, avec ses spans (segments de trace).
  • Les événements sont des enregistrements qui portent un nom fixe, comme larkfield.reply.failed, écrits à un moment de l’exécution. Chaque événement contient l’identifiant de trace, l’identifiant de span et l’identifiant d’exécution. Il appartient donc à une exécution, comme le bon de commande.
  • Les métriques sont des nombres et des sommes pour chaque exécution, selon quelques étiquettes comme l’outil et son état. Elles ne sont jamais échantillonnées. Elles ne contiennent aucun identifiant d’exécution. Une série par exécution rendrait les métriques énormes (le module 5 l’explique). Une métrique indique donc la fréquence, comme le compte de la gérante.

Comment passer d’un nombre à une exécution? Avec un exemplaire : un exemple associé à un point de métrique. Quand le flux de travail ajoute 1 à un compteur pendant un span, le SDK OpenTelemetry peut joindre l’identifiant de trace de ce span au point. Le point dit alors : « 3 réponses ont échoué dans cette heure, et voici l’une d’elles. »

Quatre cases. En haut, un point de métrique : un compte pour chaque exécution, sans identifiant d'exécution dans ses étiquettes. Une flèche étiquetée exemplaire, un identifiant de trace donné en exemple, descend vers la trace : les étapes d'une exécution, avec identifiant de trace, identifiant de span et identifiant d'exécution. Depuis la trace, une flèche étiquetée même identifiant de trace et même identifiant d'exécution mène aux événements : ce qui s'est passé, par nom, avec identifiant de trace, identifiant de span et identifiant d'exécution. Une flèche pointillée portant la même étiquette mène à l'enregistrement d'audit du module 6 : qui a décidé quoi, avec identifiant de trace et identifiant d'exécution.
Comment les signaux d'une exécution sont reliés : des identifiants partagés entre une trace, ses événements et ses enregistrements d'audit, et un exemplaire reliant un point de métrique à une trace donnée en exemple.
Description textuelle du diagramme

Un point de métrique compte chaque exécution et n’a aucun identifiant d’exécution. Son exemplaire contient un identifiant de trace donné en exemple, qui mène à une trace. La trace contient un identifiant de trace, des identifiants de span et un identifiant d’exécution. Les événements de la même exécution portent les mêmes identifiants de trace et d’exécution, comme les enregistrements d’audit du module 6.

Vous pouvez donc parcourir les liens dans les deux sens. D’une trace à ses événements, grâce à l’identifiant d’exécution. D’une trace aux métriques environnantes, grâce à l’heure et aux étiquettes. D’un point de métrique à une trace, grâce à son exemplaire.

Le code de cette leçon fait écrire des événements à votre flux de travail. Il les écrit quand une exécution attend une personne, quand une réponse échoue et quand une exécution se ferme. La semaine sauvegardée les contenait déjà lors de son enregistrement.

  1. Copiez les fichiers :

    Fenêtre de terminal
    S=../nextia-learning-labs/C31/snapshots/end-of-m04
    cp $S/resolver/live.py resolver/
    cp $S/tests/test_approval_traces.py tests/
    cp $S/README.md .
  2. Exécutez les tests : la dernière ligne indique 93 passed, 1 skipped, 1 deselected (93 réussis, 1 ignoré, 1 non sélectionné). Votre projet correspond maintenant à l’instantané end-of-m04.

Exemple détaillé : d’une exécution à un modèle de défaillance

Section intitulée « Exemple détaillé : d’une exécution à un modèle de défaillance »

Suivez R-1015-023 au-delà de sa trace, une étape à la fois. Chaque étape utilise un identifiant partagé ou l’heure.

Six étapes de haut en bas. 1, une trace : R-1015-023, send_reply ERROR en échec, fermé comme résolu, aucune écriture. 2, les événements de l'exécution, même identifiant d'exécution : larkfield.reply.failed et larkfield.run.closed avec writes_done 0 et réponse en échec. 3, le même événement dans toutes les exécutions : 9 échecs de réponse, tous le jeudi de 12 h 32 à 15 h 14, tous fermés comme résolus. 4, la métrique environnante : send_reply en échec par heure de 12 h à 16 h, 1, 3, 2, 3; réponses envoyées de 13 h à 15 h, 0. 5, un exemplaire : de 13 h à 14 h, R-1015-020, un remboursement a été effectué et la réponse a échoué. 6, un modèle de défaillance, pas une seule exécution : 9 exécutions dans une même période, 4 sans action et 5 avec une écriture mais aucune réponse.
Le parcours de cet exemple détaillé : une trace, ses événements, le même événement dans chaque exécution, la métrique environnante, un exemplaire et la conclusion.
Description textuelle du diagramme

L’étape 1 est la trace de R-1015-023 : la réponse a échoué, aucune écriture n’a eu lieu, et le billet a été fermé comme résolu. L’étape 2 lit les événements portant le même identifiant d’exécution : un échec de réponse et l’événement de fermeture. L’étape 3 cherche le même événement dans chaque exécution : 9 échecs de réponse, tous le jeudi entre 12 h 32 et 15 h 14. Toutes ces exécutions ont été fermées comme résolues. L’étape 4 lit la métrique des appels de réponse : des échecs de 12 h à 16 h, et aucune réponse envoyée de 13 h à 15 h. L’étape 5 suit un exemplaire vers R-1015-020, où un remboursement a été effectué et la réponse a échoué. La conclusion : un modèle de défaillance touchant 9 exécutions dans une même période, pas une seule exécution.

  1. Les événements de l’exécution. Lisez les événements portant l’identifiant d’exécution de R-1015-023 :

    Fenêtre de terminal
    python -m obs events R-1015-023 --data data/telemetry/week
    Thu 15 Oct 14:03:34 larkfield.reply.failed trace 05e8ee9c {"run.id": "R-1015-023", "ticket.id": "T-90107"}
    Thu 15 Oct 14:03:34 larkfield.run.closed trace 05e8ee9c {"run.id": "R-1015-023", "ticket.id": "T-90107", "outcome": "resolved", "writes_done": 0, "reply": "failed", "helpdesk.status": "resolved"}
    2 event(s)

    L’identifiant de trace 05e8ee9c correspond à la trace lue dans la dernière leçon. L’événement de fermeture indique ce que le service de soutien a vu : helpdesk.status: resolved (état du service de soutien : résolu), avec reply: failed (réponse : échec).

  2. Le même événement dans chaque exécution. Retirez l’identifiant d’exécution et cherchez l’événement par son nom :

    Fenêtre de terminal
    python -m obs events --data data/telemetry/week --name larkfield.reply.failed
    Thu 15 Oct 12:32:55 larkfield.reply.failed trace f62fe6a2 {"run.id": "R-1015-017", "ticket.id": "T-90209"}
    Thu 15 Oct 13:01:17 larkfield.reply.failed trace e1d921f7 {"run.id": "R-1015-018", "ticket.id": "T-90408"}
    Thu 15 Oct 13:04:37 larkfield.reply.failed trace 335d5d16 {"run.id": "R-1015-019", "ticket.id": "T-90705"}
    Thu 15 Oct 13:33:46 larkfield.reply.failed trace 4f92fb98 {"run.id": "R-1015-020", "ticket.id": "T-90104"}
    Thu 15 Oct 14:03:34 larkfield.reply.failed trace 05e8ee9c {"run.id": "R-1015-023", "ticket.id": "T-90107"}
    Thu 15 Oct 14:55:59 larkfield.reply.failed trace b720472b {"run.id": "R-1015-025", "ticket.id": "T-90701"}
    Thu 15 Oct 15:08:58 larkfield.reply.failed trace 8d8aa1d5 {"run.id": "R-1015-028", "ticket.id": "T-90402"}
    Thu 15 Oct 15:12:50 larkfield.reply.failed trace 84543e9b {"run.id": "R-1015-027", "ticket.id": "T-90101"}
    Thu 15 Oct 15:14:43 larkfield.reply.failed trace 0b33e67c {"run.id": "R-1015-030", "ticket.id": "T-90502"}
    9 event(s)

    Neuf échecs de réponse, tous le jeudi, de 12 h 32 à 15 h 14, et aucun les autres jours. Neuf billets différents. Il ne s’agit donc pas d’un seul billet ni d’un seul client.

  3. La fermeture de chaque exécution. Gardez les événements de fermeture avec une réponse en échec :

    Fenêtre de terminal
    python -m obs events --data data/telemetry/week --name larkfield.run.closed | grep '"reply": "failed"'
    Thu 15 Oct 12:32:55 larkfield.run.closed trace f62fe6a2 {"run.id": "R-1015-017", "ticket.id": "T-90209", "outcome": "resolved", "writes_done": 0, "reply": "failed", "helpdesk.status": "resolved"}
    Thu 15 Oct 13:01:17 larkfield.run.closed trace e1d921f7 {"run.id": "R-1015-018", "ticket.id": "T-90408", "outcome": "resolved", "writes_done": 1, "reply": "failed", "helpdesk.status": "resolved"}
    …
    Thu 15 Oct 15:14:43 larkfield.run.closed trace 0b33e67c {"run.id": "R-1015-030", "ticket.id": "T-90502", "outcome": "resolved", "writes_done": 0, "reply": "failed", "helpdesk.status": "resolved"}

    Les neuf ont été fermées comme resolved (résolues). Quatre ont writes_done: 0 (aucune écriture effectuée) : les quatre exécutions signalées par la règle. Cinq ont writes_done: 1 (une écriture effectuée) : un remboursement, une étiquette ou une réexpédition a été effectué, sans jamais en informer le client. Aucune règle ne les a signalées.

  4. La métrique environnante. Comptez maintenant chaque appel de réponse le jeudi, par état, heure par heure. obs metrics affiche l’augmentation d’un compteur entre deux points exportés, ainsi que l’exemplaire de chaque point :

    Fenêtre de terminal
    python -m obs metrics larkfield.tool.calls --data data/telemetry/week --where gen_ai.tool.name=send_reply --day thu
    larkfield.tool.calls: Tool calls, increase per exported interval, gen_ai.tool.name=send_reply, thu
    Thu 09:00-10:00 +8 tool.kind=write tool.status=sent example: R-1014-051 (trace f346995f)
    Thu 10:00-11:00 +3 tool.kind=write tool.status=sent example: R-1015-008 (trace e2f9fffd)
    Thu 11:00-12:00 +6 tool.kind=write tool.status=sent example: R-1015-012 (trace 86e3553d)
    Thu 12:00-13:00 +1 tool.kind=write tool.status=failed example: R-1015-017 (trace f62fe6a2)
    Thu 12:00-13:00 +1 tool.kind=write tool.status=sent example: R-1015-015 (trace 675517b2)
    Thu 13:00-14:00 +3 tool.kind=write tool.status=failed example: R-1015-020 (trace 4f92fb98)
    Thu 14:00-15:00 +2 tool.kind=write tool.status=failed example: R-1015-023 (trace 05e8ee9c)
    Thu 15:00-16:00 +3 tool.kind=write tool.status=failed example: R-1015-028 (trace 8d8aa1d5)
    Thu 15:00-16:00 +4 tool.kind=write tool.status=sent example: R-1015-032 (trace 8fc571d6)
    Thu 16:00-17:00 +5 tool.kind=write tool.status=sent example: R-1015-034 (trace 24b77b9e)
    Thu 17:00-18:00 +5 tool.kind=write tool.status=sent example: R-1015-044 (trace 3fe78f36)
    Thu 18:00-19:00 +3 tool.kind=write tool.status=sent example: R-1015-048 (trace 34a77ddf)
    Thu 19:00-20:00 +2 tool.kind=write tool.status=sent example: R-1015-050 (trace c300cc75)
    13 interval(s) with an increase, 13 with an example trace

Tracez les deux séries, et la période apparaît :

  • envoyés
  • en échec
Le compteur larkfield.tool.calls pour send_reply, augmentation par heure, le jeudi 15 octobre de 6 h à 21 h (heure de Toronto), par état. Chaque point contient aussi un exemplaire : une trace donnée en exemple. Trafic et panne du service de réponse simulés; décisions rejouées.
Description textuelle du graphique

Deux lignes pour le jeudi, de 6 h à 21 h. Réponses envoyées par heure : 6:00 0, 7:00 0, 8:00 0, 9:00 8, 10:00 3, 11:00 6, 12:00 1, 13:00 0, 14:00 0, 15:00 4, 16:00 5, 17:00 5, 18:00 3, 19:00 2, 20:00 0. Réponses en échec par heure : 6:00 0, 7:00 0, 8:00 0, 9:00 0, 10:00 0, 11:00 0, 12:00 1, 13:00 3, 14:00 2, 15:00 3, 16:00 0, 17:00 0, 18:00 0, 19:00 0, 20:00 0. La ligne des échecs dépasse zéro seulement de 12 h à 16 h : 1, 3, 2 et 3. Pendant ces heures, la ligne des envois descend à 1, puis à 0, 0, et remonte à 4. Le point de 13 h à 14 h contient l’exemplaire R-1015-020.

La métrique compte chaque exécution. Elle confirme donc ce que les événements suggéraient : de 13 h à 15 h, aucune réponse n’a été envoyée. C’est la panne du service de réponse, un incident d’exercice que nous avons causé volontairement (jeudi de 12 h 30 à 15 h 30). Avant 12 h et après 16 h, toutes les réponses ont été envoyées.

Suivez maintenant l’exemplaire du point de 13 h pour revenir à une trace :

Fenêtre de terminal
python -m obs trace R-1015-020 --data data/telemetry/week
Run R-1015-020 | ticket T-90104 | chat-strong (agent_structured) | release 2.1.0 | language en
…
Trace 2 4f92fb98fb8725c926cdcb57e19fb417 Thu 15 Oct 13:33:46 0.0 s
0.0 s |========================| 0.00 s approve support-resolution approved by usr-sam (agent, limit 100)
0.0 s |========================| 0.00 s execute_tool request_refund done LK-793996 9.95 RFD-LATE key 797fbb5bbb9f8a7e
0.0 s | =| 0.00 s execute_tool send_reply ERROR failed
Outcome: resolved

Encore le billet T-90104, l’arrosoir. Cette fois, le remboursement a été effectué une seule fois, la réponse a échoué, et le billet a été fermé comme résolu. C’est l’une des cinq exécutions qu’aucune règle n’a signalées.

La réponse est donc : un modèle de défaillance, pas une seule exécution. Neuf clients dans une même période, tous avec une réponse en échec, tous avec un billet fermé comme résolu. Deux causes ont agi ensemble. Le service de réponse était en panne (l’incident d’exercice). Et la version 2.1.0 fermait un billet comme résolu après un échec de réponse (son bogue introduit volontairement). La version 2.1.1, à partir du vendredi à 11 h 30, transmet plutôt un tel billet à une personne. La correction d’Amira concerne la version, pas quatre billets, et l’équipe de soutien doit contacter neuf clients.

Le même parcours fonctionne pour le double remboursement. Comptez les appels d’écriture dont le délai d’attente a expiré, pour toute la semaine :

Fenêtre de terminal
python -m obs metrics larkfield.writes --data data/telemetry/week --where larkfield.write.outcome=timeout
larkfield.writes: Write calls by outcome, increase per exported interval, larkfield.write.outcome=timeout
Mon 11:00-12:00 +1 tool.name=create_return_label example: R-1012-012 (trace 064b08d9)
Mon 11:00-12:00 +1 tool.name=request_refund example: R-1012-015 (trace 9658f20b)
Tue 11:00-12:00 +1 tool.name=request_refund example: R-1013-014 (trace a50f35d4)
Tue 17:00-18:00 +1 tool.name=request_refund example: R-1013-043 (trace 9dc2a00c)
Wed 13:00-14:00 +1 tool.name=create_return_label example: R-1014-024 (trace 0bf792cf)
Thu 09:00-10:00 +2 tool.name=request_refund example: R-1014-051 (trace f346995f)
Fri 12:00-13:00 +1 tool.name=create_return_label example: R-1016-021 (trace 76e38e4d)
Fri 14:00-15:00 +1 tool.name=create_return_label example: R-1016-032 (trace 3372a85a)
Sat 10:00-11:00 +1 tool.name=request_refund example: R-1017-001 (trace da363bec)
9 interval(s) with an increase, 9 with an example trace

Des délais d’attente expirent presque tous les jours : chacun de ces billets contient une anomalie d’exercice enregistrée. Un délai d’attente expiré ne constitue pas à lui seul une défaillance. Dans les versions 2.0.0 et 2.1.1, la nouvelle tentative sûre vérifie l’état par rapprochement, comme R-1012-012 l’a montré dans la dernière leçon. Les deux points importants concernent la version 2.1.0, avec sa nouvelle tentative naïve. Le mercredi à 13 h correspond à R-1014-024, l’étiquette que la trace ne permettait pas de juger. Le jeudi de 9 h à 10 h compte +2 remboursements. Le service de paiement était lent à ce moment-là (un incident d’exercice, de 8 h 30 à 9 h 30), pendant que Sam approuvait les propositions de la nuit. Son exemplaire est R-1014-051, l’un des deux doubles remboursements. La métrique montre quand et à quelle fréquence; l’exemplaire et les traces montrent quelles exécutions sont concernées.

Exercice guidé : créer votre propre modèle de défaillance

Section intitulée « Exercice guidé : créer votre propre modèle de défaillance »

Provoquez maintenant un échec de réponse dans votre flux de travail, d’abord avec le réglage sûr, puis avec le bogue de la version 2.1.0.

  1. Partez d’un dossier work/ neuf et exécutez le billet T-90107 avec un service de réponse en panne :

    Fenêtre de terminal
    rm -rf work
    python -m resolver run T-90107 --fault send_reply:unavailable

    La dernière ligne : Reply failed. Ticket: handed to person. (La réponse a échoué. Billet : transmis à une personne.) Le réglage par défaut, RESOLVER_REPLY_FAILURE=person, fait ce qu’il faut. python -m obs find all affiche 0 match(es) in 1 run(s) (0 correspondance dans 1 exécution).

  2. Exécutez-le de nouveau avec le bogue de la version 2.1.0 :

    Fenêtre de terminal
    rm -rf work
    RESOLVER_REPLY_FAILURE=close python -m resolver run T-90107 --fault send_reply:unavailable

    La dernière ligne : Reply failed. Ticket: resolved. (La réponse a échoué. Billet : résolu.)

  3. Trouvez le modèle de défaillance, lisez les événements et comptez :

    Fenêtre de terminal
    python -m obs find all
    python -m obs events
    python -m obs metrics larkfield.tool.calls --where gen_ai.tool.name=send_reply
    T-90107-agent-chat-small-1 T-90107 … chat-small no_action: closed as resolved with no write and no reply sent (send_reply failed at +3.4 s)
    1 match(es) in 1 run(s)
    … larkfield.reply.failed trace … {"run.id": "T-90107-agent-chat-small-1", "ticket.id": "T-90107"}
    … larkfield.run.closed trace … {"run.id": "T-90107-agent-chat-small-1", "ticket.id": "T-90107", "outcome": "resolved", "writes_done": 0, "reply": "failed", "helpdesk.status": "resolved"}
    2 event(s)
    larkfield.tool.calls: Tool calls, increase per exported interval, gen_ai.tool.name=send_reply
    … +1 tool.kind=write tool.status=failed example: T-90107-agent-chat-small-1 (trace …)
    1 interval(s) with an increase, 1 with an example trace

    Vos heures et vos identifiants de trace diffèrent. Vérifiez que l’identifiant de trace des événements correspond à celui de l’exemple de la métrique : les trois signaux désignent une même exécution.

Erreur courante

obs events affiche 0 event(s) pour votre propre exécution

Symptôme : après une de vos exécutions, python -m obs events affiche seulement 0 event(s) (0 événement).

Cause : votre fichier resolver/live.py est encore la version du module 3, qui n’écrit aucun événement. La semaine sauvegardée en contient parce qu’elle a été enregistrée avec le code final du cours.

Diagnostic : python -m pytest -q indique 93 tests dans les deux cas, alors vérifiez le fichier : grep -c "larkfield.run.closed" resolver/live.py (Windows : Select-String larkfield.run.closed resolver\live.py) ne trouve rien dans l’ancien fichier.

Correction : recopiez resolver/live.py depuis l’instantané end-of-m04, supprimez work/ et exécutez de nouveau le billet.

Erreur courante

obs metrics indique No metric

Symptôme : python -m obs metrics larkfield.tool.call --data data/telemetry/week affiche No metric larkfield.tool.call in data/telemetry/week. (Aucune métrique larkfield.tool.call dans data/telemetry/week.)

Cause : le nom de la métrique contient une faute (call, plutôt que calls), ou votre dossier work/telemetry ne contient pas encore de métriques. Le flux de travail écrit vos métriques à la fin de chaque commande.

Correction : utilisez les noms exacts : larkfield.tool.calls, larkfield.writes, larkfield.runs, larkfield.run.stops, et les métriques de durée GenAI du module 2.

Dans Grafana, le même parcours utilise trois sources de données : Tempo pour la trace, Loki pour les événements et Prometheus pour les métriques. Un panneau de séries chronologiques peut afficher les exemplaires comme de petits points lorsque Prometheus les stocke. Un clic sur un point ouvre la trace donnée en exemple. La leçon Journaux, métriques et traces du cours MLOps et LLMOps : exploiter l’IA en production configure ces liens pour un service. Le cours n’a pas vérifié les exemplaires lors de son exécution dans Grafana. obs metrics les affiche à partir des fichiers sauvegardés. Cette leçon fonctionne donc sans Grafana.

À vous de jouer : une boucle ou un modèle de défaillance?

Section intitulée « À vous de jouer : une boucle ou un modèle de défaillance? »

Changez une condition : partez de la boucle de R-1017-007 le samedi.

  1. Faites une prédiction : il y a eu trois boucles le samedi. La boucle concernait-elle un seul billet ou un problème plus large? Quelle métrique vous le dirait?

  2. Comptez les exécutions arrêtées par les limites de la boucle, pour toute la semaine, par raison :

    Fenêtre de terminal
    python -m obs metrics larkfield.run.stops --data data/telemetry/week
  3. Suivez deux exemplaires avec obs trace et notez le modèle de chaque exécution.

Vérifiez votre prédiction
larkfield.run.stops: Runs stopped by a limit, by reason, increase per exported interval
Wed 10:00-11:00 +1 stop_reason=provider_error example: R-1014-014 (trace 7f6ab892)
Thu 05:00-06:00 +1 stop_reason=provider_error example: R-1015-001 (trace 5b4f935f)
Sat 09:00-10:00 +1 stop_reason=provider_error example: R-1017-004 (trace d21473ff)
Sat 09:00-10:00 +1 stop_reason=too_many_errors example: R-1017-005 (trace 05936b96)
Sat 10:00-11:00 +2 stop_reason=repeated_call example: R-1017-006 (trace 3197f96c)
Sat 11:00-12:00 +2 stop_reason=too_many_errors example: R-1017-010 (trace 7ad8163f)
…
Sun 17:00-18:00 +1 stop_reason=repeated_call example: R-1018-023 (trace 35d276a1)
Sun 21:00-22:00 +1 stop_reason=too_many_errors example: R-1018-028 (trace 3ed419fd)
14 interval(s) with an increase, 14 with an example trace

Les arrêts pour repeated_call (appel répété) (3) et too_many_errors (trop d’erreurs) (10) se produisent seulement le samedi et le dimanche. Leurs exemplaires sont des exécutions de gemma3:4b. Ensemble, ils représentent 13 des 16 exécutions sur le modèle local. Les 3 autres ont été fermées comme résolues, dont R-1018-010 et R-1018-022, avec leurs erreurs d’outils cachées. La boucle est donc un modèle de défaillance de l’essai de fin de semaine de Tomás, pas d’un seul billet. Les trois arrêts pour provider_error (erreur du fournisseur) sont différents : le billet T-80002 sur chat-small, avec le filtre de contenu enregistré par le cours Agents d’IA et orchestration des flux de travail, sur trois jours. Seuls les arrêts pour repeated_call sont signalés comme des boucles; les arrêts pour too_many_errors indiquent ce qu’il faut lire ensuite.

Quand passer d’une trace aux métriques, et à quel coût

Section intitulée « Quand passer d’une trace aux métriques, et à quel coût »

Faites ce parcours chaque fois qu’une règle ou une personne trouve une mauvaise exécution, avant de corriger quoi que ce soit. La question « une exécution ou un modèle de défaillance? » détermine la correction : un billet, une version, un modèle ou un service.

Ce parcours a des coûts et des limites. Les événements demandent du stockage pour chaque exécution. Gardez-en donc peu, avec des noms et des identifiants, mais sans texte. Les métriques coûtent peu et sont complètes, mais elles n’ont que quelques étiquettes. Elles peuvent donc dire « 9 réponses en échec », jamais « quel client ». Un exemplaire est un exemple par point, pas la liste complète : pour la liste, revenez aux événements ou à une recherche. Et tout cela fonctionne uniquement parce que chaque signal porte les mêmes identifiants. Un signal sans identifiant de trace ni identifiant d’exécution reste isolé.

Vérifiez votre compréhension

La règle sans action a signalé 4 exécutions jeudi. Comment les événements ont-ils montré que les conséquences étaient plus étendues, et à quel point?

Afficher la réponse

Les événements nommés larkfield.reply.failed ont montré 9 réponses échouées, toutes jeudi entre 12 h 32 et 15 h 14. Elles concernaient 9 billets différents. Les événements de clôture de ces 9 exécutions indiquent tous resolved (résolu). Quatre ont writes_done à 0 : les exécutions signalées. Cinq ont writes_done à 1 : un remboursement, une étiquette ou une réexpédition a été effectué, sans jamais informer le client. Donc, 9 clients ont été touchés, et non 4.

Vérifiez votre compréhension

Qu'est-ce qu'un exemplaire, et pourquoi un point de métrique en a-t-il besoin pour vous mener à une exécution?

Afficher la réponse

Un exemplaire est un exemple associé à un point de métrique. Il contient l’identifiant de trace et de span d’un span qui a contribué au compte. Une métrique n’a aucun identifiant d’exécution dans ses étiquettes. Une série par exécution rendrait les métriques beaucoup trop volumineuses. Le compte seul ne peut donc pas identifier une exécution. L’exemplaire fait le lien entre « 3 réponses ont échoué pendant cette heure » et une de ces exécutions, ici R-1015-020.

Vérifiez votre compréhension

Vérification du module : pour une exécution échouée de la semaine, montrez les preuves dans la trace. Quelle étape a causé l'échec, et pourquoi la réponse semblait-elle correcte?

Afficher la réponse

L’exécution R-1018-010 utilise gemma3:4b pour le billet T-90602, une question sur une double facturation. L’étape responsable de l’échec est execute_tool get_payments à +3,7 s, avec ERROR service_unavailable (erreur : service indisponible). Aucun appel ultérieur à get_payments n’a réussi. Le modèle n’a donc jamais vu les paiements. Le modèle a ensuite fait cinq autres appels de modèle. L’exécution a envoyé une réponse (execute_tool send_reply, sent, à +19,7 s). Le résultat est resolved, avec la proposition reply_only (réponse seulement). La réponse semblait correcte parce qu’elle avait été envoyée et que le billet avait été fermé comme résolu. Rien dans le résultat, la ligne de journal ou le système de soutien n’indique que la vérification des paiements a échoué. Seul le span rouge le montre. Les étiquettes du cours prévoyaient un passage de relais à une personne pour ce billet.

Récapitulatif

  • Une trace raconte une exécution. Les événements ayant le même identifiant d’exécution ajoutent ce qui s’est passé à des moments nommés. Les métriques comptent toutes les exécutions, et un exemplaire mène d’un compte à une trace donnée.
  • À partir de R-1015-023, les événements ont révélé 9 réponses échouées jeudi, toutes avec une clôture indiquant resolved. Quatre n’avaient aucune action, et cinq avaient une écriture, mais aucune réponse. La métrique a montré la période : aucune réponse envoyée entre 13 h et 15 h. Ce modèle de défaillance résultait de la panne des réponses et du bogue de la version 2.1.0.
  • Le compteur de délais dépassés a situé les deux doubles remboursements dans une même heure, jeudi entre 9 h et 10 h. Il fournissait un exemplaire menant à R-1014-051.

Votre projet correspond maintenant à l’instantané end-of-m04. Votre flux de travail écrit des événements, obs find et obs metrics les lisent, et 92 tests réussissent. Vous pouvez maintenant trouver les défaillances des agents et distinguer une exécution d’un modèle de défaillance. Mais vos propres traces affichent encore « - » pour le coût de chaque appel de modèle. Personne ne peut dire quelle étape, quel modèle ou quel client a fait augmenter la facture de la semaine. Ensuite, dans le module 5, vous ajoutez le coût à chaque exécution et à chaque étape.

Leçon suivante : Coût par exécution et par étape