Des alertes qui mènent à une action
- Leçon 24
- 40 min
- Module 7 : Alertes, niveaux de service et qualité
Où nous en sommes
Dans la dernière leçon, nous avons écrit quatre objectifs pour le flux de travail et évalué la semaine rejouée selon ces objectifs. Mais un tableau que personne ne lit à 18 h un samedi ne change rien. Dans cette leçon, nous créons des alertes sur les indicateurs voulus, avec des exemples d'exécution et une première étape. Nous éliminons une fausse alerte. Puis, nous vérifions que chaque alerte se déclenche dans son scénario et reste silencieuse pendant une semaine sans incident. Commençons par les voyants d'une voiture.
Leçon 24 sur 28 · Observabilité des agents d'IA : traces, coûts et pistes d'auditDes alertes qui mènent à une action
1. Pourquoi les agents ont besoin de leur propre observabilité
2. OpenTelemetry pour les agents
3. Instrumenter le flux de travail
4. Trouver les défaillances des agents dans Grafana
5. Le coût
6. Pistes d'audit
7. Alertes, niveaux de service et qualité
8. Outils : Langfuse, les autres et l'inspecteur d'exécutions
Ce que vous saurez faire
Transformez les indicateurs du flux de travail en alertes auxquelles une personne peut donner suite. Chaque alerte nomme son indicateur, attend assez d’exécutions, désigne un responsable, donne des exemples d’exécution et indique la première action. Vérifiez ensuite chaque alerte sur une semaine avec des problèmes et sur une semaine sans incident.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les quatre objectifs et
obs slo, dans Des niveaux de service pour les agents. - Les cinq modèles de défaillance et
obs find, dans Les modèles de défaillance des agents. - Facultatif : les guides d’exploitation et les alertes inutiles pour un service, dans Guides d’exploitation, du cours MLOps et LLMOps : exploiter l’IA en production.
Ce qu’il vous faut sur votre ordinateur
- Votre projet avec les fichiers de ce module : l’instantané
end-of-m07, oùpython -m pytest -qse termine par112 passed, 1 skipped, 1 deselected(112 tests réussis, 1 ignoré, 1 non sélectionné). - Facultatif : Docker, pour voir les mêmes règles dans Grafana. Chaque étape fonctionne sans Docker.
Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes Windows et Linux ont été écrites, mais pas exécutées. Les heures de Grafana proviennent des essais de l’équipe du cours, avec la semaine rejouée à 1 000 fois sa vitesse réelle.
Deux voyants et un avertisseur de fumée
Section intitulée « Deux voyants et un avertisseur de fumée »Une voiture a deux sortes de voyants. Le voyant rouge d’huile a un seul sens : le moteur n’a plus de pression d’huile. Le manuel indique la première action : arrêter le moteur immédiatement. Tous les conducteurs réagissent. Le voyant orange « check engine » (vérifier le moteur) peut signaler cent problèmes, du bouchon de carburant mal fermé au capteur défectueux. Le conducteur ne peut pas agir seul : un mécanicien doit d’abord lire un code.
Pensez maintenant à un avertisseur de fumée au-dessus du grille-pain. Il sonne à chaque déjeuner. Après une semaine, quelqu’un retire la pile. Quand un vrai incendie commence, l’avertisseur reste silencieux.
Une alarme utile a un seul sens, indique la première action et ne sonne pas pour rien.
Le problème : une fausse alerte lundi, et un vrai avertissement mercredi
Section intitulée « Le problème : une fausse alerte lundi, et un vrai avertissement mercredi »L’équipe du cours a rejoué la semaine dans Grafana avec la première version des règles d’alerte. Le lundi à 9 h 50, en temps d’exercice, l’alerte « Trop de billets transférés à une personne » s’est déclenchée. Tout allait bien : c’était la partie sans incident de la semaine, avec la version 2.0.0.
Deux jours plus tard, le mercredi à 13 h 36, une autre alerte s’est déclenchée sur les exécutions enregistrées. Elle disait : « Une écriture a dépassé son délai et personne n’a vérifié si elle avait eu lieu ». Son exemple d’exécution, R-1014-024, avait créé une étiquette de retour. Le système de commandes ne contenait qu’une étiquette : le premier appel avait dépassé son délai avant d’écrire quoi que ce soit. Cette alerte semblait donc erronée aussi.
Elle ne l’était pas. Vingt heures plus tard, jeudi matin, le flux de travail a remboursé deux clients deux fois. Il s’agissait de R-1014-051 et R-1014-040, le double remboursement du module 1. L’alerte du mercredi avait montré la cause dès sa première exécution. Une équipe qui avait appris lundi à ne pas croire les alertes n’aurait pas vérifié.
L’idée : une alerte est un indicateur, une règle et un message
Section intitulée « L’idée : une alerte est un indicateur, une règle et un message »Une alerte est une règle sur un indicateur qui avertit une personne quand sa condition devient vraie. Chez Larkfield, chaque alerte comporte cinq éléments :
- L’indicateur voulu. Comptez ce qui ne doit pas arriver (« une écriture a dépassé son délai sans vérification de rapprochement »), ou l’indicateur d’un objectif. Pas un indicateur indirect, comme « des erreurs dans les journaux ».
- Une fenêtre et un minimum d’exécutions. La règle examine les 45 dernières exécutions terminées. Un taux exige assez d’exécutions pour avoir un sens.
- Une gravité et un seul responsable. SEV-1 signifie « des clients risquent de perdre de l’argent maintenant »; SEV-3 signifie « à examiner pendant la journée de travail ». Une seule personne est appelée en premier, comme dans Responsabilité et soutien, du cours MLOps et LLMOps : exploiter l’IA en production.
- Des exemples d’exécution. L’alerte nomme les exécutions qui l’ont déclenchée, pour que le premier clic ouvre une trace.
- Une première étape. Une commande ou une vérification, tirée du guide d’exploitation. Guides d’exploitation, du cours MLOps et LLMOps : exploiter l’IA en production, enseigne la suite.
Voici une règle de grafana/alerts/rules.json, le fichier que lit obs alerts :
{ "uid": "unreconciled-writes", "title": "A write timed out and nobody checked whether it happened", "indicator": "unreconciled_writes", "op": ">", "threshold": 0, "window": 45, "severity": "SEV-1", "owner": "Amira", "first_step": "Run `python -m obs find duplicate_write` (or the TraceQL query `duplicate write` in grafana/traceql.md), then ask the system that owns the write (payments for a refund, orders for a label or a reshipment) about each operation ID before anyone sends the change again.", "example_query": "{ span.larkfield.write.outcome = \"timeout\" }", "promql": "sum(increase(larkfield_writes_total{larkfield_write_outcome=\"timeout\"}[90s])) - sum(increase(larkfield_reconciles_total[90s]))"}La même règle existe deux fois. rules.json la contient pour les exécutions enregistrées, avec une fenêtre mesurée en exécutions. agent-alerts.yaml la contient pour Grafana, sous forme de requête PromQL à la dernière ligne. L’équipe du cours produit les deux fichiers à partir d’une seule liste pour qu’ils disent toujours la même chose.
Petit exemple détaillé : pourquoi l’alerte s’est déclenchée lundi
Section intitulée « Petit exemple détaillé : pourquoi l’alerte s’est déclenchée lundi »La règle de transfert dit : « plus de 45 % des 45 dernières exécutions terminées ont été transférées à une personne ». Au début d’une semaine, il n’y a pas encore 45 exécutions. Sans minimum, la règle divise par le nombre disponible. Voici les cinq premières exécutions du lundi, identiques dans les deux semaines :
| Après l’exécution terminée | Transférées à une personne | Taux de transfert | Plus de 45 %? |
|---|---|---|---|
| 1 | 0 sur 1 | 0.0 % | non |
| 2 | 1 sur 2 | 50.0 % | oui : l’alerte se déclenche |
| 3 | 2 sur 3 | 66.7 % | oui |
| 4 | 2 sur 4 | 50.0 % | oui |
| 5 | 2 sur 5 | 40.0 % | non : elle s’arrête |
Deux exécutions sont terminées, une a été transférée à une personne, et le taux est de 50 %. Ce n’est pas un taux; c’est un seul billet. La correction est un minimum d’exécutions : la règle n’est évaluée que lorsque sa fenêtre contient 20 exécutions. Avec 20 exécutions, un billet fait varier le taux de 5 points, pas de 50.
- la semaine rejouée
- la semaine sans incident
- seuil et exécution 20
Description textuelle du graphique
Deux lignes couvrent les 316 exécutions terminées de chaque semaine. Les deux commencent par un pic à 67 % après la troisième exécution. À partir de l’exécution 20, la semaine sans incident reste entre environ 16 % et 42 %. La semaine rejouée dépasse 45 % à partir de l’exécution 282 et atteint un sommet de 53 %. Le modèle local transfère alors la plupart de ses billets à une personne.
Le minimum élimine le pic des cinq premières exécutions, qui est du bruit, et conserve la hausse réelle du samedi.
Les cinq alertes de Larkfield
Section intitulée « Les cinq alertes de Larkfield »| Alerte | Règle sur les 45 dernières exécutions terminées | Gravité, responsable | Pourquoi cette règle |
|---|---|---|---|
unreconciled-writes |
dépassements de délai d’écriture sans rapprochement > 0 | SEV-1, Amira | Une écriture qui a peut-être eu lieu deux fois peut coûter de l’argent à un client. Une seule suffit. |
reply-failures |
réponses échouées > 0 | SEV-2, Grace | Un client sans réponse attend. Une seule suffit. |
loop-stops |
exécutions arrêtées par une limite de boucle ≥ 3 | SEV-3, Amira | Un arrêt signifie que la limite fait son travail. Trois dans une journée révèlent une tendance. |
cost-per-resolved |
$ US par billet résolu > 0,002 | SEV-3, Kwame | L’objectif budgétaire de la dernière leçon. |
handoff-rate |
transférées à une personne > 45 % | SEV-3, Grace | L’objectif de transfert de la dernière leçon. |
Les trois premières comptent ce qui ne doit pas arriver; un seul cas justifie déjà une action. Les deux dernières comparent des taux à un objectif, et seules celles-ci exigent le minimum de 20 exécutions. Dans le fichier de règles, seules ces deux règles ont donc min_runs: 20; la règle ci-dessus n’en a pas.
Rejouer la semaine
Section intitulée « Rejouer la semaine »-
Exécutez les cinq règles sur la semaine rejouée :
Fenêtre de terminal python -m obs alerts --data data/telemetry/weekunreconciled-writes (unreconciled_writes > 0 over the last 45 runs): FIRED 1 time(s)from Wed 14 Oct 13:36 (run 129, R-1014-024) until Thu 15 Oct 18:12 (run 202); peak 3example runs: R-1014-024 (python -m obs trace RUN_ID)first step: Run `python -m obs find duplicate_write` (or the TraceQL query `duplicate write` in grafana/traceql.md), then ask the system that owns the write (payments for a refund, orders for a label or a reshipment) about each operation ID before anyone sends the change again.reply-failures (reply_failures > 0 over the last 45 runs): FIRED 1 time(s)from Thu 15 Oct 12:32 (run 173, R-1015-017) until Fri 16 Oct 12:36 (run 229); peak 9example runs: R-1015-017 (python -m obs trace RUN_ID)first step: Open the example runs (`python -m obs trace RUN_ID`): did each ticket go to a person, or close as resolved? `python -m obs find no_action` lists the tickets closed without a reply. Send those replies when the reply service works again.loop-stops (loop_stops >= 3 over the last 45 runs): FIRED 1 time(s)from Sat 17 Oct 10:40 (run 267, R-1017-007) still firing at the end; peak 11example runs: R-1017-007, R-1017-006, R-1017-005 (python -m obs trace RUN_ID)first step: Open three stopped runs (`python -m obs find loop`): which model, which step repeats? Compare with the last release.cost-per-resolved (cost_per_resolved > 0.002 over the last 45 runs): FIRED 1 time(s)from Wed 14 Oct 10:39 (run 120, R-1014-016) still firing at the end; peak 0.0064example runs: R-1014-009, R-1014-016, R-1014-011 (python -m obs trace RUN_ID)first step: Split the cost by model and slice (`python -m obs cost --by model`, the Cost panels): which change raised it? The budget (US$0.002 per resolved ticket) is an assumption: Omar's.handoff-rate (handoff_rate > 0.45 over the last 45 runs): FIRED 1 time(s)from Sat 17 Oct 17:43 (run 282, R-1017-022) until Sun 18 Oct 13:18 (run 305); peak 0.5333example runs: R-1017-022, R-1017-021, R-1017-020 (python -m obs trace RUN_ID)first step: Split the handed-over runs by model (`python -m obs cost --by model --outcome handed_to_person`) and compare with the day before: a model or a release with many more handoffs is the first suspect. Open its example runs. -
Exécutez-les sur la semaine sans incident :
python -m obs alerts --data data/telemetry/healthy-week. Les cinq lignes se terminent parquiet(silencieuse). -
Retirez maintenant le minimum et exécutez de nouveau la semaine sans incident. L’option
--min-runs 1évalue chaque règle dès la première exécution :Fenêtre de terminal python -m obs alerts --data data/telemetry/healthy-week --min-runs 1Every rule is evaluated from closed run 1 on (the rules file's min_runs is not used).unreconciled-writes (unreconciled_writes > 0 over the last 45 runs): quietreply-failures (reply_failures > 0 over the last 45 runs): quietloop-stops (loop_stops >= 3 over the last 45 runs): quietcost-per-resolved (cost_per_resolved > 0.002 over the last 45 runs): quiethandoff-rate (handoff_rate > 0.45 over the last 45 runs): FIRED 1 time(s)from Mon 12 Oct 03:12 (run 2, R-1012-002) until Mon 12 Oct 08:43 (run 5); peak 0.6667the window held only 2 run(s) when it firedexample runs: R-1012-002 (python -m obs trace RUN_ID)first step: Split the handed-over runs by model (`python -m obs cost --by model --outcome handed_to_person`) and compare with the day before: a model or a release with many more handoffs is the first suspect. Open its example runs.C’est la fausse alerte du lundi, sur une semaine sans incident. La ligne
the window held only 2 run(s)(la fenêtre ne contenait que 2 exécutions) explique pourquoi. -
Exécutez les tests des règles du module :
python -m pytest -q tests/test_stage_m07.py tests/test_saved_week.py. La dernière ligne indique14 passed(14 tests réussis). Un test vérifie que chaque règle se déclenche sur la semaine rejouée et reste silencieuse sur la semaine sans incident. Un autre vérifie le minimum. Sans celui-ci, la règle de transfert se déclenche le lundi de la semaine sans incident. Avec celui-ci, cette semaine reste silencieuse, et l’alerte du samedi se déclenche toujours à l’exécution 282.
Description textuelle du diagramme
Chaque alerte commence peu après sa cause. L’alerte de coût se déclenche 1 h 39 après la version 2.1.0, et l’alerte de réponse deux minutes après le début de la panne. Les alertes de boucle et de transfert se déclenchent pendant l’essai du modèle local. Les cercles de Grafana arrivent quelques heures d’exercice plus tard. La semaine sans incident reste silencieuse pour les cinq alertes.
Ce que chaque alerte a détecté
Section intitulée « Ce que chaque alerte a détecté »- Coût par billet résolu, mercredi à 10 h 39 : le passage à chat-strong pour les billets difficiles, décidé par Omar. Ses trois exemples sont les trois exécutions de chat-strong que le module 5 a trouvées derrière le premier dépassement.
- Écritures sans rapprochement, mercredi à 13 h 36 : la nouvelle tentative naïve de la version 2.1.0, sur une étiquette de retour. La prochaine section l’examine.
- Réponses échouées, jeudi à 12 h 32 : le service de réponse était en panne de 12 h 30 à 15 h 30. C’était un incident d’exercice provoqué volontairement. Neuf réponses ont échoué dans une seule fenêtre.
- Arrêts de boucle, samedi à 10 h 40 : l’essai de fin de semaine du modèle local gratuit gemma3:4b. Une limite de boucle a arrêté treize de ses 16 exécutions : 10 pour trop d’erreurs d’outil et 3 pour un appel répété.
- Taux de transfert, samedi à 17 h 43 : le même essai. Chacune des 8 exécutions de gemma3:4b du samedi a été transférée à une personne.
L’avertissement du mercredi
Section intitulée « L’avertissement du mercredi »Voici l’exemple d’exécution de l’alerte :
python -m obs trace R-1014-024 --data data/telemetry/weekRun R-1014-024 | ticket T-90604 | chat-small (agent) | release 2.1.0 | language en2 model call(s), 1 read(s), 2 write call(s), 4571 tokens in, 157 out, US$0.00054…Trace 2 0bf792cf609032796a723248493cf3cd Wed 14 Oct 13:36:16 10.0 s 0.0 s |========================| 10.00 s approve support-resolution approved by usr-sam (agent, limit 100) 0.0 s |========================| 10.00 s execute_tool create_return_label ERROR timeout LK-645334 LADDER-3 key 2ed3b2a93ab0f494 10.0 s | =| 0.00 s execute_tool create_return_label done LK-645334 LADDER-3 key 2ed3b2a93ab0f494-retry1
…Lisez les deux clés. Le premier appel a dépassé son délai après 10 secondes. La nouvelle tentative est partie immédiatement, avec une nouvelle clé d’idempotence : 2ed3b2a93ab0f494-retry1. Une nouvelle clé dit au système de commandes : « c’est une requête différente ». Ici, le premier appel n’avait rien écrit, donc le client a reçu une seule étiquette. Pour un remboursement, le même code paie deux fois quand le premier appel dépasse son délai après l’écriture. C’est exactement ce qui s’est produit jeudi matin, pendant l’incident des paiements lents.
C’est une vraie surprise des données du cours. L’alerte avait raison sur son indicateur : une écriture avait dépassé son délai et personne ne l’avait vérifiée. Elle avait « tort » seulement sur le préjudice. La trace ne peut pas dire si une écriture ayant dépassé son délai a eu lieu, comme l’a montré le module 4. Le système responsable de l’écriture le peut. La première étape ne dit donc pas « trouver le double remboursement ». Elle dit : interroger ce système sur chaque identifiant d’opération, avant que quelqu’un renvoie la modification.
Description textuelle du diagramme
Mercredi à 13 h 36, le nombre de dépassements de délai d’écriture non vérifiés est passé à 1, déclenchant la règle. Le message nomme une gravité, un responsable, un exemple d’exécution et une première étape. L’exemple montre la nouvelle tentative avec une nouvelle clé. L’étape du guide vérifie chaque opération dans le système responsable et arrête cette nouvelle tentative. Ensuite, de nouvelles exécutions ramènent l’indicateur à 0.
Si Amira avait suivi cette étape mercredi après-midi, elle aurait trouvé la nouvelle clé et désactivé la nouvelle tentative naïve. La version 2.1.1 l’a fait vendredi à 11 h 30, un jour après les deux doubles remboursements.
Les mêmes règles dans Grafana
Section intitulée « Les mêmes règles dans Grafana »Dans Grafana, chaque règle est une requête PromQL sur les compteurs du flux de travail. Grafana la vérifie toutes les 10 secondes sur une fenêtre de 90 secondes. Cela représente environ une journée d’exercice à 1 000 fois la vitesse réelle. L’essai de l’équipe du cours a déclenché les cinq alertes. Le taux de transfert s’est déclenché lundi à 9 h 50 et samedi à 18 h 14, et le coût mercredi à 16 h 41. Les écritures sans rapprochement se sont déclenchées mercredi à 19 h 37. Les réponses échouées se sont déclenchées jeudi à 16 h 44, et les arrêts de boucle samedi à 15 h 23. Une vérification de 10 secondes représente 2,8 heures d’exercice, donc Grafana arrive après obs. Écrivez le guide d’exploitation selon l’ordre des alertes, pas selon la minute.
La fenêtre de Grafana mesure le temps, pas le nombre d’exécutions. Le nombre d’exécutions qu’elle contient varie donc avec le trafic : peu la nuit, peu le lundi matin. La condition de protection dans agent-alerts.yaml ajoute le minimum aux requêtes des deux règles de taux :
(sum(increase(larkfield_runs_total{larkfield_outcome="handed_to_person"}[90s])) / sum(increase(larkfield_runs_total[90s]))) and sum(increase(larkfield_runs_total[90s])) >= 20and … >= 20 conserve le résultat seulement lorsque la fenêtre contient au moins 20 exécutions terminées. Avec moins d’exécutions, la requête ne renvoie rien, et noDataState: "OK" garde l’alerte silencieuse. Chaque règle contient aussi ses exemples d’exécution dans une annotation, sous forme de requête TraceQL à coller dans Explore (explorer) :
example_runs: "Explore, Tempo, TraceQL: { span.larkfield.outcome = \"handed_to_person\" }"L’équipe du cours a rejoué les deux semaines dans Grafana avec ces règles. Elle a aussi ajouté une copie de la règle de transfert sans condition de protection, pour comparer. Sur la semaine rejouée, la copie sans protection s’est déclenchée lundi à 9 h 45 et samedi. La règle protégée s’est déclenchée seulement samedi, à 20 h 51. Les quatre autres règles se sont déclenchées comme avant : coût par billet résolu mercredi à 17 h 32, écriture sans rapprochement mercredi à 18 h 56, réponses échouées jeudi à 17 h 14 et arrêts de boucle samedi à 15 h 16. L’équipe du cours a rejoué la semaine sans incident trois fois dans Grafana. Dans l’essai contenant la copie sans protection, celle-ci s’est déclenchée lundi à 8 h 22. C’était la même fausse alerte, sans aucun incident. Quatre règles sont restées silencieuses à chaque essai. La règle de transfert protégée est restée silencieuse une fois. Dans les deux autres essais, elle s’est déclenchée une fois, samedi vers 22 h 10. La protection élimine donc l’alerte du lundi, mais pas toutes les alertes. Un soir de fin de semaine, une fenêtre de 90 secondes contient un peu plus de 20 exécutions. La proportion de transferts varie encore brusquement. Un minimum plus élevé ou une fenêtre plus longue la rendrait silencieuse, mais ralentirait aussi l’alerte. obs alerts mesure sa fenêtre en exécutions, pas en temps, et reste silencieux sur la semaine sans incident. L’alerte de Grafana est celle qui appelle Grace : mesurez-la donc sur une semaine sans incident avant de lui faire confiance. Les heures sont des heures d’exercice, issues d’une reprise à 1 000 fois la vitesse réelle. Grafana vérifie une règle toutes les 10 secondes, soit environ 2,8 heures d’exercice. Vos heures peuvent donc différer de quelques heures. Les exécutions enregistrées et le test du module montrent le même résultat.
Un autre détail permet à ces règles de fonctionner. La fonction increase() de Prometheus exige deux échantillons d’une série pour détecter un changement. Un compteur qui commence à 1, à la première écriture non vérifiée, n’a aucun échantillon antérieur. Le premier événement est donc invisible. C’est l’alerte qui ne peut pas se déclencher, du cours MLOps et LLMOps : exploiter l’IA en production. Le flux de travail évite ce problème : au démarrage du processus, telemetry.zero_series() ajoute 0 à chaque série lue par une alerte.
Quand déclencher une alerte, et à quel coût
Section intitulée « Quand déclencher une alerte, et à quel coût »Sam demande : « Pourquoi ne pas déclencher une alerte pour tout, par précaution? »
Amira répond : « Parce que chaque alerte réveille quelqu’un. Si trois sont inutiles, on ignore la quatrième, comme celle de mercredi, ou presque. »
Déclenchez une alerte quand une personne doit agir rapidement : un nombre d’événements interdits, ou un objectif non respecté. Ne déclenchez pas d’alerte quand personne ne peut agir : affichez plutôt l’information sur un tableau de bord. Chaque alerte exige l’attention d’un responsable, un guide d’intervention et des tests. Le nombre minimal d’exécutions a aussi un coût : une nuit calme, une règle de taux ne voit rien. C’est pourquoi les comptes d’événements nuisibles n’ont aucun minimum dans Grafana.
Une règle sur une fenêtre indique qu’un problème existe maintenant. Elle ne dit pas à quelle vitesse le budget d’erreur d’un objectif s’épuise. Pour cela, le cours MLOps et LLMOps : exploiter l’IA en production utilise des alertes sur le taux de consommation. C’est la vitesse à laquelle le budget s’épuise, présentée dans Objectifs de service. Utilisez ces alertes pour les objectifs avec un budget important, et des règles simples pour les événements strictement interdits.
Erreur courante
L'alerte s'est arrêtée, mais rien n'a été corrigé
Symptôme : unreconciled-writes (écritures non rapprochées) se déclenche mercredi à 13 h 36 et s’arrête jeudi à 18 h 12. Quelqu’un ferme l’incident parce que « l’alerte est résolue ».
Cause : la règle compte les 45 dernières exécutions terminées. Jeudi à 18 h 12, les exécutions avec des écritures non vérifiées sont sorties de la fenêtre. Les deux clients remboursés deux fois jeudi matin avaient toujours reçu deux remboursements.
Diagnostic : regardez ce que l’alerte compte, pas son état. python -m obs find duplicate_write --data data/telemetry/week affiche toujours R-1014-024, R-1014-040 et R-1014-051.
Rétablissement : fermez un incident sur la base de preuves provenant du système de référence. Vérifiez chaque identifiant d’opération, traitez chaque remboursement supplémentaire et éliminez la cause (version 2.1.1). Le cours MLOps et LLMOps : exploiter l’IA en production appelle cela les vérifications de rétablissement d’un guide d’intervention.
À vous de jouer : deux objectifs et leurs alertes
Section intitulée « À vous de jouer : deux objectifs et leurs alertes »Écrivez deux nouvelles règles et rejouez les deux semaines avec elles. Utilisez les indicateurs que obs/alerts.py calcule : resolved_rate, handoff_rate, cost_per_resolved, unreconciled_writes, reply_failures, loop_stops, flagged_runs et approval_wait_p95_h. Les opérateurs sont >, >= et <.
-
Créez le dossier
works’il n’existe pas. Créez le fichierwork/my-rules.jsonavec cette structure :{"rules": [{"uid": "...", "title": "...", "indicator": "...", "op": "<", "threshold": 0.5, "window": 45, "min_runs": 20,"severity": "SEV-3", "owner": "...", "first_step": "..."}]} -
Écrivez une règle pour un objectif, par exemple « au moins la moitié des billets finissent résolus ». Écrivez une règle pour un compte d’événements nuisibles, par exemple « trois exécutions signalées ou plus ». Omettez
min_runsde la règle de compte : un seul événement nuisible suffit. -
Rejouez-les :
python -m obs alerts --data data/telemetry/week --rules work/my-rules.json, puis faites de même avecdata/telemetry/healthy-week. -
Pour chaque règle, notez quand elle se déclenche, quel scénario elle détecte et si la semaine sans problème reste silencieuse.
Nos règles et leurs résultats se trouvent dans la première vérification des connaissances.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
À vous de jouer : quelles règles avez-vous écrites, quand se déclenchent-elles pendant la semaine et restent-elles silencieuses pendant la semaine sans problème?
Afficher la réponse
Les nôtres : resolved-share (resolved_rate < 0.5, SEV-3, Grace) et flagged-runs (flagged_runs >= 3, SEV-2, Amira), sur 45 exécutions. La règle de taux s’applique à partir de la 20e exécution, celle de compte dès la première. Pendant la semaine rejouée, resolved-share se déclenche de samedi à 17 h 43 (exécution 282) à dimanche à 12 h 38. Son minimum est de 0,4222 : c’est l’essai du modèle local. Elle se déclenche de nouveau dimanche de 12 h 55 à 13 h 11, car elle oscille autour de 50 %. Une règle réelle a besoin d’une marge avant de se désactiver. flagged-runs se déclenche de jeudi à 9 h 17 (exécution 157) à vendredi à 10 h 25, avec un maximum de 6. Ses exemples d’exécutions sont les doubles remboursements : R-1014-040, R-1014-051 et R-1014-024. Elle se déclenche de nouveau dimanche à partir de 11 h 15, avec une erreur d’outil cachée et les boucles. Les deux restent silencieuses pendant la semaine sans problème. flagged-runs recoupe les alertes existantes : déterminez si elle apporte quelque chose avant de la conserver.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : sans minimum, la règle de passage de relais s'est déclenchée le lundi de la semaine sans problème. Pourquoi? Pourquoi les trois règles de compte n'ont-elles pas besoin du minimum dans Grafana?
Afficher la réponse
Après deux exécutions terminées, une avait été transférée à une personne : 1 ÷ 2 = 50 %, au-dessus de 45 %. Après trois, 2 ÷ 3 = 66,7 %. Cela représente un ou deux billets, pas un taux. Avec un minimum de 20 exécutions, un billet fait varier le taux d’au plus 5 points. Les règles de compte posent une autre question : un événement interdit s’est-il produit? Une seule écriture non vérifiée justifie déjà une intervention. Un minimum la cacherait la nuit, quand la fenêtre de 90 secondes de Grafana contient peu d’exécutions.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
L'alerte unreconciled-writes s'est déclenchée mercredi à 13 h 36 sur une exécution qui n'avait pas payé deux fois. Était-ce une fausse alerte? Qu'aurait dû faire Amira?
Afficher la réponse
Non. Son indicateur était vrai : une écriture avait dépassé le délai, et personne n’avait vérifié si elle avait eu lieu. Le premier appel create_return_label de R-1014-024 a dépassé le délai. La nouvelle tentative a utilisé une nouvelle clé, …-retry1. La trace ne peut pas dire si le premier appel a écrit quelque chose; ici, il n’avait rien écrit. Amira aurait dû suivre la première étape : interroger le système responsable de l’écriture sur chaque identifiant d’opération. La trace montrait aussi la cause : la nouvelle tentative avec une nouvelle clé dans la version 2.1.0. La désactiver mercredi aurait empêché les deux doubles remboursements de jeudi (R-1014-051 et R-1014-040). La version 2.1.1 l’a fait seulement vendredi à 11 h 30.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une alerte comprend un indicateur, une règle et un message. Elle utilise l’indicateur voulu, une fenêtre, une gravité, un responsable, des exemples d’exécutions et une première étape.
- Un taux exige assez d’exécutions. Sans minimum, la règle de passage de relais s’est déclenchée le lundi de la semaine sans problème, après deux exécutions. Avec 20 exécutions, cette semaine reste silencieuse et la hausse réelle de samedi déclenche toujours l’alerte. Les comptes d’événements nuisibles n’ont pas besoin de minimum.
- Les cinq alertes détectent leur scénario pendant la semaine rejouée et restent silencieuses pendant la semaine sans problème. Cela vaut pour les exécutions enregistrées (
obs alerts) et les tests. Dans Grafana, elles se déclenchent quelques heures d’exercice plus tard. La règle de passage de relais avec minimum s’est déclenchée une fois le samedi soir de la semaine sans problème. Cela s’est produit lors de deux essais sur trois : une fenêtre temporelle n’est pas une fenêtre d’exécutions. - L’alerte de mercredi à 13 h 36 semblait incorrecte, mais c’était l’avertissement. Son exemple d’exécution montrait la nouvelle tentative avec une nouvelle clé, 20 heures avant le premier double remboursement.
- Une alerte qui s’arrête n’est pas une correction : vérifiez le système de référence.
Vous pouvez maintenant recevoir des alertes sur les défaillances que les traces et les compteurs peuvent détecter. Mais certaines défaillances ne laissent aucune marque : une réponse polie et assurée, mais incorrecte, comme pour les billets en allemand résolus par l’agent. Aucun compteur n’augmente. Ensuite, vous échantillonnerez des exécutions en production pour une révision humaine et associerez les scores aux traces.
Leçon suivante : La qualité à partir des exécutions en production