Aller au contenu
English

La qualité à partir des exécutions en production

  • Leçon 25
  • 35 min
  • Module 7 : Alertes, niveaux de service et qualité

Où nous en sommes

Dans la dernière leçon, nos alertes ont appris à détecter les défaillances visibles dans les traces et les compteurs. Certaines défaillances ne laissent aucune marque dans une trace : une réponse polie, assurée, mais fausse. Dans cette leçon, nous échantillonnons des exécutions en production pour qu'une personne les révise. Nous rattachons les notes aux traces et comparons des sous-groupes, comme la langue du billet. Nous commençons dans une cuisine de restaurant.

Leçon 25 sur 28 · Observabilité des agents d'IA : traces, coûts et pistes d'auditLa qualité à partir des exécutions en production
Aperçu du cours

Ce que vous saurez faire

Mesurez si les résultats de l’agent sont corrects, à partir d’exécutions en production, sans toutes les réviser. Choisissez un échantillon équitable, placez chaque note sur la trace de l’exécution et lisez les notes par sous-groupe. Vous pouvez alors voir une défaillance qu’aucune trace, aucun compteur ni aucune alerte ne montre.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre projet à l’instantané end-of-m07 (112 passed, 1 skipped, 1 deselected, soit 112 tests réussis, 1 ignoré et 1 désélectionné), avec l’environnement virtuel actif.

Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes Windows et Linux sont écrites, mais n’ont pas été exécutées. Les révisions de la semaine sont simulées : les étiquettes du cours sur les agents remplacent le jugement de Priya.

Une cuisine très occupée sert 300 assiettes par soir. La cheffe ne peut pas toutes les goûter. Elle en goûte donc environ une sur cinq, choisie sans regarder qui l’a préparée. Elle écrit sa note sur le bon de commande de cette assiette : table 12, risotto, trop salé. La note renvoie maintenant à une personne, à un plat et à un moment précis.

Il y a un problème. Un plat que seulement deux tables commandent chaque soir sera peut-être goûté une fois par semaine. Si ce plat est toujours raté, la cheffe pourrait ne jamais le découvrir. Pour un plat nouveau ou rarement commandé, elle goûte donc chaque assiette.

Le problème : une mauvaise réponse qui ne laisse aucune marque

Section intitulée « Le problème : une mauvaise réponse qui ne laisse aucune marque »

Voici une exécution de la semaine rejouée, pour un billet de soutien en allemand, le dimanche :

Fenêtre de terminal
python -m obs trace R-1018-011 --data data/telemetry/week
Run R-1018-011 | ticket T-90305 | chat-small (agent) | release 2.1.1 | language de
2 model call(s), 1 read(s), 2 write call(s), 4591 tokens in, 230 out, US$0.00057
Trace 1 bde727680ccdef70dc993305b94b2706 Sun 18 Oct 12:25:03 3.6 s
0.0 s |========================| 3.62 s invoke_agent support-resolver resolve rule W5
0.0 s |======== | 1.14 s chat chat-small 2172 in / 21 out US$0.00023 tool_calls
1.1 s | = | 0.00 s execute_tool get_order ok LK-642445
1.1 s | =================| 2.48 s chat chat-small 2419 in / 209 out US$0.00035 tool_calls
3.6 s | =| 0.00 s approval.request needs agent
... waited 10 min 57 s for a person (this trace has a link to 95b49ebebaf9f57a in trace bde72768...)
Trace 2 025c9cc6bf598b20f635df2170ec74ae Sun 18 Oct 12:36:03 0.0 s
0.0 s |========================| 0.01 s approve support-resolution approved by usr-sam (agent, limit 100)
0.0 s |=== | 0.00 s execute_tool reship_item done LK-642445 COMPOST x 1 key f323726a8e7dbc2e
0.0 s | ============ | 0.01 s execute_tool create_return_label done LK-642445 COMPOST key ef179176fffd19df
0.0 s | ==========| 0.00 s execute_tool send_reply sent
Outcome: resolved

Tous les spans (segments de trace) sont verts. Aucun outil n’a échoué, aucune écriture n’a dépassé son délai, le coût est faible, et Sam a approuvé en 11 minutes. Aucun indicateur ne s’allume et aucune alerte ne la compte. Lisez maintenant le billet et ce que les règles de Larkfield prévoient :

Fenêtre de terminal
python -m resolver show T-90305 --expected
T-90305 | customer C-52445 | slice needs_person
Attachments: IMG_3381.jpg
Hallo, meine Bestellung LK-642445 ist beschädigt angekommen. Der Deckel des Komposters ist gebrochen. Foto im Anhang.
Expected: hand_to_person (rule H5) []
Why: German.

La règle H5 transmet les billets en allemand à une personne. L’agent a plutôt réexpédié le bac à compost, et Sam a approuvé. Le résultat de l’exécution est incorrect, et rien dans sa télémétrie ne le signale. Seule une personne qui connaît les règles peut le constater, en lisant l’exécution et le billet.

L’idée : échantillonner, noter sur la trace, lire par sous-groupe

Section intitulée « L’idée : échantillonner, noter sur la trace, lire par sous-groupe »

Trois idées résolvent ce problème, et chacune porte un nom.

Une révision par échantillonnage est le jugement d’une personne sur un échantillon d’exécutions : « Le résultat était-il correct? » Chez Larkfield, Priya révise environ une exécution terminée sur cinq. Elle utilise les mêmes règles que les étiquettes du cours sur les agents.

L’échantillonneur décide quelles exécutions elle voit. Il doit être équitable : il ne doit pas choisir les exécutions qui semblent intéressantes, ni celles du matin. L’échantillonneur de Larkfield transforme l’identifiant d’exécution en une valeur de hachage, un nombre de 0 à 99. Il choisit l’exécution quand ce nombre est inférieur à 20. Le hachage donne toujours la même réponse, dans tous les processus. Chaque service peut donc décider seul. C’est la même idée que l’échantillonnage des traces par leur identifiant dans Le Collector.

Une note sur la trace est une révision enregistrée sous forme d’événement de télémétrie, gen_ai.evaluation.result. Elle contient l’identifiant de trace et l’identifiant du span de l’exécution. Son nom et ses attributs viennent des conventions GenAI. Celles-ci sont encore en développement, comme tous les noms gen_ai de ce cours. La note contient l’identifiant de trace et renvoie donc à une seule exécution, comme la note de la cheffe à une assiette. Tout outil qui lit la trace peut afficher la note à côté.

Un sous-groupe rassemble des exécutions qui partagent une propriété : la langue du billet, le modèle ou la version. Une défaillance cachée dans la moyenne apparaît souvent dans un sous-groupe.

Petit exemple détaillé : l’échantillonneur à la main

Section intitulée « Petit exemple détaillé : l’échantillonneur à la main »

Voici six identifiants d’exécution du lundi matin, avec leurs valeurs de hachage :

Fenêtre de terminal
python -c "from obs.alerts import sampled; import hashlib; [print(r, int(hashlib.sha256(r.encode()).hexdigest(), 16) % 100, sampled(r)) for r in ['R-1012-001', 'R-1012-002', 'R-1012-003', 'R-1012-004', 'R-1012-005', 'R-1012-006']]"
R-1012-001 50 False
R-1012-002 48 False
R-1012-003 50 False
R-1012-004 67 False
R-1012-005 2 True
R-1012-006 22 False

Seul R-1012-005 a un nombre inférieur à 20. C’est donc la seule exécution choisie. Dans la première leçon de ce module, c’était la seule exécution révisée parmi les dix, et elle avait réussi. R-1012-006, à 22, est juste au-dessus du seuil. Selon les étiquettes, R-1012-001 et R-1012-006 étaient toutes deux incorrectes, et aucune n’a été choisie. Sur 316 exécutions, environ une sur cinq est choisie. Sur six exécutions, ce peut être une seule ou aucune.

Une boucle de gauche à droite. Une exécution se termine; son span possède un identifiant de trace. L'échantillonneur demande : la valeur de hachage de l'identifiant d'exécution est-elle parmi les 20 premières sur 100? Ou l'exécution appartient-elle à un petit sous-groupe? Non, pour 4 exécutions sur 5 : aucune révision. Oui : Priya lit l'exécution et le billet, puis demande si le résultat est correct. Sa note est placée sur la trace comme événement gen_ai.evaluation.result, réussite ou échec. Les notes sont lues par sous-groupe avec obs reviews --by language. Ensuite, une personne décide : une correction ou un nouveau cas pour le jeu d'évaluation. Une flèche pointillée relie la décision à la première case : la prochaine version.
La boucle de révision par échantillonnage : d'une exécution en production à une note sur sa trace, puis à une vue par sous-groupe et à une décision.
Description textuelle du diagramme

L’échantillonneur choisit environ une exécution terminée sur cinq selon le hachage de son identifiant, et toutes celles d’un petit sous-groupe. Priya révise chacune selon les règles de Larkfield. Sa note devient un événement d’évaluation contenant l’identifiant de trace du span de l’exécution. Elle reste donc rattachée à cette exécution. Les notes sont lues par sous-groupe. Un sous-groupe en échec mène à une correction et à de nouveaux cas pour le jeu d’évaluation. La prochaine version suit la même boucle.

  1. Lisez les 60 révisions de la semaine selon la langue du billet :

    Fenêtre de terminal
    python -m obs reviews --data data/telemetry/week
    group runs reviewed share pass fail pass rate
    de 6 1 16.7% 0 1 0.0%
    en 302 58 19.2% 52 6 89.7%
    fr 8 1 12.5% 1 0 100.0%
    total 316 60 19.0% 53 7 88.3%
    Fewer than 5 reviews in: de, fr. A pass rate of 1 or 2 reviews says almost nothing.
  2. Lisez-les par modèle : python -m obs reviews --by model --data data/telemetry/week.

    group runs reviewed share pass fail pass rate
    chat-small 260 48 18.5% 45 3 93.8%
    chat-strong 40 8 20.0% 7 1 87.5%
    gemma3:4b 16 4 25.0% 1 3 25.0%
    total 316 60 19.0% 53 7 88.3%
    Fewer than 5 reviews in: gemma3:4b. A pass rate of 1 or 2 reviews says almost nothing.
  3. Listez les révisions en échec et leurs identifiants de trace : python -m obs reviews --failed --data data/telemetry/week.

    run ticket language model outcome reviewed trace
    R-1013-032 T-90501 en chat-small resolved Wed 14:09 94678f574e2b63b9b1f853342ffa7bb2
    R-1014-040 T-90104 en chat-strong resolved Fri 09:17 f0433c4403e2767e1d69ece18a947526
    R-1015-002 T-90207 en chat-small resolved Fri 09:28 96b3c9ad4158dee283f796d028e31bbb
    R-1017-007 T-64872 en gemma3:4b handed_to_person Sun 10:40 7aedb15baced5db31b4c6324b3b76044
    R-1017-010 T-90605 en gemma3:4b handed_to_person Sun 11:05 7ad8163fbd3bd553a71127f1e2e689c5
    R-1018-007 T-90103 en gemma3:4b resolved Mon 10:24 46e00e2b1dcdc3558d8011de1affa068
    R-1018-011 T-90305 de chat-small resolved Mon 12:36 bde727680ccdef70dc993305b94b2706
    7 failed review(s) of 60
  4. Lisez la note de l’exécution en allemand sous sa forme d’événement : python -m obs events R-1018-011 --name gen_ai.evaluation.result --data data/telemetry/week.

    Mon 19 Oct 12:36:03 gen_ai.evaluation.result trace bde72768 {"gen_ai.evaluation.name": "sampled-review", "gen_ai.evaluation.score.value": 0.0, "gen_ai.evaluation.score.label": "fail", "run.id": "R-1018-011", "ticket.id": "T-90305", "reviewer": "usr-priya"}
    1 event(s)

Trois éléments comptent ici. L’identifiant de trace de la note, bde72768…, est la première trace de R-1018-011. La note porte sur cette exécution, pas sur le billet. La note est arrivée le lundi 19 octobre, un jour après la fin de l’exécution : les révisions sont tardives. C’est le même principe que dans Étiquettes tardives, du cours sur le MLOps. Et le double remboursement, R-1014-040, a aussi échoué à sa révision.

La répartition par modèle révèle aussi quelque chose. L’essai du modèle local a échoué à 3 de ses 4 révisions. C’est la même fin de semaine que les alertes de boucle et de passage de relais ont détectée, vue sous l’angle de la qualité.

Un échantillon estime l’ensemble. Voici l’échantillon à côté de la vérité, qu’une vraie équipe ne possède jamais : les étiquettes du cours pour les 316 exécutions de chaque semaine.

Révisions simulées (les étiquettes du cours remplacent Priya) et étiquettes du cours pour chaque exécution; décisions rejouées, trafic construit.
Description textuelle du graphique

Quatre barres. Semaine rejouée : l’échantillon indique 88.3 % (53 sur 60), toutes les exécutions 86.4 % (273 sur 316). Semaine saine : l’échantillon indique 91.7 % (55 sur 60), toutes les exécutions 85.1 % (269 sur 316).

Les échantillons sont proches de la vérité, à 2 à 7 points près. Mais ils classent les deux semaines dans le mauvais ordre. Selon les étiquettes, la semaine rejouée était légèrement meilleure, car chat-strong avait bien traité les billets difficiles. Soixante révisions ne permettent pas de voir un écart d’un point. Une révision de plus ou de moins fait varier le taux de 1,7 point. Utilisez un échantillon hebdomadaire pour surveiller les grands changements, et ne comparez pas deux semaines proches. Incertitude et sous-groupes, du cours d’évaluation, explique comment associer un intervalle à un échantillon.

Camille, qui répond aux billets en français, lit le premier tableau et s’inquiète : « Les billets qui ne sont pas en anglais échouent. » Regroupez les deux langues, et les étiquettes indiquent 9 résultats corrects sur 14 : 64 %. Cela semble signaler un problème dans la file de Camille.

Séparez-les, et le portrait change :

Les étiquettes du cours pour les 316 exécutions, qu'une vraie équipe ne possède pas; décisions rejouées, trafic construit. Le sous-groupe allemand contient un seul billet d'exercice, T-90305, tiré 6 fois.
Description textuelle du graphique

Quatre barres. Anglais : 264 exécutions correctes sur 302, 87.4 %. Français : 8 sur 8, 100 %. Allemand : 1 sur 6, 16.7 %. Langues autres que l’anglais regroupées : 9 sur 14, 64.3 %. La barre basse des langues autres que l’anglais vient uniquement de l’allemand.

Les billets en français ont donné un résultat correct 8 fois sur 8. Le sous-groupe en échec est l’allemand : 1 sur 6. La seule exécution correcte était celle du modèle local, qui avait transmis le billet à une personne. Un sous-groupe « autres langues que l’anglais » cache la langue qui échoue. Il aurait poussé Camille à corriger une file qui fonctionne. Créez un sous-groupe pour chaque langue.

Deux autres faits changent la marche à suivre. D’abord, le sous-groupe allemand contient un seul billet d’exercice, T-90305, tiré six fois : un billet, pas une population. Ensuite, la semaine saine échoue aussi : 0 sur 6. Ce n’est donc pas une version qui a causé le problème en allemand. C’est une lacune persistante : chat-small ne suit pas la règle H5. Aucune alerte ne peut la détecter, car rien n’a changé.

L’échantillonneur à 20 % voyait une exécution en allemand par semaine. Une seule révision indique 0 % ou 100 %, rien entre les deux. La solution est celle de la cheffe : réviser chaque exécution d’un petit sous-groupe. obs reviews --queue liste les exécutions que l’échantillonneur choisit et que personne n’a encore révisées :

Fenêtre de terminal
python -m obs reviews --queue --every de,fr --data data/telemetry/week
run ticket closed language model outcome
R-1012-036 T-90702 Mon 16:39 fr chat-small resolved
R-1012-047 T-90305 Tue 08:54 de chat-small resolved
…
R-1018-013 T-90305 Sun 12:55 de gemma3:4b handed_to_person
12 run(s) to review: 20% of runs by the hash of the run ID, and every run in de, fr; 60 run(s) already reviewed.

Douze révisions de plus par semaine, 20 % de plus du temps de Priya, et chaque exécution en allemand et en français est examinée. Avec les six exécutions en allemand révisées, la ligne allemande indiquerait 1 sur 6, un échec clair. C’est ce qu’on appelle l’échantillonnage stratifié : une part des grands sous-groupes, et l’ensemble des petits.

À vous de jouer le rôle du réviseur. Vous exécutez le billet en allemand, l’approuvez, le révisez, puis lisez la note dans votre propre télémétrie.

  1. Supprimez le dossier work. Dans PowerShell : Remove-Item -Recurse work.

  2. Exécutez le billet en allemand : python -m resolver run T-90305. La proposition comprend une réexpédition, une étiquette de retour et un brouillon de réponse en allemand. Sa dernière ligne est Nothing has changed yet. Next: python -m resolver approve T-90305-agent-chat-small-1 --as agent (or: reject) (rien n’a encore changé; prochaine étape : approuver ou rejeter).

  3. Approuvez-le, comme Sam : python -m resolver approve T-90305-agent-chat-small-1 --as agent. La dernière ligne indique Reply sent. Ticket: resolved. (réponse envoyée; billet résolu).

  4. Vérifiez le résultat selon les règles : python -m resolver show T-90305 --expected indique Expected: hand_to_person (rule H5) (résultat attendu : transmettre à une personne, règle H5). Le résultat est donc incorrect.

  5. Enregistrez la révision :

    Fenêtre de terminal
    python -m resolver review T-90305-agent-chat-small-1 fail --by usr-priya
    Review of T-90305-agent-chat-small-1 (resolved): fail, by usr-priya. Attached to trace …, span ….

    Vos identifiants de trace et de span diffèrent des nôtres : ils sont nouveaux à chaque exécution.

  6. Lisez vos révisions : python -m obs reviews.

    group runs reviewed share pass fail pass rate
    de 1 1 100.0% 0 1 0.0%
    total 1 1 100.0% 0 1 0.0%
    Fewer than 5 reviews in: de. A pass rate of 1 or 2 reviews says almost nothing.
  7. Vérifiez que la note se trouve sur la trace de l’exécution : python -m obs reviews --failed. La colonne trace affiche le même identifiant de trace que la ligne Trace 1 (trace 1) de python -m obs trace T-90305-agent-chat-small-1.

  8. Exécutez un autre billet, python -m resolver run T-80008, et consultez la file en sélectionnant toutes les exécutions : python -m obs reviews --queue --share 1. Elle liste l’exécution de T-80008, que personne n’a révisée. Révisez-la : python -m resolver review T-80008-agent-chat-small-1 pass.

resolver review refuse une exécution qui n’est pas encore terminée, ainsi qu’une exécution sans trace. Une deuxième révision de la même exécution remplace la première dans obs reviews. L’événement de la première reste dans la télémétrie.

Avec un Collector, la configuration du cours envoie la note à Loki dans Grafana, comme les autres événements du flux de travail. Elle conserve son identifiant de trace, ce qui permet de passer d’une ligne de journal à la trace. Dans le module 8, les 60 révisions échantillonnées de l’équipe du cours deviennent des notes Langfuse sur les mêmes traces.

Confier les juges et les jeux de données au cours d’évaluation

Section intitulée « Confier les juges et les jeux de données au cours d’évaluation »

La révision humaine est lente et coûteuse, mais elle sert de référence. Deux outils permettent d’en tirer davantage, et le cours Évaluer et tester les systèmes d’IA enseigne les deux :

Ce cours s’occupe de l’infrastructure : un échantillon équitable, chaque note sur la bonne trace, et une vue par sous-groupe.

Sam demande : « Pourquoi ne pas demander aux clients? Ils savent si la réponse était correcte. »

Priya répond : « Certains le disent, et nous lisons leurs commentaires. Mais la plupart ne disent rien. Un client en colère ne constitue pas un échantillon. Une révision suit nos règles, sur des exécutions choisies équitablement. »

Utilisez la révision par échantillonnage pour le seul indicateur que la télémétrie ne peut pas calculer : le résultat était-il correct? Ses coûts sont réels. Le temps de Priya augmente avec l’échantillon, et les résultats arrivent un jour plus tard. Le réviseur doit lire le billet, dont le texte est volontairement absent de la télémétrie. La révision l’ouvre dans le système de soutien. Gardez aussi les commentaires libres hors de l’événement, car une note peut contenir le nom d’un client.

N’utilisez pas les révisions pour ce que la télémétrie compte sans coût supplémentaire, comme les passages de relais ou le coût. Et ne révisez pas seulement les exécutions signalées : elles ne disent rien sur les autres.

Erreur courante

La révision se retrouve sur la mauvaise exécution

Symptôme : un outil joint les révisions aux exécutions par identifiant de billet. Priya attribue un échec à T-90305. Le tableau de bord affiche cet échec sur une exécution qui avait correctement transmis le billet à une personne.

Cause : un billet peut avoir plusieurs exécutions. T-90305 en avait six dans la semaine. Une jointure par billet en choisit une, ici la dernière : R-1018-013, l’exécution du modèle local qui avait transmis le billet. python -m obs trace T-90305 --data data/telemetry/week montre le même choix : un billet ouvre sa dernière exécution.

Diagnostic : comparez l’identifiant de trace de la note aux traces de l’exécution. Dans obs reviews --failed, la colonne trace doit correspondre à l’une des traces de l’exécution dans obs trace RUN_ID.

Correction : rattachez chaque note à la trace du span de l’exécution, comme le font resolver review et les révisions de la semaine. Faites la jointure par identifiant de trace. Gardez aussi l’identifiant d’exécution dans l’événement, pour les outils qui ne peuvent pas lire les traces.

La semaine saine a atteint les quatre objectifs de la première leçon. Vérifiez sa qualité par sous-groupe :

  1. Exécutez python -m obs reviews --data data/telemetry/healthy-week, puis --by model.
  2. Exécutez python -m obs reviews --queue --every de,fr --data data/telemetry/healthy-week. Combien de révisions l’échantillon stratifié ajoute-t-il?
  3. Écrivez deux phrases pour Grace : la qualité de la semaine saine est-elle bonne, et que devrait changer Priya?

Notre réponse se trouve dans la première vérification des connaissances.

Vérifiez votre compréhension

À vous : que disent les révisions de la semaine sans problème, et que devrait changer Priya?

Afficher la réponse

L’échantillon réussit 55 révisions sur 60, soit 91,7 %, au-dessus de l’objectif de 85 %. L’anglais réussit 54 révisions sur 58 et le français, 1 sur 1, mais l’allemand échoue encore, avec 0 sur 1. Il n’y a qu’un modèle, donc --by model affiche le même résultat de 55 sur 60. La file stratifiée ajoute 12 exécutions, toutes en allemand et en français. Selon les étiquettes du cours, la semaine sans problème a réussi 0 de ses 6 exécutions en allemand. La semaine atteint donc son objectif, mais le billet en allemand échoue dans les deux semaines : une lacune persistante, pas un incident. Priya devrait réviser chaque exécution en allemand et en français, et ajouter T-90305 aux données d’évaluation.

Vérifiez votre compréhension

Prédisez : selon les échantillons, la semaine sans problème (91,7 %) dépassait la semaine rejouée (88,3 %). Les étiquettes de toutes les exécutions disent l'inverse (85,1 % contre 86,4 %). Comment les deux peuvent-ils être vrais?

Afficher la réponse

L’échantillon de chaque semaine contient 60 exécutions choisies selon le hachage de leur identifiant. Une révision réussie de plus ou de moins fait varier le taux de réussite de 1,7 point. Deux échantillons de 60 diffèrent donc souvent de quelques points par simple hasard. La vraie différence entre les semaines est de 1,3 point : trop petite pour que 60 révisions la détectent. Selon les étiquettes, la semaine rejouée était légèrement meilleure, car chat-strong avait bien traité les billets difficiles. Utilisez un échantillon hebdomadaire pour surveiller les grands changements et les sous-groupes qui échouent souvent, pas pour classer deux semaines proches. Pour un intervalle sur un échantillon, consultez le cours Évaluer et tester les systèmes d’IA.

Vérifiez votre compréhension

Vérification de fin de module : montrez que chaque alerte se déclenche dans son scénario et reste silencieuse pendant une semaine sans problème. Donnez les commandes, les heures et le test.

Afficher la réponse

python -m obs alerts --data data/telemetry/week déclenche les cinq règles, chacune peu après la cause créée par le cours. cost-per-resolved se déclenche mercredi à 10 h 39, 1 h 39 après le passage à chat-strong. unreconciled-writes se déclenche mercredi à 13 h 36, sur R-1014-024, la première nouvelle tentative avec une nouvelle clé. reply-failures se déclenche jeudi à 12 h 32, deux minutes après le début de la panne des réponses. loop-stops (samedi à 10 h 40) et handoff-rate (samedi à 17 h 43) se déclenchent pendant l’essai du modèle local. python -m obs alerts --data data/telemetry/healthy-week affiche quiet (silencieux) pour les cinq règles. Les tests disent la même chose : test_every_alert_fires_on_the_week et test_the_healthy_week_has_no_alert dans tests/test_saved_week.py, et test_a_ratio_alert_waits_for_enough_runs dans tests/test_stage_m07.py. Ce dernier montre aussi la fausse alerte que le minimum de 20 exécutions élimine. Une bonne réponse ajoute que Grafana déclenche les mêmes alertes quelques heures de pratique plus tard. Elle précise aussi qu’une alerte silencieuse ne confirme pas le rétablissement.

Récapitulatif

  • Certaines défaillances ne laissent aucune marque dans une trace. R-1018-011 a résolu un billet en allemand que la règle H5 confie à une personne, et chaque span était vert.
  • Une révision par échantillonnage représente le jugement d’une personne sur un échantillon équitable. L’échantillonneur de Larkfield choisit une exécution quand le hachage de son identifiant est inférieur à 20 sur 100 : le même résultat partout.
  • Un score est un événement gen_ai.evaluation.result contenant l’identifiant de trace du span de l’exécution. Il désigne une exécution, pas un billet, et arrive un jour plus tard.
  • Lisez les scores par sous-groupe, pour chaque langue. Le français a réussi 8 exécutions sur 8; l’allemand, 1 sur 6, avec un billet qui échoue dans les deux semaines. Révisez entièrement les petits sous-groupes : 12 révisions de plus par semaine.
  • Un échantillon de 60 ne peut pas classer deux semaines proches. Les juges et les données d’évaluation relèvent du cours Évaluer et tester les systèmes d’IA. Ce cours garde l’échantillon équitable et le score sur la bonne trace.

Dans ce module, vous avez défini des objectifs, des alertes qui mènent à une action et une mesure de qualité pour le flux de travail en production. Mais tout cela se trouve dans Grafana et dans l’outil obs du cours. Priya aimerait voir les scores à côté de chaque appel de modèle, dans un outil conçu pour les modèles de langage. Ensuite, au module 8, vous envoyez les mêmes traces à Langfuse.

Leçon suivante : Envoyer les mêmes traces à Langfuse