Aller au contenu
English

Étiquettes tardives

  • Leçon 12
  • 50 min
  • Module 4 : Surveiller les changements de comportement

Où nous en sommes

Dans la leçon précédente, nous avons vu que la dérive seule ne montre pas les erreurs : seules les étiquettes le peuvent. Mais les étiquettes, les révisions des agents, arrivent des heures ou des jours après la décision. Dans cette leçon, nous choisissons des signaux rapides à surveiller entre-temps, et nous calculons combien de billets les personnes doivent vérifier pour avoir confiance dans le résultat. C'est comme attendre le résultat du laboratoire.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Mesurez si les décisions de l’assistant sont bonnes, même si les vraies réponses arrivent des heures ou des jours plus tard. Décidez quels signaux rapides surveiller entre-temps et combien de billets vérifier manuellement pour avoir confiance dans le résultat.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 50 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre projet après la dernière leçon : python -m pytest affiche 207 passed (207 tests réussis).
  • Docker avec PostgreSQL et Valkey en cours d’exécution, et quatre terminaux avec l’environnement virtuel activé.
  • TELEMETRY_FILE=telemetry/{service}.jsonl dans votre .env, comme dans Journaux, métriques et traces.

Vous vous sentez malade, et le médecin prélève un échantillon de sang. Le résultat du laboratoire arrive dans trois jours. Ce résultat donne la vérité : il indique ce que vous avez.

Le médecin n’attend pas trois jours sans rien faire. Une infirmière vérifie votre température et votre pouls toutes les quelques heures. Ces signes rapides ne donnent pas le diagnostic. Mais si votre température monte brusquement, le médecin agit tout de suite, sans attendre le laboratoire.

Le laboratoire n’analyse pas non plus tout votre sang. Un petit échantillon suffit, s’il est bien prélevé. Un échantillon plus grand donne une réponse plus sûre, mais coûte plus cher.

L’assistant du centre de soutien vit avec les mêmes trois réalités. La vérité arrive tard, les signes rapides arrivent tôt, et la vérité vient d’un échantillon.

Le problème : une alerte de qualité qui n’a pas sonné

Section intitulée « Le problème : une alerte de qualité qui n’a pas sonné »

Le SLO de qualité de Larkfield est « 90 % des billets révisés concordent avec la révision de l’agent ». Dans Grafana, Priya a créé l’alerte reviews-disagree (désaccord des révisions). Elle se déclenche lorsque plus de 10 % des révisions des 30 dernières minutes contredisent l’assistant.

Dans l’essai de dérive de la dernière leçon, la concordance a chuté à 85,3 % dans le bloc policy-silent. Cela donne 14,7 % de désaccord, bien au-dessus de 10 %. L’alerte ne s’est pas déclenchée.

Pourquoi? L’essai a duré 27,5 minutes de simulation. Une fenêtre de 30 minutes contenait donc toujours toutes les révisions depuis le début. Elle mélangeait les bonnes révisions des 2 000 premiers billets avec les mauvaises des 1 000 derniers. Les auteurs du cours ont rejoué cette fenêtre sur l’essai enregistré, révision par révision :

1445 reviews, 114 disagree (7.9% over the whole run)
30-minute window (after the first 50 reviews): highest disagreement 7.9% at minute 26.7

Les anciennes bonnes révisions masquaient les nouvelles mauvaises. La fenêtre était trop longue pour ce changement, donc l’alerte ne pouvait pas se déclencher.

Il y a un deuxième problème. Quand la qualité baisse, les révisions qui le montreraient n’existent pas encore. Dans l’essai de dérive, elles arrivaient 120 secondes de simulation plus tard. Chez Larkfield, elles arrivent des heures ou des jours plus tard. Entre-temps, rien ne mesure la qualité.

L’idée : étiquettes, étiquettes tardives et signaux indirects

Section intitulée « L’idée : étiquettes, étiquettes tardives et signaux indirects »

Une étiquette est la vraie réponse pour une entrée. Pour l’assistant, elle indique la bonne équipe et si une personne devait traiter le billet. Chez Larkfield, les étiquettes viennent des agents. Quand un agent termine un billet, l’outil du centre de soutien enregistre la bonne réponse : une révision.

Une étiquette tardive est une étiquette qui arrive longtemps après la décision. C’est le résultat du laboratoire. Le SLO de qualité et le SLO de sécurité peuvent seulement utiliser des étiquettes tardives.

Un signal indirect est un signal rapide qui évolue souvent avec la qualité, sans être une mesure de qualité. C’est la température. Une réponse sans texte, une hausse des jetons ou de la proportion envoyée à une personne : vous les voyez quelques secondes après le billet. Ils vous indiquent où regarder. Ils ne peuvent pas vous dire si les décisions valides sont bonnes.

La chronologie de rétroaction les met en ordre :

Une chronologie de gauche à droite : 0 s, le billet arrive; environ 3 s, le triage est terminé; puis une boîte en pointillés, l'écart : décisions prises, pas encore vérifiées; puis 120 s plus tard en simulation, des heures à des jours en réalité, la révision de l'agent arrive. Sous la première partie, quatre boîtes sont connues immédiatement, les signaux rapides : l'entrée (langue estimée, longueur, canal, pour la dérive des données avec PSI et khi carré); la décision (équipe, besoin d'une personne, pour la dérive des prédictions); les défaillances visibles (aucune réponse avec finish length, erreurs du fournisseur, version du modèle); coût et durée (jetons, dollars US, secondes). Sous l'écart : surveillez les signaux rapides ici; ils indiquent où regarder; ils ne disent pas si les décisions sont bonnes. Sous la révision, connue plus tard, la vérité, avec une bordure épaisse : la révision de l'agent, la bonne équipe et le besoin d'une personne, donne la concordance pour le SLO de qualité de 90 % et la vérification de sécurité confirmant qu'un billet nécessitant une personne en a rejoint une. Une boîte en bas : une marge d'environ 5 points sur une concordance proche de 90 % nécessite 139 révisions; avec les 822 billets quotidiens de Larkfield, révisez environ 1 billet sur 6 pour une vérification quotidienne.
La chronologie de rétroaction d'un billet. Les signaux rapides arrivent en quelques secondes; la vérité arrive avec la révision, des heures ou des jours plus tard. Entre les deux, seuls les signaux rapides couvrent l'écart.
Description textuelle du diagramme

Un billet arrive à 0 seconde, et le triage se termine environ 3 secondes plus tard. Quatre groupes de signaux sont connus immédiatement : l’entrée, la décision, les défaillances visibles, ainsi que le coût et la durée. Puis vient un écart : les décisions sont prises, mais pas vérifiées. La révision de l’agent arrive à la fin, 120 secondes plus tard dans les simulations. En réalité, elle arrive des heures ou des jours plus tard. Seule la révision donne la concordance et la vérification de sécurité. Une note indique combien de révisions il faut pour une vérification utile : 139 pour une marge d’environ 5 points. Cela représente environ 1 billet sur 6 parmi les 822 billets quotidiens de Larkfield.

L’outil du centre de soutien de Larkfield envoie chaque révision au service : POST /v1/tickets/{id}/review. Le nouveau fichier ticket_api/reviews.py l’enregistre dans la table ticket_reviews (migration 018). Il enregistre à côté la décision de l’assistant à ce moment, avec la version de la requête et l’identifiant de version. Puis il consigne un événement ticket.reviewed avec le délai depuis l’arrivée du billet.

La révision et la décision restent donc ensemble. Une mise en production ultérieure ne peut pas changer l’ancienne décision.

Pour la pratique, scripts/send_reviews.py joue le rôle des agents. Les billets de simulation portent les étiquettes de Grace. Pour les billets arrivés depuis au moins --delay secondes, il envoie l’étiquette comme révision pour une proportion aléatoire --share. Il ne révise jamais les équipes qui ne font pas partie des cinq équipes du centre de soutien, comme en réalité.

  1. Repartez d’un état de simulation propre, pour obtenir des sorties semblables à celles ci-dessous. Votre base de données et vos fichiers contiennent les billets des leçons précédentes. Videz la base de données et rechargez le petit jeu de données. Puis déplacez les anciens fichiers de télémétrie et de simulation vers un dossier old :

    Fenêtre de terminal
    python -m scripts.load --reset
    mkdir -p old && mv telemetry practice old/

    Si le déplacement indique qu’un dossier n’existe pas, il n’y avait rien à déplacer : continuez.

  2. Démarrez les trois processus, chacun dans son terminal, comme dans Faire tourner le service en production :

    Fenêtre de terminal
    python -m simulator
    fastapi dev
    python -m ticket_api.worker
  3. Dans un quatrième terminal, envoyez 20 billets de simulation :

    Fenêtre de terminal
    python -m scripts.practice --tickets 20 --rate 2
    Sent 20 practice tickets in 9.5 s: 202: 20
    Saved the ticket IDs in practice/sent.jsonl. The worker does their AI work; watch it with
    python -m scripts.queue_watch
  4. Regardez le premier des 20 billets. Les 20 dernières lignes de practice/sent.jsonl sont les billets de cet essai.

    Fenêtre de terminal
    tail -n 20 practice/sent.jsonl | head -n 1
    {"ticket_id": "T-500001", "case_id": "T-65129", "sent": 1791706790.798}

    Votre numéro de billet peut être différent. Utilisez le vôtre à l’étape suivante.

  5. Jouez le rôle d’un agent : envoyez une révision pour ce billet. Sous Windows, tapez curl.exe au lieu de curl, et mettez la commande sur une ligne sans le \.

    Fenêtre de terminal
    curl -X POST http://127.0.0.1:8000/v1/tickets/T-500001/review -H "Content-Type: application/json" \
    -d '{"team": "delivery", "needs_human": false, "reviewed_by": "agent-07"}'
    {"ticket_id":"T-500001","team":"delivery","needs_human":false,"assistant_team":"delivery","assistant_needs_human":false,"agrees":true,"prompt_version":"assistant-v2","release_id":null,"delay_seconds":34.7}

    La réponse compare la révision avec la décision de l’assistant : agrees (concorde) est vrai. Si l’assistant a choisi une autre équipe pour votre billet, agrees est faux. release_id (identifiant de version) est nul si vous exécutez le service sans RELEASE_ID.

  6. Attendez que les billets aient au moins 2 minutes. Puis laissez les agents de simulation en réviser la moitié :

    Fenêtre de terminal
    python -m scripts.send_reviews --delay 120 --share 0.5
    Reviews sent: 11; tickets not reviewed: 9.

    Le script choisit les billets à réviser au hasard, avec une graine fixe. Une deuxième révision du même billet remplace la première.

  7. Regardez les révisions enregistrées :

    Fenêtre de terminal
    docker compose exec db psql -U tickets -c "SELECT ticket_id, team, needs_human, assistant_team, assistant_needs_human, prompt_version FROM ticket_reviews ORDER BY ticket_id"
    ticket_id | team | needs_human | assistant_team | assistant_needs_human | prompt_version
    -----------+----------+-------------+----------------+-----------------------+----------------
    T-500001 | delivery | f | delivery | f | assistant-v2
    T-500003 | warranty | t | warranty | t | assistant-v2
    T-500004 | warranty | f | warranty | f | assistant-v2
    T-500006 | warranty | t | warranty | t | assistant-v2
    T-500007 | payment | f | payment | f | assistant-v2
    T-500008 | delivery | f | delivery | f | assistant-v2
    T-500010 | account | f | account | f | assistant-v2
    T-500014 | warranty | f | warranty | f | assistant-v2
    T-500015 | warranty | f | warranty | f | assistant-v2
    T-500018 | account | f | delivery | f | assistant-v2
    T-500019 | payment | f | payment | f | assistant-v2
    (11 rows)

    Dix lignes concordent. Pour T-500018, l’agent dit account (compte) et l’assistant a dit delivery (livraison) : un désaccord.

  8. Arrêtez l’API et le processus avec Ctrl+C pour qu’ils écrivent leurs dernières données de télémétrie. Puis lisez vos propres révisions avec ops labels :

    Fenêtre de terminal
    python -m ops labels telemetry/ticket-api.jsonl telemetry/ticket-worker.jsonl --windows 10
    20 tickets, 11 reviewed (55%); review delay median 131 s, p95 135 s
    window tickets reviewed agrees (95% interval) no answer to a person French
    --------- ------- -------- ---------------------- --------- ----------- ------
    1-10 10 7 100.0% [64.6%, 100.0%] 0.0% 40.0% 0.0%
    11-20 10 4 75.0% [30.1%, 95.4%] 0.0% 10.0% 20.0%
    Reviews arrive later: the last windows have fewer. For a margin of about 5 points on an agreement near 90%, a window needs 139 reviews.

Regardez les intervalles. Les sept révisions sur sept concordent, et l’intervalle descend quand même jusqu’à 64,6 %. Avec 4 révisions, il va de 30,1 % à 95,4 %. Onze révisions ne disent presque rien sur la qualité. La section suivante montre pourquoi.

Les agents ont révisé 20 billets, et 17 concordent avec l’assistant : 85 %. L’assistant est-il sous le SLO de 90 %?

Vous ne pouvez pas le savoir avec 20 révisions. L’intervalle de Wilson donne la plage de valeurs de concordance compatibles avec les révisions, avec une confiance de 95 %. Il fonctionne bien pour les petits nombres et les proportions proches de 0 % ou de 100 %, où la formule simple échoue. Exécutez-le pour 20, 100 et 1 000 révisions avec le même taux de 85 % :

Exécutez du Python dans votre navigateur

Un intervalle de concordance et les révisions nécessaires

La boîte affiche les trois intervalles et 139. Puis essayez wilson(0, 139) et reviews_needed(0.9, 0.02).

17 of 20: 85.0%, 95% interval [64.0%, 94.8%]
85 of 100: 85.0%, 95% interval [76.7%, 90.7%]
850 of 1000: 85.0%, 95% interval [82.7%, 87.1%]
Reviews for a margin of 5 points near 90%: 139

Avec 20 révisions, la vérité pourrait être 64 % ou 94,8 % : le SLO pourrait être enfreint ou respecté. Avec 100, l’intervalle atteint encore 90,7 %. Il faut 1 000 révisions pour que tout l’intervalle soit sous 90 %.

Inversons maintenant la question : combien de révisions faut-il pour une marge de ±5 points? La formule du projet : n = 1,96² × p × (1 − p) ÷ marge². Avec p = 0,9 et une marge de 0,05 : 3,8416 × 0,9 × 0,1 ÷ 0,0025 = 138,3, donc 139 révisions. Une marge plus petite coûte beaucoup plus cher, parce que la marge est au carré :

Réduire la marge de moitié, de 10 à 5 points, demande quatre fois plus de révisions : 35, puis 139. Une marge de 2 points en demande 865.
Description textuelle du graphique

Quatre colonnes. Une marge de plus ou moins 10 points demande 35 révisions. Plus ou moins 5 points en demande 139, la colonne d’une deuxième couleur, le choix du cours. Plus ou moins 3 points en demande 385. Plus ou moins 2 points en demande 865.

La question de Grace est pratique : « Combien de billets mes agents doivent-ils réviser, et quand? »

Larkfield reçoit 822 billets par jour. Pour une vérification quotidienne avec une marge d’environ 5 points, les agents doivent réviser 139 billets par jour : environ 1 sur 6. Une vérification hebdomadaire demande les mêmes 139 révisions parmi 5 754 billets : moins de 1 sur 40. Mais vous apprenez qu’il y a une baisse jusqu’à une semaine plus tard. C’est le compromis : plus de révisions donnent une réponse plus rapide et plus sûre.

Trois règles rendent l’échantillon utile :

  • Aléatoire, pas choisi. Révisez des billets tirés au hasard, pas seulement ceux dont les clients se plaignent. Les plaintes sont biaisées, comme l’a montré Rétroaction de la production.
  • Aussi par sous-groupe. Si les billets en français représentent 5 % du total, 139 révisions aléatoires en contiennent environ 7 en français. Pour connaître la qualité des billets en français, révisez-en volontairement davantage. La dérive indique quel sous-groupe échantillonner, comme dans la dernière leçon.
  • La sécurité ne repose pas sur un échantillon. Le SLO de sécurité n’a aucune marge d’erreur : un billet qui nécessitait une personne et n’en a rejoint aucune est un SEV-1. Avec 139 révisions et aucun cas manqué, l’intervalle de Wilson du taux de cas manqués monte encore à 2,7 %. Un échantillon ne peut pas prouver « aucun ». La sécurité demande donc une règle pour chaque billet, par exemple une personne pour chaque billet sans réponse valide. Le module 6 ajoute cette solution de repli.

Voici encore l’essai de dérive, par bloc de 1 000 billets, avec une ligne de plus : les 754 derniers billets de la semaine normale. Leurs révisions arrivaient 300 secondes de simulation plus tard, donc seulement 42 étaient arrivées à la fin de l’essai. python -m ops labels data/telemetry/normal-week.jsonl.gz --windows 1000 le montre dans sa dernière ligne.

Chaque ligne représente un bloc de billets avec sa concordance et son intervalle de Wilson à 95 %. Le bloc policy-silent est certainement sous le SLO. Le dernier bloc de la semaine normale semble bon, mais ses 42 révisions ne peuvent pas le démontrer.
Description textuelle du graphique

Quatre lignes sur un axe de 75 % à 100 %, avec une ligne à 90 %, le SLO de qualité. Le bloc normal de l’essai de dérive est à 95,1 %, de 92,8 % à 96,7 %. Le bloc français est à 95,8 %, de 93,6 % à 97,2 %. Le bloc policy-silent est à 85,3 %, de 81,8 % à 88,2 % : tout l’intervalle est à gauche de la ligne. Les 754 derniers billets de la semaine normale sont à 95,2 %. Mais seulement 42 révisions étaient arrivées, donc l’intervalle va de 84,2 % à 98,7 % et traverse la ligne.

Signaux indirects : quand ils aident et quand ils ne suffisent pas

Section intitulée « Signaux indirects : quand ils aident et quand ils ne suffisent pas »

Quel signal rapide vous aurait averti avant les révisions? Comparez deux incidents de simulation. « La semaine dernière » désigne le changement de requête v3 (une reproduction de l’incident; les réponses sont de vrais enregistrements) :

Fenêtre de terminal
python -m ops labels data/telemetry/release-full.jsonl.gz --by prompt
2,400 tickets, 1,051 reviewed (44%); review delay median 120 s, p95 121 s
prompt tickets reviewed agrees (95% interval) no answer to a person French
------------ ------- -------- --------------------- --------- ----------- ------
assistant-v2 602 307 93.8% [90.5%, 96.0%] 0.2% 27.0% 4.5%
assistant-v3 1798 744 83.7% [80.9%, 86.2%] 10.3% 29.7% 6.5%
Reviews arrive later: the last windows have fewer. For a margin of about 5 points on an agreement near 90%, a window needs 139 reviews.
Signal « La semaine dernière » : v2 → v3 Essai de dérive : normal → policy-silent
Réponses sans texte (connues immédiatement) 0,2 % → 10,3 % 0,1 % → 0,3 %
Envoyés à une personne (connus immédiatement) 27,0 % → 29,7 % 25,1 % → 24,8 %
Messages en français (connus immédiatement) 4,5 % → 6,5 % 5,4 % → 3,4 %
Concordance avec les révisions (connue plus tard) 93,8 % → 83,7 % 95,1 % → 85,3 %

Dans « la semaine dernière », un signal indirect a bondi immédiatement : une réponse sur dix n’avait pas de texte. L’alerte no-answer (aucune réponse) de Qualité et coûts le détecte en environ une minute, bien avant toute révision. Dans le bloc policy-silent, aucun signal indirect n’a bougé. Les décisions étaient valides et mauvaises, et seules les révisions pouvaient le montrer.

Les signaux indirects détectent donc les défaillances visibles dans la sortie : aucun texte, erreurs, réponses lentes, hausse du coût. Les révisions détectent les décisions qui semblent bonnes, mais sont mauvaises. Il vous faut les deux. Un tableau de bord avec seulement des signaux indirects reste vert pendant le deuxième type de défaillance.

Quand utiliser les étiquettes tardives et ce qu’elles coûtent

Section intitulée « Quand utiliser les étiquettes tardives et ce qu’elles coûtent »

Sam demande : « Pourquoi ne pas laisser l’assistant se vérifier lui-même, ou demander à un deuxième modèle? »

Priya répond : « Un modèle juge est un autre assistant, avec ses propres erreurs. Il peut aider à trier les billets à réviser. Mais le SLO porte sur ce que nos agents jugent correct, donc l’étiquette doit venir d’eux. »

Utilisez les étiquettes tardives pour chaque mesure de qualité et de sécurité. Écrivez le délai à côté du SLO pour que chacun sache à quel point la mesure arrive tard. Comptez les fenêtres en révisions, pas en minutes, quand le rythme des révisions change.

Utilisez les signaux indirects pour des alertes rapides sur les défaillances visibles dans la sortie. Ne présentez jamais un signal indirect comme une mesure de qualité.

Ce que cela coûte : le temps des agents. À 139 révisions par jour et une ou deux minutes par révision, cela représente deux à cinq heures de travail quotidien. L’outil de révision doit aussi envoyer chaque révision au service pour la relier à la décision. Et la qualité est toujours connue tard : au rythme de Larkfield, un jour plus tard pour une vérification quotidienne.

Erreur courante

send_reviews n'envoie rien

Symptôme : python -m scripts.send_reviews --delay 120 --share 0.5 affiche :

Reviews sent: 0; tickets not reviewed: 0.

Cause : aucun billet n’est assez ancien. Le script révise seulement les billets arrivés depuis au moins --delay secondes, et il a déjà traité les plus anciens (practice/reviewed.jsonl). Il affiche aussi ce message quand practice/sent.jsonl n’existe pas encore.

Solution : attendez 2 minutes et relancez-le, ou ajoutez --follow pour le laisser fonctionner jusqu’à Ctrl+C. Envoyez d’abord des billets de simulation si vous n’en avez aucun.

Erreur courante

Une fenêtre dans ops labels affiche « - » pour la concordance

Symptôme : la dernière ligne de ops labels contient 0 dans « reviewed » (révisés) et - dans « agrees » (concordent).

Cause : les révisions de ces billets ne sont pas encore arrivées. C’est l’écart de la chronologie de rétroaction, pas un bogue.

Solution : lisez la qualité seulement dans les fenêtres avec assez de révisions : 139 pour une marge d’environ 5 points. Lisez les colonnes des signaux indirects pour la fenêtre la plus récente, et attendez ses révisions.

Vérifiez votre compréhension

Pourquoi l'alerte de désaccord sur 30 minutes est-elle restée inactive pendant l'essai de dérive, malgré un accord final de 85,3 %? Nommez la cause et un changement qui la corrige.

Afficher la réponse

L’essai durait 27,5 minutes d’exercice. Une fenêtre de 30 minutes contenait donc toujours toutes les révisions depuis le début. Les bonnes révisions des 2 000 premiers billets diluaient les mauvaises : au plus 7,9 % étaient en désaccord, sous le seuil de 10 %. Une solution : compter la fenêtre en révisions, par exemple les 139 dernières révisions. Ainsi, les anciennes révisions quittent la fenêtre quand de nouvelles arrivent. Une fenêtre temporelle plus courte aide aussi, tant qu’elle contient assez de révisions.

Vérifiez votre compréhension

Faites une prédiction : l'équipe de Grace peut réviser 35 billets par jour. Quelle marge obtient-on pour un accord quotidien proche de 90 %? Est-ce suffisant pour dire que le SLO de qualité n'est pas respecté à 85 %?

Afficher la réponse

35 révisions donnent une marge d’environ ±10 points (le diagramme à barres : 35 révisions pour 10 points). Avec 30 révisions sur 35 en accord (85,7 %), l’intervalle de Wilson va de 70,6 % à 93,7 %. Il inclut 90 %, donc 35 révisions ne permettent pas de montrer que le SLO n’est pas respecté. Combinez plusieurs jours, ce qui retarde la réponse, ou révisez plus de billets.

Vérifiez votre compréhension

Vérification pratique : montrez qu'une révision de votre projet est enregistrée avec la décision de l'assistant. Lisez ensuite l'accord et son intervalle. Quelles sorties le prouvent?

Afficher la réponse

curl -X POST …/v1/tickets/T-500001/review renvoie du JSON avec assistant_team (équipe de l’assistant), agrees (accord) et delay_seconds (délai en secondes). SELECT … FROM ticket_reviews montre l’équipe de l’agent et celle de l’assistant sur la même ligne, avec la version de la requête. python -m ops labels telemetry/ticket-api.jsonl telemetry/ticket-worker.jsonl --windows 10 affiche le nombre de révisions et l’accord avec un intervalle à 95 % pour chaque fenêtre.

Récapitulatif

  • Une étiquette est la vraie réponse; chez Larkfield, c’est la révision d’un agent. Une étiquette tardive arrive des heures ou des jours après la décision. Les SLO de qualité et de sécurité ne peuvent utiliser que des étiquettes tardives.
  • Un signal indirect est rapide et peu coûteux : réponses sans texte, erreurs, coût, proportion transmise à une personne. Il indique où chercher. Il a détecté « la semaine dernière » (10,3 % sans texte). Il a manqué le bloc où la politique restait silencieuse, où seuls les résultats des révisions se dégradaient.
  • La chronologie de rétroaction montre le délai entre la décision et sa révision. Seuls les signaux rapides couvrent ce délai.
  • Un intervalle de Wilson indique le degré de certitude d’un accord. Une marge d’environ 5 points près de 90 % demande 139 révisions, soit environ 1 billet sur 6 parmi les 822 billets quotidiens de Larkfield. La sécurité exige une règle pour chaque billet, pas un échantillon.
  • Une alerte de qualité sur une fenêtre temporelle peut mélanger d’anciennes bonnes révisions avec de nouvelles mauvaises révisions. Comptez la fenêtre en révisions.

Ensuite, les défaillances propres aux services de modèles de langage : des réponses qui citent d’anciens documents, et un modèle que le fournisseur change sans vous avertir.

Leçon suivante : Régressions des LLM et du RAG