Étiquettes tardives
- Leçon 12
- 50 min
- Module 4 : Surveiller les changements de comportement
Où nous en sommes
Dans la leçon précédente, nous avons vu que la dérive seule ne montre pas les erreurs : seules les étiquettes le peuvent. Mais les étiquettes, les révisions des agents, arrivent des heures ou des jours après la décision. Dans cette leçon, nous choisissons des signaux rapides à surveiller entre-temps, et nous calculons combien de billets les personnes doivent vérifier pour avoir confiance dans le résultat. C'est comme attendre le résultat du laboratoire.
Leçon 12 sur 19 · MLOps et LLMOps : exploiter l'IA en productionÉtiquettes tardives
1. Définir la responsabilité opérationnelle
2. Versionner et reproduire le système
3. Instrumenter une télémétrie utile
4. Surveiller les changements de comportement
5. Mettre en production et améliorer en toute sécurité
6. Gérer les incidents et la passation
Ce que vous saurez faire
Mesurez si les décisions de l’assistant sont bonnes, même si les vraies réponses arrivent des heures ou des jours plus tard. Décidez quels signaux rapides surveiller entre-temps et combien de billets vérifier manuellement pour avoir confiance dans le résultat.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La dérive des données, la baisse de performance, le PSI et l’essai de dérive, dans Dérive des données et dérive conceptuelle.
- Le SLO de qualité et le SLO de sécurité, dans Objectifs de service.
- Les intervalles de confiance, dans Incertitude et sous-groupes. Les échantillons de révision aléatoires, dans Rétroaction de la production.
Ce qu’il vous faut sur votre ordinateur
- Votre projet après la dernière leçon :
python -m pytestaffiche207 passed(207 tests réussis). - Docker avec PostgreSQL et Valkey en cours d’exécution, et quatre terminaux avec l’environnement virtuel activé.
TELEMETRY_FILE=telemetry/{service}.jsonldans votre.env, comme dans Journaux, métriques et traces.
Attendre le résultat du laboratoire
Section intitulée « Attendre le résultat du laboratoire »Vous vous sentez malade, et le médecin prélève un échantillon de sang. Le résultat du laboratoire arrive dans trois jours. Ce résultat donne la vérité : il indique ce que vous avez.
Le médecin n’attend pas trois jours sans rien faire. Une infirmière vérifie votre température et votre pouls toutes les quelques heures. Ces signes rapides ne donnent pas le diagnostic. Mais si votre température monte brusquement, le médecin agit tout de suite, sans attendre le laboratoire.
Le laboratoire n’analyse pas non plus tout votre sang. Un petit échantillon suffit, s’il est bien prélevé. Un échantillon plus grand donne une réponse plus sûre, mais coûte plus cher.
L’assistant du centre de soutien vit avec les mêmes trois réalités. La vérité arrive tard, les signes rapides arrivent tôt, et la vérité vient d’un échantillon.
Le problème : une alerte de qualité qui n’a pas sonné
Section intitulée « Le problème : une alerte de qualité qui n’a pas sonné »Le SLO de qualité de Larkfield est « 90 % des billets révisés concordent avec la révision de l’agent ». Dans Grafana, Priya a créé l’alerte reviews-disagree (désaccord des révisions). Elle se déclenche lorsque plus de 10 % des révisions des 30 dernières minutes contredisent l’assistant.
Dans l’essai de dérive de la dernière leçon, la concordance a chuté à 85,3 % dans le bloc policy-silent. Cela donne 14,7 % de désaccord, bien au-dessus de 10 %. L’alerte ne s’est pas déclenchée.
Pourquoi? L’essai a duré 27,5 minutes de simulation. Une fenêtre de 30 minutes contenait donc toujours toutes les révisions depuis le début. Elle mélangeait les bonnes révisions des 2 000 premiers billets avec les mauvaises des 1 000 derniers. Les auteurs du cours ont rejoué cette fenêtre sur l’essai enregistré, révision par révision :
1445 reviews, 114 disagree (7.9% over the whole run)30-minute window (after the first 50 reviews): highest disagreement 7.9% at minute 26.7Les anciennes bonnes révisions masquaient les nouvelles mauvaises. La fenêtre était trop longue pour ce changement, donc l’alerte ne pouvait pas se déclencher.
Il y a un deuxième problème. Quand la qualité baisse, les révisions qui le montreraient n’existent pas encore. Dans l’essai de dérive, elles arrivaient 120 secondes de simulation plus tard. Chez Larkfield, elles arrivent des heures ou des jours plus tard. Entre-temps, rien ne mesure la qualité.
L’idée : étiquettes, étiquettes tardives et signaux indirects
Section intitulée « L’idée : étiquettes, étiquettes tardives et signaux indirects »Une étiquette est la vraie réponse pour une entrée. Pour l’assistant, elle indique la bonne équipe et si une personne devait traiter le billet. Chez Larkfield, les étiquettes viennent des agents. Quand un agent termine un billet, l’outil du centre de soutien enregistre la bonne réponse : une révision.
Une étiquette tardive est une étiquette qui arrive longtemps après la décision. C’est le résultat du laboratoire. Le SLO de qualité et le SLO de sécurité peuvent seulement utiliser des étiquettes tardives.
Un signal indirect est un signal rapide qui évolue souvent avec la qualité, sans être une mesure de qualité. C’est la température. Une réponse sans texte, une hausse des jetons ou de la proportion envoyée à une personne : vous les voyez quelques secondes après le billet. Ils vous indiquent où regarder. Ils ne peuvent pas vous dire si les décisions valides sont bonnes.
La chronologie de rétroaction les met en ordre :
Description textuelle du diagramme
Un billet arrive à 0 seconde, et le triage se termine environ 3 secondes plus tard. Quatre groupes de signaux sont connus immédiatement : l’entrée, la décision, les défaillances visibles, ainsi que le coût et la durée. Puis vient un écart : les décisions sont prises, mais pas vérifiées. La révision de l’agent arrive à la fin, 120 secondes plus tard dans les simulations. En réalité, elle arrive des heures ou des jours plus tard. Seule la révision donne la concordance et la vérification de sécurité. Une note indique combien de révisions il faut pour une vérification utile : 139 pour une marge d’environ 5 points. Cela représente environ 1 billet sur 6 parmi les 822 billets quotidiens de Larkfield.
Les révisions dans le projet
Section intitulée « Les révisions dans le projet »L’outil du centre de soutien de Larkfield envoie chaque révision au service : POST /v1/tickets/{id}/review. Le nouveau fichier ticket_api/reviews.py l’enregistre dans la table ticket_reviews (migration 018). Il enregistre à côté la décision de l’assistant à ce moment, avec la version de la requête et l’identifiant de version. Puis il consigne un événement ticket.reviewed avec le délai depuis l’arrivée du billet.
La révision et la décision restent donc ensemble. Une mise en production ultérieure ne peut pas changer l’ancienne décision.
Pour la pratique, scripts/send_reviews.py joue le rôle des agents. Les billets de simulation portent les étiquettes de Grace. Pour les billets arrivés depuis au moins --delay secondes, il envoie l’étiquette comme révision pour une proportion aléatoire --share. Il ne révise jamais les équipes qui ne font pas partie des cinq équipes du centre de soutien, comme en réalité.
Envoyer des billets, puis leurs révisions
Section intitulée « Envoyer des billets, puis leurs révisions »-
Repartez d’un état de simulation propre, pour obtenir des sorties semblables à celles ci-dessous. Votre base de données et vos fichiers contiennent les billets des leçons précédentes. Videz la base de données et rechargez le petit jeu de données. Puis déplacez les anciens fichiers de télémétrie et de simulation vers un dossier
old:Fenêtre de terminal python -m scripts.load --resetmkdir -p old && mv telemetry practice old/Fenêtre de terminal python -m scripts.load --resetNew-Item -ItemType Directory -Force old | Out-Null; Move-Item telemetry, practice old\Si le déplacement indique qu’un dossier n’existe pas, il n’y avait rien à déplacer : continuez.
-
Démarrez les trois processus, chacun dans son terminal, comme dans Faire tourner le service en production :
Fenêtre de terminal python -m simulatorfastapi devpython -m ticket_api.worker -
Dans un quatrième terminal, envoyez 20 billets de simulation :
Fenêtre de terminal python -m scripts.practice --tickets 20 --rate 2Sent 20 practice tickets in 9.5 s: 202: 20Saved the ticket IDs in practice/sent.jsonl. The worker does their AI work; watch it withpython -m scripts.queue_watch -
Regardez le premier des 20 billets. Les 20 dernières lignes de
practice/sent.jsonlsont les billets de cet essai.Fenêtre de terminal tail -n 20 practice/sent.jsonl | head -n 1Fenêtre de terminal Get-Content practice\sent.jsonl -Tail 20 | Select-Object -First 1{"ticket_id": "T-500001", "case_id": "T-65129", "sent": 1791706790.798}Votre numéro de billet peut être différent. Utilisez le vôtre à l’étape suivante.
-
Jouez le rôle d’un agent : envoyez une révision pour ce billet. Sous Windows, tapez
curl.exeau lieu decurl, et mettez la commande sur une ligne sans le\.Fenêtre de terminal curl -X POST http://127.0.0.1:8000/v1/tickets/T-500001/review -H "Content-Type: application/json" \-d '{"team": "delivery", "needs_human": false, "reviewed_by": "agent-07"}'{"ticket_id":"T-500001","team":"delivery","needs_human":false,"assistant_team":"delivery","assistant_needs_human":false,"agrees":true,"prompt_version":"assistant-v2","release_id":null,"delay_seconds":34.7}La réponse compare la révision avec la décision de l’assistant :
agrees(concorde) est vrai. Si l’assistant a choisi une autre équipe pour votre billet,agreesest faux.release_id(identifiant de version) est nul si vous exécutez le service sansRELEASE_ID. -
Attendez que les billets aient au moins 2 minutes. Puis laissez les agents de simulation en réviser la moitié :
Fenêtre de terminal python -m scripts.send_reviews --delay 120 --share 0.5Reviews sent: 11; tickets not reviewed: 9.Le script choisit les billets à réviser au hasard, avec une graine fixe. Une deuxième révision du même billet remplace la première.
-
Regardez les révisions enregistrées :
Fenêtre de terminal docker compose exec db psql -U tickets -c "SELECT ticket_id, team, needs_human, assistant_team, assistant_needs_human, prompt_version FROM ticket_reviews ORDER BY ticket_id"ticket_id | team | needs_human | assistant_team | assistant_needs_human | prompt_version-----------+----------+-------------+----------------+-----------------------+----------------T-500001 | delivery | f | delivery | f | assistant-v2T-500003 | warranty | t | warranty | t | assistant-v2T-500004 | warranty | f | warranty | f | assistant-v2T-500006 | warranty | t | warranty | t | assistant-v2T-500007 | payment | f | payment | f | assistant-v2T-500008 | delivery | f | delivery | f | assistant-v2T-500010 | account | f | account | f | assistant-v2T-500014 | warranty | f | warranty | f | assistant-v2T-500015 | warranty | f | warranty | f | assistant-v2T-500018 | account | f | delivery | f | assistant-v2T-500019 | payment | f | payment | f | assistant-v2(11 rows)Dix lignes concordent. Pour T-500018, l’agent dit
account(compte) et l’assistant a ditdelivery(livraison) : un désaccord. -
Arrêtez l’API et le processus avec Ctrl+C pour qu’ils écrivent leurs dernières données de télémétrie. Puis lisez vos propres révisions avec
ops labels:Fenêtre de terminal python -m ops labels telemetry/ticket-api.jsonl telemetry/ticket-worker.jsonl --windows 1020 tickets, 11 reviewed (55%); review delay median 131 s, p95 135 swindow tickets reviewed agrees (95% interval) no answer to a person French--------- ------- -------- ---------------------- --------- ----------- ------1-10 10 7 100.0% [64.6%, 100.0%] 0.0% 40.0% 0.0%11-20 10 4 75.0% [30.1%, 95.4%] 0.0% 10.0% 20.0%Reviews arrive later: the last windows have fewer. For a margin of about 5 points on an agreement near 90%, a window needs 139 reviews.
Regardez les intervalles. Les sept révisions sur sept concordent, et l’intervalle descend quand même jusqu’à 64,6 %. Avec 4 révisions, il va de 30,1 % à 95,4 %. Onze révisions ne disent presque rien sur la qualité. La section suivante montre pourquoi.
Un petit exemple : quelle certitude avec 17 sur 20?
Section intitulée « Un petit exemple : quelle certitude avec 17 sur 20? »Les agents ont révisé 20 billets, et 17 concordent avec l’assistant : 85 %. L’assistant est-il sous le SLO de 90 %?
Vous ne pouvez pas le savoir avec 20 révisions. L’intervalle de Wilson donne la plage de valeurs de concordance compatibles avec les révisions, avec une confiance de 95 %. Il fonctionne bien pour les petits nombres et les proportions proches de 0 % ou de 100 %, où la formule simple échoue. Exécutez-le pour 20, 100 et 1 000 révisions avec le même taux de 85 % :
Exécutez du Python dans votre navigateur
Un intervalle de concordance et les révisions nécessaires
La boîte affiche les trois intervalles et 139. Puis essayez wilson(0, 139) et reviews_needed(0.9, 0.02).
Tab ajoute quatre espaces. Appuyez sur Esc, puis sur Tab, pour quitter la zone. Ctrl+Enter exécute le code.
17 of 20: 85.0%, 95% interval [64.0%, 94.8%]85 of 100: 85.0%, 95% interval [76.7%, 90.7%]850 of 1000: 85.0%, 95% interval [82.7%, 87.1%]Reviews for a margin of 5 points near 90%: 139Avec 20 révisions, la vérité pourrait être 64 % ou 94,8 % : le SLO pourrait être enfreint ou respecté. Avec 100, l’intervalle atteint encore 90,7 %. Il faut 1 000 révisions pour que tout l’intervalle soit sous 90 %.
Inversons maintenant la question : combien de révisions faut-il pour une marge de ±5 points? La formule du projet : n = 1,96² × p × (1 − p) ÷ marge². Avec p = 0,9 et une marge de 0,05 : 3,8416 × 0,9 × 0,1 ÷ 0,0025 = 138,3, donc 139 révisions. Une marge plus petite coûte beaucoup plus cher, parce que la marge est au carré :
Description textuelle du graphique
Quatre colonnes. Une marge de plus ou moins 10 points demande 35 révisions. Plus ou moins 5 points en demande 139, la colonne d’une deuxième couleur, le choix du cours. Plus ou moins 3 points en demande 385. Plus ou moins 2 points en demande 865.
Combien de billets faut-il vérifier?
Section intitulée « Combien de billets faut-il vérifier? »La question de Grace est pratique : « Combien de billets mes agents doivent-ils réviser, et quand? »
Larkfield reçoit 822 billets par jour. Pour une vérification quotidienne avec une marge d’environ 5 points, les agents doivent réviser 139 billets par jour : environ 1 sur 6. Une vérification hebdomadaire demande les mêmes 139 révisions parmi 5 754 billets : moins de 1 sur 40. Mais vous apprenez qu’il y a une baisse jusqu’à une semaine plus tard. C’est le compromis : plus de révisions donnent une réponse plus rapide et plus sûre.
Trois règles rendent l’échantillon utile :
- Aléatoire, pas choisi. Révisez des billets tirés au hasard, pas seulement ceux dont les clients se plaignent. Les plaintes sont biaisées, comme l’a montré Rétroaction de la production.
- Aussi par sous-groupe. Si les billets en français représentent 5 % du total, 139 révisions aléatoires en contiennent environ 7 en français. Pour connaître la qualité des billets en français, révisez-en volontairement davantage. La dérive indique quel sous-groupe échantillonner, comme dans la dernière leçon.
- La sécurité ne repose pas sur un échantillon. Le SLO de sécurité n’a aucune marge d’erreur : un billet qui nécessitait une personne et n’en a rejoint aucune est un SEV-1. Avec 139 révisions et aucun cas manqué, l’intervalle de Wilson du taux de cas manqués monte encore à 2,7 %. Un échantillon ne peut pas prouver « aucun ». La sécurité demande donc une règle pour chaque billet, par exemple une personne pour chaque billet sans réponse valide. Le module 6 ajoute cette solution de repli.
Voici encore l’essai de dérive, par bloc de 1 000 billets, avec une ligne de plus : les 754 derniers billets de la semaine normale. Leurs révisions arrivaient 300 secondes de simulation plus tard, donc seulement 42 étaient arrivées à la fin de l’essai. python -m ops labels data/telemetry/normal-week.jsonl.gz --windows 1000 le montre dans sa dernière ligne.
Description textuelle du graphique
Quatre lignes sur un axe de 75 % à 100 %, avec une ligne à 90 %, le SLO de qualité. Le bloc normal de l’essai de dérive est à 95,1 %, de 92,8 % à 96,7 %. Le bloc français est à 95,8 %, de 93,6 % à 97,2 %. Le bloc policy-silent est à 85,3 %, de 81,8 % à 88,2 % : tout l’intervalle est à gauche de la ligne. Les 754 derniers billets de la semaine normale sont à 95,2 %. Mais seulement 42 révisions étaient arrivées, donc l’intervalle va de 84,2 % à 98,7 % et traverse la ligne.
Signaux indirects : quand ils aident et quand ils ne suffisent pas
Section intitulée « Signaux indirects : quand ils aident et quand ils ne suffisent pas »Quel signal rapide vous aurait averti avant les révisions? Comparez deux incidents de simulation. « La semaine dernière » désigne le changement de requête v3 (une reproduction de l’incident; les réponses sont de vrais enregistrements) :
python -m ops labels data/telemetry/release-full.jsonl.gz --by prompt2,400 tickets, 1,051 reviewed (44%); review delay median 120 s, p95 121 sprompt tickets reviewed agrees (95% interval) no answer to a person French------------ ------- -------- --------------------- --------- ----------- ------assistant-v2 602 307 93.8% [90.5%, 96.0%] 0.2% 27.0% 4.5%assistant-v3 1798 744 83.7% [80.9%, 86.2%] 10.3% 29.7% 6.5%Reviews arrive later: the last windows have fewer. For a margin of about 5 points on an agreement near 90%, a window needs 139 reviews.| Signal | « La semaine dernière » : v2 → v3 | Essai de dérive : normal → policy-silent |
|---|---|---|
| Réponses sans texte (connues immédiatement) | 0,2 % → 10,3 % | 0,1 % → 0,3 % |
| Envoyés à une personne (connus immédiatement) | 27,0 % → 29,7 % | 25,1 % → 24,8 % |
| Messages en français (connus immédiatement) | 4,5 % → 6,5 % | 5,4 % → 3,4 % |
| Concordance avec les révisions (connue plus tard) | 93,8 % → 83,7 % | 95,1 % → 85,3 % |
Dans « la semaine dernière », un signal indirect a bondi immédiatement : une réponse sur dix n’avait pas de texte. L’alerte no-answer (aucune réponse) de Qualité et coûts le détecte en environ une minute, bien avant toute révision. Dans le bloc policy-silent, aucun signal indirect n’a bougé. Les décisions étaient valides et mauvaises, et seules les révisions pouvaient le montrer.
Les signaux indirects détectent donc les défaillances visibles dans la sortie : aucun texte, erreurs, réponses lentes, hausse du coût. Les révisions détectent les décisions qui semblent bonnes, mais sont mauvaises. Il vous faut les deux. Un tableau de bord avec seulement des signaux indirects reste vert pendant le deuxième type de défaillance.
Quand utiliser les étiquettes tardives et ce qu’elles coûtent
Section intitulée « Quand utiliser les étiquettes tardives et ce qu’elles coûtent »Sam demande : « Pourquoi ne pas laisser l’assistant se vérifier lui-même, ou demander à un deuxième modèle? »
Priya répond : « Un modèle juge est un autre assistant, avec ses propres erreurs. Il peut aider à trier les billets à réviser. Mais le SLO porte sur ce que nos agents jugent correct, donc l’étiquette doit venir d’eux. »
Utilisez les étiquettes tardives pour chaque mesure de qualité et de sécurité. Écrivez le délai à côté du SLO pour que chacun sache à quel point la mesure arrive tard. Comptez les fenêtres en révisions, pas en minutes, quand le rythme des révisions change.
Utilisez les signaux indirects pour des alertes rapides sur les défaillances visibles dans la sortie. Ne présentez jamais un signal indirect comme une mesure de qualité.
Ce que cela coûte : le temps des agents. À 139 révisions par jour et une ou deux minutes par révision, cela représente deux à cinq heures de travail quotidien. L’outil de révision doit aussi envoyer chaque révision au service pour la relier à la décision. Et la qualité est toujours connue tard : au rythme de Larkfield, un jour plus tard pour une vérification quotidienne.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
send_reviews n'envoie rien
Symptôme : python -m scripts.send_reviews --delay 120 --share 0.5 affiche :
Reviews sent: 0; tickets not reviewed: 0.Cause : aucun billet n’est assez ancien. Le script révise seulement les billets arrivés depuis au moins --delay secondes, et il a déjà traité les plus anciens (practice/reviewed.jsonl). Il affiche aussi ce message quand practice/sent.jsonl n’existe pas encore.
Solution : attendez 2 minutes et relancez-le, ou ajoutez --follow pour le laisser fonctionner jusqu’à Ctrl+C. Envoyez d’abord des billets de simulation si vous n’en avez aucun.
Erreur courante
Une fenêtre dans ops labels affiche « - » pour la concordance
Symptôme : la dernière ligne de ops labels contient 0 dans « reviewed » (révisés) et - dans « agrees » (concordent).
Cause : les révisions de ces billets ne sont pas encore arrivées. C’est l’écart de la chronologie de rétroaction, pas un bogue.
Solution : lisez la qualité seulement dans les fenêtres avec assez de révisions : 139 pour une marge d’environ 5 points. Lisez les colonnes des signaux indirects pour la fenêtre la plus récente, et attendez ses révisions.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Pourquoi l'alerte de désaccord sur 30 minutes est-elle restée inactive pendant l'essai de dérive, malgré un accord final de 85,3 %? Nommez la cause et un changement qui la corrige.
Afficher la réponse
L’essai durait 27,5 minutes d’exercice. Une fenêtre de 30 minutes contenait donc toujours toutes les révisions depuis le début. Les bonnes révisions des 2 000 premiers billets diluaient les mauvaises : au plus 7,9 % étaient en désaccord, sous le seuil de 10 %. Une solution : compter la fenêtre en révisions, par exemple les 139 dernières révisions. Ainsi, les anciennes révisions quittent la fenêtre quand de nouvelles arrivent. Une fenêtre temporelle plus courte aide aussi, tant qu’elle contient assez de révisions.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Faites une prédiction : l'équipe de Grace peut réviser 35 billets par jour. Quelle marge obtient-on pour un accord quotidien proche de 90 %? Est-ce suffisant pour dire que le SLO de qualité n'est pas respecté à 85 %?
Afficher la réponse
35 révisions donnent une marge d’environ ±10 points (le diagramme à barres : 35 révisions pour 10 points). Avec 30 révisions sur 35 en accord (85,7 %), l’intervalle de Wilson va de 70,6 % à 93,7 %. Il inclut 90 %, donc 35 révisions ne permettent pas de montrer que le SLO n’est pas respecté. Combinez plusieurs jours, ce qui retarde la réponse, ou révisez plus de billets.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : montrez qu'une révision de votre projet est enregistrée avec la décision de l'assistant. Lisez ensuite l'accord et son intervalle. Quelles sorties le prouvent?
Afficher la réponse
curl -X POST …/v1/tickets/T-500001/review renvoie du JSON avec assistant_team (équipe de l’assistant), agrees (accord) et delay_seconds (délai en secondes). SELECT … FROM ticket_reviews montre l’équipe de l’agent et celle de l’assistant sur la même ligne, avec la version de la requête. python -m ops labels telemetry/ticket-api.jsonl telemetry/ticket-worker.jsonl --windows 10 affiche le nombre de révisions et l’accord avec un intervalle à 95 % pour chaque fenêtre.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une étiquette est la vraie réponse; chez Larkfield, c’est la révision d’un agent. Une étiquette tardive arrive des heures ou des jours après la décision. Les SLO de qualité et de sécurité ne peuvent utiliser que des étiquettes tardives.
- Un signal indirect est rapide et peu coûteux : réponses sans texte, erreurs, coût, proportion transmise à une personne. Il indique où chercher. Il a détecté « la semaine dernière » (10,3 % sans texte). Il a manqué le bloc où la politique restait silencieuse, où seuls les résultats des révisions se dégradaient.
- La chronologie de rétroaction montre le délai entre la décision et sa révision. Seuls les signaux rapides couvrent ce délai.
- Un intervalle de Wilson indique le degré de certitude d’un accord. Une marge d’environ 5 points près de 90 % demande 139 révisions, soit environ 1 billet sur 6 parmi les 822 billets quotidiens de Larkfield. La sécurité exige une règle pour chaque billet, pas un échantillon.
- Une alerte de qualité sur une fenêtre temporelle peut mélanger d’anciennes bonnes révisions avec de nouvelles mauvaises révisions. Comptez la fenêtre en révisions.
Ensuite, les défaillances propres aux services de modèles de langage : des réponses qui citent d’anciens documents, et un modèle que le fournisseur change sans vous avertir.
Leçon suivante : Régressions des LLM et du RAG