Régressions des LLM et du RAG
- Leçon 13
- 55 min
- Module 4 : Surveiller les changements de comportement
Où nous en sommes
Dans les deux leçons précédentes, nous avons surveillé la dérive et prévu les étiquettes tardives. Mais un service de modèle de langage a ses propres défaillances, et chacune laisse tous les SLI classiques au vert : des réponses qui citent un ancien document ou n'ont aucun texte, et un fournisseur qui échoue ou change le modèle sans vous prévenir. Dans cette leçon, nous donnons à chaque défaillance son propre signal. Nous commençons par un bureau touristique et son présentoir de dépliants.
Leçon 13 sur 19 · MLOps et LLMOps : exploiter l'IA en productionRégressions des LLM et du RAG
1. Définir la responsabilité opérationnelle
2. Versionner et reproduire le système
3. Instrumenter une télémétrie utile
4. Surveiller les changements de comportement
5. Mettre en production et améliorer en toute sécurité
6. Gérer les incidents et la passation
Ce que vous saurez faire
Repérez les défaillances propres à un service de modèle de langage. Les réponses citent un ancien document ou n’ont aucun texte. Le fournisseur échoue ou change le modèle sans vous prévenir. Chaque cas laisse tous les SLI classiques au vert.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les signaux indirects et les étiquettes tardives, dans Étiquettes tardives.
- Les réponses aux questions avec les documents du magasin et le cache partagé, dans Clés et invalidation. La qualité de la récupération, dans Métriques de récupération.
- La version du modèle dans le manifeste de mise en production, dans Configuration propre aux LLM. Les règles d’alerte dans Grafana, dans Qualité et coûts.
Ce qu’il vous faut sur votre ordinateur
- Votre projet après la dernière leçon :
python -m pytestaffiche207 passed(207 tests réussis). - Docker exécutant PostgreSQL et Valkey, ainsi que le simulateur, l’API et le processus dans trois terminaux.
Le présentoir de dépliants
Section intitulée « Le présentoir de dépliants »Un bureau touristique répond aux questions des visiteurs avec les dépliants d’un présentoir. Il nomme toujours la source : « C’est dans le dépliant des autobus. »
Un lundi, la compagnie d’autobus change son horaire, et personne ne remplace les dépliants. Toute la semaine, le personnel donne des réponses claires et assurées, avec une source. Les réponses sont fausses, mais rien ne semble anormal. La même semaine, la compagnie confie le trajet à un nouveau chauffeur sans prévenir personne. Les autobus circulent encore, mais sur une autre route.
Un service de modèle de langage a aussi son présentoir de dépliants, et un fournisseur qui peut changer le chauffeur.
Le problème : des réponses qui semblent justes, mais des faits erronés
Section intitulée « Le problème : des réponses qui semblent justes, mais des faits erronés »Le site de Larkfield répond aux questions des clients avec les documents du magasin. Dans cette leçon, vous examinez le scénario d’index périmé, un exercice que nous avons créé exprès. Pendant 15 minutes d’exercice, les clients ont posé environ 1 question par seconde, et le service a trié 450 billets de soutien. Les réponses aux billets sont de vrais enregistrements; les changements sont construits :
- À +4,0 minutes, l’équipe de Grace a changé le document
delivery-policy: livraison gratuite à partir de 75 dollars plutôt que 100. Personne n’a reconstruit la copie des documents dans laquelle les réponses font leurs recherches. - À +7,3 minutes, le fournisseur simulé a commencé à répondre avec une autre version du modèle,
gpt-6-luna-2026-11-04, sous le même nom de déploiement. Il est revenu à la version précédente à +9,8 minutes.
Pendant 1,3 minutes, 22 réponses sur 443 ont cité l’ancienne version de la politique de livraison. Pendant 2,4 minutes, une version du modèle jamais évaluée a trié 72 billets sur 450.
Les SLI de délai de réponse, d’acceptation et de brouillon sont restés à 100 %. Aucune erreur, aucun dépassement de délai et aucune réponse vide.
L’idée : cinq régressions qui exigent leurs propres signaux
Section intitulée « L’idée : cinq régressions qui exigent leurs propres signaux »Une régression est un changement qui dégrade le service. La RAG, ou génération augmentée par récupération, signifie que le service cherche d’abord des documents (récupération). Un modèle rédige ensuite la réponse à partir de ces documents (génération). Cinq régressions sont propres à ce type de service :
- Sources périmées. L’index dans lequel les réponses font leurs recherches est plus ancien que les documents. La réponse est complète et cite une source, mais cette source est périmée. C’est le dépliant dans le présentoir.
- Citations défaillantes. La réponse cite une version qui n’est pas à jour, ou ne cite aucune source.
- Réponses sans texte. Le modèle a utilisé tous ses jetons (tokens) sans rien écrire (
finish_reason: length). Vous avez rencontré ce cas dans « la semaine dernière ». - Erreurs d’outils et de fournisseurs. Les appels échouent, dépassent le délai ou sont renvoyés par le disjoncteur. Le travail attend ou se perd.
- Changements de version du modèle. Le fournisseur exécute un autre modèle sous le même nom. Rien n’échoue, mais les réponses peuvent changer. C’est le nouveau chauffeur.
Description textuelle du diagramme
L’équipe de Grace modifie les documents. L’index des réponses est une copie créée par python -m scripts.reindex. Tant que personne n’exécute cette commande, la copie garde la version 4. Une question cherche les 2 meilleurs documents dans l’index. Le modèle du fournisseur rédige la réponse à partir de ces documents, avec leurs versions. Trois signaux surveillent le parcours : fraîcheur à l’index, signaux du fournisseur et du modèle au modèle, et citations défaillantes à la réponse.
Un petit exemple : une source périmée
Section intitulée « Un petit exemple : une source périmée »Trois documents, avec leurs versions actuelles, et l’index, qui contient encore la version 4 de la politique de livraison. Une réponse utilise deux documents. Comptez ses sources périmées :
Exécutez du Python dans votre navigateur
Compter les sources périmées d'une réponse
La boîte indique que l’index est en retard pour delivery-policy. Elle affiche les sources de la réponse, delivery-policy@4 et large-item-delivery@2, ainsi que stale_sources: 1 (une source périmée). Reconstruisez l’index, ou changez les documents que la réponse utilise, puis exécutez de nouveau l’exemple.
Tab ajoute quatre espaces. Appuyez sur Esc, puis sur Tab, pour quitter la zone. Ctrl+Enter exécute le code.
index behind the documents on: ['delivery-policy']source_versions: ['delivery-policy@4', 'large-item-delivery@2']stale_sources: 1Deux signaux différents sont apparus. Ils répondent à deux questions :
- La fraîcheur des sources demande : l’index est-il en retard sur les documents? Ici, oui, pour un document. Chaque réponse issue de cet index est à risque.
- Une citation défaillante demande : cette réponse a-t-elle utilisé une ancienne version? Ici, oui, pour une source. Une réponse utilisant seulement
returns-policyetlarge-item-deliveryserait correcte, même si l’index est en retard.
L’index de récupération dans le projet
Section intitulée « L’index de récupération dans le projet »Avant ce module, les réponses cherchaient directement dans la table documents. La migration 019 ajoute answer_index : une copie des documents actuels, avec une colonne de recherche et une version d’index. La version d’index est une empreinte de toutes les versions des documents au moment de la construction. C’est la même idée que l’empreinte de requête (prompt) du module 2.
Maintenant, chaque réponse fait trois choses :
- Elle cherche dans
answer_index, et non dansdocuments. - Elle renvoie
source_versions(versions des sources), par exempledelivery-policy@4, telles qu’elles figurent dans l’index. - Elle compare chaque source à la version actuelle dans
documents. Elle renvoiestale_sources: le nombre de sources anciennes. Elle le fait chaque fois, même pour une réponse venant du cache.
scripts/update_document.py publie une nouvelle version d’un document, comme le fait l’équipe de Grace. Il ne reconstruit pas l’index. scripts/reindex.py le reconstruit, et --check (vérifier) compare seulement les deux versions. La clé de cache contient maintenant la version d’index. Un index reconstruit donne donc aussi de nouvelles clés de cache.
Rendez l’index périmé et observez le résultat
Section intitulée « Rendez l’index périmé et observez le résultat »Redémarrez le simulateur, l’API et le processus, chacun dans un terminal, comme dans la dernière leçon. Sous Windows, tapez curl.exe plutôt que curl, et mettez chaque commande sur une seule ligne, sans le \.
-
Vérifiez que l’index est à jour. La commande se termine avec le code 0 si c’est le cas.
Fenêtre de terminal python -m scripts.reindex --checkIndex version 75cf862216c3, documents version 75cf862216c3: the index is up to date. -
Posez une question en tant que client C-0022 :
Fenêtre de terminal curl -X POST http://127.0.0.1:8000/v1/answers -H "Content-Type: application/json" \-H "X-Customer-ID: C-0022" -d '{"question": "How much is delivery and when is it free?"}'{"answer":"The document \"Delivery policy\" has the details. Your latest ticket is T-30171 (resolved): Question about the garden hose (25 m).","scope":"customer:C-0022","sources":["delivery-policy","large-item-delivery"],"source_versions":["delivery-policy@4","large-item-delivery@2"],"stale_sources":0,"cached":false}Le texte de la réponse vient du gabarit du simulateur, pas d’un vrai modèle. Les sources sont réelles : version 4 de la politique de livraison, et aucune source périmée.
-
Publiez une nouvelle version de la politique de livraison. C’est un changement d’exercice : livraison gratuite à partir de 75 dollars.
Fenêtre de terminal python -m scripts.update_document delivery-policy --replace "free at 100" "free at 75"delivery-policy: version 5 is current (was 4). The answers' index still has the old text: python -m scripts.reindex --check -
Vérifiez de nouveau l’index et affichez son code de sortie. Sous Windows, tapez
$LASTEXITCODEplutôt que$?.Fenêtre de terminal python -m scripts.reindex --checkecho $?Index version 75cf862216c3, documents version cfc422a3b860: the index is OLDER than the documents.1Le code de sortie 1 permet à un script ou à une tâche d’intégration continue de s’arrêter.
-
Posez de nouveau la même question :
Fenêtre de terminal curl -X POST http://127.0.0.1:8000/v1/answers -H "Content-Type: application/json" \-H "X-Customer-ID: C-0022" -d '{"question": "How much is delivery and when is it free?"}'{"answer":"The document \"Delivery policy\" has the details. Your latest ticket is T-30171 (resolved): Question about the garden hose (25 m).","scope":"customer:C-0022","sources":["delivery-policy","large-item-delivery"],"source_versions":["delivery-policy@4","large-item-delivery@2"],"stale_sources":1,"cached":true}Le cache a donné la même réponse (
"cached":true, réponse en cache). La vérification a quand même détecté l’ancienne source :stale_sourcesvaut 1. Pour un client, cette réponse ressemble exactement à la première. -
Reconstruisez l’index :
Fenêtre de terminal python -m scripts.reindexRebuilt the index from 34 current documents: index version cfc422a3b860 (was 75cf862216c3). -
Posez encore la question :
Fenêtre de terminal curl -X POST http://127.0.0.1:8000/v1/answers -H "Content-Type: application/json" \-H "X-Customer-ID: C-0022" -d '{"question": "How much is delivery and when is it free?"}'{"answer":"The document \"Delivery policy\" has the details. Your latest ticket is T-30171 (resolved): Question about the garden hose (25 m).","scope":"customer:C-0022","sources":["delivery-policy","large-item-delivery"],"source_versions":["delivery-policy@5","large-item-delivery@2"],"stale_sources":0,"cached":false}La nouvelle version d’index a créé une nouvelle clé de cache (
"cached":false, réponse hors cache). La réponse cite maintenantdelivery-policy@5.
Examinez l’exécution avec l’index périmé
Section intitulée « Examinez l’exécution avec l’index périmé »ops rag lit les mêmes signaux dans la télémétrie enregistrée. Chaque ligne représente 1,5 minutes d’exercice :
python -m ops rag data/telemetry/stale-index.jsonl.gz --windows 1.5443 answers to questions, 450 triaged tickets, 0 jobs to retry, from +0.0 min to +15.0 minminutes answers old sources no source index behind tickets other model provider errors------- ------- ----------- --------- ------------ ------- ----------- ---------------0-1.5 42 0 (0%) 0 0 44 0 01.5-3 45 0 (0%) 0 0 45 0 03-4.5 44 8 (18%) 0 14 45 0 04.5-6 44 14 (32%) 0 26 45 0 06-7.5 41 0 (0%) 0 0 45 3 07.5-9 45 0 (0%) 0 0 45 45 09-10.5 45 0 (0%) 0 0 45 24 010.5-12 45 0 (0%) 0 0 45 0 012-13.5 46 0 (0%) 0 0 45 0 013.5-15 46 0 (0%) 0 0 45 0 015-16.5 0 - 0 0 1 0 0Model versions in the answers: gpt-6-luna-2026-09-22 378, gpt-6-luna-2026-11-04 72 (the release expects gpt-6-luna-2026-09-22)Lisez les colonnes comme dans le petit exemple :
- index en retard : 14 + 26 = 40 réponses provenaient d’un index plus ancien que les documents. C’est la fraîcheur des sources.
- anciennes sources : 8 + 14 = 22 de ces réponses ont réellement cité l’ancienne politique de livraison. C’est la citation défaillante. Les 18 autres utilisaient des documents qui n’avaient pas changé.
- autre modèle : 3 + 45 + 24 = 72 billets ont été triés par
gpt-6-luna-2026-11-04. - aucune source et erreurs du fournisseur sont restées à 0 pendant cette exécution.
- Réponses qui citent une ancienne version
- Billets traités par une autre version du modèle
Description textuelle du graphique
L’axe des x montre les 15 minutes d’exercice. La première courbe compte les réponses qui citent une ancienne version. Elle reste à 0 jusqu’à la minute 4, puis indique 8, 8 et 6 par demi-minute, et 0 après la reconstruction. La deuxième courbe compte les billets traités par une autre version du modèle. Elle reste à 0 jusqu’à la minute 7, puis indique 3, puis 15 par demi-minute jusqu’à la minute 9,5. Elle indique ensuite 9, puis 0 à partir de la minute 10,5. Environ 15 réponses et 15 billets sont arrivés chaque demi-minute.
Les règles d’alerte de Grafana ont détecté les deux changements. L’alerte old-sources s’est déclenchée 0,26 minutes après le changement de document. L’alerte model-version-changed s’est déclenchée 0,44 minutes après le changement du fournisseur. Dans le scénario, une étape scriptée de garde a lu la première alerte et reconstruit l’index à +5,3 minutes. Voici les 10 règles d’alerte du cours et leur comportement pendant cette exécution, selon le registre des alertes de Grafana :
| Règle | Ce qu’elle surveille | Pendant l’exécution avec l’index périmé |
|---|---|---|
old-sources |
Les réponses citent d’anciennes versions de documents | Déclenchée à +4,27 min, 0,26 min après le changement de document |
model-version-changed |
Le fournisseur a répondu avec une autre version du modèle | Déclenchée à +7,78 min, 0,44 min après le changement du fournisseur |
no-answer |
Réponses sans texte | Inactive |
cost-over-budget |
Coût d’IA par 1 000 billets supérieur au budget | Inactive |
triage-slow |
Appels de triage lents (p95 supérieur à 8 s) | Inactive |
reviews-disagree |
Les agents sont en désaccord avec l’assistant (SLO de qualité) | Inactive (aucune révision pendant cette exécution) |
accept-fast-burn |
Billets refusés (budget du SLO d’acceptation consommé rapidement) | Inactive |
draft-fast-burn |
Billets sans brouillon valide (budget du SLO de brouillon consommé rapidement) | Inactive |
drafts-late |
Brouillons en retard (le billet le plus ancien attend plus de 2 minutes) | Inactive |
provider-circuit-open |
Fournisseur d’IA défaillant (disjoncteur ouvert) | Inactive |
Seules old-sources et model-version-changed se sont déclenchées. Les huit autres règles sont restées inactives : aucune erreur, aucun appel lent, aucune réponse vide.
Écrivez l’alerte pour le signal voulu
Section intitulée « Écrivez l’alerte pour le signal voulu »La première version de model-version-changed comptait chaque appel de conversation. Mais les réponses aux questions déclarent chat-small (simulated) (petit modèle de conversation simulé) du simulateur comme modèle. L’alerte s’est donc déclenchée à +0,4 minutes, avant tout changement. La règle compte maintenant uniquement les appels de triage (app_prompt_version!=""). Une alerte déclenchée pour un événement non visé apprend aux gens à l’ignorer. Testez une règle sur une période où vous savez que rien ne s’est passé.
Une version du modèle qui change à votre insu
Section intitulée « Une version du modèle qui change à votre insu »Un fournisseur peut mettre à jour le modèle derrière un nom de déploiement. Dans Configuration propre aux LLM, le manifeste a reçu expected_version (version attendue) pour ce cas. Chaque réponse indique le modèle qui a répondu, et la télémétrie le conserve sous gen_ai.response.model.
Le simulateur peut reproduire ce changement. Essayez-le sur votre propre service :
-
Demandez au simulateur de répondre avec une autre version du modèle. C’est un changement d’exercice, fait exprès.
Fenêtre de terminal curl -X POST http://127.0.0.1:8300/admin/model-version -H "Content-Type: application/json" \-d '{"model_version": "gpt-6-luna-2026-11-04"}'{"model_version":"gpt-6-luna-2026-11-04"} -
Envoyez 6 billets d’exercice et attendez que le processus les ait traités :
Fenêtre de terminal python -m scripts.practice --tickets 6 --rate 2 -
Rétablissez la version :
Fenêtre de terminal curl -X POST http://127.0.0.1:8300/admin/model-version -H "Content-Type: application/json" \-d '{"model_version": "gpt-6-luna-2026-09-22"}' -
Arrêtez l’API et le processus avec Ctrl+C. Lisez ensuite votre propre télémétrie :
Fenêtre de terminal python -m ops rag telemetry/ticket-api.jsonl telemetry/ticket-worker.jsonl --windows 13 answers to questions, 26 triaged tickets, 0 jobs to retry, from +0.0 min to +2.4 minminutes answers old sources no source index behind tickets other model provider errors------- ------- ----------- --------- ------------ ------- ----------- ---------------0-1 0 - 0 0 20 0 02-3 3 1 (33%) 0 1 6 6 0Model versions in the answers: gpt-6-luna-2026-09-22 20, gpt-6-luna-2026-11-04 6 (the release expects gpt-6-luna-2026-09-22)Vos fichiers de télémétrie contiennent cette leçon et la précédente : les 20 billets d’Étiquettes tardives, vos 3 questions et les 6 nouveaux billets. Vos minutes et votre nombre de questions peuvent différer.
Les 6 billets triés par gpt-6-luna-2026-11-04 figurent dans la colonne « autre modèle ». La dernière ligne compte les versions. L’unique ancienne source vient de votre deuxième question dans Rendez l’index périmé et observez le résultat, avant la reconstruction. Rien n’a échoué : chaque billet a reçu une réponse valide. C’est pourquoi seul ce signal peut montrer le changement.
La correction dépend de la cause. Si le fournisseur a changé le déploiement volontairement, la nouvelle version exige sa propre évaluation. Elle exige aussi un nouveau manifeste de mise en production qui l’attend. Sinon, demandez au fournisseur de fixer la version. D’ici là, l’alerte est le seul signe.
Réponses sans texte et erreurs du fournisseur
Section intitulée « Réponses sans texte et erreurs du fournisseur »Les deux autres régressions figurent dans des exécutions enregistrées auparavant :
- Réponses sans texte.
python -m ops summary data/telemetry/release-full.jsonl.gzafficheTickets triaged: 2,400 (ok: 2,203, no_answer: 187, dead_letter: 10)(billets triés : 2 400, dont 2 203 réussis, 187 sans réponse et 10 en file de rejet). 186 provenaient de la requête v3, et une de l’unique enregistrement tronqué de v2 (T-65450). Ce dernier déclenche aussi l’alerte d’absence de réponse sur une mise en production saine : du bruit, traité au module 6. - Erreurs du fournisseur.
python -m ops rag data/telemetry/outage.jsonl.gz --windows 2montre 3 138 tâches à réessayer pendant la panne du fournisseur simulé : 3 102 renvoyées par le disjoncteur ouvert et 36 nouvelles tentatives. Le module 6 transforme ce cas en guide d’exploitation.
Quand surveiller ces signaux et ce qu’ils coûtent
Section intitulée « Quand surveiller ces signaux et ce qu’ils coûtent »Sam demande : « Pourquoi ne pas reconstruire l’index chaque nuit et arrêter de s’inquiéter? »
Tomás répond : « Une reconstruction nocturne laisse jusqu’à une journée d’anciennes réponses après un changement. Et personne n’est prévenu si elle échoue. Reconstruisez après chaque changement et gardez la vérification. »
Surveillez la fraîcheur et les citations dès que les réponses viennent de documents qui changent. Intégrez reindex --check à chaque changement de document. Surveillez la version du modèle à chaque appel d’un modèle hébergé. Ne créez pas d’alertes pour ces signaux quand rien ne change. Un ensemble de documents fixe et versionné exige seulement la vérification au moment de la mise en production.
Ce qu’ils coûtent : une recherche en base de données par réponse, un attribut par appel et quelques règles d’alerte. Le vrai coût est le suivi : chaque alerte de source périmée exige une reconstruction, et chaque changement de modèle exige une évaluation.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
update_document indique que le texte est absent
Symptôme : python -m scripts.update_document delivery-policy --replace "free at 100" "free at 75" se termine avec le code 1 :
Version 5 of delivery-policy has no text 'free at 100'.Cause : vous l’avez exécuté deux fois. La version 5 indique déjà « free at 75 » (gratuit à partir de 75).
Correction : rien n’est brisé. Pour repartir de la version 4, exécutez python -m scripts.load --reset. Cette commande charge les documents et reconstruit l’index.
Erreur courante
La réponse est juste, mais stale_sources vaut 1
Symptôme : après un changement de document, une réponse contient "cached":true et "stale_sources":1, même si vous pensez que le cache fonctionne bien.
Cause : la clé de cache contient la version d’index, pas la version des documents. Jusqu’à la reconstruction, le cache donne l’ancienne réponse, et le service signale correctement son ancienne source.
Correction : reconstruisez l’index avec python -m scripts.reindex. Ne videz pas le cache à la place : l’index resterait ancien, et la prochaine réponse citerait encore la version 4.
Exercice du module : concevoir deux alertes
Section intitulée « Exercice du module : concevoir deux alertes »L’exercice de ce module : concevoir des alertes pour un index périmé et un classificateur dont les décisions se dégradent. D’abord, un exemple détaillé montre chaque étape. Ensuite, vous concevez vous-même la deuxième alerte.
Exemple détaillé : l’alerte d’index périmé
Section intitulée « Exemple détaillé : l’alerte d’index périmé »Une alerte comporte sept parties. Les voici pour les sources périmées :
| Partie | Valeur | Pourquoi |
|---|---|---|
| Signal | réponses dont les sources ne sont pas à jour (stale_sources > 0) |
l’échec de citation que subissent les clients |
| Où | le compteur app_answers_served_total{stale="true"} dans Grafana; ops rag sur la télémétrie enregistrée |
les deux lisent les mêmes événements |
| Règle | toute réponse de ce type dans les 10 dernières minutes, sans attente (for: 0s) |
une seule source périmée est déjà une erreur; le SLO des sources des réponses ne permet que 1 % |
| Gravité | SEV-3 | incorrect, mais sans danger; le taux de consommation du budget du SLO des sources des réponses était de 4,97 durant l’exécution |
| Responsable | Tomás | il est responsable de l’index de récupération |
| Action | le guide d’exploitation stale-index.md : exécuter python -m scripts.reindex, puis --check |
une commande suffit pour corriger le problème; un guide d’exploitation décrit les étapes pour un type de panne, comme vous en rédigerez dans Guides d’exploitation au module 6 |
| Test | sur l’exécution enregistrée : déclenchement 0,26 minute après le changement; 0 alerte avant | une règle jamais testée reste une supposition |
Ajoutez une mesure de prévention : après chaque modification d’un document, exécutez python -m scripts.reindex --check. Traitez le code de sortie 1 comme un échec de l’étape. L’alerte détecte ce que la prévention manque.
À vous : une alerte pour les décisions qui se dégradent
Section intitulée « À vous : une alerte pour les décisions qui se dégradent »Concevez l’alerte dont Priya a besoin pour la dégradation des performances. Elle doit se déclencher dans le bloc sans mention de politique de l’exécution de dérive. Elle ne doit pas se déclencher pendant la semaine normale, ni pendant le déploiement canari du module 5. Les révisions y semblent normales. Vous savez, grâce à Étiquettes tardives, pourquoi la règle de 30 minutes n’a rien signalé.
- Rédigez les sept parties, comme dans le tableau ci-dessus.
- Choisissez une fenêtre en nombre de révisions et justifiez ce nombre.
- Testez-la avec
python -m ops labelssurdrift.jsonl.gz,normal-week.jsonl.gzetcanary.jsonl.gz, avec des fenêtres de 250 ou 500 billets (environ 120 à 250 révisions dans l’exécution de dérive). - Indiquez le délai de déclenchement après le début du bloc sans mention de politique, et ce qu’elle ne peut pas détecter.
Solution détaillée
| Partie | Valeur | Pourquoi |
|---|---|---|
| Signal | la proportion de révisions en désaccord avec l’équipe choisie par l’assistant ou sa décision de faire intervenir une personne | la mesure même du SLO de qualité |
| Où | événements ticket.reviewed (app_tickets_reviewed_total); ops labels sur la télémétrie enregistrée |
la révision et la décision sont enregistrées ensemble |
| Règle | plus de 10 % de désaccords dans les 139 dernières révisions | 139 donne une marge d’environ 5 points près de 90 %; les anciennes révisions quittent la fenêtre quand les nouvelles arrivent |
| Gravité | SEV-3; SEV-2 si le désaccord reste supérieur à 10 % pendant une journée de billets | le budget du SLO se consume, mais les clients reçoivent des réponses valides |
| Responsable | Priya | elle est responsable de la qualité du modèle |
| Action | guide d’exploitation quality-drop.md : répartir les révisions défavorables par sous-groupe et version; examiner ce sous-groupe manuellement; ouvrir un registre d’expérience; aucun changement automatique |
la cause détermine la correction |
| Test | voir ci-dessous |
Testez avec les fenêtres fournies par ops labels :
python -m ops labels data/telemetry/drift.jsonl.gz --windows 2503,000 tickets, 1,445 reviewed (48%); review delay median 120 s, p95 121 swindow tickets reviewed agrees (95% interval) no answer to a person French----------- ------- -------- --------------------- --------- ----------- ------ 1-250 250 122 95.1% [89.7%, 97.7%] 0.0% 23.6% 3.6% 251-500 250 125 93.6% [87.9%, 96.7%] 0.4% 29.7% 6.0% 501-750 250 112 93.8% [87.7%, 96.9%] 0.0% 24.4% 5.2% 751-1000 250 115 98.3% [93.9%, 99.5%] 0.0% 22.8% 6.8% 1001-1250 250 114 97.4% [92.5%, 99.1%] 0.0% 25.2% 23.2% 1251-1500 250 124 95.2% [89.8%, 97.8%] 0.0% 24.8% 25.6% 1501-1750 250 121 95.9% [90.7%, 98.2%] 0.0% 18.8% 23.2% 1751-2000 250 136 94.9% [89.8%, 97.5%] 0.4% 27.3% 27.6% 2001-2250 250 118 85.6% [78.1%, 90.8%] 0.4% 26.1% 2.8% 2251-2500 250 122 86.9% [79.8%, 91.8%] 0.0% 25.6% 2.8% 2501-2750 250 113 81.4% [73.3%, 87.5%] 0.8% 23.0% 3.2% 2751-3000 250 123 87.0% [79.9%, 91.8%] 0.0% 24.4% 4.8%Reviews arrive later: the last windows have fewer. For a margin of about 5 points on an agreement near 90%, a window needs 139 reviews.Les 8 premières fenêtres ont un accord de 93,6 % à 98,3 %, donc aucune alerte. Les 4 fenêtres du bloc sans mention de politique ont un accord de 81,4 % à 87,0 %. La règle se déclenche donc dès la première. Avec --windows 500, chaque fenêtre de normal-week.jsonl.gz contenant des révisions présente un accord de 92,5 % à 96,4 %. Chaque fenêtre de canary.jsonl.gz présente un accord de 91,8 % à 96,7 %. La règle ne signale rien dans les deux cas.
Les auteurs du cours ont vérifié la règle exacte, révision par révision, sur les exécutions enregistrées :
| Exécution | Plus de 10 % dans les 139 dernières révisions? | Plus de 10 % dans les 100 dernières révisions? |
|---|---|---|
| Dérive | première fois à la révision 992, à la minute 19,1 de l’exercice (14 désaccords sur 139) | première fois à la révision 988, à la minute 19,0 |
| Semaine normale | jamais | jamais |
| Canari | jamais | une fois, à la minute 18,9 : une fausse alerte |
| « Semaine dernière » | première fois à la minute 7,6, soit 2,6 minutes après la requête v3 | première fois à la minute 7,7 |
La fenêtre de 139 révisions déclenche donc l’alerte 2,4 minutes d’exercice après le début du bloc sans mention de politique. Les premières révisions mettent 2 minutes à arriver, puis environ 20 révisions suffisent. Avec 100 révisions, la fenêtre fluctue davantage et produit une fausse alerte dans l’exécution canari. Au rythme de Larkfield, multipliez par environ 210 : quelques heures, si la proportion de révisions correspond à celle de l’exercice (une estimation).
Ce qu’elle ne peut pas détecter : ce qui précède les révisions, une baisse trop faible pour 139 révisions (90 % → 88 %), et la cause. L’étape suivante consiste à lire les billets en désaccord.
Vérification de fin : la dérive seule ne prouve pas une erreur
Section intitulée « Vérification de fin : la dérive seule ne prouve pas une erreur »Omar écrit dans le clavardage de l’équipe : « La vérification de dérive de Priya indique un changement LARGE (important) pour les billets en français. L’assistant ne fonctionne plus pour les clients francophones. Revenez à l’ancienne version aujourd’hui! »
Rédigez la réponse de Grace en cinq phrases ou moins. Utilisez l’exécution de dérive enregistrée comme preuve. Dites ce que la vérification de dérive montre et ne montre pas. Indiquez ce que les révisions montrent et ce que l’équipe fait ensuite.
Solution détaillée
« La vérification de dérive a raison : les billets ont changé. Le français est passé d’environ 5 % à 25 %, avec un PSI de 0,343 pour la langue estimée. La dérive indique que les entrées ont changé, pas que les décisions sont mauvaises. Les révisions de ces mêmes billets par les agents concordent avec l’assistant dans 95,8 % [93,6 %, 97,2 %] des 495 révisions, contre 95,1 % auparavant. Il n’y a donc aucune raison de revenir en arrière; cela modifierait une version qui fonctionne. Nous allons examiner volontairement plus de billets en français pendant une semaine. Par ailleurs, les billets sans mention de politique sont à 85,3 %, sans dérive linguistique, et Priya ouvre une enquête à leur sujet. »
Une bonne réponse distingue les deux affirmations : les entrées ont changé (PSI) et les décisions se dégradent (accord avec un intervalle). Elle cite les deux et n’utilise pas la dérive comme preuve d’une erreur.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Dans l'exécution avec l'index périmé, 40 réponses provenaient d'un index en retard, et 22 citaient une ancienne version. Expliquez la différence et indiquez lesquelles ont touché les clients.
Afficher la réponse
« Index en retard » décrit l’actualité des sources : l’index était plus ancien que les documents. Chaque réponse pendant ces minutes présentait donc un risque. « Sources périmées » désigne l’échec de citation : les 22 réponses qui utilisaient réellement la politique de livraison modifiée. Les 18 autres utilisaient des documents inchangés et étaient donc correctes. Les clients ont subi les 22 réponses incorrectes. Le signal d’actualité reste utile, car il se déclenche avant qu’un client pose une question utilisant le document périmé.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : le fournisseur change la version du modèle, et la nouvelle version est aussi bonne que l'ancienne. L'alerte de version du modèle devrait-elle se déclencher? Que devrait faire l'équipe?
Afficher la réponse
Oui, elle devrait se déclencher. L’alerte dit « quelque chose qu’aucune évaluation n’a testé répond aux clients », pas « les réponses sont moins bonnes ». L’équipe exécute l’évaluation de la version publiée sur la nouvelle version du modèle, en passant par la barrière du module 5. Si elle réussit, l’équipe crée un nouveau manifeste de version qui prévoit la nouvelle version du modèle, et l’alerte cesse. Sans vérification, le prochain changement pourrait être moins bon.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : montrez que votre service signale une source périmée et que la reconstruction élimine ce signal. Quelles sorties le prouvent?
Afficher la réponse
Après python -m scripts.update_document delivery-policy --replace "free at 100" "free at 75", python -m scripts.reindex --check affiche the index is OLDER than the documents (l’index est plus ancien que les documents) et se termine avec le code 1. La même question retourne alors "source_versions":["delivery-policy@4", …] et "stale_sources":1. Après python -m scripts.reindex, --check indique up to date (à jour), et la réponse cite delivery-policy@5 avec "stale_sources":0.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
Ce module a suivi les comportements qui changent après une mise en production. Vous pouvez maintenant :
- Distinguer la dérive des données, la dérive des prédictions, la dérive conceptuelle et la dégradation des performances. Tester la dérive des entrées avec le PSI (ampleur) et un test du khi carré (certitude), avec un seuil écrit.
- Montrer que la dérive seule ne prouve pas une erreur. Dans l’exécution de dérive, les billets en français ont dérivé sans perte de qualité. Les billets sans mention de politique ont perdu en qualité sans dérive.
- Prévoir les étiquettes tardives : révisions enregistrées avec la décision, chronologie de rétroaction et signaux indirects pendant l’attente. Utiliser 139 révisions pour une marge d’environ 5 points.
- Surveiller les régressions d’un service RAG, chacune avec son signal : sources périmées, échecs de citation, réponses sans texte, erreurs du fournisseur et changements de version du modèle.
- Concevoir une alerte en sept parties et la tester sur des exécutions enregistrées avant de lui faire confiance.
Ensuite, le module 5 utilise ces preuves avant qu’un changement atteigne les clients. Il applique une barrière d’évaluation, puis un déploiement canari qui détecte les problèmes de la requête v3 sur quelques billets.
Leçon suivante : Barrières d'évaluation