Aller au contenu
English

Régressions des LLM et du RAG

  • Leçon 13
  • 55 min
  • Module 4 : Surveiller les changements de comportement

Où nous en sommes

Dans les deux leçons précédentes, nous avons surveillé la dérive et prévu les étiquettes tardives. Mais un service de modèle de langage a ses propres défaillances, et chacune laisse tous les SLI classiques au vert : des réponses qui citent un ancien document ou n'ont aucun texte, et un fournisseur qui échoue ou change le modèle sans vous prévenir. Dans cette leçon, nous donnons à chaque défaillance son propre signal. Nous commençons par un bureau touristique et son présentoir de dépliants.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Repérez les défaillances propres à un service de modèle de langage. Les réponses citent un ancien document ou n’ont aucun texte. Le fournisseur échoue ou change le modèle sans vous prévenir. Chaque cas laisse tous les SLI classiques au vert.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 55 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre projet après la dernière leçon : python -m pytest affiche 207 passed (207 tests réussis).
  • Docker exécutant PostgreSQL et Valkey, ainsi que le simulateur, l’API et le processus dans trois terminaux.

Un bureau touristique répond aux questions des visiteurs avec les dépliants d’un présentoir. Il nomme toujours la source : « C’est dans le dépliant des autobus. »

Un lundi, la compagnie d’autobus change son horaire, et personne ne remplace les dépliants. Toute la semaine, le personnel donne des réponses claires et assurées, avec une source. Les réponses sont fausses, mais rien ne semble anormal. La même semaine, la compagnie confie le trajet à un nouveau chauffeur sans prévenir personne. Les autobus circulent encore, mais sur une autre route.

Un service de modèle de langage a aussi son présentoir de dépliants, et un fournisseur qui peut changer le chauffeur.

Le problème : des réponses qui semblent justes, mais des faits erronés

Section intitulée « Le problème : des réponses qui semblent justes, mais des faits erronés »

Le site de Larkfield répond aux questions des clients avec les documents du magasin. Dans cette leçon, vous examinez le scénario d’index périmé, un exercice que nous avons créé exprès. Pendant 15 minutes d’exercice, les clients ont posé environ 1 question par seconde, et le service a trié 450 billets de soutien. Les réponses aux billets sont de vrais enregistrements; les changements sont construits :

  • À +4,0 minutes, l’équipe de Grace a changé le document delivery-policy : livraison gratuite à partir de 75 dollars plutôt que 100. Personne n’a reconstruit la copie des documents dans laquelle les réponses font leurs recherches.
  • À +7,3 minutes, le fournisseur simulé a commencé à répondre avec une autre version du modèle, gpt-6-luna-2026-11-04, sous le même nom de déploiement. Il est revenu à la version précédente à +9,8 minutes.

Pendant 1,3 minutes, 22 réponses sur 443 ont cité l’ancienne version de la politique de livraison. Pendant 2,4 minutes, une version du modèle jamais évaluée a trié 72 billets sur 450.

Les SLI de délai de réponse, d’acceptation et de brouillon sont restés à 100 %. Aucune erreur, aucun dépassement de délai et aucune réponse vide.

L’idée : cinq régressions qui exigent leurs propres signaux

Section intitulée « L’idée : cinq régressions qui exigent leurs propres signaux »

Une régression est un changement qui dégrade le service. La RAG, ou génération augmentée par récupération, signifie que le service cherche d’abord des documents (récupération). Un modèle rédige ensuite la réponse à partir de ces documents (génération). Cinq régressions sont propres à ce type de service :

  1. Sources périmées. L’index dans lequel les réponses font leurs recherches est plus ancien que les documents. La réponse est complète et cite une source, mais cette source est périmée. C’est le dépliant dans le présentoir.
  2. Citations défaillantes. La réponse cite une version qui n’est pas à jour, ou ne cite aucune source.
  3. Réponses sans texte. Le modèle a utilisé tous ses jetons (tokens) sans rien écrire (finish_reason: length). Vous avez rencontré ce cas dans « la semaine dernière ».
  4. Erreurs d’outils et de fournisseurs. Les appels échouent, dépassent le délai ou sont renvoyés par le disjoncteur. Le travail attend ou se perd.
  5. Changements de version du modèle. Le fournisseur exécute un autre modèle sous le même nom. Rien n’échoue, mais les réponses peuvent changer. C’est le nouveau chauffeur.
Un flux de gauche à droite. Les documents, dont delivery-policy version 5 que l'équipe de Grace modifie, passent par python -m scripts.reindex vers l'index des réponses. Cette copie reste à la version 4 jusqu'à sa reconstruction. La question d'un client et l'index entrent dans la recherche des 2 meilleurs documents. La recherche mène au modèle de conversation du fournisseur, qui produit la réponse avec la source delivery-policy@4, entourée d'une bordure épaisse. Trois cases de signaux se rattachent au flux par des lignes pointillées : fraîcheur des sources, index en retard sur les documents, reindex --check, à l'index; fournisseur et modèle : erreurs, nouvelles tentatives, aucune réponse, autre version du modèle, au modèle de conversation; citations défaillantes : anciennes sources, aucune source, stale_sources, à la réponse.
Le parcours d'une réponse et le point d'entrée de chaque régression. L'index est une copie qui peut être plus ancienne que les documents; le fournisseur contrôle le modèle.
Description textuelle du diagramme

L’équipe de Grace modifie les documents. L’index des réponses est une copie créée par python -m scripts.reindex. Tant que personne n’exécute cette commande, la copie garde la version 4. Une question cherche les 2 meilleurs documents dans l’index. Le modèle du fournisseur rédige la réponse à partir de ces documents, avec leurs versions. Trois signaux surveillent le parcours : fraîcheur à l’index, signaux du fournisseur et du modèle au modèle, et citations défaillantes à la réponse.

Trois documents, avec leurs versions actuelles, et l’index, qui contient encore la version 4 de la politique de livraison. Une réponse utilise deux documents. Comptez ses sources périmées :

Exécutez du Python dans votre navigateur

Compter les sources périmées d'une réponse

La boîte indique que l’index est en retard pour delivery-policy. Elle affiche les sources de la réponse, delivery-policy@4 et large-item-delivery@2, ainsi que stale_sources: 1 (une source périmée). Reconstruisez l’index, ou changez les documents que la réponse utilise, puis exécutez de nouveau l’exemple.

index behind the documents on: ['delivery-policy']
source_versions: ['delivery-policy@4', 'large-item-delivery@2']
stale_sources: 1

Deux signaux différents sont apparus. Ils répondent à deux questions :

  • La fraîcheur des sources demande : l’index est-il en retard sur les documents? Ici, oui, pour un document. Chaque réponse issue de cet index est à risque.
  • Une citation défaillante demande : cette réponse a-t-elle utilisé une ancienne version? Ici, oui, pour une source. Une réponse utilisant seulement returns-policy et large-item-delivery serait correcte, même si l’index est en retard.

Avant ce module, les réponses cherchaient directement dans la table documents. La migration 019 ajoute answer_index : une copie des documents actuels, avec une colonne de recherche et une version d’index. La version d’index est une empreinte de toutes les versions des documents au moment de la construction. C’est la même idée que l’empreinte de requête (prompt) du module 2.

Maintenant, chaque réponse fait trois choses :

  • Elle cherche dans answer_index, et non dans documents.
  • Elle renvoie source_versions (versions des sources), par exemple delivery-policy@4, telles qu’elles figurent dans l’index.
  • Elle compare chaque source à la version actuelle dans documents. Elle renvoie stale_sources : le nombre de sources anciennes. Elle le fait chaque fois, même pour une réponse venant du cache.

scripts/update_document.py publie une nouvelle version d’un document, comme le fait l’équipe de Grace. Il ne reconstruit pas l’index. scripts/reindex.py le reconstruit, et --check (vérifier) compare seulement les deux versions. La clé de cache contient maintenant la version d’index. Un index reconstruit donne donc aussi de nouvelles clés de cache.

Redémarrez le simulateur, l’API et le processus, chacun dans un terminal, comme dans la dernière leçon. Sous Windows, tapez curl.exe plutôt que curl, et mettez chaque commande sur une seule ligne, sans le \.

  1. Vérifiez que l’index est à jour. La commande se termine avec le code 0 si c’est le cas.

    Fenêtre de terminal
    python -m scripts.reindex --check
    Index version 75cf862216c3, documents version 75cf862216c3: the index is up to date.
  2. Posez une question en tant que client C-0022 :

    Fenêtre de terminal
    curl -X POST http://127.0.0.1:8000/v1/answers -H "Content-Type: application/json" \
    -H "X-Customer-ID: C-0022" -d '{"question": "How much is delivery and when is it free?"}'
    {"answer":"The document \"Delivery policy\" has the details. Your latest ticket is T-30171 (resolved): Question about the garden hose (25 m).","scope":"customer:C-0022","sources":["delivery-policy","large-item-delivery"],"source_versions":["delivery-policy@4","large-item-delivery@2"],"stale_sources":0,"cached":false}

    Le texte de la réponse vient du gabarit du simulateur, pas d’un vrai modèle. Les sources sont réelles : version 4 de la politique de livraison, et aucune source périmée.

  3. Publiez une nouvelle version de la politique de livraison. C’est un changement d’exercice : livraison gratuite à partir de 75 dollars.

    Fenêtre de terminal
    python -m scripts.update_document delivery-policy --replace "free at 100" "free at 75"
    delivery-policy: version 5 is current (was 4). The answers' index still has the old text: python -m scripts.reindex --check
  4. Vérifiez de nouveau l’index et affichez son code de sortie. Sous Windows, tapez $LASTEXITCODE plutôt que $?.

    Fenêtre de terminal
    python -m scripts.reindex --check
    echo $?
    Index version 75cf862216c3, documents version cfc422a3b860: the index is OLDER than the documents.
    1

    Le code de sortie 1 permet à un script ou à une tâche d’intégration continue de s’arrêter.

  5. Posez de nouveau la même question :

    Fenêtre de terminal
    curl -X POST http://127.0.0.1:8000/v1/answers -H "Content-Type: application/json" \
    -H "X-Customer-ID: C-0022" -d '{"question": "How much is delivery and when is it free?"}'
    {"answer":"The document \"Delivery policy\" has the details. Your latest ticket is T-30171 (resolved): Question about the garden hose (25 m).","scope":"customer:C-0022","sources":["delivery-policy","large-item-delivery"],"source_versions":["delivery-policy@4","large-item-delivery@2"],"stale_sources":1,"cached":true}

    Le cache a donné la même réponse ("cached":true, réponse en cache). La vérification a quand même détecté l’ancienne source : stale_sources vaut 1. Pour un client, cette réponse ressemble exactement à la première.

  6. Reconstruisez l’index :

    Fenêtre de terminal
    python -m scripts.reindex
    Rebuilt the index from 34 current documents: index version cfc422a3b860 (was 75cf862216c3).
  7. Posez encore la question :

    Fenêtre de terminal
    curl -X POST http://127.0.0.1:8000/v1/answers -H "Content-Type: application/json" \
    -H "X-Customer-ID: C-0022" -d '{"question": "How much is delivery and when is it free?"}'
    {"answer":"The document \"Delivery policy\" has the details. Your latest ticket is T-30171 (resolved): Question about the garden hose (25 m).","scope":"customer:C-0022","sources":["delivery-policy","large-item-delivery"],"source_versions":["delivery-policy@5","large-item-delivery@2"],"stale_sources":0,"cached":false}

    La nouvelle version d’index a créé une nouvelle clé de cache ("cached":false, réponse hors cache). La réponse cite maintenant delivery-policy@5.

ops rag lit les mêmes signaux dans la télémétrie enregistrée. Chaque ligne représente 1,5 minutes d’exercice :

Fenêtre de terminal
python -m ops rag data/telemetry/stale-index.jsonl.gz --windows 1.5
443 answers to questions, 450 triaged tickets, 0 jobs to retry, from +0.0 min to +15.0 min
minutes answers old sources no source index behind tickets other model provider errors
------- ------- ----------- --------- ------------ ------- ----------- ---------------
0-1.5 42 0 (0%) 0 0 44 0 0
1.5-3 45 0 (0%) 0 0 45 0 0
3-4.5 44 8 (18%) 0 14 45 0 0
4.5-6 44 14 (32%) 0 26 45 0 0
6-7.5 41 0 (0%) 0 0 45 3 0
7.5-9 45 0 (0%) 0 0 45 45 0
9-10.5 45 0 (0%) 0 0 45 24 0
10.5-12 45 0 (0%) 0 0 45 0 0
12-13.5 46 0 (0%) 0 0 45 0 0
13.5-15 46 0 (0%) 0 0 45 0 0
15-16.5 0 - 0 0 1 0 0
Model versions in the answers: gpt-6-luna-2026-09-22 378, gpt-6-luna-2026-11-04 72 (the release expects gpt-6-luna-2026-09-22)

Lisez les colonnes comme dans le petit exemple :

  • index en retard : 14 + 26 = 40 réponses provenaient d’un index plus ancien que les documents. C’est la fraîcheur des sources.
  • anciennes sources : 8 + 14 = 22 de ces réponses ont réellement cité l’ancienne politique de livraison. C’est la citation défaillante. Les 18 autres utilisaient des documents qui n’avaient pas changé.
  • autre modèle : 3 + 45 + 24 = 72 billets ont été triés par gpt-6-luna-2026-11-04.
  • aucune source et erreurs du fournisseur sont restées à 0 pendant cette exécution.
  • Réponses qui citent une ancienne version
  • Billets traités par une autre version du modèle
L'exécution avec l'index périmé par demi-minute : réponses avec d'anciennes sources du changement de document (+4,0) à la reconstruction (+5,3), puis billets traités par une autre version du modèle de +7,3 à +9,8. Un exercice construit.
Description textuelle du graphique

L’axe des x montre les 15 minutes d’exercice. La première courbe compte les réponses qui citent une ancienne version. Elle reste à 0 jusqu’à la minute 4, puis indique 8, 8 et 6 par demi-minute, et 0 après la reconstruction. La deuxième courbe compte les billets traités par une autre version du modèle. Elle reste à 0 jusqu’à la minute 7, puis indique 3, puis 15 par demi-minute jusqu’à la minute 9,5. Elle indique ensuite 9, puis 0 à partir de la minute 10,5. Environ 15 réponses et 15 billets sont arrivés chaque demi-minute.

Les règles d’alerte de Grafana ont détecté les deux changements. L’alerte old-sources s’est déclenchée 0,26 minutes après le changement de document. L’alerte model-version-changed s’est déclenchée 0,44 minutes après le changement du fournisseur. Dans le scénario, une étape scriptée de garde a lu la première alerte et reconstruit l’index à +5,3 minutes. Voici les 10 règles d’alerte du cours et leur comportement pendant cette exécution, selon le registre des alertes de Grafana :

Règle Ce qu’elle surveille Pendant l’exécution avec l’index périmé
old-sources Les réponses citent d’anciennes versions de documents Déclenchée à +4,27 min, 0,26 min après le changement de document
model-version-changed Le fournisseur a répondu avec une autre version du modèle Déclenchée à +7,78 min, 0,44 min après le changement du fournisseur
no-answer Réponses sans texte Inactive
cost-over-budget Coût d’IA par 1 000 billets supérieur au budget Inactive
triage-slow Appels de triage lents (p95 supérieur à 8 s) Inactive
reviews-disagree Les agents sont en désaccord avec l’assistant (SLO de qualité) Inactive (aucune révision pendant cette exécution)
accept-fast-burn Billets refusés (budget du SLO d’acceptation consommé rapidement) Inactive
draft-fast-burn Billets sans brouillon valide (budget du SLO de brouillon consommé rapidement) Inactive
drafts-late Brouillons en retard (le billet le plus ancien attend plus de 2 minutes) Inactive
provider-circuit-open Fournisseur d’IA défaillant (disjoncteur ouvert) Inactive

Seules old-sources et model-version-changed se sont déclenchées. Les huit autres règles sont restées inactives : aucune erreur, aucun appel lent, aucune réponse vide.

La première version de model-version-changed comptait chaque appel de conversation. Mais les réponses aux questions déclarent chat-small (simulated) (petit modèle de conversation simulé) du simulateur comme modèle. L’alerte s’est donc déclenchée à +0,4 minutes, avant tout changement. La règle compte maintenant uniquement les appels de triage (app_prompt_version!=""). Une alerte déclenchée pour un événement non visé apprend aux gens à l’ignorer. Testez une règle sur une période où vous savez que rien ne s’est passé.

Un fournisseur peut mettre à jour le modèle derrière un nom de déploiement. Dans Configuration propre aux LLM, le manifeste a reçu expected_version (version attendue) pour ce cas. Chaque réponse indique le modèle qui a répondu, et la télémétrie le conserve sous gen_ai.response.model.

Le simulateur peut reproduire ce changement. Essayez-le sur votre propre service :

  1. Demandez au simulateur de répondre avec une autre version du modèle. C’est un changement d’exercice, fait exprès.

    Fenêtre de terminal
    curl -X POST http://127.0.0.1:8300/admin/model-version -H "Content-Type: application/json" \
    -d '{"model_version": "gpt-6-luna-2026-11-04"}'
    {"model_version":"gpt-6-luna-2026-11-04"}
  2. Envoyez 6 billets d’exercice et attendez que le processus les ait traités :

    Fenêtre de terminal
    python -m scripts.practice --tickets 6 --rate 2
  3. Rétablissez la version :

    Fenêtre de terminal
    curl -X POST http://127.0.0.1:8300/admin/model-version -H "Content-Type: application/json" \
    -d '{"model_version": "gpt-6-luna-2026-09-22"}'
  4. Arrêtez l’API et le processus avec Ctrl+C. Lisez ensuite votre propre télémétrie :

    Fenêtre de terminal
    python -m ops rag telemetry/ticket-api.jsonl telemetry/ticket-worker.jsonl --windows 1
    3 answers to questions, 26 triaged tickets, 0 jobs to retry, from +0.0 min to +2.4 min
    minutes answers old sources no source index behind tickets other model provider errors
    ------- ------- ----------- --------- ------------ ------- ----------- ---------------
    0-1 0 - 0 0 20 0 0
    2-3 3 1 (33%) 0 1 6 6 0
    Model versions in the answers: gpt-6-luna-2026-09-22 20, gpt-6-luna-2026-11-04 6 (the release expects gpt-6-luna-2026-09-22)

    Vos fichiers de télémétrie contiennent cette leçon et la précédente : les 20 billets d’Étiquettes tardives, vos 3 questions et les 6 nouveaux billets. Vos minutes et votre nombre de questions peuvent différer.

Les 6 billets triés par gpt-6-luna-2026-11-04 figurent dans la colonne « autre modèle ». La dernière ligne compte les versions. L’unique ancienne source vient de votre deuxième question dans Rendez l’index périmé et observez le résultat, avant la reconstruction. Rien n’a échoué : chaque billet a reçu une réponse valide. C’est pourquoi seul ce signal peut montrer le changement.

La correction dépend de la cause. Si le fournisseur a changé le déploiement volontairement, la nouvelle version exige sa propre évaluation. Elle exige aussi un nouveau manifeste de mise en production qui l’attend. Sinon, demandez au fournisseur de fixer la version. D’ici là, l’alerte est le seul signe.

Les deux autres régressions figurent dans des exécutions enregistrées auparavant :

  • Réponses sans texte. python -m ops summary data/telemetry/release-full.jsonl.gz affiche Tickets triaged: 2,400 (ok: 2,203, no_answer: 187, dead_letter: 10) (billets triés : 2 400, dont 2 203 réussis, 187 sans réponse et 10 en file de rejet). 186 provenaient de la requête v3, et une de l’unique enregistrement tronqué de v2 (T-65450). Ce dernier déclenche aussi l’alerte d’absence de réponse sur une mise en production saine : du bruit, traité au module 6.
  • Erreurs du fournisseur. python -m ops rag data/telemetry/outage.jsonl.gz --windows 2 montre 3 138 tâches à réessayer pendant la panne du fournisseur simulé : 3 102 renvoyées par le disjoncteur ouvert et 36 nouvelles tentatives. Le module 6 transforme ce cas en guide d’exploitation.

Sam demande : « Pourquoi ne pas reconstruire l’index chaque nuit et arrêter de s’inquiéter? »

Tomás répond : « Une reconstruction nocturne laisse jusqu’à une journée d’anciennes réponses après un changement. Et personne n’est prévenu si elle échoue. Reconstruisez après chaque changement et gardez la vérification. »

Surveillez la fraîcheur et les citations dès que les réponses viennent de documents qui changent. Intégrez reindex --check à chaque changement de document. Surveillez la version du modèle à chaque appel d’un modèle hébergé. Ne créez pas d’alertes pour ces signaux quand rien ne change. Un ensemble de documents fixe et versionné exige seulement la vérification au moment de la mise en production.

Ce qu’ils coûtent : une recherche en base de données par réponse, un attribut par appel et quelques règles d’alerte. Le vrai coût est le suivi : chaque alerte de source périmée exige une reconstruction, et chaque changement de modèle exige une évaluation.

Erreur courante

update_document indique que le texte est absent

Symptôme : python -m scripts.update_document delivery-policy --replace "free at 100" "free at 75" se termine avec le code 1 :

Version 5 of delivery-policy has no text 'free at 100'.

Cause : vous l’avez exécuté deux fois. La version 5 indique déjà « free at 75 » (gratuit à partir de 75).

Correction : rien n’est brisé. Pour repartir de la version 4, exécutez python -m scripts.load --reset. Cette commande charge les documents et reconstruit l’index.

Erreur courante

La réponse est juste, mais stale_sources vaut 1

Symptôme : après un changement de document, une réponse contient "cached":true et "stale_sources":1, même si vous pensez que le cache fonctionne bien.

Cause : la clé de cache contient la version d’index, pas la version des documents. Jusqu’à la reconstruction, le cache donne l’ancienne réponse, et le service signale correctement son ancienne source.

Correction : reconstruisez l’index avec python -m scripts.reindex. Ne videz pas le cache à la place : l’index resterait ancien, et la prochaine réponse citerait encore la version 4.

L’exercice de ce module : concevoir des alertes pour un index périmé et un classificateur dont les décisions se dégradent. D’abord, un exemple détaillé montre chaque étape. Ensuite, vous concevez vous-même la deuxième alerte.

Une alerte comporte sept parties. Les voici pour les sources périmées :

Partie Valeur Pourquoi
Signal réponses dont les sources ne sont pas à jour (stale_sources > 0) l’échec de citation que subissent les clients
Où le compteur app_answers_served_total{stale="true"} dans Grafana; ops rag sur la télémétrie enregistrée les deux lisent les mêmes événements
Règle toute réponse de ce type dans les 10 dernières minutes, sans attente (for: 0s) une seule source périmée est déjà une erreur; le SLO des sources des réponses ne permet que 1 %
Gravité SEV-3 incorrect, mais sans danger; le taux de consommation du budget du SLO des sources des réponses était de 4,97 durant l’exécution
Responsable Tomás il est responsable de l’index de récupération
Action le guide d’exploitation stale-index.md : exécuter python -m scripts.reindex, puis --check une commande suffit pour corriger le problème; un guide d’exploitation décrit les étapes pour un type de panne, comme vous en rédigerez dans Guides d’exploitation au module 6
Test sur l’exécution enregistrée : déclenchement 0,26 minute après le changement; 0 alerte avant une règle jamais testée reste une supposition

Ajoutez une mesure de prévention : après chaque modification d’un document, exécutez python -m scripts.reindex --check. Traitez le code de sortie 1 comme un échec de l’étape. L’alerte détecte ce que la prévention manque.

À vous : une alerte pour les décisions qui se dégradent

Section intitulée « À vous : une alerte pour les décisions qui se dégradent »

Concevez l’alerte dont Priya a besoin pour la dégradation des performances. Elle doit se déclencher dans le bloc sans mention de politique de l’exécution de dérive. Elle ne doit pas se déclencher pendant la semaine normale, ni pendant le déploiement canari du module 5. Les révisions y semblent normales. Vous savez, grâce à Étiquettes tardives, pourquoi la règle de 30 minutes n’a rien signalé.

  1. Rédigez les sept parties, comme dans le tableau ci-dessus.
  2. Choisissez une fenêtre en nombre de révisions et justifiez ce nombre.
  3. Testez-la avec python -m ops labels sur drift.jsonl.gz, normal-week.jsonl.gz et canary.jsonl.gz, avec des fenêtres de 250 ou 500 billets (environ 120 à 250 révisions dans l’exécution de dérive).
  4. Indiquez le délai de déclenchement après le début du bloc sans mention de politique, et ce qu’elle ne peut pas détecter.
Solution détaillée
Partie Valeur Pourquoi
Signal la proportion de révisions en désaccord avec l’équipe choisie par l’assistant ou sa décision de faire intervenir une personne la mesure même du SLO de qualité
Où événements ticket.reviewed (app_tickets_reviewed_total); ops labels sur la télémétrie enregistrée la révision et la décision sont enregistrées ensemble
Règle plus de 10 % de désaccords dans les 139 dernières révisions 139 donne une marge d’environ 5 points près de 90 %; les anciennes révisions quittent la fenêtre quand les nouvelles arrivent
Gravité SEV-3; SEV-2 si le désaccord reste supérieur à 10 % pendant une journée de billets le budget du SLO se consume, mais les clients reçoivent des réponses valides
Responsable Priya elle est responsable de la qualité du modèle
Action guide d’exploitation quality-drop.md : répartir les révisions défavorables par sous-groupe et version; examiner ce sous-groupe manuellement; ouvrir un registre d’expérience; aucun changement automatique la cause détermine la correction
Test voir ci-dessous

Testez avec les fenêtres fournies par ops labels :

Fenêtre de terminal
python -m ops labels data/telemetry/drift.jsonl.gz --windows 250
3,000 tickets, 1,445 reviewed (48%); review delay median 120 s, p95 121 s
window tickets reviewed agrees (95% interval) no answer to a person French
----------- ------- -------- --------------------- --------- ----------- ------
1-250 250 122 95.1% [89.7%, 97.7%] 0.0% 23.6% 3.6%
251-500 250 125 93.6% [87.9%, 96.7%] 0.4% 29.7% 6.0%
501-750 250 112 93.8% [87.7%, 96.9%] 0.0% 24.4% 5.2%
751-1000 250 115 98.3% [93.9%, 99.5%] 0.0% 22.8% 6.8%
1001-1250 250 114 97.4% [92.5%, 99.1%] 0.0% 25.2% 23.2%
1251-1500 250 124 95.2% [89.8%, 97.8%] 0.0% 24.8% 25.6%
1501-1750 250 121 95.9% [90.7%, 98.2%] 0.0% 18.8% 23.2%
1751-2000 250 136 94.9% [89.8%, 97.5%] 0.4% 27.3% 27.6%
2001-2250 250 118 85.6% [78.1%, 90.8%] 0.4% 26.1% 2.8%
2251-2500 250 122 86.9% [79.8%, 91.8%] 0.0% 25.6% 2.8%
2501-2750 250 113 81.4% [73.3%, 87.5%] 0.8% 23.0% 3.2%
2751-3000 250 123 87.0% [79.9%, 91.8%] 0.0% 24.4% 4.8%
Reviews arrive later: the last windows have fewer. For a margin of about 5 points on an agreement near 90%, a window needs 139 reviews.

Les 8 premières fenêtres ont un accord de 93,6 % à 98,3 %, donc aucune alerte. Les 4 fenêtres du bloc sans mention de politique ont un accord de 81,4 % à 87,0 %. La règle se déclenche donc dès la première. Avec --windows 500, chaque fenêtre de normal-week.jsonl.gz contenant des révisions présente un accord de 92,5 % à 96,4 %. Chaque fenêtre de canary.jsonl.gz présente un accord de 91,8 % à 96,7 %. La règle ne signale rien dans les deux cas.

Les auteurs du cours ont vérifié la règle exacte, révision par révision, sur les exécutions enregistrées :

Exécution Plus de 10 % dans les 139 dernières révisions? Plus de 10 % dans les 100 dernières révisions?
Dérive première fois à la révision 992, à la minute 19,1 de l’exercice (14 désaccords sur 139) première fois à la révision 988, à la minute 19,0
Semaine normale jamais jamais
Canari jamais une fois, à la minute 18,9 : une fausse alerte
« Semaine dernière » première fois à la minute 7,6, soit 2,6 minutes après la requête v3 première fois à la minute 7,7

La fenêtre de 139 révisions déclenche donc l’alerte 2,4 minutes d’exercice après le début du bloc sans mention de politique. Les premières révisions mettent 2 minutes à arriver, puis environ 20 révisions suffisent. Avec 100 révisions, la fenêtre fluctue davantage et produit une fausse alerte dans l’exécution canari. Au rythme de Larkfield, multipliez par environ 210 : quelques heures, si la proportion de révisions correspond à celle de l’exercice (une estimation).

Ce qu’elle ne peut pas détecter : ce qui précède les révisions, une baisse trop faible pour 139 révisions (90 % → 88 %), et la cause. L’étape suivante consiste à lire les billets en désaccord.

Vérification de fin : la dérive seule ne prouve pas une erreur

Section intitulée « Vérification de fin : la dérive seule ne prouve pas une erreur »

Omar écrit dans le clavardage de l’équipe : « La vérification de dérive de Priya indique un changement LARGE (important) pour les billets en français. L’assistant ne fonctionne plus pour les clients francophones. Revenez à l’ancienne version aujourd’hui! »

Rédigez la réponse de Grace en cinq phrases ou moins. Utilisez l’exécution de dérive enregistrée comme preuve. Dites ce que la vérification de dérive montre et ne montre pas. Indiquez ce que les révisions montrent et ce que l’équipe fait ensuite.

Solution détaillée

« La vérification de dérive a raison : les billets ont changé. Le français est passé d’environ 5 % à 25 %, avec un PSI de 0,343 pour la langue estimée. La dérive indique que les entrées ont changé, pas que les décisions sont mauvaises. Les révisions de ces mêmes billets par les agents concordent avec l’assistant dans 95,8 % [93,6 %, 97,2 %] des 495 révisions, contre 95,1 % auparavant. Il n’y a donc aucune raison de revenir en arrière; cela modifierait une version qui fonctionne. Nous allons examiner volontairement plus de billets en français pendant une semaine. Par ailleurs, les billets sans mention de politique sont à 85,3 %, sans dérive linguistique, et Priya ouvre une enquête à leur sujet. »

Une bonne réponse distingue les deux affirmations : les entrées ont changé (PSI) et les décisions se dégradent (accord avec un intervalle). Elle cite les deux et n’utilise pas la dérive comme preuve d’une erreur.

Vérifiez votre compréhension

Dans l'exécution avec l'index périmé, 40 réponses provenaient d'un index en retard, et 22 citaient une ancienne version. Expliquez la différence et indiquez lesquelles ont touché les clients.

Afficher la réponse

« Index en retard » décrit l’actualité des sources : l’index était plus ancien que les documents. Chaque réponse pendant ces minutes présentait donc un risque. « Sources périmées » désigne l’échec de citation : les 22 réponses qui utilisaient réellement la politique de livraison modifiée. Les 18 autres utilisaient des documents inchangés et étaient donc correctes. Les clients ont subi les 22 réponses incorrectes. Le signal d’actualité reste utile, car il se déclenche avant qu’un client pose une question utilisant le document périmé.

Vérifiez votre compréhension

Prédisez : le fournisseur change la version du modèle, et la nouvelle version est aussi bonne que l'ancienne. L'alerte de version du modèle devrait-elle se déclencher? Que devrait faire l'équipe?

Afficher la réponse

Oui, elle devrait se déclencher. L’alerte dit « quelque chose qu’aucune évaluation n’a testé répond aux clients », pas « les réponses sont moins bonnes ». L’équipe exécute l’évaluation de la version publiée sur la nouvelle version du modèle, en passant par la barrière du module 5. Si elle réussit, l’équipe crée un nouveau manifeste de version qui prévoit la nouvelle version du modèle, et l’alerte cesse. Sans vérification, le prochain changement pourrait être moins bon.

Vérifiez votre compréhension

Vérification pratique : montrez que votre service signale une source périmée et que la reconstruction élimine ce signal. Quelles sorties le prouvent?

Afficher la réponse

Après python -m scripts.update_document delivery-policy --replace "free at 100" "free at 75", python -m scripts.reindex --check affiche the index is OLDER than the documents (l’index est plus ancien que les documents) et se termine avec le code 1. La même question retourne alors "source_versions":["delivery-policy@4", …] et "stale_sources":1. Après python -m scripts.reindex, --check indique up to date (à jour), et la réponse cite delivery-policy@5 avec "stale_sources":0.

Récapitulatif

Ce module a suivi les comportements qui changent après une mise en production. Vous pouvez maintenant :

  • Distinguer la dérive des données, la dérive des prédictions, la dérive conceptuelle et la dégradation des performances. Tester la dérive des entrées avec le PSI (ampleur) et un test du khi carré (certitude), avec un seuil écrit.
  • Montrer que la dérive seule ne prouve pas une erreur. Dans l’exécution de dérive, les billets en français ont dérivé sans perte de qualité. Les billets sans mention de politique ont perdu en qualité sans dérive.
  • Prévoir les étiquettes tardives : révisions enregistrées avec la décision, chronologie de rétroaction et signaux indirects pendant l’attente. Utiliser 139 révisions pour une marge d’environ 5 points.
  • Surveiller les régressions d’un service RAG, chacune avec son signal : sources périmées, échecs de citation, réponses sans texte, erreurs du fournisseur et changements de version du modèle.
  • Concevoir une alerte en sept parties et la tester sur des exécutions enregistrées avant de lui faire confiance.

Ensuite, le module 5 utilise ces preuves avant qu’un changement atteigne les clients. Il applique une barrière d’évaluation, puis un déploiement canari qui détecte les problèmes de la requête v3 sur quelques billets.

Leçon suivante : Barrières d'évaluation