Aller au contenu
English

Dérive des données et dérive conceptuelle

  • Leçon 11
  • 55 min
  • Module 4 : Surveiller les changements de comportement

Où nous en sommes

Dans le module 3, nous avons fait en sorte que le service nous dise ce qu'il fait, par version et sans texte privé. Mais les billets eux-mêmes changent : plus de billets arrivent en français, et les documents de la boutique changent. Dans cette leçon, nous mesurons à quel point les entrées ont changé, et nous séparons cela de la vraie question : l'assistant se trompe-t-il maintenant? Nous commençons par une personne qui trie les lettres dans un bureau de poste.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Déterminez quand les billets de soutien qui arrivent à l’assistant changent. Mesurez ensuite ce changement avec une méthode déclarée. Puis distinguez « les entrées ont changé » de « l’assistant se trompe maintenant ». Seul le deuxième cas nuit aux clients, et la dérive seule ne permet pas de le montrer.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 55 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre projet ticket-api à la fin du module 3, ou une copie de l’instantané end-of-m03. python -m pytest affiche 200 passed (200 tests réussis).
  • Docker exécutant PostgreSQL et Valkey (docker compose up -d db cache), pour la migration et les tests.
  • La télémétrie enregistrée dans data/telemetry/, copiée du dépôt d’exercices dans Lignée des artefacts.

Aucun compte, aucune clé et aucuns frais. Les étapes qui lisent les fichiers enregistrés n’ont pas besoin de Docker.

Imaginez une personne qui trie les lettres dans un bureau de poste. Elle lit le code postal sur chaque enveloppe et place la lettre dans le sac du quartier correspondant. Elle fait ce travail depuis des années et le fait bien.

Trois choses différentes peuvent changer pendant sa semaine :

  • Plus de lettres arrivent de l’étranger. Les enveloppes sont différentes, et l’écriture est nouvelle. La règle reste la même : le code postal 4 va dans le sac 4. La personne peut encore trier chaque lettre correctement.
  • La ville déplace une rue dans un autre quartier. Les enveloppes sont exactement comme avant. Mais ce code postal correspond maintenant à un autre sac, et l’ancienne règle de tri est incorrecte.
  • Des lettres arrivent dans le mauvais quartier. Personne ne le voit à la table de tri. La personne l’apprend plusieurs jours plus tard, quand les quartiers renvoient les lettres qu’ils n’auraient pas dû recevoir.

Seul le troisième cas est une erreur mesurée, et le bureau de poste l’apprend tard. L’assistant du service de soutien connaît les mêmes trois types de changements.

Le problème : une alarme qui indique la mauvaise direction

Section intitulée « Le problème : une alarme qui indique la mauvaise direction »

Dans cette leçon, vous examinez une simulation que nous avons créée exprès : le scénario de dérive. Le service a reçu 3 000 billets d’exercice en trois blocs de 1 000. Les agents ont révisé la moitié des billets, 120 secondes après l’arrivée de chacun. Les réponses sont de vrais enregistrements du cours sur l’évaluation; la répartition des billets est construite :

  1. Normal : les billets habituels.
  2. Français : une nouvelle région commence à écrire, et les billets en français deviennent six fois plus probables.
  3. Politique muette : une nouvelle option de paiement apparaît. Les questions sans réponse dans la politique du magasin deviennent six fois plus probables.

Priya surveillait un seul nombre : la part des messages en français. Dans le deuxième bloc, elle est passée de 5 % à 25 %, et sa vérification indiquait changement IMPORTANT. Tomás a dit tout de suite : « L’alerte de dérive s’est déclenchée : réentraînons automatiquement. »

Puis les révisions des agents sont arrivées. Dans le bloc français, l’assistant était en accord avec les agents sur 95,8 % des billets révisés : aussi bien qu’avant. Dans le troisième bloc, la vérification de langue de Priya indiquait aucun changement réel. Mais l’accord est tombé à 85,3 %, sous le SLO de qualité de 90 %.

Sa seule alarme s’est déclenchée pour le changement sans danger et est restée silencieuse pour le changement nuisible.

Utilisez quatre noms et distinguez-les :

  • Dérive des données, aussi appelée dérive des entrées : les entrées changent. Plus de billets en français, des messages plus longs, un nouveau produit. Ce sont les lettres de l’étranger dans l’exemple du tri.
  • Dérive des prédictions : les décisions de l’assistant changent. Il envoie plus de billets à returns (retours), ou moins à une personne. Vous le voyez immédiatement, car les décisions sont dans la télémétrie.
  • Dérive conceptuelle : la bonne réponse pour la même entrée change. Le magasin crée une nouvelle règle, par exemple « chaque billet concernant une batterie nécessite maintenant une personne ». Les billets semblent identiques, mais les anciennes décisions sont maintenant incorrectes. C’est la rue déplacée dans un autre quartier.
  • Baisse de performance : la qualité mesurée diminue. Les décisions et les révisions des agents sont moins souvent en accord. C’est le seul des quatre cas qui dit « l’assistant se trompe maintenant ». Il nécessite les vraies réponses, les étiquettes.

La « dérive » désigne un écart lent ou soudain par rapport à une référence. La référence est une période fiable, par exemple les 1 000 premiers billets, quand les révisions confirmaient le bon fonctionnement de l’assistant.

Un flux de gauche à droite : le billet (l'entrée) arrive à l'assistant, qui donne sa décision (équipe, nécessite une personne). Une flèche pointillée portant l'étiquette « des heures ou des jours plus tard » relie la décision à la révision de l'agent (la bonne réponse), entourée d'une bordure épaisse. Quatre encadrés sont reliés au flux. La dérive des données, les billets changent, français de 5 % à 25 %, est reliée au billet. La dérive des prédictions, les décisions changent, plus de retours, est reliée à la décision. La dérive conceptuelle, la bonne réponse pour le même billet change, une nouvelle règle, et la baisse de performance, décisions et révisions moins souvent en accord, de 95 % à 85 %, sont reliées à la révision.
Où chaque type de changement apparaît. Seule la baisse de performance mesure les erreurs. Elle nécessite les révisions des agents, qui arrivent plus tard.
Description textuelle du diagramme

Le billet arrive à l’assistant, et l’assistant donne une décision. Des heures ou des jours plus tard, la révision d’un agent indique quelle était la bonne décision. La dérive des données est un changement dans les billets. La dérive des prédictions est un changement dans les décisions. La dérive conceptuelle change la bonne réponse; vous ne la voyez donc qu’à travers les révisions. La baisse de performance est le résultat mesuré : les décisions et les révisions sont moins souvent en accord.

La dérive des données et celle des prédictions sont rapides : la télémétrie les contient quelques secondes après chaque billet. La dérive conceptuelle et la baisse de performance nécessitent des étiquettes; elles sont donc lentes.

Un petit exemple : quelle ampleur et quelle certitude

Section intitulée « Un petit exemple : quelle ampleur et quelle certitude »

Pour parler de « dérive », vous devez noter une méthode et un seuil. Deux questions nécessitent deux nombres :

  • Quelle est l’ampleur du changement? Le projet utilise l’indice de stabilité de la population (PSI). Pour chaque catégorie, il prend le changement de proportion. Il le pondère selon le facteur d’augmentation ou de diminution de cette proportion. Puis il additionne les parties. Ainsi, une proportion qui passe de 5 % à 25 % compte beaucoup plus qu’une qui passe de 75 % à 95 %.
  • À quel point sommes-nous certains du changement? Un test du khi carré pose la question suivante : si rien n’avait changé, à quelle fréquence deux échantillons différeraient-ils autant par hasard? Cette probabilité est la valeur p. Le projet considère p < 0,01 comme « différent ».

Prenez 100 billets de référence, 95 en anglais et 5 en français, et 100 billets actuels, 75 en anglais et 25 en français. Pour chaque langue, la partie du PSI est (proportion actuelle − proportion de référence) × ln(proportion actuelle ÷ proportion de référence) :

  • Anglais : (0,75 − 0,95) × ln(0,75 ÷ 0,95) = (−0,20) × (−0,236) = 0,047
  • Français : (0,25 − 0,05) × ln(0,25 ÷ 0,05) = 0,20 × 1,609 = 0,322

Le PSI est 0,047 + 0,322 = 0,369. Exécutez le calcul, puis changez les nombres de billets :

Exécutez du Python dans votre navigateur

PSI et test du khi carré sur 100 billets

L’encadré affiche chaque partie, le PSI 0.369 et le test du khi carré : statistique 15.7, valeur p 7.5e-05. Multipliez chaque nombre de billets par 10 et exécutez de nouveau le calcul. Puis essayez un petit changement, de 7 % → 14 % en français, avec 100 puis 1 000 billets.

Les quatre exécutions, côte à côte :

Référence → actuel Billets dans chaque groupe PSI Valeur p
5 % → 25 % en français 100 0,369 7,5e-05
5 % → 25 % en français 1 000 0,369 5,5e-36
7 % → 14 % en français 100 0,054 0,11
7 % → 14 % en français 1 000 0,054 3,3e-07

Lisez le tableau lentement. Le PSI dépend seulement des proportions; dix fois plus de billets donnent donc le même PSI. La valeur p dépend du nombre de billets. Avec 1 000 billets, le petit changement obtient une valeur p minuscule : il est réel, mais petit. Lisez donc les deux ensemble : le PSI pour l’ampleur, la valeur p pour la certitude.

Pour le PSI, on utilise une règle pratique : sous 0,1, aucun changement réel; de 0,1 à 0,2, un petit changement; au-dessus de 0,2, un changement important. C’est une convention issue de l’évaluation du crédit, pas une loi de la nature. Le projet l’inscrit dans ops/stats.py, pour que tout le monde utilise la même. Pour un nombre comme la longueur du message, le projet divise la référence en 10 classes de taille égale (déciles). Puis il compte les billets actuels dans ces mêmes classes.

Ce module ajoute des fichiers pour ses trois leçons : les outils de dérive et d’étiquettes, les révisions des agents et un index de récupération des réponses. Copiez-les maintenant, une seule fois. Chaque leçon explique ses propres fichiers.

  1. Dans un terminal, allez dans votre projet et activez l’environnement virtuel.

    Fenêtre de terminal
    cd ~/projects/ticket-api
    source .venv/bin/activate
  2. Copiez les fichiers du module depuis l’instantané end-of-m04. Onze fichiers sont nouveaux, et sept changent.

    Fenêtre de terminal
    S=../nextia-learning-labs/C25/snapshots/end-of-m04
    for f in migrations/018_ticket_reviews.sql migrations/019_answer_index.sql \
    ticket_api/reviews.py ticket_api/answers.py ticket_api/main.py ticket_api/repository.py \
    ticket_api/worker.py ops/stats.py ops/cmd_drift.py ops/cmd_labels.py ops/cmd_rag.py \
    scripts/reindex.py scripts/send_reviews.py scripts/update_document.py scripts/load.py \
    tests/test_monitoring.py contract/openapi.json README.md; do
    cp "$S/$f" "$f"
    done
  3. Appliquez les deux nouvelles migrations. Elles ajoutent deux tables et conservent vos données.

    Fenêtre de terminal
    python -m ticket_api.migrate
    applied 018_ticket_reviews
    applied 019_answer_index
    Database is up to date (19 migrations).
  4. Si votre .env contient une ligne RELEASE_ID avec un identifiant, mettez à jour la version. Son manifeste indique l’ancienne dernière migration; le service et les tests refuseraient donc de démarrer. Créez un nouveau manifeste pour la requête v2, comme dans Lignée des artefacts :

    Fenêtre de terminal
    python -m ops release build --prompt assistant-v2 --evidence baseline-v2-chat-small-r1-b6a2b9 --write

    La dernière ligne :

    Saved operations/releases/1.5.0-c7b614.toml. Run the service with RELEASE_ID=1.5.0-c7b614

    Dans .env, définissez RELEASE_ID avec l’identifiant affiché par votre commande. Votre identifiant diffère si votre projet est un dépôt Git ou si un fichier diffère. Si RELEASE_ID= est vide, sautez cette étape.

  5. Exécutez les tests. Vous devriez obtenir 207 passed (207 tests réussis), soit 7 de plus qu’avant :

    Fenêtre de terminal
    python -m pytest
    207 passed, 1 deselected in 24.87s
Fichiers Ce qu’ils ajoutent Leçon
ops/stats.py, ops/cmd_drift.py PSI, khi carré et Wilson avec la bibliothèque standard; python -m ops drift celle-ci
migrations/018_ticket_reviews.sql, ticket_api/reviews.py, main.py, repository.py, scripts/send_reviews.py, ops/cmd_labels.py les révisions des agents, POST /v1/tickets/{id}/review, python -m ops labels Étiquettes tardives
migrations/019_answer_index.sql, scripts/reindex.py, scripts/update_document.py, ticket_api/answers.py, scripts/load.py, ops/cmd_rag.py l’index de récupération des réponses et python -m ops rag Régressions des LLM et du RAG
tests/test_monitoring.py, contract/openapi.json, README.md, ticket_api/worker.py les tests, le contrat de l’API, les commandes; seulement la mise en forme dans worker.py les trois

Le fichier enregistré data/telemetry/drift.jsonl.gz contient le scénario de dérive. Chaque événement ticket.received (billet reçu) contient une estimation de la langue, faite à partir de mots courants; le texte lui-même n’est jamais enregistré. L’événement contient aussi la longueur du message en caractères et le canal. Chaque événement ticket.triaged (billet trié) contient la décision.

Comparez chaque bloc de 1 000 billets au premier :

Fenêtre de terminal
python -m ops drift data/telemetry/drift.jsonl.gz --windows 1000
Each window of 1000 tickets against the first window:
tickets French (guess) PSI language p PSI team
--------- -------------- ------------ ----- --------
1-1000 5.4% 0.000 1 0.000
1001-2000 24.9% 0.343 5e-34 0.016
2001-3000 3.4% 0.010 0.029 0.047

La première ligne est la référence; elle donne donc 0.000 comparée à elle-même. Le bloc français a un PSI de langue de 0,343 : au-dessus de 0,2, c’est un changement important. Sa valeur p ≈ 5e-34 indique qu’il ne s’agit pas du hasard. Le bloc politique muette a un PSI de 0,010 et p = 0,029 : aucun changement réel, et pas de « certitude » selon la règle p < 0,01.

La dernière colonne est la dérive des prédictions. L’équipe choisie par l’assistant a très peu changé : 0,016 et 0,047, tous deux sous 0,1.

Le rapport complet du cours pour chaque bloc, produit par la même fonction, ajoute la longueur du message. Elle a un peu changé dans les deux blocs : PSI de 0,196 dans le bloc français (médiane de 225 → 178 caractères) et de 0,119 dans le bloc politique muette. Dans le bloc politique muette, rien ne dépasse 0,2.

Des fenêtres plus petites montrent quand le changement commence et finit :

Fenêtre de terminal
python -m ops drift data/telemetry/drift.jsonl.gz --windows 500
Each window of 500 tickets against the first window:
tickets French (guess) PSI language p PSI team
--------- -------------- ------------ ------- --------
1-500 4.8% 0.000 1 0.000
501-1000 6.0% 0.003 0.4 0.013
1001-1500 24.4% 0.364 1.7e-18 0.018
1501-2000 25.4% 0.393 9.3e-20 0.018
2001-2500 2.8% 0.011 0.098 0.019
2501-3000 4.0% 0.002 0.54 0.065

La part du français passe d’environ 5 % à environ 25 %, puis revient à son niveau initial.

--at divise plutôt la simulation à une minute donnée. Divisez-la au milieu du bloc français, à la minute 9,2 :

Fenêtre de terminal
python -m ops drift data/telemetry/drift.jsonl.gz --at 9.2
Reference: before minute 9.2 (1,105 tickets). Current: from minute 9.2 (1,895 tickets).
kind feature PSI p-value verdict reference -> current
------ -------------- ----- -------- -------------- ------------------------------------------------------------
input language_guess 0.049 3.22e-08 no real change en 93% -> 86%, fr 7% -> 14%
input message_chars 0.098 1.71e-10 no real change median 223 -> 187 characters
input channel 0.000 1 no real change web_form 100% -> 100%
output team 0.023 0.00299 no real change delivery 28% -> 25%, warranty 21% -> 20%, returns 17% -> 21%
output needs_human 0.000 0.728 no real change False 75% -> 76%, True 25% -> 24%
output outcome 0.001 0.435 no real change ok 100% -> 100%, no_answer 0% -> 0%
PSI: < 0.1 no real change, 0.1-0.2 small, > 0.2 large (a rule of thumb). p-value: chi-square test; < 0.01 = the difference is unlikely to be chance.
Drift is not an error rate: compare the agents' reviews (python -m ops labels).

C’est encore le petit exemple, avec de vrais billets. La période actuelle mélange des billets français et des billets politique muette; le français passe donc seulement de 7 % à 14 %. Le PSI est de 0,049, sous 0,1, mais la valeur p est de 3,22e-08, car il y a presque 3 000 billets. Une alarme fondée seulement sur la valeur p se déclencherait pour ce petit changement. Et la dernière ligne le dit : la dérive n’est pas un taux d’erreur.

La dérive et l’exactitude indiquent des directions différentes

Section intitulée « La dérive et l’exactitude indiquent des directions différentes »

Ajoutez maintenant les révisions des agents. La prochaine leçon explique ops labels; ici, lisez seulement la colonne « agrees » (en accord) :

Fenêtre de terminal
python -m ops labels data/telemetry/drift.jsonl.gz --windows 1000
3,000 tickets, 1,445 reviewed (48%); review delay median 120 s, p95 121 s
window tickets reviewed agrees (95% interval) no answer to a person French
----------- ------- -------- --------------------- --------- ----------- ------
1-1000 1000 474 95.1% [92.8%, 96.7%] 0.1% 25.1% 5.4%
1001-2000 1000 495 95.8% [93.6%, 97.2%] 0.1% 24.0% 24.9%
2001-3000 1000 476 85.3% [81.8%, 88.2%] 0.3% 24.8% 3.4%
Reviews arrive later: the last windows have fewer. For a margin of about 5 points on an agreement near 90%, a window needs 139 reviews.

Placez les deux tableaux côte à côte :

Bloc PSI de langue Accord avec les révisions
Normal 0,000 (la référence) 95,1 %
Français 0,343, important 95,8 %, inchangé
Politique muette 0,010, aucun 85,3 %, sous le SLO

Le graphique place les deux signaux sur la même horloge. Chaque point est un bloc de 250 billets. La part du français est tracée à l’arrivée du dernier billet du bloc. L’accord est tracé à l’arrivée de la dernière révision du bloc, environ 2 minutes de simulation plus tard.

  • Messages en français, connus immédiatement
  • Accord avec les révisions, connu plus tard
  • SLO de qualité (90 %)
La simulation de dérive par blocs de 250 billets : les billets français augmentent à partir de la minute 8,3, et l'accord reste entre 94 % et 98 %. Après la minute 16,7, le français revient à son niveau initial, et l'accord tombe entre 81 % et 87 % à l'arrivée des révisions. Une simulation construite; les réponses sont de vrais enregistrements.
Description textuelle du graphique

L’axe des x montre les 28 minutes de la simulation de dérive. La première courbe, la part des messages en français, reste entre environ 4 % et 7 % jusqu’à la minute 8. Elle monte entre 23 % et 28 % de la minute 10 à la minute 17, puis redescend entre 3 % et 5 %. La deuxième courbe, l’accord avec les révisions des agents, commence à la minute 4. Elle reste entre 94 % et 98 % pendant que le français monte et descend, au-dessus de la ligne pointillée à 90 %. À partir de la minute 20,7, elle tombe entre 81 % et 87 %, sous la ligne, et y reste jusqu’à la fin.

Pourquoi le bloc politique muette a-t-il échoué sans dérive? Ces billets posent des questions sans réponse dans la politique du magasin; la bonne équipe est donc difficile à choisir. Dans le jeu d’exercice, ils ont toujours été le sous-groupe où l’assistant était faible. Leur langue et leur longueur semblent normales, et la répartition des équipes change à peine. Aucune des caractéristiques surveillées par Priya ne pouvait donc les détecter.

Ce n’est pas une dérive conceptuelle. La bonne réponse pour chacun de ces billets n’a pas changé. La répartition s’est déplacée vers des billets où l’assistant était déjà faible, selon une caractéristique que personne ne mesurait. Vous pouvez surveiller plus de caractéristiques. Mais vous ne pouvez jamais énumérer toutes les différences possibles entre les billets; c’est pourquoi les étiquettes existent.

Les signaux rapides des décisions n’ont pas aidé non plus. La part envoyée à une personne est restée près de 25 % dans les trois blocs :

Une série temporelle Grafana intitulée Sent to a person, share of valid decisions (envoyé à une personne, part des décisions valides). Une ligne verte pour assistant-v2 varie entre environ 21 % et 28 % pendant toute la simulation, de 00:15 à 00:43 sur l'horloge, sans saut à aucun moment.
La simulation de dérive dans Grafana : la part des billets envoyés à une personne par l'assistant est restée entre environ 21 % et 28 % dans les trois blocs. La dérive des prédictions était trop petite pour être visible. L’image est en anglais.

Cette ligne ne permet pas de savoir où commence l’un ou l’autre des blocs.

La simulation de dérive n’a aucune dérive conceptuelle; voici donc un exemple construit. Supposons que Larkfield décide que chaque billet concernant une batterie nécessite maintenant une personne, à cause d’une nouvelle règle de sécurité. Les billets concernant les batteries semblent exactement comme avant : mêmes mots, longueur et langue. L’assistant indique encore « aucune personne nécessaire » pour la plupart.

Les vérifications de dérive des données et des prédictions ne montrent rien, car ni les entrées ni les décisions n’ont changé. Seules les révisions le montrent : les agents indiquent maintenant « nécessite une personne » pour ces billets, et l’accord diminue. La correction est une nouvelle politique et une nouvelle requête, choisies selon la cause, comme le montre Réentraîner ou réviser au module 5.

« Alerte de dérive déclenchée : réentraîner automatiquement »

Section intitulée « « Alerte de dérive déclenchée : réentraîner automatiquement » »

L’idée de Tomás semble sûre. Elle ne l’est pas, pour trois raisons :

  1. Une dérive n’est pas une erreur. Le bloc en français le montre : un grand changement, sans perte.
  2. Il n’y a rien à réentraîner. L’assistant se compose d’une requête et d’un modèle hébergé. Une nouvelle requête est une mise en production. Elle doit franchir la barrière d’évaluation du module 5.
  3. La cause détermine la correction. Les billets non couverts par la politique exigent une réponse dans celle-ci; une nouvelle règle exige une nouvelle requête. Un réentraînement automatique ne choisit ni l’un ni l’autre.

Amira écrit la règle de l’équipe : une alerte de dérive ouvre une enquête, jamais un changement. Priya examine le sous-ensemble qui a changé et demande de réviser ces billets en premier. Elle décide ensuite à partir des révisions.

Sam demande : « Si la dérive ne prouve rien, pourquoi la surveiller? »

Priya répond : « Parce que c’est rapide. Les révisions prennent des jours. La dérive m’indique le jour même quels billets vérifier en premier. »

Surveillez la dérive de quelques entrées que vous pouvez expliquer : langue, longueur, canal, produit. Surveillez aussi les décisions : équipe et besoin d’une personne. Notez la période de référence, la méthode et le seuil dans un fichier, pour que tous lisent le même nombre.

N’alertez pas une personne sur la seule base d’une dérive, et ne déclenchez pas de changement à partir de celle-ci. Ne testez pas de nombreuses caractéristiques avec p < 0,01 en traitant chaque résultat significatif comme une nouvelle. Avec de grands échantillons, presque tout est « différent ».

Le coût : quelques lignes de statistiques et un attribut de télémétrie pour chaque entrée surveillée. Le vrai coût est l’attention : une personne doit examiner chaque alerte de dérive. Gardez donc une liste courte.

Erreur courante

ops drift s'arrête : moins de deux fenêtres

Symptôme : python -m ops drift data/telemetry/drift.jsonl.gz --windows 5000 affiche une ligne et se termine avec le code 2 :

ops drift: fewer than two windows of 5000 tickets

Cause : le fichier contient 3 000 billets. L’outil exige une fenêtre de référence et au moins une autre fenêtre complète.

Correction : utilisez une fenêtre contenant au plus la moitié des billets, par exemple --windows 1000. Une fenêtre doit aussi être assez grande pour mesurer ses proportions. Avec 50 billets, un billet en français fait varier la proportion de 2 points.

Erreur courante

ops drift avec un seul fichier et aucune division

Symptôme : python -m ops drift data/telemetry/drift.jsonl.gz se termine avec le code 2 :

ops drift: give two files, or one file with --at or --windows

Cause : la dérive compare toujours « cette période à cette autre période ». Avec un seul fichier, l’outil ne sait pas quelle période sert de référence.

Correction : ajoutez --windows N ou --at MINUTE, ou fournissez deux fichiers : la référence d’abord, puis le fichier actuel.

Réinitialisation. Si votre projet ne fonctionne plus, copiez l’instantané end-of-m04, gardez votre .env, puis exécutez python -m scripts.load --reset. Refaites ensuite l’étape 4 de Ajouter les fichiers du module. Le README des instantanés explique la réinitialisation.

Vérifiez votre compréhension

Nommez les quatre types de changement de cette leçon. Pour chacun, dites si la télémétrie du service peut le montrer le jour même, et pourquoi.

Afficher la réponse

Dérive des données (les billets changent) et dérive des prédictions (les décisions changent) : oui. Les deux apparaissent dans la télémétrie quelques secondes après chaque billet. Dérive conceptuelle (la bonne réponse pour le même billet change) et baisse de performance (les décisions concordent moins avec les révisions) : non. Les deux exigent les vraies réponses, soit les révisions des agents, qui arrivent plus tard. Une dérive conceptuelle peut survenir sans aucune dérive des données ni des prédictions.

Vérifiez votre compréhension

Prédisez : la proportion des billets de Larkfield concernant les retours passe de 20 % à 22 %. Avec 100 billets par période, puis 10 000, que deviennent le PSI et la valeur p?

Afficher la réponse

Le PSI reste identique dans les deux cas, car il dépend seulement des proportions. Il vaut (0,22 − 0,20) × ln(0,22 ÷ 0,20) + (0,78 − 0,80) × ln(0,78 ÷ 0,80) ≈ 0,0019 + 0,0005 ≈ 0,0024, bien en dessous de 0,1. La valeur p devient beaucoup plus petite avec 10 000 billets. Avec 100 billets, une différence de 2 points peut facilement venir du hasard. Avec 10 000, elle est réelle, mais minuscule. Rapportez « aucun changement réel », avec le PSI.

Vérifiez votre compréhension

Vérification pratique : avec l'exécution de dérive enregistrée, montrez un grand changement de langue sans baisse de qualité dans un bloc. Montrez aussi une baisse de qualité sans dérive des entrées dans un autre bloc. Quelles commandes et quelles lignes utilisez-vous?

Afficher la réponse

python -m ops drift data/telemetry/drift.jsonl.gz --windows 1000 : les billets 1 001–2 000 ont un PSI de langue de 0,343 (grand, p ≈ 5e-34); les billets 2 001–3 000 ont un PSI de 0,010. python -m ops labels data/telemetry/drift.jsonl.gz --windows 1000 : concordance de 95,8 % dans le bloc en français, et de 85,3 % [81,8 %, 88,2 %] dans le troisième bloc. Votre projet doit aussi afficher 207 passed (207 tests réussis).

Récapitulatif

  • La dérive des données est un changement des entrées, et la dérive des prédictions, un changement des décisions. La dérive conceptuelle est un changement de la bonne réponse pour une même entrée. La baisse de performance est une diminution mesurée de la qualité. C’est la seule qui mesure les erreurs, et elle exige des étiquettes.
  • Le PSI indique l’ampleur du changement d’une distribution (repères conventionnels : < 0,1 aucun, 0,1–0,2 petit, > 0,2 grand). La valeur p du khi carré indique votre degré de certitude. Avec beaucoup de billets, les changements minuscules donnent des valeurs p minuscules. Lisez donc les deux.
  • Dans l’exécution de dérive, les billets en français ont produit un grand changement (PSI de 0,343), sans perte de qualité (95,8 %). Les billets non couverts par la politique n’ont produit aucun changement réel de langue (0,010). La qualité a chuté à 85,3 %.
  • Une alerte de dérive ouvre une enquête. Elle ne déclenche jamais un réentraînement ni une mise en production.
  • Votre projet contient les fichiers du module, et python -m pytest affiche 207 passed.

Ensuite, vous examinez les étiquettes elles-mêmes : les révisions des agents. Elles arrivent tard. Que surveillez-vous entre-temps, et combien de billets les personnes doivent-elles vérifier?

Leçon suivante : Étiquettes tardives