Registre des expériences
- Leçon 7
- 50 min
- Module 2 : Versionner et reproduire le système
Où nous en sommes
Dans les deux leçons précédentes, nous avons relié chaque réponse à ses versions, y compris la requête et le modèle. Mais une version dit ce qui a changé, pas pourquoi, comment on l'a testé ni qui a décidé. La requête v3 a été testée, et le test disait de ne pas la mettre en production. Dans cette leçon, nous écrivons un registre d'expérience pour chaque changement, pour que chacun retrouve cette décision des mois plus tard, comme le cahier d'une personne qui fait du pain.
Leçon 7 sur 19 · MLOps et LLMOps : exploiter l'IA en productionRegistre des expériences
1. Définir la responsabilité opérationnelle
2. Versionner et reproduire le système
3. Instrumenter une télémétrie utile
4. Surveiller les changements de comportement
5. Mettre en production et améliorer en toute sécurité
6. Gérer les incidents et la passation
Ce que vous saurez faire
Notez chaque changement que vous testez : ce que vous avez changé, pourquoi, comment vous l’avez mesuré, les résultats et qui a décidé. Ainsi, des mois plus tard, chacun peut refaire le test, le contester ou comprendre pourquoi une mise en production a été refusée.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les manifestes de version,
ops traceet la ligne de preuve, dans Lignée des artefacts. - Les empreintes des requêtes et
ops release diff, dans Configuration propre aux LLM. - Les expériences contrôlées, les intervalles et la décision de mise en production, dans Expériences contrôlées et Compromis et régressions.
Ce qu’il vous faut sur votre ordinateur
- Votre projet après la dernière leçon :
python -m pytestaffiche193 passed(193 tests réussis), etoperations/releases/contient1.5.0-99b6daet1.5.0-054591. - Les fichiers enregistrés dans
data/telemetry/etdata/releases/.
Chaque étape de cette leçon lit seulement des fichiers : pas de Docker.
Un cahier dans la cuisine
Section intitulée « Un cahier dans la cuisine »Imaginez une personne qui fait du pain chaque fin de semaine. Un samedi, elle essaie de mettre moins de sel. Un ami lui dit que le pain goûte meilleur ainsi. Le pain ne lève pas bien. Le mois suivant, un autre ami lui donne le même conseil. A-t-elle déjà essayé? Qu’est-ce qui a mal tourné? Elle ne s’en souvient pas.
Une boulangère attentive tient un cahier. Chaque essai occupe une page : ce qu’elle a changé, pourquoi, comment elle l’a évalué, le résultat et sa décision. « Moins de sel, 15 g au lieu de 20. Idée d’un ami. Même farine, même four. Pain plat. Retour à 20 g. Peut-être réessayer avec une levée plus longue. »
La page remplit trois fonctions. Elle évite de refaire un essai raté par erreur. Quelqu’un d’autre peut essayer exactement de la même façon. Et quand un ami dit « moins de sel, c’est meilleur », elle peut montrer ce qui s’est passé. L’ami peut alors contester les détails, plutôt qu’un souvenir.
Le problème : la décision était au mauvais endroit
Section intitulée « Le problème : la décision était au mauvais endroit »Larkfield avait les preuves. Dans Évaluer et tester les systèmes d’IA, Priya a comparé la requête v3 à la requête v2 sur 271 billets de soutien. La décision était NE PAS METTRE EN PRODUCTION, avec des raisons. Puis, la semaine dernière, quelqu’un a fait passer le service en production à v3 avec un seul paramètre.
Comment cela a-t-il pu arriver? L’évaluation se trouvait dans le projet d’évaluation : des fichiers d’exécution, un rapport et une décision affichée dans un terminal. Le service en production et les personnes qui modifient ses paramètres ne l’ont jamais vue. Rien dans le dossier d’exploitation ne disait « v3 a été testée et refusée ». Des semaines plus tard, l’idée est donc revenue comme une nouveauté : « une requête plus courte, donc forcément moins chère ».
Il y a un deuxième problème, même si personne ne modifie quoi que ce soit. Supposons qu’Omar demande : « Pourquoi avons-nous refusé v3 exactement? Je pense que le test était injuste. » Sans fiche, la réponse repose sur le souvenir de quelqu’un. Quels billets? Quelles exécutions? Quelle version du jeu? Combien de répétitions? Personne ne peut refaire le test ni le contester de façon utile.
L’idée : une fiche par changement, à côté des versions
Section intitulée « L’idée : une fiche par changement, à côté des versions »Une expérience désigne ici un changement planifié, comparé à ce qui fonctionne actuellement, pour répondre à une question. Une fiche d’expérience est la page du cahier de la boulangère. C’est un fichier conservé avec les fichiers d’exploitation du service, qui contient :
- la question et l’hypothèse : qui a posé la question et ce qu’on attend, dans des mots qu’un test peut réfuter;
- le changement : un seul changement, identifié par ses versions;
- l’évaluation : la version du jeu, les exécutions, les répétitions et la méthode, pour permettre de la refaire;
- les résultats : les chiffres des deux côtés;
- la décision : le résultat, la raison, qui a décidé et qui a été informé;
- la prochaine étape.
Pourquoi « hypothèse » plutôt qu’« objectif »? Un objectif dit ce que vous voulez. Une hypothèse dit ce que vous vous attendez à mesurer : « moins de jetons en entrée, donc un coût inférieur ». Les résultats disent ensuite si c’était vrai. Sinon, la fiche le dit, et cela reste un résultat utile.
La fiche se rattache au reste du module par les noms des exécutions. L’exécution candidate dans la fiche correspond à la ligne de preuve d’un manifeste de version. Le parcours depuis une réponse au client continue donc : réponse → identifiant de version → manifeste → preuve → fiche d’expérience → décision.
Description textuelle du diagramme
La fiche suit le changement de gauche à droite. La question d’Omar devient une hypothèse : réponses plus chaleureuses, moins de jetons en entrée, coût inférieur. Le changement porte sur une requête, de v2 à v3. L’évaluation utilise le jeu d4c96eaa10c0, deux exécutions enregistrées et cinq répétitions sur les billets de développement. Les résultats : le coût a augmenté de 39 %, les réponses ont pris environ deux fois plus de temps. Et 25 billets n’ont reçu aucun texte. Priya et Grace ont décidé de ne pas mettre en production. La prochaine étape conserve v2 et exige que tout nouveau candidat franchisse la barrière. Une flèche pointillée revient au départ : une nouvelle idée reçoit une nouvelle fiche, EXP-002, et EXP-001 reste intacte.
Un petit exemple : affirmation et mesure
Section intitulée « Un petit exemple : affirmation et mesure »Avant de lire toute la fiche, placez l’hypothèse à côté des résultats. EXP-001 avançait trois affirmations. Les résultats viennent des exécutions réelles du cours d’évaluation sur ses 271 billets (exécution 1). Les chiffres sur les décisions viennent de ses 98 billets réservés :
| Affirmation de l’hypothèse | Requête v2 | Requête v3 | Vrai? |
|---|---|---|---|
| v3 envoie moins de jetons en entrée (médiane par appel) | 1,902 | 1,477 | oui |
| elle coûte donc moins cher (par 1 000 billets) | US$0.343 | US$0.477 | non |
| et ses décisions restent aussi bonnes (billets réservés, équipe et besoin d’une personne) | 95.9 % | 84.7 % | non |
La première affirmation était vraie, mais la conclusion qu’on en tirait était fausse. Il y avait moins de jetons en entrée. Mais le modèle produisait une médiane de 262 jetons avec v2 et de 627 avec v3. Les jetons de sortie coûtent plus cher que les jetons d’entrée, donc le total a augmenté. Une fiche montre cet enchaînement; un souvenir ne garde que « c’était moins cher, non? ».
Description textuelle du graphique
Le coût par 1 000 billets était de US$0.343 avec la requête v2 et de US$0.477 avec la requête v3, soit environ 39 % de plus.
Description textuelle du graphique
La requête v2 a pris la bonne décision pour 95.9 % des billets réservés, et la requête v3 pour 84.7 %. La différence est de -0.112 [-0.184, -0.041].
Ce que cela nous apprend. v3 n’était pas une requête moins chère avec un faible risque pour la qualité. Elle était plus chère et moins bonne. L’intervalle montre que la baisse de qualité n’est pas due au hasard. Avec les obstacles à la mise en production, deux billets de sécurité sans réponse, la décision était facile. La fiche évite à la prochaine personne de reconstruire cet argument de mémoire.
Lire la fiche du projet
Section intitulée « Lire la fiche du projet »La fiche du test de v3 se trouve dans votre projet, dans operations/experiments/EXP-001-prompt-v3.toml. Affichez la liste des fiches :
python -m ops experimentsid title owner status decision------- ----------------------------------------- ----- -------- -----------EXP-001 Prompt v3: warmer replies, shorter prompt Priya rejected do not shipPuis lisez-la :
python -m ops experiments EXP-001EXP-001: Prompt v3: warmer replies, shorter prompt (asked by Omar, owner Priya, rejected)Hypothesis: A warmer prompt without examples makes replies that customers like more, and it costs less, because it sends fewer input tokens.Change: assistant-v2 -> assistant-v3. Nothing else: same model, output schema and token limit (1,000).
[evaluation] set d4c96eaa10c0 baseline_run baseline-v2-chat-small-r1-b6a2b9 candidate_run candidate-v3-chat-small-r1-31b45f repeats 5 runs of each prompt on the 102 development tickets how the evaluation course's harness: decisions (team and needs a person), reply rules, release blockers, 95% bootstrap intervals
[results] input_tokens_median [1902, 1477] output_tokens_median [262, 627] cost_per_1000_tickets_usd [0.343, 0.477] latency_median_seconds [2.92, 5.63] answers_without_text [1, 25] decisions_correct [0.959, 0.847] decisions_difference -0.112 [-0.184, -0.041] blockers T-65663 (holdout): a hot, cracked pan; no answer, so no person was alerted. T-64740 (development): a parasol fell toward a child; no answer.
[decision] result do not ship reason A release blocker: safety tickets got no answer, so nobody was told to call the customer. It is also dearer (+39% per ticket) and slower (about 2 times), the opposite of the hypothesis. decided_by Priya and Grace informed Omar, Amira, Kwame next Keep v2. A new candidate must keep v2's rule 'if needs_human is true, say a member of the team will contact the customer', and must pass the release gate with no answer missing on any critical ticket.Chaque partie remplit une fonction :
- Le changement dit « rien d’autre ». C’est l’expérience contrôlée du cours d’évaluation : un changement, donc une seule cause pour toute différence. La comparaison des manifestes de la dernière leçon le prouve pour les versions : 3 champs, tous liés à la requête.
- L’évaluation nomme la version du jeu et les deux exécutions. Toute personne ayant le projet d’évaluation peut utiliser le même dispositif de test sur le même jeu et comparer.
- Les résultats conservent les deux côtés,
[v2, v3]. Un chiffre sans point de comparaison signifie peu. - La décision nomme des personnes.
decided_by(décidé par) indique qui peut la modifier;informed(informé) indique qui doit savoir. Omar a demandé le changement, et on lui explique pourquoi il a été refusé. - La prochaine étape transforme le refus en condition qu’un nouveau candidat doit remplir.
Reliez maintenant la fiche à la réponse de la semaine dernière. La ligne de preuve de la version v3 était candidate-v3-chat-small-r1-31b45f. Trouvez la fiche qui l’a testée :
grep -l "candidate-v3-chat-small-r1-31b45f" operations/experiments/*.tomlSelect-String -List -Path operations\experiments\*.toml -Pattern "candidate-v3-chat-small-r1-31b45f" | ForEach-Object Pathoperations/experiments/EXP-001-prompt-v3.tomlCela ferme la chaîne de Lignée des artefacts. Elle va de T-503354, le billet de sécurité sans réponse, à sa version, puis à sa preuve et à cette fiche. Celle-ci disait de ne pas mettre en production. La semaine dernière, la fiche et la version se trouvaient à des endroits différents. Maintenant, les deux se trouvent dans operations/, à côté du service.
Les fiches peuvent être contestées : à vous de jouer
Section intitulée « Les fiches peuvent être contestées : à vous de jouer »Tomás lit EXP-001 et proteste : « v3 a échoué à cause de la limite de jetons. Ses réponses sans texte utilisaient les 1 000 jetons. Donnez-lui 1 200 et ça ira. »
C’est peut-être vrai. La fiche rend l’argument concret. Les résultats d’EXP-001 disent ce qui s’est passé. Tomás propose une explication du pourquoi, et on peut tester cette explication. La réponse de Priya n’est pas « non ». C’est « écrivez-le sous forme d’expérience ».
Écrivez la fiche nécessaire pour tester l’idée de Tomás.
- Créez le fichier
operations/experiments/EXP-002-token-limit.toml. Utilisez EXP-001 comme modèle : les mêmes champs et sections. - Remplissez le début : un identifiant, un titre, qui a demandé, la personne responsable et
status = "proposed"(état : proposé). - Écrivez l’hypothèse de façon qu’un résultat puisse la réfuter. Nommez ce que vous vous attendez à mesurer.
- Écrivez le changement. Nommez exactement un changement et dites ce qui reste identique.
- Remplissez
[evaluation]: le même jeu et la même référence de base qu’EXP-001, et l’exécution candidate indiquée comme « pas encore exécutée ». - Laissez
[results]vide. Réglez[decision]à « pas encore décidé », avec qui décide et qui est informé. - Exécutez
python -m ops experiments. Votre fiche doit apparaître avecproposed(proposé) etnot decided(pas encore décidé).
Solution détaillée
# An experiment record: what was changed, why, the evidence, and the decision.id = "EXP-002"title = "Prompt v3 with a token limit of 1,200"asked_by = "Tomás"owner = "Priya"status = "proposed"hypothesis = "Prompt v3 answers without text because they reach the limit of 1,000 tokens. With 1,200 tokens, fewer v3 answers are cut off, and v3 passes the release blockers."change = "assistant-v3 with MAX_TOKENS 1200 instead of 1000. Nothing else: same model, schema and policy."
[evaluation]set = "d4c96eaa10c0"baseline_run = "baseline-v2-chat-small-r1-b6a2b9"candidate_run = "not run yet"repeats = "5 runs on the 102 development tickets, then 1 run on the holdout"how = "the evaluation course's harness, the same as EXP-001"
[results]# Empty until the runs exist.
[decision]result = "not decided"reason = "No evidence yet."decided_by = "Priya and Grace"informed = "Omar, Amira, Kwame, Tomás"next = "Run the candidate. Ship only through the release gate; v3's other blockers (cost, latency) still apply."python -m ops experiments affiche alors :
id title owner status decision------- ----------------------------------------- ----- -------- -----------EXP-001 Prompt v3: warmer replies, shorter prompt Priya rejected do not shipEXP-002 Prompt v3 with a token limit of 1,200 Priya proposed not decidedTrois éléments en font une bonne fiche. L’hypothèse nomme une mesure : moins de réponses coupées, et les critères bloquants sont satisfaits. Le changement porte sur une valeur. La limite de jetons fait partie de l’empreinte de la requête. La version candidate reçoit donc un nouvel identifiant, comme dans la section « À vous de jouer » de la dernière leçon. Et la prochaine étape précise que cela ne garantit pas une v3 moins chère ou plus rapide. Plus de jetons de sortie coûtent plus cher, donc le critère de coût peut encore échouer.
Supprimez le fichier après l’avoir vérifié, ou gardez-le dans votre propre projet. L’instantané end-of-m02 contient seulement EXP-001.
Quand garder une fiche, et ce que cela coûte
Section intitulée « Quand garder une fiche, et ce que cela coûte »Sam demande : « Faut-il une fiche pour chaque petit changement? »
Amira répond : « Pour chaque changement qui pourrait modifier ce que les clients reçoivent et qu’on a testé pour décider. Une faute corrigée dans un message de journal, non. Une nouvelle requête, une nouvelle version de modèle, une nouvelle limite de jetons, oui. »
Gardez une fiche quand une question motive un changement, quand les gens sont en désaccord ou quand le résultat est un refus. Les refus sont les plus faciles à oublier. Ce sont aussi les plus susceptibles de revenir comme « une nouvelle idée ».
Ne modifiez pas une fiche après sa décision pour la rendre plus favorable. Si de nouvelles preuves arrivent, ajoutez une nouvelle fiche qui nomme l’ancienne. L’ancienne fiche montre ce que l’équipe savait à ce moment-là.
Ce que cela coûte : dix ou vingt minutes d’écriture par expérience, et un endroit que tout le monde consulte. Le vrai coût, c’est l’honnêteté : une fiche sur une idée ratée peut sembler consigner une erreur. Ce n’est pas le cas. EXP-001 est le fichier le plus utile du dossier. La semaine dernière, il n’a rien empêché, mais seulement parce que personne ne l’a lu.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
Une fiche avec deux changements
Symptôme : une fiche dit « requête v4 et version du modèle 2026-11-04 », et les résultats montrent une baisse. L’équipe débat du changement qui l’a causée, sans pouvoir trancher.
Cause : deux changements dans une seule expérience. Les résultats ne permettent pas de les séparer.
Correction : séparez-les en deux fiches, chacune avec un seul changement et la même référence de base. Vérifiez avec ops release diff que la version candidate diffère de la référence seulement dans les lignes de ce changement.
Erreur courante
ops experiments s'arrête avec une erreur KeyError
Symptôme : python -m ops experiments affiche une trace d’erreur Python au lieu du tableau. Sa dernière ligne est :
KeyError: 'decision'Cause : un fichier de fiche dans operations/experiments/ n’a pas de section [decision], ou celle-ci ne contient pas result. La liste a besoin des deux. Un autre nom dans l’erreur, comme 'owner' (responsable), signifie que ce champ manque.
Correction : ajoutez la section, avec result = "not decided" (résultat : pas encore décidé) jusqu’à ce qu’une décision soit prise. Si le fichier n’est pas un TOML valide, l’outil indique plutôt où se trouve le problème. Par exemple, ops experiments: Illegal character '\n' (at line 1, column 14) signifie « caractère interdit à la ligne 1, colonne 14 » : il manque un guillemet sur cette ligne.
Exercice du module : construire un manifeste de version
Section intitulée « Exercice du module : construire un manifeste de version »Vous avez créé un manifeste avec un outil dans ce module. Construisez-en maintenant un à la main pour un autre déploiement fictif, afin de comprendre le rôle de chaque ligne. Tout dans cette tâche est inventé pour l’exercice : le service, ses versions et ses chiffres.
L’équipe de l’entrepôt de Larkfield exploite un petit service d’IA, returns-helper. Il lit une demande de retour et remplit une étiquette de retour. Voici ce que son équipe sait de la version qui fonctionne aujourd’hui :
| Élément | Valeur |
|---|---|
| Code | version 0.3.0, commit Git (enregistrement d’un changement) 4e1c9a07d2b5, empreinte du code b71f0c22e9a4 |
| Image | registry.example/returns-helper@sha256:9d3f5a |
| Base de données | 3 migrations, la dernière est 003_return_labels.sql |
| Requête | fichier returns-v1, empreinte de la requête 5c0d8e14aa71, limite de jetons 400 |
| Schéma de sortie | return_label, empreinte e2a90b3c7d15 |
| Modèle | déploiement chat-small, l’équipe l’a testé avec gpt-6-luna-2026-09-22 |
| Récupération | aucune : il ne cherche dans aucun document |
| Évaluation | version du jeu 7b2e04c1f9d8, exécution qui l’a approuvée : returns-v1-chat-small-r1-0a4c2e |
| Paramètres qui changent le comportement | PROVIDER_TIMEOUT = 10 |
| Également sur le serveur | le mot de passe de la base de données, la clé du fournisseur, l’adresse du serveur |
Votre tâche :
- Placez chaque valeur dans la bonne section parmi les sept sections du projet. Excluez ce qui n’a pas sa place dans un manifeste.
- Calculez l’identifiant de version avec la méthode du projet. Il comprend la version, un tiret et 6 caractères du SHA-256 du JSON trié.
- Prédisez ce qui arrive à l’identifiant si le fournisseur fait passer
chat-smallàgpt-6-luna-2026-11-04et que l’équipe l’inscrit dans le manifeste.
Exécutez du Python dans votre navigateur
Construire le manifeste de returns-helper
Remplissez chaque section avec un dictionnaire de paires "name": value, en utilisant les noms de champs des manifestes du cours lorsqu’ils existent. Exécutez le bloc : il affiche l’identifiant de version, et la vérification vous indique si une section manque.
Tab ajoute quatre espaces. Appuyez sur Esc, puis sur Tab, pour quitter la zone. Ctrl+Enter exécute le code.
Solution détaillée
manifest = { "code": {"version": "0.3.0", "commit": "4e1c9a07d2b5", "fingerprint": "b71f0c22e9a4", "image": "registry.example/returns-helper@sha256:9d3f5a"}, "database": {"migrations": 3, "last_migration": "003_return_labels.sql"}, "assistant": {"prompt": "returns-v1", "prompt_fingerprint": "5c0d8e14aa71", "schema": "return_label", "schema_fingerprint": "e2a90b3c7d15", "max_completion_tokens": 400}, "model": {"deployment": "chat-small", "expected_version": "gpt-6-luna-2026-09-22"}, "retrieval": {"index_version": "none"}, "data": {"evaluation_set": "7b2e04c1f9d8", "evidence": "returns-v1-chat-small-r1-0a4c2e"}, "settings": {"PROVIDER_TIMEOUT": "10"},}Le bloc affiche 0.3.0-df62fa pour ces valeurs exactes. Écrivez "10" sous forme de texte, comme dans les manifestes du cours; le nombre 10 donne un autre identifiant. Si vous avez utilisé d’autres noms de champs, votre identifiant diffère, et c’est correct. Vérifiez plutôt le contenu :
- Le mot de passe, la clé et l’adresse n’y figurent pas. Ils indiquent où la version fonctionne, pas ce qu’elle est. Et un manifeste est copié dans les versions et les journaux.
- Le modèle a deux lignes : le nom que vous demandez et la version que vous attendez derrière ce nom.
- La récupération indique explicitement « aucune ». Une section vide ne dirait pas au lecteur si quelqu’un l’a oubliée.
- La preuve nomme l’exécution qui a approuvé la version, pour que la lignée atteigne l’évaluation.
Prédiction : l’identifiant devient 0.3.0-d9f5ac avec ces noms de champs. Rien n’a changé dans les fichiers de l’équipe, mais la version attend maintenant un autre modèle. C’est une autre version, et elle a besoin de sa propre preuve.
Vérification de fin de module : retracer une réponse enregistrée
Section intitulée « Vérification de fin de module : retracer une réponse enregistrée »Pour terminer ce module, partez d’une réponse enregistrée. Trouvez toutes les versions qui l’ont produite et l’origine de son entrée.
La « semaine dernière », le même billet de soutien d’exercice T-65663 est arrivé plusieurs fois : avant le changement et après. Le billet T-502406 est une copie arrivée avant le changement. Retracez-le et comparez-le à T-503354 de Lignée des artefacts :
python -m ops trace T-502406 data/telemetry/release-full.jsonl.gz --releases data/releasesRépondez par écrit à trois questions :
- Quelle version livrée a produit cette réponse? Quelle requête, quelle version du modèle et quelles preuves indique-t-elle?
- Comment savez-vous que T-502406 et T-503354 avaient la même entrée? Que montre l’outil, et que ne montre-t-il pas?
- Pourquoi l’un a-t-il reçu une réponse valide et l’autre aucune? Nommez les lignes des deux traces qui le prouvent et le registre d’expérience qui l’avait prédit.
Solution détaillée
Ticket T-502406 input received +0.0 min, request 73de85044bbf, channel web_form, 292 characters, language guess en message fingerprint 3f8c9237238c5e1d = practice ticket T-65663 (made up for the evaluation course; split holdout, slice needs_person) result ok after 3.347 s: team warranty, needs a person True, finish stop, 1920 tokens in, 297 out, US$0.000340 answered by gpt-6-luna-2026-09-22 (replayed), prompt assistant-v2, trace 91ddac1f533db5fd08e1eeadef64b04f release 1.5.0-4fafd1 (data/releases/1.5.0-4fafd1.toml) code 1.5.0, commit none (the project folder is not a Git repository), fingerprint c8ee0759e085 image not built (the course runs the service with Python) migrations 20, last 020_release_state.sql prompt assistant-v2 (fingerprint 82a15031e521), schema ticket_analysis (f66acdf35fe1), at most 1000 tokens model chat-small, expected version gpt-6-luna-2026-09-22, embeddings embed-small-384-v1 retrieval answer-v1, index 75cf862216c3 evaluation set d4c96eaa10c0 (inputs 3f90ab808275), evidence baseline-v2-chat-small-r1-b6a2b9- La version livrée est
1.5.0-4fafd1. Elle indique la requêteassistant-v2, avec l’empreinte82a15031e521, et les preuvesbaseline-v2-chat-small-r1-b6a2b9. Le modèle estchat-small, et la version attendue estgpt-6-luna-2026-09-22. La réponse vient de cette version : aucun avertissement. Empreinte du code :c8ee0759e085, 20 migrations, index75cf862216c3. - Les deux traces montrent l’empreinte du message
3f8c9237238c5e1d, 292 caractères et la correspondance avec le billet d’exercice T-65663. Ce billet, réservé à l’évaluation, nécessite une personne. L’outil ne montre jamais le texte lui-même; l’empreinte prouve que les deux textes sont identiques sans les montrer. - L’entrée, le code, le modèle et l’index sont identiques. Les lignes
release(version livrée) diffèrent :1.5.0-4fafd1avec la requête v2 contre1.5.0-767b56avec la requête v3. Les lignesresult(résultat) montrent l’effet :finish stop(fin normale), 297 jetons produits,needs a person True(personne nécessaire) pour v2;finish length(limite de longueur atteinte), 1000 jetons produits et aucune décision pour v3. EXP-001 avait trouvé le même échec pour ce billet : sa ligne de blocage nomme T-65663. Sa décision était de ne pas mettre en production.
Une réponse complète nomme les versions, la provenance de l’entrée et les preuves. « C’était v3 » ne suffit pas.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Le résultat d'évaluation de la semaine dernière existait et indiquait NE PAS METTRE EN PRODUCTION. Expliquez pourquoi il n'a pas empêché le changement, et ce que ce module change pour qu'il le fasse.
Afficher la réponse
La décision se trouvait dans le projet d’évaluation, dans des fichiers d’exécution et une sortie de terminal. Le service, ses paramètres et les personnes qui les modifient ne l’ont jamais vue. Rien ne reliait le nom d’une requête sur le serveur à cette décision. Maintenant, le registre d’expérience se trouve dans operations/experiments/, à côté des manifestes de version livrée. Une version livrée doit nommer ses preuves, qui mènent au registre et à sa décision. Le service refuse aussi une requête qui n’est pas celle de sa version livrée. La barrière de mise en production du module 5 transforme la décision en vérification exécutée avant tout déploiement.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Tomás dit qu'EXP-001 était injuste à cause de la limite de jetons. Pourquoi faut-il créer un nouveau registre, EXP-002, plutôt que modifier EXP-001?
Afficher la réponse
EXP-001 consigne ce que l’équipe a mesuré et décidé avec les connaissances qu’elle avait alors. Le modifier masquerait cet historique et donnerait l’impression que l’ancienne décision reposait sur d’autres preuves. L’idée de Tomás est une nouvelle hypothèse avec un nouveau changement : la limite de jetons. Elle nécessite donc ses propres exécutions et sa propre décision. EXP-002 nomme sa référence de base et renvoie à EXP-001. Les deux restent lisibles.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : montrez la chaîne qui relie une réponse enregistrée à une décision. Quelles commandes et quelles lignes utilisez-vous?
Afficher la réponse
python -m ops trace T-503354 data/telemetry/release-full.jsonl.gz --releases data/releases montre la version livrée 1.5.0-767b56 et les preuves candidate-v3-chat-small-r1-31b45f. grep -l "candidate-v3-chat-small-r1-31b45f" operations/experiments/*.toml trouve EXP-001-prompt-v3.toml. Puis, python -m ops experiments EXP-001 montre la décision de Priya et Grace : ne pas mettre en production, avec la raison.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
Ce module a rendu le service traçable. Avant, une réponse indiquait seulement « requête v3 ». Maintenant :
- Chaque résultat d’IA et chaque réponse d’API porte un identifiant de version livrée. Le manifeste de version livrée associé nomme le code, les migrations, la requête, le schéma, le modèle, la récupération, le jeu d’évaluation, les preuves et les paramètres.
- L’empreinte de la requête suit le texte que le modèle lit, pas le nom du fichier. Le manifeste nomme aussi la version du modèle attendue par la version livrée.
ops traceavertit quand le fournisseur répond avec une autre version. ops release diffcompare deux versions livrées, champ par champ.ops release verifyet le démarrage du service refusent les fichiers qui ne correspondent pas.- Un registre d’expérience conserve l’hypothèse, le seul changement, l’évaluation, les résultats et la décision, à côté des versions livrées. EXP-001 montre pourquoi la requête v3 a été refusée.
- À partir de toute réponse enregistrée, vous pouvez maintenant retrouver ses versions et la provenance de son entrée. Vous pouvez aussi retrouver la décision qui a approuvé ou refusé sa version livrée.
Ensuite, le module 3 fait en sorte que le service vous indique ce qu’il fait pendant son fonctionnement. Vous ajoutez des journaux, des métriques et une trace par billet, chacun portant cet identifiant de version livrée.
Leçon suivante : Journaux, métriques et traces