Configuration propre aux LLM
- Leçon 6
- 55 min
- Module 2 : Versionner et reproduire le système
Où nous en sommes
Dans la leçon précédente, nous avons écrit un manifeste de version et mis son identifiant sur chaque réponse. Mais pour la partie IA, un nom n'est pas une version : une requête ou un modèle peut garder son nom pendant que ce qu'il désigne change. Dans cette leçon, nous donnons à chaque paramètre d'un appel de LLM une version liée à son contenu, et nous comparons deux mises en production ligne par ligne. Nous commençons par le « latte maison » d'un café.
Leçon 6 sur 19 · MLOps et LLMOps : exploiter l'IA en productionConfiguration propre aux LLM
1. Définir la responsabilité opérationnelle
2. Versionner et reproduire le système
3. Instrumenter une télémétrie utile
4. Surveiller les changements de comportement
5. Mettre en production et améliorer en toute sécurité
6. Gérer les incidents et la passation
Ce que vous saurez faire
Donnez à chaque partie d’un appel de LLM qui modifie ses réponses une version liée à son contenu. Comparez deux mises en production, paramètre par paramètre. Le nom d’une requête (prompt) ou d’un modèle peut rester identique même si ce qu’il désigne change.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les manifestes de mise en production, leurs identifiants et
python -m ops release build, dans Lignée des artefacts. - Ce que sont une requête, un schéma de sortie et une limite de jetons (tokens), dans Créer des applications fiables avec les API de LLM.
- La requête v2 et la requête candidate v3, et pourquoi l’évaluation indiquait DO NOT SHIP (ne pas livrer), dans Compromis et régressions.
Ce qu’il vous faut sur votre ordinateur
- Votre projet après Lignée des artefacts :
python -m pytestaffiche193 passed(193 tests réussis), etoperations/releases/contient votre manifeste1.5.0-99b6da(ou votre propre identifiant). - Les fichiers enregistrés dans
data/telemetry/etdata/releases/.
Les commandes ops release lisent seulement des fichiers. Seules les dernières étapes, qui démarrent l’API, nécessitent Docker.
Le même nom sur la carte
Section intitulée « Le même nom sur la carte »Un café vend un « latte maison ». Le nom sur le menu n’a pas changé depuis trois ans. Pendant ces trois années, le café a changé ses grains de café deux fois et son lait une fois. Le barista utilise aussi une plus petite tasse maintenant.
Un client régulier dit : « Le latte a un goût différent depuis le mois dernier. » La gérante regarde le menu et répond : « C’est le même latte maison. » Les deux ont raison. Le nom n’a pas changé, mais ce qu’il désigne a changé.
Pour répondre au client, la gérante a besoin de plus que du nom. Elle doit connaître la recette actuelle et les changements que le fournisseur a faits sans demander.
Un appel de LLM présente le même problème, deux fois.
Le problème : deux noms qui cachent des changements
Section intitulée « Le problème : deux noms qui cachent des changements »Le service demande au fournisseur une réponse de triage par billet de soutien. La réponse dépend de plus que du message du client. Elle dépend du texte de la requête, de la politique de soutien qu’elle contient et du schéma de sortie. Elle dépend aussi de la limite de jetons et du modèle exécuté par le fournisseur. Dans Lignée des artefacts, chacun de ces éléments a reçu une ligne dans le manifeste. Voici pourquoi chaque ligne consigne le contenu, et non un nom.
Premier changement caché : le fichier de requête. La politique de Grace permet aux clients de retourner les articles inutilisés dans les 30 jours. Supposons que quelqu’un remplace ce délai par 60 jours dans ticket_api/prompts/policy.md, sur le serveur, sans mise en production. Le fichier assistant-v2.md ne change pas. Le paramètre indique toujours ASSISTANT_PROMPT=assistant-v2. Chaque nouvelle ligne dans ai_runs indique toujours prompt_version = assistant-v2.
Mais le modèle lit maintenant une autre politique et rédige d’autres réponses. L’évaluation qui a approuvé v2 a testé la politique de 30 jours. Son résultat ne s’applique plus, et rien dans la base de données ne le montre. Le nom est une étiquette sur une boîte; n’importe qui peut changer ce qu’elle contient.
Deuxième changement caché : le modèle. Le service demande "model": "chat-small". C’est un nom de déploiement : un nom que le compte du fournisseur attribue à un modèle. Le fournisseur peut associer une version plus récente du modèle au même nom. La requête du service ne change pas du tout, mais les réponses peuvent changer.
Cela s’est produit dans un scénario d’exercice du cours, un changement d’exercice que nous avons provoqué volontairement. Pendant deux minutes et demie, le simulateur a signalé une autre version du modèle derrière chat-small. Le service envoyait les mêmes requêtes qu’avant.
L’idée : versionner le contenu et prévoir le reste
Section intitulée « L’idée : versionner le contenu et prévoir le reste »La solution comporte deux parties, une pour chaque changement caché.
Pour ce que vous contrôlez, versionnez le contenu. Dans Ce qui est exploité, une version de requête est devenue une paire : le nom du fichier pour les personnes, et une empreinte pour les programmes. Le nom seul ne suffit pas. L’empreinte couvre tout ce que le service envoie en plus du message du client : les instructions, la politique, le schéma de sortie et la limite de jetons. Si l’un de ces éléments change, l’empreinte change. Le projet utilise les 12 premiers caractères d’un hachage SHA-256, comme pour la version du jeu de données dans le cours d’évaluation.
Pour ce que le fournisseur contrôle, consignez vos attentes et vérifiez-les. Le manifeste indique le déploiement, chat-small, et la version attendue du modèle qui lui est associée. Chaque réponse indique quelle version a répondu. Si les deux diffèrent, le fournisseur a changé le modèle, et le service peut le signaler.
Ensemble, ces éléments forment la configuration propre aux LLM du service : la requête, le schéma, les identifiants du fournisseur et du modèle, les paramètres de récupération et le jeu d’évaluation. Les services ordinaires ont aussi des paramètres. Un service de LLM en a davantage. Certains se trouvent hors de votre code : dans des fichiers texte modifiés par des non-développeurs, et chez le fournisseur.
Description textuelle du diagramme
La requête comporte six parties. Le texte système provient du fichier de requête et contient la politique. Le texte utilisateur contient le message du client. Viennent ensuite le schéma de sortie, la limite de 1 000 jetons et le nom de déploiement chat-small. L’empreinte de la requête couvre le texte système, la politique, le gabarit du texte utilisateur, le schéma et la limite de jetons. Le schéma possède aussi sa propre empreinte. Le message du client est l’entrée d’un billet, pas une partie de la mise en production. À droite, le fournisseur choisit la version du modèle exécutée derrière chat-small. La réponse indique cette version, et le service la compare à la version attendue du manifeste. Nous contrôlons le côté gauche; le fournisseur contrôle le côté droit.
Un petit exemple : ce qui change une empreinte
Section intitulée « Un petit exemple : ce qui change une empreinte »L’empreinte doit changer lorsque le modèle lirait quelque chose de différent, et seulement dans ce cas. Le projet la calcule dans ticket_api/assistant.py :
def fingerprint(version: str) -> str: """A short hash of everything the prompt version sends besides the ticket: the instructions, the policy and the output schema. The same fingerprint = the same prompt.""" system, user = load_prompt(version) blob = json.dumps([system, user, response_format(), MAX_TOKENS], ensure_ascii=False) return hashlib.sha256(blob.encode("utf-8")).hexdigest()[:12]Quatre éléments entrent dans le hachage : le texte système avec la politique, le texte utilisateur, le schéma et la limite de jetons. Le fichier de requête contient aussi des notes pour les personnes au-dessus de la ligne [system] (système). Le service ne les envoie jamais; elles ne font donc pas partie du hachage.
Faites une prédiction avant de continuer. Laquelle de ces trois modifications change l’empreinte 82a15031e521 de la requête v2?
- Ajouter une ligne de note en haut de
assistant-v2.md, au-dessus de[system]. - Remplacer « dans les 30 jours » par « dans les 60 jours » dans
policy.md. - Changer la limite de jetons
MAX_TOKENSde 1 000 à 1 200 dansassistant.py.
L’auteur a fait chaque modification sur une copie de l’instantané, exécuté python -m ops release verify 1.5.0-99b6da, puis annulé la modification :
| Modification | Le service envoie | Empreinte de la requête | Résultat de verify (vérifier) |
|---|---|---|---|
| Aucune | le même texte | 82a15031e521 |
correspond |
1. Une note au-dessus de [system] |
le même texte | 82a15031e521 |
correspond |
| 2. 30 → 60 jours dans la politique | une autre politique | 24e380c8e37d |
ne correspond PAS : requête |
| 3. Limite de 1 200 jetons | une autre limite | e0acb7fc0400 |
ne correspond PAS : requête et code |
La modification 2 correspond aux nouveaux grains du café : le nom assistant-v2 reste, mais le contenu change. La modification 3 change aussi un fichier Python; l’empreinte du code change donc aussi. La modification 1 ne change rien de ce que le modèle lit. Elle ne constitue donc pas une nouvelle requête, à juste titre.
Remarquez un autre effet de la modification 2. Les deux requêtes partagent la politique; la modification change donc aussi l’empreinte de la requête v3. Un fichier, deux requêtes modifiées.
Comparer deux mises en production, paramètre par paramètre
Section intitulée « Comparer deux mises en production, paramètre par paramètre »Examinez maintenant la semaine dernière sous cet angle. Les deux manifestes du cours correspondent à la mise en production avec la requête v2 et à celle avec v3, telles qu’exécutées dans la relecture. Comparez-les :
python -m ops release diff 1.5.0-4fafd1 1.5.0-767b56 --releases data/releases3 of 25 settings differ:setting 1.5.0-4fafd1 1.5.0-767b56---------------------------- -------------------------------- ---------------------------------assistant.prompt assistant-v2 assistant-v3assistant.prompt_fingerprint 82a15031e521 e91df8e7a92adata.evidence baseline-v2-chat-small-r1-b6a2b9 candidate-v3-chat-small-r1-31b45fL’outil parcourt tous les champs des deux manifestes, 25 au total, et affiche seulement ceux qui diffèrent. Trois diffèrent :
- La requête et son empreinte. C’est le changement lui-même.
- Les preuves. Chaque mise en production indique l’exécution d’évaluation qui la justifie. Celle de v3 indique l’exécution candidate, dont la décision était DO NOT SHIP.
Tout le reste est identique : l’empreinte du code, les migrations, le schéma, la limite de jetons, le modèle et sa version attendue, l’index et les paramètres. La troisième question de Grace a donc une réponse. Rien d’autre n’a changé. Si les clients ont vu des réponses différentes, la requête en est la cause.
Trois lignes dans un relevé de différences peuvent sembler peu. Voici leur effet sur les billets rejoués :
Description textuelle du graphique
Avec la requête v2, 1 billets sur 602 ont reçu une réponse sans texte (0.2%). Avec la requête v3, c’était le cas de 186 billets sur 1,798 (10.3%), et 10 autres sont devenus des messages non traitables.
- requête v2
- requête v3
Description textuelle du graphique
Jetons en entrée, médiane par appel : 1,902 avec v2 et 1,477 avec v3. Jetons en sortie : 260 avec v2 et 627 avec v3.
Ce que cela nous apprend. La requête courte économisait environ 400 jetons en entrée, mais le modèle utilisait environ 370 jetons de plus en sortie. Les jetons de sortie coûtent plus cher; le coût par 1 000 billets est donc passé de US$0.338 à US$0.474. Les réponses plus longues prenaient aussi plus de temps : le p95 du triage est passé de 5.17 s à 8.34 s. Certaines réponses utilisaient les 1 000 jetons avant de rédiger du texte, et ces billets n’ont reçu aucune réponse. Une ligne de configuration a changé la qualité, le coût et la vitesse du service. C’est pourquoi une requête est un artefact doté d’une version, pas « juste un paramètre ».
Du côté du fournisseur : la version du modèle
Section intitulée « Du côté du fournisseur : la version du modèle »Le relevé de différences compare ce que vous avez mis en production. Il ne peut pas voir ce que le fournisseur a changé. Pour cela, le service compare chaque réponse à la version attendue du manifeste. ops trace affiche un avertissement lorsqu’elles diffèrent.
Le scénario stale-index du cours comprend un changement de version du modèle que nous avons provoqué volontairement pour l’exercice. À partir de la minute 7,3 de l’exécution, le simulateur signalait gpt-6-luna-2026-11-04 derrière chat-small. Les réponses elles-mêmes étaient les mêmes enregistrements qu’avant; seule la version signalée changeait. Retracez un billet de cette période :
python -m ops trace T-500222 data/telemetry/stale-index.jsonl.gz --releases data/releasesTicket T-500222 input received +7.4 min, request abcae4b8ae23, channel web_form, 269 characters, language guess en message fingerprint 2612adf43bc2f172 = practice ticket T-65224 (made up for the evaluation course; split dev, slice boundary) result ok after 3.455 s: team account, needs a person False, finish stop, 1917 tokens in, 282 out, US$0.000335 answered by gpt-6-luna-2026-11-04 (replayed), prompt assistant-v2, trace 48081b8d32f2658d626bdeb5bf8d1c26 release 1.5.0-4fafd1 (data/releases/1.5.0-4fafd1.toml) code 1.5.0, commit none (the project folder is not a Git repository), fingerprint c8ee0759e085 image not built (the course runs the service with Python) migrations 20, last 020_release_state.sql prompt assistant-v2 (fingerprint 82a15031e521), schema ticket_analysis (f66acdf35fe1), at most 1000 tokens model chat-small, expected version gpt-6-luna-2026-09-22, embeddings embed-small-384-v1 retrieval answer-v1, index 75cf862216c3 evaluation set d4c96eaa10c0 (inputs 3f90ab808275), evidence baseline-v2-chat-small-r1-b6a2b9 WARNING the answer came from gpt-6-luna-2026-11-04, but the release expects gpt-6-luna-2026-09-22: the provider changed the modelLa mise en production reste la même, 1.5.0-4fafd1, et votre relevé de différences ne montrerait aucun changement. Seule la comparaison de chaque réponse à la version attendue le détecte. Dans ce scénario, 72 des 450 billets ont reçu une réponse sous le nouveau nom de version. Le module 4 transforme cette vérification en alerte, dans Régressions des LLM et du RAG.
Kwame est responsable du contrat avec le fournisseur. Il ajoute une règle : lorsque le fournisseur le permet, demandez une version fixe du modèle plutôt qu’un nom changeant. Une version fixe change seulement lorsque vous la changez. Les fournisseurs retirent les anciennes versions; la vérification reste donc nécessaire.
Les autres lignes propres aux LLM
Section intitulée « Les autres lignes propres aux LLM »Trois autres sections du manifeste sont propres aux services d’IA :
- Le schéma de sortie (
schema,schema_fingerprint). Le schéma indique au modèle la structure JSON exacte de la réponse. Un schéma modifié peut briser le code qui lit la réponse, même avec la même requête. Il possède sa propre empreinte et fait aussi partie de l’empreinte de la requête. - La récupération (
answer_prompt,search,index_version). Pour répondre aux questions, le service cherche dans les documents de Larkfield. Une nouvelle version des documents sans nouvel index fait citer du texte ancien dans les réponses. À ce stade, la ligne indiquenone (answers search the documents table)(aucun; les réponses cherchent dans la table des documents). Le module 4 ajoute l’index et sa version. - Le jeu d’évaluation (
evaluation_set,evaluation_inputs,evidence). Les preuves sont valides seulement pour le jeu sur lequel elles ont été mesurées. Le cours d’évaluation a donné deux versions au jeu :d4c96eaa10c0pour le fichier entier et3f90ab808275pour les entrées seulement. Si les entrées changent, les anciennes preuves ne décrivent plus la mise en production, et l’évaluation doit être exécutée de nouveau.
Essayez dans votre projet
Section intitulée « Essayez dans votre projet »Vous construisez le manifeste d’une mise en production v3, le comparez à celui de v2 et détectez une requête modifiée.
-
Construisez le manifeste v3, avec l’exécution candidate comme preuve :
Fenêtre de terminal python -m ops release build --prompt assistant-v3 --evidence candidate-v3-chat-small-r1-31b45f --writeLa dernière ligne indique
Saved operations/releases/1.5.0-054591.toml.(fichier enregistré). Construire un manifeste ne le déploie pas : le service exécute toujours1.5.0-99b6da. -
Listez vos mises en production, puis comparez-les :
Fenêtre de terminal python -m ops release listpython -m ops release diff 1.5.0-99b6da 1.5.0-054591release prompt model version last migration evidence------------ ------------ --------------------- ------------------- ---------------------------------1.5.0-054591 assistant-v3 gpt-6-luna-2026-09-22 016_release_ids.sql candidate-v3-chat-small-r1-31b45f1.5.0-99b6da assistant-v2 gpt-6-luna-2026-09-22 016_release_ids.sql baseline-v2-chat-small-r1-b6a2b93 of 20 settings differ:setting 1.5.0-99b6da 1.5.0-054591---------------------------- -------------------------------- ---------------------------------assistant.prompt assistant-v2 assistant-v3assistant.prompt_fingerprint 82a15031e521 e91df8e7a92adata.evidence baseline-v2-chat-small-r1-b6a2b9 candidate-v3-chat-small-r1-31b45fLes trois mêmes lignes que dans le relevé de différences du cours. Vos manifestes ont 20 champs, pas 25 : votre interpréteur de commandes n’a défini aucun paramètre de comportement, donc
[settings]est vide. -
Vérifiez que vos fichiers correspondent toujours à votre mise en production v2 :
Fenêtre de terminal python -m ops release verify 1.5.0-99b6daRelease 1.5.0-99b6da matches the files here (code, prompt, migrations). -
Faites le changement caché. Ouvrez
ticket_api/prompts/policy.md. Dans la règle 2, remplacezwithin 30 days of delivery(dans les 30 jours suivant la livraison) parwithin 60 days of delivery(dans les 60 jours suivant la livraison), puis enregistrez le fichier. -
Exécutez
verifyde nouveau :Release 1.5.0-99b6da does NOT match the files here:- prompt assistant-v2: the manifest has fingerprint 82a15031e521, the file now has 24e380c8e37dLa commande se termine avec le code de sortie 1; un script ou une tâche d’intégration continue peut donc s’arrêter dessus.
-
Démarrez l’API avec
fastapi dev, comme le ferait un serveur après la modification. Elle refuse de démarrer.La dernière ligne de sa sortie :
Settings error: RELEASE_ID 1.5.0-99b6da does not match: prompt assistant-v2: the manifest has fingerprint 82a15031e521, the file now has 24e380c8e37dC’est la vérification dans
config.pyde la dernière leçon. Une mise en production ne peut pas s’exécuter avec une requête différente de celle de son manifeste. -
Annulez la modification : remplacez
60par30, puis enregistrez. Exécutezpython -m ops release verify 1.5.0-99b6dade nouveau. La commande doit indiquermatches(correspond). Ensuite,fastapi devdémarre comme avant; arrêtez-le avec Ctrl+C.
Si la politique doit vraiment changer, c’est acceptable. Créez un nouveau manifeste. Le changement reçoit alors un nouvel identifiant, une nouvelle empreinte et, avant que les clients le voient, de nouvelles preuves.
À vous : prédire un relevé de différences
Section intitulée « À vous : prédire un relevé de différences »Changez une condition et faites une prédiction avant d’exécuter quoi que ce soit. Dans ticket_api/assistant.py, la ligne MAX_TOKENS = 1000 définit la limite de jetons de chaque appel de triage.
- Prédisez : si vous la remplacez par
1200et construisez un manifeste v2, quels champs changent par rapport à1.5.0-99b6da? Notez votre liste. - Faites le changement et construisez le manifeste :
python -m ops release build --prompt assistant-v2 --evidence baseline-v2-chat-small-r1-b6a2b9 --write. - Exécutez
python -m ops release diff 1.5.0-99b6daavec le nouvel identifiant. - Annulez le changement et supprimez le nouveau fichier de manifeste dans
operations/releases/.verify 1.5.0-99b6dadoit de nouveau indiquermatches.
Solution détaillée
Le nouvel identifiant est 1.5.0-086ef5, et trois champs diffèrent :
3 of 20 settings differ:setting 1.5.0-99b6da 1.5.0-086ef5------------------------------- ------------ ------------assistant.max_completion_tokens 1000 1200assistant.prompt_fingerprint 82a15031e521 e0acb7fc0400code.fingerprint 375564320c6c eac625037c39La limite de jetons est consignée sur sa propre ligne. Elle fait aussi partie de l’empreinte de la requête, car le modèle reçoit cette limite à chaque requête. Et elle se trouve dans un fichier Python; l’empreinte du code change donc aussi. Le nom de la requête, assistant-v2, n’a pas changé : le relevé de différences ne le liste pas.
Pourquoi cela pourrait-il compter? Dans la relecture, les réponses sans texte de la requête v3 avaient utilisé les 1 000 jetons. Une limite plus élevée pourrait en sauver certaines, mais augmenterait aussi le coût de chaque réponse longue. C’est un changement à évaluer comme une expérience, pas à faire sur un serveur. C’est le sujet de Registre des expériences.
Quand versionner un paramètre, et ce que cela coûte
Section intitulée « Quand versionner un paramètre, et ce que cela coûte »Tomás demande : « Faut-il une nouvelle version pour chaque virgule dans la politique? Grace modifie ce fichier chaque semaine. »
Priya répond : « Oui, si le modèle lit la virgule. La politique fait partie de la requête. Une virgule peut changer ce que dit le modèle. Le modèle ne lit pas une note au-dessus de [system]. Elle n’entraîne donc aucun coût. »
Versionnez selon le contenu tout ce que le modèle lit ou qui influence sa sortie. Cela comprend le texte de la requête, la politique, les exemples, le schéma et la limite de jetons (tokens). Cela comprend aussi les paramètres du modèle, comme la température. Consignez et vérifiez les identifiants que le fournisseur contrôle : le déploiement et la version du modèle. Consignez le jeu d’évaluation et l’exécution qui justifie la mise en production.
Ne mettez pas dans le manifeste les valeurs qui changent à chaque requête, comme le message du client ou l’heure. Elles font partie de la provenance de l’entrée, que montre ops trace.
Ce que cela coûte : plus de mises en production, car les petites modifications de texte comptent maintenant. L’équipe doit pouvoir mettre une version en production en quelques minutes. Sinon, les gens contourneront le processus. Les empreintes sont aussi strictes : une fin de ligne modifiée ou une espace finale produit une nouvelle empreinte. C’est le bon résultat, car le modèle lit ces octets, mais cela peut surprendre.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
Le service refuse de démarrer après une petite modification
Symptôme : fastapi dev ou le processus s’arrête immédiatement. Le message commence par RELEASE_ID 1.5.0-99b6da does not match: prompt assistant-v2 (l’identifiant de version ne correspond pas à la requête).
Cause : un fichier couvert par l’empreinte de la requête a changé après la création de la version. Il peut s’agir du fichier de requête, de policy.md, du schéma ou de la limite de jetons.
Diagnostic : python -m ops release verify 1.5.0-99b6da nomme la partie qui diffère. Dans un projet avec Git, git diff montre la modification.
Solution : annulez la modification. Si vous souhaitez la conserver, créez un nouveau manifeste, testez-le et attribuez le nouvel identifiant à RELEASE_ID.
Erreur courante
La comparaison est vide, mais les réponses ont changé
Symptôme : les clients ou les révisions indiquent que les réponses ont changé. ops release diff ne montre aucune différence entre la version précédente et la version actuelle. Il peut aussi s’agir de la même version.
Cause : quelque chose a changé en dehors de votre version. Le plus souvent, le fournisseur a changé le modèle derrière le nom de déploiement.
Diagnostic : exécutez ops trace sur un billet de soutien récent et cherchez la ligne WARNING (avertissement). Vous pouvez aussi compter les versions du modèle dans les résultats. Lors de la réexécution, T-500222 le montre.
Solution : informez Kwame, qui est responsable du contrat avec le fournisseur. Fixez la version du modèle si le fournisseur le permet. Relancez l’évaluation sur la nouvelle version avant de l’accepter.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Le paramètre indique ASSISTANT_PROMPT=assistant-v2, et chaque ligne de ai_runs indique prompt_version = assistant-v2. Expliquez comment le modèle peut quand même lire une requête différente et comment le projet le détecte.
Afficher la réponse
assistant-v2 est seulement un nom de fichier. La politique (policy.md), le schéma ou la limite de jetons peuvent changer sans que ce nom change. Le projet calcule l’empreinte de tout ce que le service envoie, sauf le message. Il inscrit cette empreinte de la requête dans le manifeste. ops release verify et le démarrage du service comparent l’empreinte du manifeste à celle des fichiers. Une différence signifie « ce n’est pas la requête de cette version », et le service refuse de démarrer.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
ops release diff entre les deux versions de la semaine dernière énumère 3 paramètres sur 25. Pourquoi est-il utile d'indiquer que les 22 autres sont identiques?
Afficher la réponse
Cela écarte les autres causes. Le code, les migrations, le schéma, la limite de jetons, le modèle et sa version attendue étaient identiques. L’index et les paramètres l’étaient aussi. Le changement de qualité, de coût et de vitesse venait donc de la requête. Sans les manifestes complets, personne ne pourrait affirmer que le modèle ou le code n’avait pas aussi changé.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : montrez que votre projet détecte une requête modifiée. Quelles commandes et sorties le prouvent?
Afficher la réponse
Après la modification de policy.md, python -m ops release verify 1.5.0-99b6da affiche does NOT match (ne correspond PAS). La commande se termine avec le code 1. La ligne de la requête montre les empreintes 82a15031e521 et 24e380c8e37d. fastapi dev refuse de démarrer pour la même raison. Une fois la modification annulée, verify affiche matches (correspond). ops release diff 1.5.0-99b6da 1.5.0-054591 énumère la requête, son empreinte et les preuves.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Le nom d’une requête n’est pas sa version. L’empreinte de la requête résulte du hachage du texte système, de la politique, du texte utilisateur, du schéma et de la limite de jetons. Les notes destinées aux personnes ne comptent pas, car le modèle ne les lit jamais.
- Le fournisseur contrôle la version du modèle derrière un nom de déploiement. Le manifeste consigne la version attendue, et
ops traceavertit lorsqu’une réponse provient d’une autre version. python -m ops release diffcompare deux versions champ par champ. Les versions de la semaine dernière diffèrent dans 3 champs sur 25 : la requête, son empreinte et les preuves. Avec ces trois lignes, 10,3 % des billets réexécutés avec v3 n’ont reçu aucune réponse.python -m ops release verifyet le démarrage du service refusent les fichiers qui ne correspondent pas à la version.
Ensuite, vous examinez le registre qui aurait dû empêcher le changement de la semaine dernière. Il contient l’expérience qui a testé la requête v3, ses preuves et sa décision.
Leçon suivante : Registre des expériences