Travail final
- Après les études de cas
- environ 3 h
Où nous en sommes
Dans ce cours, vous avez appris à prendre la responsabilité d'un service d'IA, à retracer chaque réponse, à voir ce qu'il fait, à surveiller ses changements, à le mettre en production en toute sécurité et à l'exploiter quand tout va mal. Sam prend maintenant le téléphone de garde pour la première fois, et Grace demande : si l'assistant commence à mal servir les clients, comment Sam le saura-t-il, et que fera-t-il? Dans ce travail, vous rédigez le dossier d'exploitation qui lui répond, et vous prouvez qu'il fonctionne.
Ce que vous saurez faire
Confiez le service de billets de soutien de Larkfield à une personne qui n’a jamais assuré sa garde. Vous rédigez le dossier d’exploitation : ce que le service émet, comment retracer les versions de chaque réponse, quoi surveiller et pourquoi. Vous précisez aussi quelles alertes réveillent quelqu’un et ce que cette personne fait. Ensuite, prouvez que le dossier fonctionne avec un incident et un retour arrière que vous exécutez vous-même.
Avant de commencerCe qu’il faut savoir et avoir sous la main
- Vous avez terminé les modules 1 à 6. Chaque partie ci-dessous nomme les leçons qu’elle utilise.
- Les études de cas ne sont pas nécessaires pour ce travail. Le certificat en exige au moins une : Surveiller un modèle sur des données publiques qui changent ou Analyse post-incident d’une panne publique.
- Le service : votre
ticket-apià la fin du module 6, ou une copie de l’instantanéend-of-m06(voir les instantanés).python -m pytestaffiche218 passed(218 tests réussis). - Docker avec PostgreSQL et Valkey; le fournisseur simulé, l’API et un processus, comme dans Faire tourner le service en production; et la télémétrie enregistrée du cours dans
data/telemetry/. - Grafana est facultatif. Chaque partie peut plutôt utiliser l’outil
opssur des fichiers de télémétrie. - Aucun compte, appel de modèle ou paiement n’est nécessaire. Chaque réponse de l’IA provient d’un enregistrement rejoué ou d’une simulation : indiquez-le partout où vous en montrez une.
- Vous pouvez travailler en plusieurs séances. Exécutez les tests après chaque modification.
La situation : le premier quart de garde
Section intitulée « La situation : le premier quart de garde »Sam prend le téléphone de garde pour la première fois la semaine prochaine. Amira est en vacances, et Sam n’a jamais vu d’incident de ce service. Grace pose une dernière fois la question du cours : « Si l’assistant commence à mal servir nos clients pendant la garde de Sam, comment Sam le saura-t-il? Que fera-t-il? »
Votre dossier répond à cette question. Placez-le dans un nouveau dossier de votre projet, operations/pack/, avec un fichier par partie. Rédigez chaque fichier pour Sam : phrases courtes, commande ou panneau pour chaque étape, et responsable pour chaque décision.
Le cours vous a fourni un point de départ : l’inventaire, les SLO, les manifestes, les règles d’alerte, six guides d’exploitation et PIR-001. Utilisez-les et indiquez lesquels vous utilisez. Mais le dossier doit montrer votre service, à partir de vos exécutions. Le réviseur cherche votre propre télémétrie, vos propres identifiants de version et vos propres décisions. Les sorties du cours, copiées, ne constituent pas des preuves.
Partie 1 : le schéma de télémétrie
Section intitulée « Partie 1 : le schéma de télémétrie »Utilise Journaux, métriques et traces, Qualité et coûts et Une observabilité qui respecte la vie privée.
- Rédigez
operations/pack/telemetry.md. Listez les événements (par exempleticket.received,ticket.triaged,ticket.reviewed,answer.servedetrelease.changed), les métriques avec leurs étiquettes, et les attributs des segments de trace que lisent les alertes et l’outilops. Pour chacun, indiquez la question à laquelle il répond et qui le lit. - Indiquez ce qui n’est jamais exporté : texte des billets, texte des réponses, adresses courriel et numéros de carte. Indiquez ce qui les remplace : une longueur, une langue estimée, une empreinte de hachage.
- Précisez la règle d’échantillonnage, la durée de conservation et les personnes autorisées à lire la télémétrie. Justifiez chaque valeur.
- Exécutez le service avec
TELEMETRY_FILEdéfini. Envoyez au moins 20 billets d’exercice et 3 questions. Exécutez ensuitepython -m ops summaryetpython -m ops privacysur vos propres fichiers, puis collez les deux sorties.
Partie 2 : la traçabilité des versions de bout en bout
Section intitulée « Partie 2 : la traçabilité des versions de bout en bout »Utilise Lignée des artefacts, Configuration propre aux LLM, Registre des expériences et Régressions des LLM et du RAG.
- Construisez les manifestes des requêtes (prompts) v2 et v3 pour votre code avec
python -m ops release build … --write. Exécutez le service avecRELEASE_IDdéfini sur votre identifiant v2, puis exécutezpython -m ops release verifydessus. - Choisissez une réponse de triage dans votre propre exécution. Retracez-la avec
python -m ops trace TICKETsur vos deux fichiers de télémétrie : la version publiée, l’empreinte du code, les migrations, la requête et son empreinte, le modèle et sa version attendue, et les preuves d’évaluation. Expliquez chaque ligne en une phrase. - Choisissez une réponse à une question. Montrez ses
source_versions(versions des sources), la version de l’index fournie parpython -m scripts.reindex --check, et comment Sam verrait qu’une source est périmée. - Exécutez
python -m ops release diffsur vos deux identifiants. Indiquez quelles différences changent les réponses. - Indiquez ce qui joue le rôle d’un registre de modèles dans ce projet, et ce qu’un véritable registre ajouterait.
Partie 3 : le plan de surveillance et les tableaux de bord
Section intitulée « Partie 3 : le plan de surveillance et les tableaux de bord »Utilise Objectifs de service, Qualité et coûts, Dérive des données et dérive conceptuelle et Étiquettes tardives.
Rédigez operations/pack/monitoring.md, avec une ligne de tableau pour chaque signal :
| Colonne | Quoi écrire |
|---|---|
| Signal | par exemple, le SLI des brouillons, la concordance avec les révisions, le coût par 1 000 billets |
| Type | qualité, latence, coût, sécurité, dérive ou indicateur indirect |
| Disponibilité | immédiatement ou plus tard (une étiquette tardive), et après combien de temps |
| Cible ou seuil | avec sa source : un SLO, le budget ou une règle approximative (précisez que c’en est une) |
| Fenêtre | en billets ou en révisions lorsque le taux peut changer |
| Comment le lire | la commande ops, le panneau Grafana, ou les deux |
| Responsable | une personne |
Le tableau couvre au moins ces signaux : les parcours de brouillon et de sécurité, la concordance avec les révisions des agents, le temps de triage (p95), le délai avant un brouillon, le coût par 1 000 billets, les réponses sans texte, les sources périmées, la version du modèle et une vérification de dérive des entrées avec sa méthode. Ensuite :
- Indiquez combien de révisions par jour la mesure de qualité exige, et pourquoi. Étiquettes tardives a établi qu’il fallait 139 révisions pour une marge d’environ 5 points près de 90 %. Indiquez ce que Sam fait les jours où il y en a moins.
- Rédigez la règle d’une alerte de dérive : ce qu’elle déclenche et ce qu’elle ne déclenche jamais.
- Tableaux de bord. Configurez un tableau de bord Grafana à partir d’un fichier et ajoutez une capture d’écran de votre propre exécution, ou rédigez
operations/pack/dashboards.md. Dans ce fichier, donnez à chaque panneau un titre, sa requête ou sa commandeops, et la question à laquelle il répond pour Sam. Placez en haut les panneaux qui distinguent « disponible » de « sert mal ses utilisateurs ». - Exécutez
python -m ops slo,python -m ops quality --by releaseetpython -m ops labelssur votre télémétrie et sur une exécution enregistrée du cours. À partir de ces résultats, inscrivez une valeur « actuelle » pour chaque ligne.
Partie 4 : les alertes exploitables et les guides d’exploitation
Section intitulée « Partie 4 : les alertes exploitables et les guides d’exploitation »Utilise Régressions des LLM et du RAG, Guides d’exploitation et Pannes des fournisseurs et des dépendances.
- Listez chaque alerte dans
operations/pack/alerts.mdavec ses sept parties : signal, emplacement, règle, gravité, responsable, action (le guide d’exploitation) et test. - Ajoutez deux alertes que le cours n’a pas terminées : l’alerte de qualité sur les 139 dernières révisions, tirée de l’exercice du module Régressions des LLM et du RAG, et l’alerte
answers-slow(réponses lentes), tirée de la dernière tâche de Guides d’exploitation. Rédigez chacune dans le style deoperations/alerts.toml, puis ajoutez-la à Grafana ou àops/cmd_alerts.py. - Testez chaque alerte sur des exécutions enregistrées. Chacune doit se déclencher sur une exécution où elle le devrait, et rester silencieuse sur
normal-week.jsonl.gz. Utilisezpython -m ops alerts FILE, avec--afteret une action d’exercice pour mesurer le délai. Une alerte qui se déclenche pendant la semaine normale exige une décision. L’alerteno-answer(aucune réponse) du cours s’y déclenche deux fois, pour l’unique réponse tronquée de la requête v2 : indiquez ce que vous faites. - Rédigez ou mettez à jour un guide d’exploitation pour chaque alerte, en cinq parties : détection, triage, atténuation, escalade et vérifications du rétablissement. Chaque étape nomme une commande ou un panneau, et chaque vérification du rétablissement est un nombre.
Partie 5 : un incident et un retour arrière testés
Section intitulée « Partie 5 : un incident et un retour arrière testés »Utilise Barrières d’évaluation, Déploiements contrôlés et Tirer des leçons après un incident.
- Exécutez la barrière sur les deux requêtes. Conservez les sorties et les codes de sortie.
- Sur votre propre service, déployez la requête v3 sur un petit groupe témoin (canary) face à la requête v2 avec
python -m ops rollout. Rédigez les règles de retour arrière avant de commencer. Envoyez assez de billets d’exercice pour obtenir au moins 20 billets dans le groupe témoin, à un rythme permis par le quota simulé : par exemple 0,5 par seconde, comme dans Pannes des fournisseurs et des dépendances. Vous pouvez plutôt exécuterpython -m scripts.scenario canaryavec vos identifiants (voir le README du projet). - Lorsqu’une règle est satisfaite, suivez votre guide d’exploitation pour une mauvaise version : revenez en arrière en indiquant une raison, puis envoyez de nouveaux billets.
- Prouvez le rétablissement avec les trois parties de la preuve de rétablissement : l’historique, aucun billet du groupe témoin après le changement, et des signaux revenus aux valeurs de la version active. Collez la sortie de
python -m ops rollout history, puis celles depython -m ops canaryet depython -m ops incidentsur votre télémétrie. - Rédigez
operations/reviews/PIR-002-canary-v3.mddans le format de PIR-001 : une analyse sans blâme de votre déploiement témoin comme incident évité de justesse, avec une chronologie tirée de votre télémétrie et au moins deux actions avec des responsables. - Faites un court exercice sur table d’une panne du fournisseur avec votre guide d’exploitation, puis listez chaque lacune découverte.
Les scénarios de défaillance à vérifier
Section intitulée « Les scénarios de défaillance à vérifier »Montrez chacun avec une sortie de votre service ou d’une exécution enregistrée, et précisez laquelle. Indiquez que chaque cas construit est construit.
- Un manifeste qui ne correspond pas aux fichiers : changez un mot du fichier de requête et montrez que le service refuse de démarrer. Annulez ensuite le changement.
- La barrière arrête la requête v3 avec le code de sortie 1, avant qu’un client la voie.
python -m ops privacyne trouve aucun texte, aucune adresse courriel et aucun numéro de carte dans votre télémétrie.- Après une modification de document,
python -m scripts.reindex --checkse termine avec le code 1, et une réponse signalestale_sources(sources périmées). Après la reconstruction, les deux vérifications ne signalent plus de problème. - Avec la requête v3 active, un billet sans réponse valide est envoyé à une personne (
sent_to_person, envoyé à une personne), plutôt qu’à personne. - Pendant une panne d’exercice du fournisseur simulé,
GET /v1/statusindique « delayed » (retardé), aucun billet ne devient un message non livré, etops incidentcoche toutes les cases de rétablissement après le retour du fournisseur.
Exécution dans un environnement neuf
Section intitulée « Exécution dans un environnement neuf »Avant de soumettre, prouvez que le dossier fonctionne à partir de zéro :
- Copiez le projet dans un nouveau dossier, sans
.venv,.env,telemetry/etpractice/. - Arrêtez les conteneurs et supprimez leurs données avec
docker compose down --volumes. Redémarrez PostgreSQL et Valkey. - Créez un nouvel environnement virtuel, installez les dépendances à partir de
requirements.txt, puis créez.envà partir de.env.example. - Appliquez les migrations, chargez les données et exécutez tous les tests.
- Construisez le manifeste v2 et définissez
RELEASE_ID. Démarrez les services, envoyez 5 billets d’exercice, puis exécutezpython -m ops tracesur l’un d’eux.
Collez les commandes et leurs sorties dans votre rapport. Si une étape exigeait un élément absent du README, corrigez le README et refaites les étapes.
Quoi soumettre
Section intitulée « Quoi soumettre »Votre dossier de projet (sans .env, .venv et les sorties volumineuses d’exécution), avec operations/pack/, vos modifications d’alertes et de guides d’exploitation, PIR-002 et REPORT.md :
# Larkfield ticket service: operations pack## Telemetry schema (events, metrics, attributes; what is never exported; sampling, retention, access; ops summary and ops privacy on your run)## Version traceability (your manifests; one triage answer and one document answer traced; the release diff; what plays the part of a model registry)## Monitoring plan (the signals table; reviews a day; the drift rule; the dashboards)## Alerts and runbooks (every alert in seven parts; the two new ones; each tested on saved runs, with its delay and the normal week; the runbooks)## Incident and rollback (the gate's outputs; the canary; the rollback; the three-part proof of recovery; PIR-002; the tabletop's gaps)## Failure paths (each of the six, with the output that shows it)## Fresh-environment run (the commands and their outputs)## Limits (replayed and simulated answers, practice time, your computer, what you did not test)Comment le travail est évalué
Section intitulée « Comment le travail est évalué »Un réviseur évalue chaque élément requis comme démontré, partiellement démontré ou pas encore démontré, avec une raison concrète. Pour terminer le cours, vous devez démontrer les quatre éléments. Vous pouvez améliorer un élément et le soumettre de nouveau.
| Élément requis | Démontré | Partiellement démontré, par exemple | Pas encore démontré, par exemple |
|---|---|---|---|
| Traçabilité des versions de bout en bout | Votre service fonctionne avec un identifiant de version qui correspond à ses fichiers. Vous retracez une réponse de triage et une réponse documentaire à partir de votre propre télémétrie. Elles mènent à la version publiée, à l’empreinte de la requête, aux versions du modèle et de l’index, aux preuves d’évaluation. La comparaison de vos deux versions indique ce qui change les réponses. | La réponse de triage est retracée, mais les sources ou la version de l’index de la réponse documentaire manquent. Ou la trace utilise seulement les fichiers enregistrés du cours. | Les réponses ne portent aucun identifiant de version. Ou le manifeste ne correspond pas aux fichiers, et personne ne l’a remarqué. |
| Plan de surveillance de la qualité, de la latence et des coûts | Chaque signal a un type, une cible avec sa source, une fenêtre, une façon de le lire et un responsable. Les signaux tardifs et immédiats restent séparés, avec le nombre de révisions et sa justification. Une alerte de dérive ouvre une enquête, jamais un changement. Les tableaux de bord affichent « ne répond pas aux besoins des utilisateurs » à côté de « disponible ». | Le plan couvre la latence et les coûts, mais la qualité repose seulement sur un indicateur indirect. Ou les fenêtres sont en minutes alors que le rythme change. | La disponibilité est le seul signal du service. Ou une alerte de dérive déclenche un réentraînement ou une mise en production. |
| Alertes permettant d’agir | Chaque alerte comprend ses sept parties et un guide d’exploitation avec une commande à chaque étape. Vous testez chacune sur des exécutions enregistrées : elle se déclenche au bon moment, avec son délai, et vous vérifiez la semaine normale. Les deux nouvelles alertes fonctionnent. | Les alertes sont écrites, mais l’une n’est pas testée. Ou une étape du guide d’exploitation dit « vérifiez que tout va bien ». | Une alerte n’a aucun responsable ou aucun guide d’exploitation. Ou vous gardez, sans décision, une alerte impossible à déclencher ou qui se déclenche à chaque exécution sans problème. |
| Scénario d’incident et de retour arrière testé | Les décisions de la barrière sont présentées avec leurs codes de sortie. Le déploiement canari a fonctionné sur votre service avec des règles écrites à l’avance. Une règle a été satisfaite. Le retour arrière comprend les trois parties de la preuve de rétablissement, à partir de nouveaux billets après le changement. PIR-002 ne cherche pas de coupable, et ses actions ont des responsables. | Le retour arrière est fait, mais la preuve n’utilise aucun nouveau billet, ou une partie manque. Ou l’analyse propose des actions sans responsables. | Aucune exécution à vous : seulement le déploiement canari enregistré du cours. Ou « l’alerte a cessé » sert de preuve de rétablissement. |
Même si le reste est solide, le travail reste incomplet si votre télémétrie contient du texte de billet, une adresse courriel ou un numéro de carte. Il reste aussi incomplet si un billet sans réponse valide ne peut être acheminé à personne. Un tableau de bord complet ne compense aucun de ces problèmes.
Les résultats du cours peuvent vous aider à juger les vôtres, mais ce ne sont pas des cibles. Dans Déploiements contrôlés, le déploiement canari enregistré a satisfait sa première règle au 9e billet canari. De plus, 25 clients ont reçu une réponse produite avec la requête v3. Dans Guides d’exploitation, les alertes de panne se sont déclenchées 0,6 et 3,1 minutes d’exercice après le début de la panne. Elles suivaient les règles appliquées à la télémétrie enregistrée. Vos exécutions sont plus petites et se déroulent sur votre ordinateur. Vos chiffres diffèrent donc.
Erreur courante
ops trace s'arrête : aucun manifeste de version none.toml
Symptôme : python -m ops trace sur l’un de vos billets affiche l’entrée et le résultat. Puis la commande s’arrête avec no release manifest operations/releases/none.toml (aucun manifeste de version operations/releases/none.toml).
Cause : le triage du billet a eu lieu alors que RELEASE_ID était vide. Le billet ne porte donc aucune version. Il n’y a rien auquel le rattacher.
Solution : définissez RELEASE_ID pour qu’il désigne un manifeste correspondant à vos fichiers. Redémarrez l’API et le processus, puis envoyez de nouveaux billets. Les billets créés avant cela n’ont aucune lignée, et vous ne pouvez pas l’ajouter après coup.
Erreur courante
Le déploiement canari ne reçoit aucun billet
Symptôme : après python -m ops rollout canary, python -m ops canary sur votre télémétrie affiche 0 billet canari.
Cause : le processus lit l’état du déploiement toutes les 5 secondes. Ou la proportion est faible : le canari choisit les billets selon un hachage de leur identifiant. Quelques billets peuvent donc tous passer à côté.
Solution : vérifiez python -m ops rollout status, envoyez plus de billets et attendez le processus. Pour un court exercice, utilisez une proportion plus grande, comme dans Déploiements contrôlés avec 0,5.
Récapitulatif
Dans ce cours, vous avez rendu un service d’IA exploitable, un module à la fois :
- Prenez-en la responsabilité : un inventaire de ce qui est exploité, des SLO pour les parcours importants, des budgets d’erreur, des niveaux de gravité et un responsable pour chacun.
- Retracez-le : un manifeste de version pour chaque changement, avec son identifiant sur chaque réponse, pour remonter aux versions utilisées.
- Observez-le : une télémétrie sans texte privé, la qualité et les coûts par version, et une trace montrant où passent le temps et l’argent.
- Surveillez ses changements : la dérive avec une méthode déclarée, les étiquettes tardives avec assez de révisions, et les régressions propres aux services de modèles de langage.
- Mettez-le en production en toute sécurité : une barrière avec des limites écrites, un déploiement en parallèle et un canari avec des règles de retour arrière, et un changement choisi selon la cause.
- Exploitez-le quand tout va mal : des guides d’exploitation, un état honnête pour les clients, un rétablissement prouvé par des chiffres et des analyses sans blâme.
Si vous n’en avez pas encore fait, choisissez une étude de cas pour le certificat : Surveiller un modèle sur des données publiques qui changent ou Analyse post-incident d’une panne publique.