Aller au contenu
English

Ce qui est exploité

  • Leçon 2
  • 50 min
  • Module 1 : Définir la responsabilité opérationnelle

Où nous en sommes

Dans la leçon précédente, nous avons fait tourner le service et lu la relecture de la semaine dernière : tous les billets ont été acceptés, mais 197 n'ont reçu aucune réponse. Une partie du service avait changé, et personne ne l'a examinée, car personne ne l'avait inscrite comme une partie. Dans cette leçon, nous listons toutes les parties dont dépend le service, comme une liste d'entretien pour l'hôtel.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

La semaine dernière, une partie du service a changé. Personne ne l’a examinée, car personne ne l’avait inscrite comme une partie du service. Listez toutes les dépendances du service de billets de soutien, où lire leur version et leur premier signe de panne.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 50 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre projet de la dernière leçon, à l’instantané end-of-m01, avec son environnement virtuel. Cette leçon ne nécessite pas Docker.

Repensez au petit hôtel. Un matin, il n’y a plus d’eau chaude. Le nouveau gérant ignore où se trouve la chaudière, quelle entreprise l’entretient et quel âge elle a. Les clients se plaignent pendant trois heures tandis qu’il cherche.

Un gérant expérimenté garde une liste sur le mur du bureau. Chaque ligne représente une dépendance de l’hôtel : chaudière, ascenseurs, Internet, entreprise de buanderie, site de réservation. Chaque ligne indique qui appeler et de quel modèle ou contrat il s’agit. Elle donne aussi le premier signe de problème : « l’eau de la chambre 101 est froide après 7 h », « l’ascenseur s’arrête entre les étages ». La liste est courte, mais personne ne cherche dans l’urgence.

Cette liste contient deux types de lignes. Certaines représentent des machines dans le bâtiment. D’autres ne sont pas des machines : un fournisseur, un contrat, un système de réservation exploité par une autre entreprise. Ces éléments peuvent aussi tomber en panne, chacun à sa façon.

Voici ce qui a changé la semaine dernière, dans la simulation par rejeu. Une ligne dans les paramètres du service :

ASSISTANT_PROMPT=assistant-v3

Le code n’a pas changé. Les tests ont réussi, car ils testent le code. L’image du conteneur était la même. L’API répondait toujours 202 Accepted (accepté). Du point de vue du code, rien ne s’était passé. Mais le comportement du service a beaucoup changé :

Un flux de gauche à droite. Un changement, ASSISTANT_PROMPT=assistant-v3 pour chaque billet, entre dans la requête de triage, dont Priya est responsable. Trois flèches partent de la requête : 10,3 % de réponses sans texte (186 sur 1 798), ce qui mène à un SLI de brouillon de 91,79 % et à 10 billets nécessitant une personne qui n'atteignent personne; plus de jetons en sortie (médiane de 627, contre 260), ce qui mène à un coût de 0,474 $ US par 1 000 billets, contre 0,338; réponses plus lentes (p95 du triage de 8,34 s, contre 5,17 s), ce qui mène à un délai de production du brouillon toujours inférieur à 10 minutes. Une flèche pointillée relie le changement au SLI d'acceptation, la « disponibilité » : 100,00 %, inchangé.
Le seul changement de la semaine dernière et ses effets visibles. Le seul chiffre que tout le monde surveillait n'a pas bougé. Une simulation par rejeu; les réponses sont de vrais enregistrements.
Description textuelle du diagramme

Le changement touchait une partie : la requête de triage. Trois choses ont ensuite changé. Une réponse sur dix n’avait aucun texte. La proportion de billets avec un brouillon valide est donc tombée à 91,79 %. Dix billets nécessitant une personne n’ont atteint personne. Le modèle a écrit plus du double de jetons (tokens). Le coût par 1 000 billets est donc passé de 0,338 $ US à 0,474 $ US. Les réponses prenaient plus de temps, mais toujours moins de 10 minutes. Ce chiffre semblait donc correct. Le taux d’acceptation, la « disponibilité », est resté à 100 % : il ne dépendait aucunement de la requête.

Personne ne surveillait la requête, car elle ne figurait sur aucune liste. Pour les gens, « le service » était le code. En réalité, le service comprend le code et toutes ses dépendances nécessaires pour donner une bonne réponse.

Exploiter un service, c’est le maintenir au service de ses utilisateurs, chaque jour, après sa construction. Vous exploitez tout ce qui peut l’empêcher de remplir cette fonction. Un inventaire est la liste écrite de ces parties, comme celle sur le mur de l’hôtel. Pour chaque partie, il répond à quatre questions :

  1. Type : de quel type de partie s’agit-il? Code, données, modèle, requête, index, outil, fournisseur, infrastructure ou personnes.
  2. Version : quelle version fonctionne maintenant, et où la lisez-vous? Une version illisible est une version impossible à comparer.
  3. Responsable : qui prend les décisions concernant cette partie, et qui appelle-t-on en premier en cas de panne? Les prochaines leçons approfondissent ce sujet.
  4. Premier signe de panne : que verriez-vous en premier si cette partie fonctionnait mal? C’est le signal à surveiller.

Un service d’IA comprend plus de types de parties qu’un service Web classique. Un service classique change quand son code change. Un service d’IA change aussi quand :

  • une requête change, comme la semaine dernière, sans changement de code;
  • le fournisseur change son modèle, selon son propre calendrier, sous le même nom;
  • les données changent : le texte d’une politique, les documents du magasin, les données d’évaluation;
  • l’index de récupération vieillit, car les documents ont changé sans qu’on reconstruise l’index.

Chacun de ces éléments nécessite sa propre ligne, sa propre version et son propre premier signe.

Commencez par trois parties de l’étape de triage et écrivez les quatre réponses pour chacune.

Partie Type Version : où la lire Responsable Premier signe de panne
ticket-api code le commit Git (enregistrement des changements) et l’empreinte de l’image Amira réponses 5xx; tâches qui échouent ou attendent trop longtemps
requête de triage requête ASSISTANT_PROMPT et son empreinte Priya réponses sans texte; plus de billets envoyés à une personne
modèle de conversation modèle la version du modèle dans les réponses du fournisseur Priya nouvelle version du modèle; changements dans les jetons, les délais ou les décisions

Rejouez maintenant la semaine dernière en vous appuyant sur ce petit tableau. Le changement était à la deuxième ligne. Son premier signe, « réponses sans texte », correspond exactement à ce qui s’est passé : 186 des 1 798 réponses v3. Avec ce tableau au mur, la question « qu’est-ce qui a changé? » donne une courte liste d’endroits à examiner. Sans lui, les gens examinent le code, qui n’a pas changé.

La colonne du milieu demande de l’attention. Le nom de la requête ne suffit pas comme version : quelqu’un peut modifier assistant-v2.md sans changer le nom. Le projet calcule donc aussi une empreinte : un court hachage de tout ce que la requête envoie, sauf le billet. Cela comprend les instructions, la politique, le schéma de sortie et la limite de jetons. Exécutez ceci dans votre projet :

Fenêtre de terminal
python -c "from ticket_api import assistant; print(assistant.fingerprint('assistant-v2'), assistant.fingerprint('assistant-v3'))"
82a15031e521 e91df8e7a92a

Deux requêtes, deux empreintes. Si un mot de la politique change, l’empreinte change aussi. Dans ce cours, une version de requête est une paire : le nom du fichier et l’empreinte. Les gens lisent le nom; un programme peut vérifier l’empreinte. La règle dans assistant.py est la suivante : pour changer une requête, ajoutez un fichier. Ne modifiez jamais un fichier utilisé par une version mise en production.

Amira et Priya ont écrit toute la liste dans operations/inventory.toml. Chaque partie occupe un bloc. Voici le bloc de la requête :

[[component]]
name = "triage prompt"
kind = "prompt"
version = "ASSISTANT_PROMPT (a file in ticket_api/prompts/) and its fingerprint"
owner = "Priya"
first_sign = "answers without text; more tickets sent to a person; agents correct more teams"

Le fichier est du texte. Il reste donc dans Git avec le code, et on révise ses modifications comme celles du code. L’outil ops l’affiche sous forme de tableau :

Fenêtre de terminal
python -m ops inventory
kind component owner first sign of a failure
-------------- ------------------------------------------------ ----- --------------------------------------------------------------------------------
code ticket-api (API and worker) Amira 5xx answers from POST /v1/tickets; jobs that fail or wait too long
prompt triage prompt Priya answers without text; more tickets sent to a person; agents correct more teams
data support policy (inside the prompt) Grace replies that state an old rule; agents rewrite the drafts
model chat model (chat-small) Priya a new model version in the answers; changed tokens, time or decisions
provider AI provider Kwame HTTP 429 (quota) or 5xx and timeouts; the circuit breaker opens
data evaluation set Priya a release decision that the set cannot support (a new kind of ticket is missing)
model embedding model (embed-small) Priya similar-ticket search returns unrelated tickets
data shop documents Grace a document changes and answers still quote the old text
index retrieval index (answers) Tomás answers that cite an old document version; questions with no source found
tool tools Tomás -
infrastructure PostgreSQL (tickets, jobs, AI results) Mei 503 database_busy; slow queries; a failed backup
infrastructure Valkey (cache) Amira X-Cache: off (the service still works, but slower and dearer)
infrastructure telemetry storage (collector, Grafana) Mei empty dashboards; alerts that cannot be evaluated
people customer communication (status message, replies) Grace customers ask where their answer is
14 components, 6 owners: Amira, Grace, Kwame, Mei, Priya, Tomás.

Quatorze parties. Lisez quelques lignes qu’un service Web classique n’aurait pas :

  • Politique de soutien (données). Les règles de Grace font partie de la requête. Une règle modifiée change les réponses. Elle a donc sa propre ligne et sa propre responsable : Grace écrit les règles.
  • Données d’évaluation (données). Elles ne servent aucun client. Mais chaque décision de mise en production repose sur elles. Si un nouveau type de billet apparaît sans y être représenté, ces données échouent silencieusement. Elles disent « livrez » pour des billets qu’elles n’ont jamais vus.
  • Index de récupération. Les réponses aux questions des clients citent les documents du magasin au moyen d’un index. Sa version est l’empreinte des documents au moment de sa construction. Si les documents changent sans que l’index change, les réponses citent l’ancien texte.
  • Outils : aucun. L’assistant n’appelle aucun outil aujourd’hui : il ne peut pas consulter une commande. La ligne est tout de même là, volontairement. « Aucun » est une décision prise par quelqu’un. Le jour où on ajoute un outil, la ligne existe déjà et a un responsable.
  • Communication avec les clients (personnes). En cas de panne, quelqu’un doit informer les clients. Cela fait aussi partie du service. Son premier signe est le pire : les clients demandent où est leur réponse.

Deux options aident quand la liste est longue. --versions affiche la colonne des versions au lieu des premiers signes. --owner affiche les parties d’une personne :

Fenêtre de terminal
python -m ops inventory --owner Priya
kind component owner first sign of a failure
------ ----------------------------- ----- --------------------------------------------------------------------------------
prompt triage prompt Priya answers without text; more tickets sent to a person; agents correct more teams
model chat model (chat-small) Priya a new model version in the answers; changed tokens, time or decisions
data evaluation set Priya a release decision that the set cannot support (a new kind of ticket is missing)
model embedding model (embed-small) Priya similar-ticket search returns unrelated tickets
4 components, 1 owners: Priya.

Un tableau liste les parties, mais ne montre pas leurs dépendances. Quand le fournisseur d’IA tombe en panne, quelles parties tombent avec lui? La carte répond à cette question.

Une carte de 14 cases reliées par des flèches; chaque case indique le composant, son type et son responsable. En haut, les clients et les agents; la communication avec les clients (personnes, Grace) les informe. Les clients envoient des billets à ticket-api (API et processus; code, Amira). ticket-api dépend de la requête de triage (requête, Priya), qui comprend la politique de soutien (données, Grace) et que les données d'évaluation (données, Priya) testent avant une mise en production; de Valkey (infrastructure, Amira); du stockage de télémétrie (infrastructure, Mei); de PostgreSQL (infrastructure, Mei); de l'index de récupération (index, Tomás), construit à partir des documents du magasin (données, Grace); et du fournisseur d'IA (fournisseur, Kwame), qui sert le modèle de conversation et le modèle de plongement (modèle, Priya). Outils : aucun (outil, Tomás), avec une bordure en tirets. Une légende donne une couleur par famille de types. Sur un téléphone, la carte liste les composants regroupés par responsable.
Le service de billets de Larkfield : ses dépendances et les responsables de chaque partie. Dessiné à partir de operations/inventory.toml.
Description textuelle du diagramme

Lisez la carte à partir du haut. Les clients envoient des billets à ticket-api. Tout le reste se trouve en dessous. La requête comprend la politique, et les données d’évaluation testent la requête avant une mise en production. La flèche en tirets représente une vérification, pas un appel. Le fournisseur d’IA sert les deux modèles. On construit l’index à partir des documents du magasin. À droite, vous consulterez le stockage de télémétrie dans les modules suivants. Chaque case indique son responsable. Les couleurs regroupent les types, et chaque case indique aussi son type.

Suivez une panne le long des flèches. Si le fournisseur d’IA cesse de répondre, le modèle de conversation et le modèle de plongement s’arrêtent aussi. L’étape de triage s’arrête donc, tout comme les nouveaux plongements (embeddings) pour la recherche de billets similaires. PostgreSQL et le cache fonctionnent toujours, donc l’API accepte encore les billets. C’est utile à savoir avant que cela arrive : une panne du fournisseur n’est pas une panne de l’API.

Tomás n’est pas convaincu. « On a un README et un fichier compose. Ce n’est pas ça, l’inventaire? »

Amira répond : « Le fichier compose liste les conteneurs. Il ne liste pas la requête, la version du modèle, la politique ou les données d’évaluation. Et il ne dit pas qui appeler ni à quoi ressemble une panne. »

Gardez un inventaire dès qu’un service a de vrais utilisateurs et que plusieurs personnes y travaillent. L’écrire coûte peu : celui de Larkfield contient 14 blocs de texte. Le coût consiste à le garder exact. Un inventaire périmé est pire que son absence, car les gens lui font confiance. Deux habitudes aident. D’abord, révisez-le à chaque mise en production, avec les changements sous les yeux. Ensuite, gardez-le près du code. Ainsi, un changement du service et de sa liste arrivent dans la même révision.

N’essayez pas de tout lister. Une ligne mérite sa place si sa panne peut nuire aux utilisateurs et si quelqu’un doit prendre des décisions la concernant. Les paquets Python n’ont pas de lignes ici : ils figurent dans le fichier de verrouillage, et les tests du code les couvrent.

Larkfield prévoit de permettre à l’assistant de consulter l’état d’une commande. L’outil appelle le système de commandes du magasin, qu’une autre équipe exploite. Écrivez son bloc d’inventaire : nom, type, version, responsable et premier signe de panne. Décidez ensuite quelle ligne de l’inventaire actuel change aussi.

Une solution détaillée
[[component]]
name = "order lookup (tool)"
kind = "tool"
version = "the order system's API version, and the tool's schema in ticket_api/prompts/"
owner = "Tomás"
first_sign = "lookups that fail or time out; replies that state an order status the lookup did not return"

La ligne tools (outils) change : sa version n’est plus « aucun ». Le système de commandes appartient à une autre équipe. Le responsable ici est donc la personne de Larkfield qui répond de l’outil : Tomás, déjà responsable de la ligne des outils. Le premier signe comporte deux parties. L’une est technique : les consultations échouent. L’autre concerne la qualité : un état inventé. La requête interdit déjà un état qui ne provient pas d’une consultation, mais vous le surveillez tout de même.

Erreur courante

ops inventory : aucun fichier operations/inventory.toml

Symptôme :

ops inventory: no file operations/inventory.toml (run ops from the project folder)

Cause : vous avez exécuté la commande depuis un autre dossier. Ou votre projet est encore à l’instantané start, sans dossier operations/.

Correction : allez dans le dossier du projet (cd ~/projects/ticket-api). Si ls operations n’affiche rien, copiez l’instantané end-of-m01 sur votre projet, comme l’explique Faire tourner le service en production.

Erreur courante

Un responsable qui est une équipe, une version qui est un nom

Symptôme : une ligne indique owner = "the AI team" (responsable = l’équipe d’IA) ou version = "latest" (version = la plus récente). Pendant un incident, chacun pense que quelqu’un d’autre s’en occupe, et personne ne peut dire ce qui a changé.

Cause : on a écrit l’inventaire comme une description, pas comme un outil pour les jours difficiles.

Correction : écrivez le nom d’une personne pour chaque responsable. La prochaine leçon ajoute une personne de relève. Pour chaque version, indiquez où un programme ou une personne lit la valeur exacte. C’est une empreinte, un commit, une empreinte d’image ou la version du modèle dans la réponse du fournisseur. « latest » (la plus récente) n’est pas une version : elle change sans vous avertir.

Vérifiez votre compréhension

Le changement de la semaine dernière a réussi tous les tests, et l'image du conteneur n'a pas changé. Quelle ligne de l'inventaire a changé? Laquelle de ses quatre réponses aurait indiqué le problème en premier?

Afficher la réponse

La requête de triage (type : requête) a changé : ASSISTANT_PROMPT est passé de assistant-v2 à assistant-v3. Son empreinte est passée de 82a15031e521 à e91df8e7a92a. Son premier signe, « réponses sans texte », correspond à ce qui s’est passé : 186 des 1 798 réponses v3 étaient sans texte. Les tests vérifient le code, et l’image contient le code. Ni les uns ni l’autre ne pouvaient donc voir un changement de paramètre.

Vérifiez votre compréhension

Prédisez : le fournisseur d'IA tombe en panne pendant 10 minutes. Selon la carte, quelles parties cessent de fonctionner? L'API accepte-t-elle encore les billets?

Afficher la réponse

Le fournisseur sert le modèle de conversation et le modèle de plongement. Le triage et les nouveaux plongements s’arrêtent donc. L’API dépend de PostgreSQL pour enregistrer les billets, pas du fournisseur. Elle les accepte donc toujours avec 202. Les tâches attendent dans la file jusqu’au retour du fournisseur. Le taux d’acceptation reste à 100 %, alors qu’aucun billet ne reçoit de brouillon. Un module ultérieur reproduit exactement cette panne.

Vérifiez votre compréhension

Vérification pratique : combien de composants et de responsables l'inventaire contient-il? Où lisez-vous la version du modèle de conversation?

Afficher la réponse

python -m ops inventory se termine par 14 components, 6 owners: Amira, Grace, Kwame, Mei, Priya, Tomás. (14 composants, 6 responsables). Avec --versions, la ligne du modèle de conversation indique « la version du modèle dans les réponses du fournisseur (gen_ai.response.model) ». Le simulateur la rapporte aussi : curl http://127.0.0.1:8300/admin/stats affiche "model_version":"gpt-6-luna-2026-09-22".

Récapitulatif

  • Exploiter un service, c’est le maintenir au service de ses utilisateurs. Vous exploitez tout ce qui peut l’arrêter : code, données, modèles, requêtes, index, outils, fournisseurs, infrastructure et personnes.
  • Un inventaire donne à chaque partie un type, une version et où la lire, un responsable et un premier signe de panne. Celui de Larkfield contient 14 parties et 6 responsables : python -m ops inventory.
  • Un service d’IA change sans changement de code : une requête, le modèle d’un fournisseur, un document, un vieil index. Une version de requête est un nom de fichier et une empreinte.
  • La carte montre les dépendances : une panne du fournisseur arrête le triage, mais l’API accepte toujours les billets.

Ensuite, vous décidez ce que « fonctionner » signifie pour chaque parcours utilisateur, en chiffres.

Leçon suivante : Objectifs de service