Réentraîner ou réviser
- Leçon 16
- 50 min
- Module 5 : Mettre en production et améliorer en toute sécurité
Où nous en sommes
Dans les deux leçons précédentes, nous avons arrêté une mauvaise version avec une barrière et un déploiement canari. Mais quand les preuves montrent que l'assistant échoue, quel changement élimine la cause : une correction des données, une nouvelle requête, un nouvel index ou un nouveau modèle? Dans cette leçon, nous passons du symptôme à sa cause et nous choisissons le plus petit changement. Nous commençons par une voiture qui tire d'un côté.
Leçon 16 sur 19 · MLOps et LLMOps : exploiter l'IA en productionRéentraîner ou réviser
1. Définir la responsabilité opérationnelle
2. Versionner et reproduire le système
3. Instrumenter une télémétrie utile
4. Surveiller les changements de comportement
5. Mettre en production et améliorer en toute sécurité
6. Gérer les incidents et la passation
Ce que vous saurez faire
Quand les preuves montrent que l’assistant échoue, choisissez la modification qui élimine la cause. Ce peut être une correction des données, une modification de requête (prompt), un nouvel index ou un nouveau modèle. Un symptôme seul ne détermine jamais la modification. Faites ensuite passer cette modification par la barrière et un déploiement canari, comme toute autre mise en production.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La dérive, les étiquettes tardives et les régressions du RAG, du module 4 : Dérive des données et dérive conceptuelle, Étiquettes tardives et Régressions des LLM et du RAG.
- La barrière et le déploiement canari, présentés dans Barrières d’évaluation et Déploiements contrôlés.
Ce qu’il vous faut sur votre ordinateur
- Votre projet après la dernière leçon :
python -m pytestaffiche213 passed(213 tests réussis). - La télémétrie enregistrée dans
data/telemetry/. Cette leçon lit uniquement des fichiers enregistrés : aucun Docker, aucun service.
La voiture qui tire d’un côté
Section intitulée « La voiture qui tire d’un côté »Votre voiture tire vers la gauche. Vous pourriez acheter une nouvelle voiture, et elle ne tirerait plus. Cela coûterait aussi très cher, et vous ne sauriez jamais pourquoi l’ancienne tirait.
Un mécanicien pose d’abord des questions. Un pneu manque-t-il d’air? Les roues sont-elles mal alignées? La route elle-même est-elle inclinée? Chaque question a une vérification rapide, et chaque réponse indique une réparation différente : gonfler, aligner ou ne rien faire. Une nouvelle voiture reste la dernière option, quand rien d’autre ne fonctionne.
L’assistant fait face au même choix. « Réentraîner le modèle », c’est la nouvelle voiture.
Le problème : un symptôme, trois causes différentes
Section intitulée « Le problème : un symptôme, trois causes différentes »Examinez trois exécutions enregistrées du cours. Dans chacune, les clients ont reçu de moins bonnes réponses :
- « La semaine dernière » : beaucoup de billets de soutien sans réponse, et l’accord avec les agents a chuté à 83,7 %.
- Le bloc sans réponse dans la politique de l’exécution de dérive : l’accord a chuté à 85,3 %, sous le SLO de 90 %.
- L’exécution avec un index périmé : les réponses citaient un prix de livraison qui n’était plus valide.
Tomás a une seule réponse pour les trois : « Réentraîner le modèle. » Cela n’en corrigerait aucune. Le modèle appartient au fournisseur, et il n’a changé dans aucune des trois exécutions. La première cause était une nouvelle requête. La deuxième était une lacune dans la politique de la boutique. La troisième était une ancienne copie d’un document. Un nouveau modèle lirait encore la même requête, la même politique et le même ancien document.
Description textuelle du diagramme
Les trois exécutions montrent le même symptôme : de moins bonnes réponses pour les clients. Dans « la semaine dernière », l’historique montre une mise en production à la minute 5. Le rapport de qualité montre que 10,3 % des billets de v3 n’ont aucun texte. La cause est la requête, donc il faut revenir en arrière et réviser la requête. Pour les billets sans réponse dans la politique, il n’y a aucune mise en production ni dérive linguistique. Mais l’accord a chuté à 85,3 %. La cause est la politique, donc il faut modifier son texte, puis la requête. Dans l’exécution avec un index périmé, il n’y a aucune mise en production. La vérification indique que l’index est plus ancien que les documents, et 22 réponses citent d’anciennes sources. La cause est l’index, donc il faut le reconstruire.
L’idée : diagnostiquer, puis faire la plus petite modification qui corrige la cause
Section intitulée « L’idée : diagnostiquer, puis faire la plus petite modification qui corrige la cause »Réentraîner signifie changer le modèle : faire un réglage fin sur vos propres billets étiquetés, ou passer à un autre modèle. Réviser signifie changer ce que le modèle reçoit : les données, la requête, la politique ou les documents qu’il recherche. Ce cours distingue quatre types de modifications :
| Modification | Corrige | Exemple chez Larkfield | Coût |
|---|---|---|---|
| Correction des données | entrées, étiquettes ou documents incorrects | une mauvaise étiquette dans les données d’évaluation; un document incorrect | faible; une nouvelle évaluation |
| Modification de requête | instructions, texte de politique, format de sortie, limite de jetons | la politique ne dit rien sur une nouvelle option de paiement | faible; la barrière et un déploiement canari |
| Nouvel index | réponses qui recherchent dans une ancienne copie des documents | le prix de livraison a changé, mais pas l’index | très faible; une commande |
| Adaptation du modèle | une tâche que le modèle ne peut accomplir avec aucune des requêtes essayées | aucun jusqu’ici | élevé : données étiquetées, entraînement, évaluation complète et nouvelle dépendance |
Chaque modification, petite ou grande, est une nouvelle mise en production. Elle reçoit un manifeste, passe par la barrière et atteint les clients par un déploiement canari.
Un petit exemple : lire les preuves, pas l’alarme
Section intitulée « Un petit exemple : lire les preuves, pas l’alarme »Avant toute modification, vous jugez un candidat avec des chiffres. Voici l’exécution en parallèle de la requête v3 contre v2, vérifiée selon les règles de retour arrière du projet. Chaque étape est visible :
Exécutez du Python dans votre navigateur
Juger un candidat avec les règles de retour arrière
L’encadré affiche chaque règle avec son calcul. Il trouve 42 réponses sans texte, une hausse du coût de +39,8 % contre +20 %, et du p95 de +66,4 % contre +50 %. Les 3 règles sont satisfaites, donc il indique reject (rejeter). Essayez l’autre candidat dans le dernier commentaire.
Tab ajoute quatre espaces. Appuyez sur Esc, puis sur Tab, pour quitter la zone. Ctrl+Enter exécute le code.
answers without text: 42 (rule: 1 is enough)cost: 0.471 / 0.337 - 1 = +39.8% (rule: +20%)p95: 8.22 / 4.94 - 1 = +66.4% (rule: +50%)3 of 3 rules met: rejectLes chiffres indiquent ce qui ne va pas : aucun texte, plus de coûts, plus de temps. Ils ne disent pas encore pourquoi. Il faut pour cela les questions de l’arbre de décision.
L’arbre de décision
Section intitulée « L’arbre de décision »Le fichier docs/improve.md du projet présente les questions dans un tableau : symptôme, première vérification, cause probable, modification. L’arbre les ordonne pour économiser le plus de temps. Les causes courantes et peu coûteuses viennent d’abord, et l’adaptation du modèle vient en dernier.
Description textuelle du diagramme
Partez du symptôme et posez cinq questions dans l’ordre. A-t-il commencé juste après une mise en production? Revenez alors d’abord en arrière et révisez la mise en production. Les réponses citent-elles un ancien document? Reconstruisez alors l’index. La version du modèle du fournisseur a-t-elle changé? Fixez-la alors, ou évaluez la nouvelle. Les billets attendent-ils alors que les réponses sont correctes? C’est alors une panne, pas un problème de qualité. Les révisions des agents montrent-elles moins d’accord? Sinon, seules les entrées ont changé : ne changez rien et examinez le nouveau type de billet. Si oui, lisez les billets que les agents ont corrigés. Une lacune dans la politique mène à une modification de politique et de requête. Des étiquettes ou des données incorrectes mènent à une correction des données. L’arbre n’atteint l’adaptation du modèle que lorsque toutes les requêtes échouent et que des données étiquetées existent. Chaque modification devient ensuite une nouvelle mise en production, passant par la barrière et un déploiement canari.
Parcourir l’arbre avec les exécutions enregistrées
Section intitulée « Parcourir l’arbre avec les exécutions enregistrées »« La semaine dernière » : la première question donne la réponse
Section intitulée « « La semaine dernière » : la première question donne la réponse »python -m ops quality data/telemetry/release-full.jsonl.gz --by releaserelease 1.5.0-4fafd1 1.5.0-767b56------------------------------ ----------------- -----------------tickets 602 1,798 ok 601 (99.8%) 1,602 (89.1%) no_answer 1 (0.2%) 186 (10.3%) dead_letter 0 (0.0%) 10 (0.6%)sent to a person 162 (27.0% of ok) 475 (29.7% of ok)tokens in (median) 1,902 1,477tokens out (median) 260 627triage call p50 / p95 (s) 2.89 / 5.17 5.56 / 8.34time to a draft p95 (s) 5.2 7.9cost per 1,000 tickets (US$) 0.338 0.474agrees with the agent's review 288/307 (93.8%) 623/744 (83.7%)Les deux colonnes sont deux mises en production du même service, avec le même modèle sur le même type de billets. Seule la requête diffère. Le nombre de jetons en sortie a plus que doublé, passant de 260 à 627. v3 fait raisonner le modèle plus longtemps, et certaines réponses épuisent leurs jetons avant de produire du texte. La cause est donc la requête. La modification : revenez en arrière maintenant, puis révisez la requête. Par exemple, utilisez la limite de jetons plus élevée d’EXP-002 dans Registre des expériences. Faites ensuite passer la révision par la barrière.
Le bloc sans réponse dans la politique : la dernière question
Section intitulée « Le bloc sans réponse dans la politique : la dernière question »Aucune mise en production n’a eu lieu dans l’exécution de dérive. L’index était à jour et la version du modèle n’a pas changé. Les révisions montrent bien moins d’accord :
python -m ops labels data/telemetry/drift.jsonl.gz --windows 10003,000 tickets, 1,445 reviewed (48%); review delay median 120 s, p95 121 swindow tickets reviewed agrees (95% interval) no answer to a person French----------- ------- -------- --------------------- --------- ----------- ------ 1-1000 1000 474 95.1% [92.8%, 96.7%] 0.1% 25.1% 5.4% 1001-2000 1000 495 95.8% [93.6%, 97.2%] 0.1% 24.0% 24.9% 2001-3000 1000 476 85.3% [81.8%, 88.2%] 0.3% 24.8% 3.4%L’arbre dit donc : lisez les billets que les agents ont corrigés. Priya les lit dans l’outil de soutien. Les auteurs du cours ont fait le même décompte avec l’exécution enregistrée. Ils ont associé chaque billet révisé à son billet d’exercice. Dans le dernier bloc, 57 des 70 billets corrigés provenaient d’un seul sous-ensemble : des questions auxquelles la politique ne répond pas.
| Bloc | Révisions de billets sans réponse dans la politique | Corrigés | Accord sur ce sous-ensemble |
|---|---|---|---|
| 1–1 000 | 52 | 11 | 78,8 % |
| 1 001–2 000 | 31 | 7 | 77,4 % |
| 2 001–3 000 | 197 | 57 | 71,1 % |
L’assistant a toujours été faible sur ces billets, sous 80 %. Dans le dernier bloc, ils représentaient 41 % des révisions au lieu de 11 %. Le modèle n’a pas empiré. La politique n’a aucune réponse à ces questions, et elles sont devenues courantes.
La modification est une modification de requête : Grace écrit le texte de politique manquant. Par exemple, elle précise quelle équipe traite les questions sur la nouvelle option de paiement. Puis Priya ajoute les billets corrigés aux données d’évaluation, pour que la prochaine barrière les teste. Un nouveau modèle lirait la même politique silencieuse et devinerait, comme celui-ci l’a fait.
L’exécution avec un index périmé : la deuxième question
Section intitulée « L’exécution avec un index périmé : la deuxième question »python -m ops rag data/telemetry/stale-index.jsonl.gz --windows 1.5Les lignes des minutes 3 à 6 montrent old sources (anciennes sources) à 8 et 14. Elles montrent aussi index behind (index en retard) à 14 et 26. Le modèle et la requête n’ont pas changé; les documents, oui. La modification est un nouvel index : python -m scripts.reindex. Et une mesure préventive : exécutez --check après chaque modification de document.
Quand un nouveau modèle est-il la bonne modification?
Section intitulée « Quand un nouveau modèle est-il la bonne modification? »Sam demande : « Alors, on ne réentraîne jamais? »
Priya répond : « Si, quand les preuves montrent que le modèle lui-même est la limite. » L’adaptation du modèle est la bonne modification quand toutes ces conditions sont réunies :
- Vous avez essayé les modifications moins coûteuses : la requête, la politique, les données et l’index, chacune avec une évaluation.
- L’évaluation montre les mêmes échecs avec toutes les requêtes essayées, sur des billets pour lesquels les gens sont d’accord.
- Vous avez assez de billets étiquetés pour l’entraînement, et des billets distincts et figés pour l’évaluation.
- Une personne est responsable du nouveau modèle : de son coût, de ses mises à jour et de son évaluation.
Passer à un modèle plus gros est aussi une adaptation du modèle. La barrière le juge comme tout autre candidat. Vous le ferez dans la tâche ci-dessous.
Ce que cela coûte : un réglage fin exige des centaines ou des milliers de billets étiquetés, un entraînement, une évaluation complète et une nouvelle mise en production. Les modifications moins coûteuses demandent un après-midi. Une alerte de dérive ne justifie jamais à elle seule l’une de ces modifications, comme l’a montré Dérive des données et dérive conceptuelle.
Exercice du module : évaluer une mise en production candidate
Section intitulée « Exercice du module : évaluer une mise en production candidate »La tâche pratique de ce module : évaluer une mise en production candidate selon des objectifs de qualité, de latence et de coût. D’abord, un exemple détaillé où chaque étape est visible. Ensuite, vous évaluez vous-même un autre candidat.
Exemple détaillé : la requête v3, hors ligne et en production
Section intitulée « Exemple détaillé : la requête v3, hors ligne et en production »Évaluez la requête v3 selon les objectifs de operations/gates.toml et de operations/rollout.toml :
| Objectif | Limite | v3 hors ligne (données réservées) | v3 en production (en parallèle, 543 billets) | Résultat |
|---|---|---|---|---|
| Billets critiques | 0 échec | T-65663 en échec | (non évalué) | échec |
| Réponses sans texte | 0 hors ligne; 1 en production l’arrête | 8 sur 98 | 42 sur 543 (7,7 %) | échec |
| Décisions, borne inférieure de v3 − v2 | ≥ −0,03 | −0,184 | aucune révision en parallèle | échec |
| Coût par 1 000 billets | ≤ 0,40 $ US; ≤ +20 % en production | 0,480 $ US | 0,471 / 0,337 − 1 = +39,8 % | échec |
| p95 du triage | ≤ 8,0 s; ≤ +50 % en production | 8,534 s | 8,22 / 4,94 − 1 = +66,4 % | échec |
Recommandation : rejeter. Les preuves hors ligne et celles de l’exécution en parallèle concordent sur chaque objectif. Les chiffres en production proviennent du trafic réel de billets, pas des données d’évaluation. Ils confirment que le résultat sur les données réservées n’était pas dû à la malchance.
À votre tour : le modèle plus gros
Section intitulée « À votre tour : le modèle plus gros »Kwame propose un autre candidat : « Gardons la requête v2, mais utilisons le déploiement plus gros, chat-strong. Un meilleur modèle doit être plus sûr. » Le cours d’évaluation a exécuté une fois la requête v2 sur chat-strong, avec ses 102 billets de développement. Son banc de test a affiché ceci, sur les mêmes billets que la référence de base v2 :
strong-v2-chat-strong-r1-160302 on dev (102 cases)valid answers 102/102 | team 100/100 | needs a person: caught 23/23, false alarms 15 | reply criteria passed 100/102
decisions baseline 90 | candidate 87 | difference -0.029 [-0.098, 0.039] (n=102) | better 5, worse 8Le cours d’évaluation a mesuré son coût à 5,149 $ US par 1 000 billets, avec un p95 du triage de 5,283 s. Aucun billet critique n’a échoué. Pour v2 sur les mêmes billets de développement : 9 fausses alertes.
- Écrivez
operations/evidence/assistant-v2-strong.jsonavec les mêmes champs queassistant-v3.json. Utilisez l’identifiant d’exécutionstrong-v2-chat-strong-r1-160302et la partitiondev(développement). - Exécutez
python -m ops gate assistant-v2-strong. - Écrivez votre recommandation en trois à cinq phrases : la décision, les vérifications qui la déterminent et ce que les preuves ne disent pas.
Solution détaillée
{ "prompt": "assistant-v2", "model": "chat-strong (gpt-6.1-sol-2026-09-29)", "source": "the evaluation course's recorded run strong-v2-chat-strong-r1-160302 (real calls)", "evaluation_set": "d4c96eaa10c0", "split": "dev", "run": "strong-v2-chat-strong-r1-160302", "cases": 102, "valid_answers": 102, "answers_without_text": 0, "needs_human_caught": [23, 23], "cost_per_1000_usd": 5.149, "latency_median_s": 2.872, "latency_p95_s": 5.283, "blockers": [], "decisions_difference_vs_baseline": [-0.029, -0.098, 0.039]}python -m ops gate assistant-v2-strongRelease gate for assistant-v2-strong (baseline assistant-v2), evidence: strong-v2-chat-strong-r1-160302 on the dev split of d4c96eaa10c0check value limit result detail---------------------------------------------- ------ -------- ------ -----------------------blockers (critical cases failed) 0 <= 0 pass noneanswers without text (holdout) 0 <= 0 pass of 102 ticketsdecisions: lower end of (candidate - baseline) -0.098 >= -0.03 FAIL -0.029 [-0.098, +0.039]needs a person: share caught 1.000 >= 1.0 pass 23 of 23cost per 1,000 tickets (US$) 5.149 <= 0.4 FAIL baseline 0.339triage time p95 (s) 5.283 <= 8.0 pass baseline 4.896Decision: DO NOT SHIP (2 failed: decisions: lower end of (candidate - baseline), cost per 1,000 tickets (US$))Une bonne recommandation : « Ne mettez pas chat-strong en production. Il coûte 5,149 $ US par 1 000 billets, environ 15 fois v2 et 13 fois le budget. Rien ne montre que ses décisions sont aussi bonnes : 87 correctes contre 90, et l’intervalle atteint 9,8 points de moins. Il n’a aucun problème bloquant ni réponse sans texte, et il repère chaque billet qui nécessite une personne. Mais il envoie inutilement 15 billets à une personne, contre 9 pour v2. Les preuves portent aussi uniquement sur les 102 billets de développement; une décision de mise en production exige les données réservées figées. »
Trois détails comptent. La première ligne de la barrière indique on the dev split (sur la partition de développement). L’étiquette du tableau indique encore « holdout » (données réservées), donc lisez l’en-tête. Un modèle qui semble plus sûr n’est pas une mise en production plus sûre; les preuves décident. Et la barrière compare des exécutions, pas des requêtes. La requête est v2 dans les deux cas, mais les exécutions diffèrent, donc la différence est réelle.
Supprimez le fichier après l’avoir vérifié. L’instantané end-of-m05 ne contient que les preuves de v2 et de v3.
Vérification de fin : recommander un déploiement ou un rejet
Section intitulée « Vérification de fin : recommander un déploiement ou un rejet »Omar écrit après le déploiement canari enregistré : « Seulement 3 des 25 billets canari ont mal tourné, et aucun ne concernait la sécurité. 88 %, c’est correct. Déployons v3 pour tout le monde pendant une semaine, et nous regarderons encore. »
Écrivez la réponse en cinq phrases ou moins. Recommandez un déploiement ou un rejet, avec les preuves de ops gate, de ops canary et de l’exécution en parallèle. Dites quelles nouvelles preuves changeraient votre décision.
Solution détaillée
« Je recommande de rejeter v3 et de garder v2. La barrière échoue aux six vérifications. Elles comprennent un billet de sécurité sans réponse (T-65663) et un coût de 0,480 $ US par 1 000 contre notre budget de 0,40 $ US. Le déploiement canari confirme : 3 des 25 billets n’avaient aucun texte, contre 2 sur 2 375 pour v2. Les 543 billets en parallèle confirment aussi : 7,7 % sans texte, +40 % de coût et +66 % de temps de triage. Une semaine pour tout le monde répéterait “la semaine dernière”, où 10 billets nécessitant une personne n’ont atteint personne. Un nouveau candidat, comme la limite de jetons plus élevée d’EXP-002, doit d’abord passer la barrière. »
Une bonne réponse rejette le candidat et cite des preuves chiffrées des trois sources. Elle explique pourquoi « seulement 3 sur 25 » n’est pas peu : 12 % des clients n’ont reçu aucune réponse. Le prochain billet pourrait concerner la sécurité. Elle nomme ce qui changerait la décision : un nouveau candidat avec de nouvelles preuves, pas plus de temps avec le même.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Nommez les quatre types de changements de cette leçon. Pour chacun, donnez une cause chez Larkfield qu'il corrige.
Afficher la réponse
Une correction des données : des étiquettes, documents ou entrées incorrects, comme une mauvaise étiquette dans le jeu d’évaluation. Un changement de requête : les instructions ou le texte de la politique, comme une politique qui ignore une nouvelle option de paiement. Un nouvel index : des réponses qui cherchent dans une ancienne copie des documents, comme l’ancien tarif de livraison. L’adaptation du modèle : une tâche que le modèle ne réussit avec aucune requête essayée, avec des données étiquetées pour l’entraîner. Larkfield n’a pas encore de cas de ce type.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : l'accord avec les agents passe de 95 % à 86 %, sans mise en production ni changement de documents ou de version du modèle. Que vérifiez-vous ensuite, et quel changement prévoyez-vous?
Afficher la réponse
Lisez les billets de soutien que les agents ont corrigés, et cherchez un sous-groupe commun. Lors de l’exécution avec dérive, 57 des 70 billets corrigés contenaient des questions auxquelles la politique ne répond pas. Ce sous-groupe a toujours été un point faible, et il est devenu fréquent. Le changement prévu touche le texte de la politique, puis la requête, avec l’ajout des billets au jeu d’évaluation. Ce n’est pas un nouveau modèle : le modèle n’a pas changé, et un nouveau lirait la même politique incomplète.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : évaluez le candidat performant en conversation avec votre projet. Quelle commande, quelles lignes de sortie et quelle recommandation le prouvent?
Afficher la réponse
Avec le fichier de preuves de la tâche, python -m ops gate assistant-v2-strong affiche Decision: DO NOT SHIP (2 failed: …) (décision : ne pas livrer, deux vérifications échouées). Les deux vérifications échouées concernent le coût (5,149 contre 0,4) et la borne inférieure de l’écart des décisions (−0,098 contre −0,03). L’en-tête indique on the dev split (sur les données de développement). La recommandation rejette le candidat, cite les deux vérifications échouées et précise que les preuves proviennent uniquement de billets de développement.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
Ce module a exigé des preuves avant chaque changement. Vous pouvez maintenant :
- Combiner la qualité hors ligne, les problèmes bloquants, la latence et le coût dans une barrière de mise en production appliquée par un script, et comprendre pourquoi la requête v3 échoue aux six vérifications.
- Mettre un candidat en production en toute sécurité : une exécution en parallèle sans risque pour les clients, puis un déploiement canari pour une partie des billets. Rédiger des règles de retour arrière à l’avance, et fournir trois preuves de rétablissement.
- Expliquer le compromis entre vitesse d’apprentissage et nombre de clients touchés selon la part du déploiement canari. Le déploiement canari enregistré a détecté le problème de v3 au 9e billet canari; 25 clients ont reçu v3, contre 1 798 « la semaine dernière ».
- Passer d’un symptôme à sa cause avec l’arbre de décision. Choisir le plus petit changement : une correction des données, un changement de requête, un nouvel index, ou, en dernier, l’adaptation du modèle.
- Évaluer une mise en production candidate selon les cibles de qualité, de latence et de coût, et recommander un déploiement ou un rejet avec des preuves.
Ensuite, le module 6 traite de ce qui tourne mal malgré tout : guides d’exploitation, panne d’un fournisseur et analyse post-incident.
Leçon suivante : Guides d'exploitation