Aller au contenu
English

Réentraîner ou réviser

  • Leçon 16
  • 50 min
  • Module 5 : Mettre en production et améliorer en toute sécurité

Où nous en sommes

Dans les deux leçons précédentes, nous avons arrêté une mauvaise version avec une barrière et un déploiement canari. Mais quand les preuves montrent que l'assistant échoue, quel changement élimine la cause : une correction des données, une nouvelle requête, un nouvel index ou un nouveau modèle? Dans cette leçon, nous passons du symptôme à sa cause et nous choisissons le plus petit changement. Nous commençons par une voiture qui tire d'un côté.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Quand les preuves montrent que l’assistant échoue, choisissez la modification qui élimine la cause. Ce peut être une correction des données, une modification de requête (prompt), un nouvel index ou un nouveau modèle. Un symptôme seul ne détermine jamais la modification. Faites ensuite passer cette modification par la barrière et un déploiement canari, comme toute autre mise en production.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 50 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre projet après la dernière leçon : python -m pytest affiche 213 passed (213 tests réussis).
  • La télémétrie enregistrée dans data/telemetry/. Cette leçon lit uniquement des fichiers enregistrés : aucun Docker, aucun service.

Votre voiture tire vers la gauche. Vous pourriez acheter une nouvelle voiture, et elle ne tirerait plus. Cela coûterait aussi très cher, et vous ne sauriez jamais pourquoi l’ancienne tirait.

Un mécanicien pose d’abord des questions. Un pneu manque-t-il d’air? Les roues sont-elles mal alignées? La route elle-même est-elle inclinée? Chaque question a une vérification rapide, et chaque réponse indique une réparation différente : gonfler, aligner ou ne rien faire. Une nouvelle voiture reste la dernière option, quand rien d’autre ne fonctionne.

L’assistant fait face au même choix. « Réentraîner le modèle », c’est la nouvelle voiture.

Le problème : un symptôme, trois causes différentes

Section intitulée « Le problème : un symptôme, trois causes différentes »

Examinez trois exécutions enregistrées du cours. Dans chacune, les clients ont reçu de moins bonnes réponses :

  • « La semaine dernière » : beaucoup de billets de soutien sans réponse, et l’accord avec les agents a chuté à 83,7 %.
  • Le bloc sans réponse dans la politique de l’exécution de dérive : l’accord a chuté à 85,3 %, sous le SLO de 90 %.
  • L’exécution avec un index périmé : les réponses citaient un prix de livraison qui n’était plus valide.

Tomás a une seule réponse pour les trois : « Réentraîner le modèle. » Cela n’en corrigerait aucune. Le modèle appartient au fournisseur, et il n’a changé dans aucune des trois exécutions. La première cause était une nouvelle requête. La deuxième était une lacune dans la politique de la boutique. La troisième était une ancienne copie d’un document. Un nouveau modèle lirait encore la même requête, la même politique et le même ancien document.

Un symptôme à gauche, de moins bonnes réponses pour les clients, avec trois flèches. La première mène à la semaine dernière : ops rollout history montre une mise en production à la minute 5, ops quality montre v3 avec 10,3 % sans texte. Puis elle mène à la cause, la requête, et à la modification : revenir en arrière et réviser la requête. La deuxième mène aux billets sans réponse dans la politique : aucune mise en production, ops drift ne montre aucune dérive linguistique, ops labels montre un accord de 85,3 %. Puis elle mène à la cause, la politique, et à la modification : le texte de la politique, puis la requête. La troisième mène à l'index périmé : aucune mise en production, scripts.reindex --check indique OLDER, ops rag montre 22 anciennes sources. Puis elle mène à la cause, l'index, et à la modification : le reconstruire.
Le même symptôme dans trois exécutions enregistrées. Une vérification différente indique une cause différente dans chacune, et donc une modification différente.
Description textuelle du diagramme

Les trois exécutions montrent le même symptôme : de moins bonnes réponses pour les clients. Dans « la semaine dernière », l’historique montre une mise en production à la minute 5. Le rapport de qualité montre que 10,3 % des billets de v3 n’ont aucun texte. La cause est la requête, donc il faut revenir en arrière et réviser la requête. Pour les billets sans réponse dans la politique, il n’y a aucune mise en production ni dérive linguistique. Mais l’accord a chuté à 85,3 %. La cause est la politique, donc il faut modifier son texte, puis la requête. Dans l’exécution avec un index périmé, il n’y a aucune mise en production. La vérification indique que l’index est plus ancien que les documents, et 22 réponses citent d’anciennes sources. La cause est l’index, donc il faut le reconstruire.

L’idée : diagnostiquer, puis faire la plus petite modification qui corrige la cause

Section intitulée « L’idée : diagnostiquer, puis faire la plus petite modification qui corrige la cause »

Réentraîner signifie changer le modèle : faire un réglage fin sur vos propres billets étiquetés, ou passer à un autre modèle. Réviser signifie changer ce que le modèle reçoit : les données, la requête, la politique ou les documents qu’il recherche. Ce cours distingue quatre types de modifications :

Modification Corrige Exemple chez Larkfield Coût
Correction des données entrées, étiquettes ou documents incorrects une mauvaise étiquette dans les données d’évaluation; un document incorrect faible; une nouvelle évaluation
Modification de requête instructions, texte de politique, format de sortie, limite de jetons la politique ne dit rien sur une nouvelle option de paiement faible; la barrière et un déploiement canari
Nouvel index réponses qui recherchent dans une ancienne copie des documents le prix de livraison a changé, mais pas l’index très faible; une commande
Adaptation du modèle une tâche que le modèle ne peut accomplir avec aucune des requêtes essayées aucun jusqu’ici élevé : données étiquetées, entraînement, évaluation complète et nouvelle dépendance

Chaque modification, petite ou grande, est une nouvelle mise en production. Elle reçoit un manifeste, passe par la barrière et atteint les clients par un déploiement canari.

Avant toute modification, vous jugez un candidat avec des chiffres. Voici l’exécution en parallèle de la requête v3 contre v2, vérifiée selon les règles de retour arrière du projet. Chaque étape est visible :

Exécutez du Python dans votre navigateur

Juger un candidat avec les règles de retour arrière

L’encadré affiche chaque règle avec son calcul. Il trouve 42 réponses sans texte, une hausse du coût de +39,8 % contre +20 %, et du p95 de +66,4 % contre +50 %. Les 3 règles sont satisfaites, donc il indique reject (rejeter). Essayez l’autre candidat dans le dernier commentaire.

answers without text: 42 (rule: 1 is enough)
cost: 0.471 / 0.337 - 1 = +39.8% (rule: +20%)
p95: 8.22 / 4.94 - 1 = +66.4% (rule: +50%)
3 of 3 rules met: reject

Les chiffres indiquent ce qui ne va pas : aucun texte, plus de coûts, plus de temps. Ils ne disent pas encore pourquoi. Il faut pour cela les questions de l’arbre de décision.

Le fichier docs/improve.md du projet présente les questions dans un tableau : symptôme, première vérification, cause probable, modification. L’arbre les ordonne pour économiser le plus de temps. Les causes courantes et peu coûteuses viennent d’abord, et l’adaptation du modèle vient en dernier.

Un arbre de décision. Il commence par un symptôme : une alerte, une plainte, un chiffre moins bon. Cinq questions suivent dans une colonne, chacune avec la commande qui y répond. Chaque oui mène à une modification à droite. Le problème a-t-il commencé juste après une mise en production? Vérifiez ops rollout history et ops quality par mise en production. Oui : revenez d'abord en arrière, puis trouvez ce que la mise en production a changé, révisez-le et repassez la barrière. Non : les réponses citent-elles une ancienne version de document? Vérifiez ops rag et scripts.reindex --check. Oui : reconstruisez l'index, et reconstruisez-le après chaque modification de document. Non : la version du modèle du fournisseur a-t-elle changé? Vérifiez les versions du modèle avec ops rag. Oui : fixez la version, ou évaluez la nouvelle version avec la barrière. Non : les billets attendent-ils, alors que les réponses sont correctes? Vérifiez la file d'attente et le disjoncteur. Oui : une panne du fournisseur, avec le disjoncteur, la file d'attente et l'état communiqué aux clients, module 6, aucun nouveau modèle. Non : les révisions des agents montrent-elles moins d'accord? Vérifiez ops labels avec un intervalle. Non : seules les entrées ont dérivé, donc ne changez rien et examinez le nouveau sous-ensemble. Oui : lisez 20 billets que les agents ont corrigés et demandez-vous ce qui manque. Trois réponses mènent à trois modifications. La politique n'a aucune réponse : modifiez son texte, puis la requête, et ajoutez les billets aux données d'évaluation. Les étiquettes ou les données sont incorrectes : corrigez les données, les étiquettes, les documents ou l'entrée. Toutes les requêtes échouent et des étiquettes existent : adaptez le modèle par réglage fin, la modification la plus coûteuse, en dernier. Au bas : chaque modification devient un nouveau manifeste de mise en production, puis passe par la barrière de mise en production. Ensuite viennent une exécution en parallèle ou un déploiement canari, puis une vérification que le symptôme a disparu.
Du symptôme à la modification qui corrige sa cause. Chaque question a une commande qui y répond. L'adaptation du modèle est la dernière case.
Description textuelle du diagramme

Partez du symptôme et posez cinq questions dans l’ordre. A-t-il commencé juste après une mise en production? Revenez alors d’abord en arrière et révisez la mise en production. Les réponses citent-elles un ancien document? Reconstruisez alors l’index. La version du modèle du fournisseur a-t-elle changé? Fixez-la alors, ou évaluez la nouvelle. Les billets attendent-ils alors que les réponses sont correctes? C’est alors une panne, pas un problème de qualité. Les révisions des agents montrent-elles moins d’accord? Sinon, seules les entrées ont changé : ne changez rien et examinez le nouveau type de billet. Si oui, lisez les billets que les agents ont corrigés. Une lacune dans la politique mène à une modification de politique et de requête. Des étiquettes ou des données incorrectes mènent à une correction des données. L’arbre n’atteint l’adaptation du modèle que lorsque toutes les requêtes échouent et que des données étiquetées existent. Chaque modification devient ensuite une nouvelle mise en production, passant par la barrière et un déploiement canari.

Parcourir l’arbre avec les exécutions enregistrées

Section intitulée « Parcourir l’arbre avec les exécutions enregistrées »

« La semaine dernière » : la première question donne la réponse

Section intitulée « « La semaine dernière » : la première question donne la réponse »
Fenêtre de terminal
python -m ops quality data/telemetry/release-full.jsonl.gz --by release
release 1.5.0-4fafd1 1.5.0-767b56
------------------------------ ----------------- -----------------
tickets 602 1,798
ok 601 (99.8%) 1,602 (89.1%)
no_answer 1 (0.2%) 186 (10.3%)
dead_letter 0 (0.0%) 10 (0.6%)
sent to a person 162 (27.0% of ok) 475 (29.7% of ok)
tokens in (median) 1,902 1,477
tokens out (median) 260 627
triage call p50 / p95 (s) 2.89 / 5.17 5.56 / 8.34
time to a draft p95 (s) 5.2 7.9
cost per 1,000 tickets (US$) 0.338 0.474
agrees with the agent's review 288/307 (93.8%) 623/744 (83.7%)

Les deux colonnes sont deux mises en production du même service, avec le même modèle sur le même type de billets. Seule la requête diffère. Le nombre de jetons en sortie a plus que doublé, passant de 260 à 627. v3 fait raisonner le modèle plus longtemps, et certaines réponses épuisent leurs jetons avant de produire du texte. La cause est donc la requête. La modification : revenez en arrière maintenant, puis révisez la requête. Par exemple, utilisez la limite de jetons plus élevée d’EXP-002 dans Registre des expériences. Faites ensuite passer la révision par la barrière.

Le bloc sans réponse dans la politique : la dernière question

Section intitulée « Le bloc sans réponse dans la politique : la dernière question »

Aucune mise en production n’a eu lieu dans l’exécution de dérive. L’index était à jour et la version du modèle n’a pas changé. Les révisions montrent bien moins d’accord :

Fenêtre de terminal
python -m ops labels data/telemetry/drift.jsonl.gz --windows 1000
3,000 tickets, 1,445 reviewed (48%); review delay median 120 s, p95 121 s
window tickets reviewed agrees (95% interval) no answer to a person French
----------- ------- -------- --------------------- --------- ----------- ------
1-1000 1000 474 95.1% [92.8%, 96.7%] 0.1% 25.1% 5.4%
1001-2000 1000 495 95.8% [93.6%, 97.2%] 0.1% 24.0% 24.9%
2001-3000 1000 476 85.3% [81.8%, 88.2%] 0.3% 24.8% 3.4%

L’arbre dit donc : lisez les billets que les agents ont corrigés. Priya les lit dans l’outil de soutien. Les auteurs du cours ont fait le même décompte avec l’exécution enregistrée. Ils ont associé chaque billet révisé à son billet d’exercice. Dans le dernier bloc, 57 des 70 billets corrigés provenaient d’un seul sous-ensemble : des questions auxquelles la politique ne répond pas.

Bloc Révisions de billets sans réponse dans la politique Corrigés Accord sur ce sous-ensemble
1–1 000 52 11 78,8 %
1 001–2 000 31 7 77,4 %
2 001–3 000 197 57 71,1 %

L’assistant a toujours été faible sur ces billets, sous 80 %. Dans le dernier bloc, ils représentaient 41 % des révisions au lieu de 11 %. Le modèle n’a pas empiré. La politique n’a aucune réponse à ces questions, et elles sont devenues courantes.

La modification est une modification de requête : Grace écrit le texte de politique manquant. Par exemple, elle précise quelle équipe traite les questions sur la nouvelle option de paiement. Puis Priya ajoute les billets corrigés aux données d’évaluation, pour que la prochaine barrière les teste. Un nouveau modèle lirait la même politique silencieuse et devinerait, comme celui-ci l’a fait.

L’exécution avec un index périmé : la deuxième question

Section intitulée « L’exécution avec un index périmé : la deuxième question »
Fenêtre de terminal
python -m ops rag data/telemetry/stale-index.jsonl.gz --windows 1.5

Les lignes des minutes 3 à 6 montrent old sources (anciennes sources) à 8 et 14. Elles montrent aussi index behind (index en retard) à 14 et 26. Le modèle et la requête n’ont pas changé; les documents, oui. La modification est un nouvel index : python -m scripts.reindex. Et une mesure préventive : exécutez --check après chaque modification de document.

Quand un nouveau modèle est-il la bonne modification?

Section intitulée « Quand un nouveau modèle est-il la bonne modification? »

Sam demande : « Alors, on ne réentraîne jamais? »

Priya répond : « Si, quand les preuves montrent que le modèle lui-même est la limite. » L’adaptation du modèle est la bonne modification quand toutes ces conditions sont réunies :

  • Vous avez essayé les modifications moins coûteuses : la requête, la politique, les données et l’index, chacune avec une évaluation.
  • L’évaluation montre les mêmes échecs avec toutes les requêtes essayées, sur des billets pour lesquels les gens sont d’accord.
  • Vous avez assez de billets étiquetés pour l’entraînement, et des billets distincts et figés pour l’évaluation.
  • Une personne est responsable du nouveau modèle : de son coût, de ses mises à jour et de son évaluation.

Passer à un modèle plus gros est aussi une adaptation du modèle. La barrière le juge comme tout autre candidat. Vous le ferez dans la tâche ci-dessous.

Ce que cela coûte : un réglage fin exige des centaines ou des milliers de billets étiquetés, un entraînement, une évaluation complète et une nouvelle mise en production. Les modifications moins coûteuses demandent un après-midi. Une alerte de dérive ne justifie jamais à elle seule l’une de ces modifications, comme l’a montré Dérive des données et dérive conceptuelle.

Exercice du module : évaluer une mise en production candidate

Section intitulée « Exercice du module : évaluer une mise en production candidate »

La tâche pratique de ce module : évaluer une mise en production candidate selon des objectifs de qualité, de latence et de coût. D’abord, un exemple détaillé où chaque étape est visible. Ensuite, vous évaluez vous-même un autre candidat.

Exemple détaillé : la requête v3, hors ligne et en production

Section intitulée « Exemple détaillé : la requête v3, hors ligne et en production »

Évaluez la requête v3 selon les objectifs de operations/gates.toml et de operations/rollout.toml :

Objectif Limite v3 hors ligne (données réservées) v3 en production (en parallèle, 543 billets) Résultat
Billets critiques 0 échec T-65663 en échec (non évalué) échec
Réponses sans texte 0 hors ligne; 1 en production l’arrête 8 sur 98 42 sur 543 (7,7 %) échec
Décisions, borne inférieure de v3 − v2 ≥ −0,03 −0,184 aucune révision en parallèle échec
Coût par 1 000 billets ≤ 0,40 $ US; ≤ +20 % en production 0,480 $ US 0,471 / 0,337 − 1 = +39,8 % échec
p95 du triage ≤ 8,0 s; ≤ +50 % en production 8,534 s 8,22 / 4,94 − 1 = +66,4 % échec

Recommandation : rejeter. Les preuves hors ligne et celles de l’exécution en parallèle concordent sur chaque objectif. Les chiffres en production proviennent du trafic réel de billets, pas des données d’évaluation. Ils confirment que le résultat sur les données réservées n’était pas dû à la malchance.

Kwame propose un autre candidat : « Gardons la requête v2, mais utilisons le déploiement plus gros, chat-strong. Un meilleur modèle doit être plus sûr. » Le cours d’évaluation a exécuté une fois la requête v2 sur chat-strong, avec ses 102 billets de développement. Son banc de test a affiché ceci, sur les mêmes billets que la référence de base v2 :

strong-v2-chat-strong-r1-160302 on dev (102 cases)
valid answers 102/102 | team 100/100 | needs a person: caught 23/23, false alarms 15 | reply criteria passed 100/102
decisions baseline 90 | candidate 87 | difference -0.029 [-0.098, 0.039] (n=102) | better 5, worse 8

Le cours d’évaluation a mesuré son coût à 5,149 $ US par 1 000 billets, avec un p95 du triage de 5,283 s. Aucun billet critique n’a échoué. Pour v2 sur les mêmes billets de développement : 9 fausses alertes.

  1. Écrivez operations/evidence/assistant-v2-strong.json avec les mêmes champs que assistant-v3.json. Utilisez l’identifiant d’exécution strong-v2-chat-strong-r1-160302 et la partition dev (développement).
  2. Exécutez python -m ops gate assistant-v2-strong.
  3. Écrivez votre recommandation en trois à cinq phrases : la décision, les vérifications qui la déterminent et ce que les preuves ne disent pas.
Solution détaillée
{
"prompt": "assistant-v2",
"model": "chat-strong (gpt-6.1-sol-2026-09-29)",
"source": "the evaluation course's recorded run strong-v2-chat-strong-r1-160302 (real calls)",
"evaluation_set": "d4c96eaa10c0",
"split": "dev",
"run": "strong-v2-chat-strong-r1-160302",
"cases": 102,
"valid_answers": 102,
"answers_without_text": 0,
"needs_human_caught": [23, 23],
"cost_per_1000_usd": 5.149,
"latency_median_s": 2.872,
"latency_p95_s": 5.283,
"blockers": [],
"decisions_difference_vs_baseline": [-0.029, -0.098, 0.039]
}
Fenêtre de terminal
python -m ops gate assistant-v2-strong
Release gate for assistant-v2-strong (baseline assistant-v2), evidence: strong-v2-chat-strong-r1-160302 on the dev split of d4c96eaa10c0
check value limit result detail
---------------------------------------------- ------ -------- ------ -----------------------
blockers (critical cases failed) 0 <= 0 pass none
answers without text (holdout) 0 <= 0 pass of 102 tickets
decisions: lower end of (candidate - baseline) -0.098 >= -0.03 FAIL -0.029 [-0.098, +0.039]
needs a person: share caught 1.000 >= 1.0 pass 23 of 23
cost per 1,000 tickets (US$) 5.149 <= 0.4 FAIL baseline 0.339
triage time p95 (s) 5.283 <= 8.0 pass baseline 4.896
Decision: DO NOT SHIP (2 failed: decisions: lower end of (candidate - baseline), cost per 1,000 tickets (US$))

Une bonne recommandation : « Ne mettez pas chat-strong en production. Il coûte 5,149 $ US par 1 000 billets, environ 15 fois v2 et 13 fois le budget. Rien ne montre que ses décisions sont aussi bonnes : 87 correctes contre 90, et l’intervalle atteint 9,8 points de moins. Il n’a aucun problème bloquant ni réponse sans texte, et il repère chaque billet qui nécessite une personne. Mais il envoie inutilement 15 billets à une personne, contre 9 pour v2. Les preuves portent aussi uniquement sur les 102 billets de développement; une décision de mise en production exige les données réservées figées. »

Trois détails comptent. La première ligne de la barrière indique on the dev split (sur la partition de développement). L’étiquette du tableau indique encore « holdout » (données réservées), donc lisez l’en-tête. Un modèle qui semble plus sûr n’est pas une mise en production plus sûre; les preuves décident. Et la barrière compare des exécutions, pas des requêtes. La requête est v2 dans les deux cas, mais les exécutions diffèrent, donc la différence est réelle.

Supprimez le fichier après l’avoir vérifié. L’instantané end-of-m05 ne contient que les preuves de v2 et de v3.

Vérification de fin : recommander un déploiement ou un rejet

Section intitulée « Vérification de fin : recommander un déploiement ou un rejet »

Omar écrit après le déploiement canari enregistré : « Seulement 3 des 25 billets canari ont mal tourné, et aucun ne concernait la sécurité. 88 %, c’est correct. Déployons v3 pour tout le monde pendant une semaine, et nous regarderons encore. »

Écrivez la réponse en cinq phrases ou moins. Recommandez un déploiement ou un rejet, avec les preuves de ops gate, de ops canary et de l’exécution en parallèle. Dites quelles nouvelles preuves changeraient votre décision.

Solution détaillée

« Je recommande de rejeter v3 et de garder v2. La barrière échoue aux six vérifications. Elles comprennent un billet de sécurité sans réponse (T-65663) et un coût de 0,480 $ US par 1 000 contre notre budget de 0,40 $ US. Le déploiement canari confirme : 3 des 25 billets n’avaient aucun texte, contre 2 sur 2 375 pour v2. Les 543 billets en parallèle confirment aussi : 7,7 % sans texte, +40 % de coût et +66 % de temps de triage. Une semaine pour tout le monde répéterait “la semaine dernière”, où 10 billets nécessitant une personne n’ont atteint personne. Un nouveau candidat, comme la limite de jetons plus élevée d’EXP-002, doit d’abord passer la barrière. »

Une bonne réponse rejette le candidat et cite des preuves chiffrées des trois sources. Elle explique pourquoi « seulement 3 sur 25 » n’est pas peu : 12 % des clients n’ont reçu aucune réponse. Le prochain billet pourrait concerner la sécurité. Elle nomme ce qui changerait la décision : un nouveau candidat avec de nouvelles preuves, pas plus de temps avec le même.

Vérifiez votre compréhension

Nommez les quatre types de changements de cette leçon. Pour chacun, donnez une cause chez Larkfield qu'il corrige.

Afficher la réponse

Une correction des données : des étiquettes, documents ou entrées incorrects, comme une mauvaise étiquette dans le jeu d’évaluation. Un changement de requête : les instructions ou le texte de la politique, comme une politique qui ignore une nouvelle option de paiement. Un nouvel index : des réponses qui cherchent dans une ancienne copie des documents, comme l’ancien tarif de livraison. L’adaptation du modèle : une tâche que le modèle ne réussit avec aucune requête essayée, avec des données étiquetées pour l’entraîner. Larkfield n’a pas encore de cas de ce type.

Vérifiez votre compréhension

Prédisez : l'accord avec les agents passe de 95 % à 86 %, sans mise en production ni changement de documents ou de version du modèle. Que vérifiez-vous ensuite, et quel changement prévoyez-vous?

Afficher la réponse

Lisez les billets de soutien que les agents ont corrigés, et cherchez un sous-groupe commun. Lors de l’exécution avec dérive, 57 des 70 billets corrigés contenaient des questions auxquelles la politique ne répond pas. Ce sous-groupe a toujours été un point faible, et il est devenu fréquent. Le changement prévu touche le texte de la politique, puis la requête, avec l’ajout des billets au jeu d’évaluation. Ce n’est pas un nouveau modèle : le modèle n’a pas changé, et un nouveau lirait la même politique incomplète.

Vérifiez votre compréhension

Vérification pratique : évaluez le candidat performant en conversation avec votre projet. Quelle commande, quelles lignes de sortie et quelle recommandation le prouvent?

Afficher la réponse

Avec le fichier de preuves de la tâche, python -m ops gate assistant-v2-strong affiche Decision: DO NOT SHIP (2 failed: …) (décision : ne pas livrer, deux vérifications échouées). Les deux vérifications échouées concernent le coût (5,149 contre 0,4) et la borne inférieure de l’écart des décisions (−0,098 contre −0,03). L’en-tête indique on the dev split (sur les données de développement). La recommandation rejette le candidat, cite les deux vérifications échouées et précise que les preuves proviennent uniquement de billets de développement.

Récapitulatif

Ce module a exigé des preuves avant chaque changement. Vous pouvez maintenant :

  • Combiner la qualité hors ligne, les problèmes bloquants, la latence et le coût dans une barrière de mise en production appliquée par un script, et comprendre pourquoi la requête v3 échoue aux six vérifications.
  • Mettre un candidat en production en toute sécurité : une exécution en parallèle sans risque pour les clients, puis un déploiement canari pour une partie des billets. Rédiger des règles de retour arrière à l’avance, et fournir trois preuves de rétablissement.
  • Expliquer le compromis entre vitesse d’apprentissage et nombre de clients touchés selon la part du déploiement canari. Le déploiement canari enregistré a détecté le problème de v3 au 9e billet canari; 25 clients ont reçu v3, contre 1 798 « la semaine dernière ».
  • Passer d’un symptôme à sa cause avec l’arbre de décision. Choisir le plus petit changement : une correction des données, un changement de requête, un nouvel index, ou, en dernier, l’adaptation du modèle.
  • Évaluer une mise en production candidate selon les cibles de qualité, de latence et de coût, et recommander un déploiement ou un rejet avec des preuves.

Ensuite, le module 6 traite de ce qui tourne mal malgré tout : guides d’exploitation, panne d’un fournisseur et analyse post-incident.

Leçon suivante : Guides d'exploitation