Travail final
- Après les études de cas
- environ 3 h
Où nous en sommes
Dans ce cours, nous avons encadré chaque agent avec des contrôles : capacités, enregistrements et identités, passerelles de modèles et d'outils, budgets, politiques, arrêts d'urgence et preuves. Chaque module a ajouté un contrôle et l'a testé seul. Maintenant, tout le parc doit passer sous gouvernance en même temps, pendant un mois marqué par une panne, une demande de réassociation et un agent emballé. Dans ce travail, vous le faites par vous-même et vous remettez les preuves.
Ce que vous saurez faire
Appliquez tous les contrôles du cours à tout le parc en même temps. Enregistrez chaque application avec sa propre identité et décidez du sort du résumé hebdomadaire. Traversez ensuite un mois d’exercice : une demande de réassociation, une nouvelle règle d’approbation, un exercice, une panne, un plan de contrôle arrêté et une boucle incontrôlée. Terminez avec le rapport mensuel du parc et une recommandation de construction ou d’achat. Chaque affirmation de votre dossier renvoie à une commande et à sa sortie.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les modules 1 à 7. Chaque partie nomme les leçons qu’elle utilise. Le certificat exige aussi une étude de cas.
Ce qu’il vous faut sur votre ordinateur
- La configuration du cours : Python 3.12, VS Code, deux terminaux et le dépôt des laboratoires dans
~/projects/nextia-learning-labs, comme dans Cinq agents et personne ne le sait. - L’instantané
end-of-m07, à copier dans un nouveau dossier. Votre projet de cours reste intact. - Git, pour que
git diffmontre chaque changement. Aucun compte, aucune clé et aucuns frais.
Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes Windows et Linux sont écrites, mais n’ont pas été exécutées.
La situation : le prochain mois de Larkfield
Section intitulée « La situation : le prochain mois de Larkfield »Le conseil pose une question à Kwame : « Tous les systèmes d’IA que Larkfield exploite sont-ils sous contrôle? » Il vous demande de préparer le dossier de preuves qui y répond. Le mois apporte quatre événements : Tomás demande « le modèle le plus puissant pour tout le monde », Grace change une règle d’approbation, le fournisseur subit une panne et un mauvais déploiement du flux de travail déclenche une boucle.
Votre mois est un mois d’exercice, pas le mois de septembre rejoué. Dans le module 6, l’équipe du cours a rejoué 30 jours de septembre avec une horloge de rejeu. Le projet n’inclut pas cet outil de rejeu. Votre mois correspond donc au mois civil de votre exécution, en une ou deux séances avec l’horloge réelle. Chaque réponse de modèle est rejouée : un enregistrement d’un cours antérieur. La panne, la règle de sortie réseau et l’arrêt du plan de contrôle sont simulés. La boucle est construite : un incident d’exercice que vous provoquez volontairement. Vos volumes sont faibles, donc vos coûts se comptent en cents. Trois demandes sont nouvelles, et aucune leçon n’y a répondu : la réassociation de Tomás, la règle de Grace et le quota du flux de travail.
Description textuelle du diagramme
La partie 1 prouve l’élément 2 du dossier, la partie 2 l’élément 1, la partie 3 l’élément 4, la partie 4 l’élément 3 et la partie 5 l’élément 5. Les parties ne suivent pas l’ordre des éléments : la boucle incontrôlée épuise le quota quotidien du flux de travail. Elle vient donc en dernier.
Étiquetez chaque nombre de votre dossier : rejoué, mesuré (votre propre exécution), simulé, construit, prix ou hypothèse. Vos heures, identifiants et certains comptes diffèrent. Les sorties ci-dessous servent de modèles pour la forme, pas pour chaque chiffre.
Préparer une nouvelle copie
Section intitulée « Préparer une nouvelle copie »-
Copiez l’instantané dans un nouveau dossier et enregistrez son état initial dans Git :
Fenêtre de terminal cd ~/projectscp -R nextia-learning-labs/C32/snapshots/end-of-m07 ai-estate-finalcd ai-estate-finalgit init -q && git add -A && git commit -qm "end-of-m07"Fenêtre de terminal cd ~\projectsCopy-Item -Recurse nextia-learning-labs\C32\snapshots\end-of-m07 ai-estate-finalcd ai-estate-finalgit init -q; git add -A; git commit -qm "end-of-m07"Fenêtre de terminal cd ~/projectscp -R nextia-learning-labs/C32/snapshots/end-of-m07 ai-estate-finalcd ai-estate-finalgit init -q && git add -A && git commit -qm "end-of-m07" -
Créez un environnement virtuel, installez les dépendances et lancez les tests, comme dans Découvrir le parc d’IA de Larkfield. La dernière ligne indique
195 passed, 1 deselected(195 tests réussis, 1 exclu). -
Créez un fichier
REPORT.mdvide avec les sections de Quoi remettre. Après chaque partie, collez-y vos commandes, sorties et décisions.
Partie 1 : chaque application enregistrée, chacune avec son identité
Section intitulée « Partie 1 : chaque application enregistrée, chacune avec son identité »Utilise Le contenu d’un enregistrement, Une identité par agent, Le cycle de vie d’un agent et Trouver l’IA non enregistrée.
-
Créez le registre, enregistrez les sept formulaires, révisez les trois à risque élevé et émettez les identifiants. Utilisez les commandes du
README.mddu projet (« Start the estate », démarrer le parc, sansestate up). Exécutez ensuitepython -m estate list. La sortie se termine par7 registrations(7 enregistrements). -
Lisez chaque formulaire dans
registrations/. Vérifiez que son budget, ses limites, ses outils et ses classes de données conviennent à l’application. Écrivez une ligne par application dans votre rapport. -
Décidez du sort du résumé hebdomadaire. Lee est parti, donc le formulaire a besoin d’un responsable encore présent. Rédigez
registrations/weekly-digest.yamlavec un nouveau responsable, à partir du cas d’échec « Un formulaire pour le résumé hebdomadaire » dans Le contenu d’un enregistrement. Vérifiez-le et enregistrez-le :Fenêtre de terminal python -m estate check registrations/weekly-digest.yamlpython -m estate register registrations/weekly-digest.yamlThe form is complete.Registered weekly-digest (version 1): active -
Choisissez maintenant une voie et justifiez-la dans votre rapport :
- Retirez-le. Exécutez
python -m estate retire weekly-digest --reason "…". Déplacez le formulaire dansregistrations/retired/pour éviter que la boucle de configuration le réenregistre dans un nouvel état. (La barrière de réassociation ignore déjà les agents retirés par le registre.) Supprimezapps/digest/,tests/test_digest.pyet le dernier test detests/test_evidence.py, qui lit le script. Dites qui ferme le compte Fernway et demande à Fernway de supprimer les messages. - Gardez-le. Le nouveau responsable le passe à
fast-smallpar la passerelle, avec ses propres identifiants et sans clé Fernway. Le simulateur n’a aucun enregistrement de la requête du résumé sur chat-small. L’appel se termine donc par422 no_recording(aucun enregistrement), après avoir réussi toutes les vérifications de la passerelle.
- Retirez-le. Exécutez
-
Fermez les portes latérales. Dans
config/provider-keys.yaml, définissezaz-key-1etaz-key-2àstatus: revoked(état : révoqué). Ajoutez aussiaz-key-3, la clé de Priya, commerevoked(révoquée). Seuleaz-key-9, la clé de la passerelle, reste. -
Dans
apps/replay.py, remplacez les quatre anciennes valeurs"key"par"". Supprimeztest_direct_replay_uses_the_apps_own_keydanstests/test_replay.py: ce test vérifie qu’une ancienne clé fonctionne encore. -
Dans
tests/test_evidence.py, remplacez le constat attendu pouraz-key-3par le nouveau texte, comme dans la vérification pratique de Trouver l’IA non enregistrée. Analysez ensuite le code et lancez les tests :Fenêtre de terminal python -m estate discover --scan appsruff check --fix .python -m pytest -q0 finding(s).Not found by any of these: AI features inside bought tools, and AI used on personal devices outside Larkfield's network. They enter the inventory through the buying process and by asking people.…191 passed, 1 deselectedruff --fixsupprime deux importations utilisées par les tests supprimés. Les nombres correspondent à la voie « retirer ». -
Démarrez le parc avec la règle de sortie réseau activée et essayez les deux portes :
Fenêtre de terminal SIM_EGRESS=gateway-only python -m estate uppython -m apps.replay ticket-triage --units 2python -m apps.replay ticket-triage --units 5 --via gatewayFenêtre de terminal $env:SIM_EGRESS = "gateway-only"python -m estate uppython -m apps.replay ticket-triage --units 2python -m apps.replay ticket-triage --units 5 --via gatewayFenêtre de terminal SIM_EGRESS=gateway-only python -m estate uppython -m apps.replay ticket-triage --units 2python -m apps.replay ticket-triage --units 5 --via gatewayL’appel direct reçoit
egress_blocked x4(sortie réseau bloquée quatre fois); la passerelle répondstatus {200: 10}(10 réponses de statut 200). Rejouez les autres applications avec--via gateway, exécutezpython -m apps.helpdesk T-30002et envoyez un appel sans jeton, comme dans Une identité par agent (401 missing_token, jeton manquant).
Partie 2 : le catalogue et la demande de réassociation de Tomás
Section intitulée « Partie 2 : le catalogue et la demande de réassociation de Tomás »Utilise Un catalogue de capacités, Associer les capacités aux modèles et Modifier une association en toute sécurité.
Tomás écrit : « chat-strong est notre meilleur modèle. Associez-lui fast-small pour que chaque application obtienne les meilleures réponses. » Décidez à partir de preuves, sans modifier config/catalog.yaml.
-
Exécutez
python -m estate catalog checksur le vrai catalogue. La sortie indiqueThe catalog is consistent(le catalogue est cohérent). -
Copiez
config/catalog.yamldansstate/tomas-catalog.yaml. Dans la copie, remplacez les deux cibles defast-smallparchat-stronget supprimez leursparams_if_tools. Prédisez le résultat de la vérification. Lancez-la ensuite sur la copie :Fenêtre de terminal python -m estate catalog check --file state/tomas-catalog.yaml -
Prédisez quels consommateurs réussissent. Lancez ensuite la barrière :
Fenêtre de terminal python -m estate remap gate fast-small --to azure/chat-strong -
Rédigez la décision comme Kwame l’enverrait à Tomás, en appuyant chaque phrase sur ses preuves. Nommez ce qui doit exister avant que la demande puisse être acceptée.
Vérifiez votre prédiction
fast-small -> azure/chat-strong: the contract promises tools, the model does not have itfast-small -> azure/chat-strong: the input price 2.0 is above the contract's band 0.5fast-small -> azure/chat-strong: the output price 10.0 is above the contract's band 2.0fast-small -> azure-canada/chat-strong: the contract promises tools, the model does not have itfast-small -> azure-canada/chat-strong: the input price 2.0 is above the contract's band 0.5fast-small -> azure-canada/chat-strong: the output price 10.0 is above the contract's band 2.0Remap gate: fast-small from azure/chat-small to azure/chat-strong
doc-assistant NO EVIDENCE no evaluation that the gate can run: no evidence, no remap for this consumer helpdesk-assistant NO EVIDENCE no evaluation that the gate can run: no evidence, no remap for this consumer support-workflow NO EVIDENCE no evaluation that the gate can run: no evidence, no remap for this consumer ticket-triage PASS decisions 87/102 = 0.853 (minimum 0.85); today 90/102 = 0.882; cost US$0.5252 vs US$0.0353 today items that changed: T-64746, T-64800, T-65317, T-65388, T-65449, T-65552, T-65615, T-65853, T-81018, T-81046, T-81048, T-81056 ...
Average over every item: 0.853 with the candidate, 0.882 today (mean of the consumers' rates: 0.853)Decision: BLOCK - every consumer must pass its own evaluationLes deux vérifications la bloquent. Le contrat promet des outils, que chat-strong refuse sur cette API, et le prix dépasse la plage de quatre à cinq fois. Dans la barrière, trois consommateurs n’ont aucune évaluation, et le triage se dégrade pour un coût environ 15 fois supérieur. Un résumé conservé apparaît comme cinquième consommateur sans preuve; un résumé retiré est ignoré.
Partie 3 : outils, approbations et exercice
Section intitulée « Partie 3 : outils, approbations et exercice »Utilise Une passerelle pour les outils, L’autonomie et les approbations sous forme de politiques et Arrêts d’urgence et confinement.
Grace écrit : « Une réexpédition envoie les marchandises une deuxième fois. Désormais, un chef d’équipe approuve chaque réexpédition. Les étiquettes restent sous la responsabilité des agents de soutien. »
-
Affichez les autorisations d’outils :
python -m estate tools helpdesk-assistant, puispython -m apps.helpdesk T-30201 --obedient(403 tool_not_allowed, outil non autorisé). -
Dans
config/policy/approvals.yaml, séparez la règlelabels-and-reshipsen deux règles :return-labels(agent de soutien) etreships(chef d’équipe). Exécutezpython -m estate policy test. Prédisez d’abord : les 12 cas réussissent-ils encore? -
Ajoutez au moins trois cas dans
config/policy/approvals-tests.yaml, des deux côtés de la nouvelle limite : Sam peut approuver une étiquette, Sam ne peut pas approuver une réexpédition, Camille peut approuver une réexpédition. Lancez les tests jusqu’à leur réussite, puis publiez avecpython -m estate config publish --note "…". -
Lancez les tests du projet. Un test du flux de travail échoue : il attend encore que Sam approuve la réexpédition de T-90103. Adaptez-le à la nouvelle règle : Sam est refusé, Camille approuve avec
--as team_lead. -
Planifiez l’exercice avant de le lancer : quel arrêt, après quelle tâche, le résultat attendu et qui le lève. Utilisez au moins deux niveaux de l’échelle de confinement, dans un plan différent de celui de la leçon. Réinitialisez la base de données d’exercice avec
python -m resolver reset, puis exécutez la journée par parties avecpython -m apps.workday --tasks …. -
Quand une exécution attend un chef d’équipe, approuvez-la comme Camille :
Fenêtre de terminal RESOLVER_PROVIDER=gateway RESOLVER_TOOLS=gateway python -m resolver approve RUN_ID --as team_lead --approver usr-camilleDans PowerShell, définissez d’abord les deux variables avec
$env:, comme dans le module. -
Consignez l’exercice : un incident de type
drill(exercice), avecpython -m estate incident add, puisend. Définissez aussikill_switch_testeddansregistrations/support-workflow.yamlà la date de l’exercice. Enregistrez de nouveau le formulaire.
Un exercice et ce qu’il a montré
Le plan : arrêter toute écriture de commande après la tâche 3 (python -m estate kill writes orders --reason …), lever l’arrêt après la tâche 5, suspendre le flux de travail pour la tâche 9, puis le reprendre. La journée, en version abrégée :
task 1 T-90103 resolve (rule W5) | approval by usr-sam refused: Not approved by the platform: Sam may not approve this: it needs a team lead or above (rule reships)task 2 T-90104 resolve (rule W2) | approved by usr-sam: request_refund LK-793996: done | donetask 3 T-90603 resolve (rule W7) | approved by usr-sam: request_refund LK-645223: done | donetask 4 T-65273 resolve (rule W7) | approved by usr-camille: request_refund LK-507862: failed request_refund: refused by the tool gateway: Stopped: writes are stopped for orders (kill switch 1: drill: wrong goods sent, stop every order write). | handed_to_persontask 5 T-64872 resolve (rule W7) | approved by usr-sam: request_refund LK-739156: failed request_refund: refused by the tool gateway: Stopped: writes are stopped for orders (kill switch 1: drill: wrong goods sent, stop every order write). | handed_to_persontask 9 T-90102 Stopped: provider_error. No proposal: the ticket goes to a person. | Last error: The platform refused a token: {"error":{"code":"invalid_client","message":"support-workflow cannot get a token: its registration is suspended."}}task 11 T-90106 resolve (rule W5) | approval by usr-sam refused: Not approved by the platform: Sam may not approve this: it needs a team lead or above (rule reships)task 13 T-90203 resolve (rule W4) | approval by usr-sam refused: Not approved by the platform: Sam may not approve this: it needs a team lead or above (rule reships)Aux tâches 1, 11 et 13, l’outil workday sollicite Sam, la personne désignée par la vérification interne de l’application. La plateforme refuse son approbation : la copie des règles de l’application est périmée, et la politique l’emporte. Après l’approbation des trois réexpéditions par Camille, python -m resolver changes se termine par 13 change(s) in the practice database (13 changements dans la base de données d’exercice). Trois tâches ont été transférées à des personnes : deux remboursements pendant l’arrêt et la nouvelle exécution pendant la suspension.
Partie 4 : la passerelle dans quatre scénarios
Section intitulée « Partie 4 : la passerelle dans quatre scénarios »Utilise Une seule porte pour les appels de modèles, Quotas, budgets et limites de débit, Les garde-fous à la passerelle et Quand la passerelle tombe en panne.
Écrivez d’abord les paramètres de la passerelle dans votre rapport, en justifiant chacun : les budgets et limites de chaque application et équipe, le mode de défaillance de chaque niveau de risque dans config/gateway.yaml et le garde-fou. Montrez ensuite leur fonctionnement.
- Un garde-fou. Envoyez la requête de triage avec un numéro de carte, comme dans Les garde-fous à la passerelle. Cherchez
x-gateway-redacted: card-numbers: 1 card number(s) redacted(un numéro de carte masqué) et le garde-fou danspython -m estate usage --last 1. Expliquez le422en une phrase. - Une panne de fournisseur. Ouvrez un incident. Mettez East US 2 hors service (
python -m provsim control azure down), rejouez le triage et une unité du flux de travail, puis lisezpython -m estate usage --last 1:provider azure-canada(fournisseur azure-canada) etfallback 1(un recours de secours). Mettez ensuite les deux régions hors service ('*') et rejouez le triage, le flux de travail et l’assistant documentaire : chacun reçoitno_provider_available(aucun fournisseur disponible). Écrivez ce que chaque application fait alors. Remettez les deux contrôles ànormal, attendez 10 secondes pour le disjoncteur, rejouez le triage et terminez l’incident. - Le plan de contrôle s’arrête. Dans le terminal 1, exécutez
python -m apps.traffic --seconds 120. Vers 20 secondes, exécutezpython -m estate down controldans le terminal 2. Vers 90 secondes, interrogez la réplique a aveccurl -s http://127.0.0.1:8323/ready. Vers 110 secondes, exécutezpython -m estate up control. Repérez le moment où le mode de défaillance de chaque niveau de risque commence. - Le quota du flux de travail selon son utilisation réelle. Le flux de travail dispose de 2 000 000 de jetons par jour. Calculez son besoin réel : 45 exécutions par jour (une hypothèse) × les jetons d’une exécution, affichés par
python -m resolver run(T-90103 : 4 647 en entrée et 266 en sortie). Ajoutez une marge et montrez le calcul. Modifieztokens_per_day, enregistrez de nouveau le formulaire et révisez-le. - La boucle incontrôlée, en dernier. Exécutez
python -m apps.runaway support-workflow --attempts 300trois fois; chaque exécution attend la minute suivante. Lancez ensuite une vraie tâche, T-90104, par les deux passerelles. Dites quelle limite a arrêté la boucle, après combien de réponses, à quel coût et ce qui est arrivé à la vraie tâche. Le quota compte la journée UTC.
Vérifiez vos mesures
Le plan de contrôle s’est arrêté à 20 secondes. Le trafic du terminal 1, en version abrégée :
70 s | triage ok 17 | workflow - | documents ok 3 | replicas a 6, b 7, c 7 80 s | triage ok 15 | workflow - | documents degraded 1, ok 3 | replicas a 7, b 6, c 6 90 s | triage degraded 17 | workflow control_unavailable 1 | documents degraded 2 | replicas a 6, b 7, c 7 100 s | triage degraded 19 | workflow - | documents - | replicas a 7, b 6, c 6 110 s | triage degraded 17 | workflow - | documents degraded 3 | replicas a 6, b 7, c 7 120 s | triage degraded 2, ok 14 | workflow control_unavailable 1, ok 2 | documents ok 1 | replicas a 7, b 7, c 6Pendant 60 secondes, les copies en cache servent chaque application. Ensuite, le triage (risque moyen) et les documents (risque faible) restent ouverts, avec la marque degraded (dégradé). Le flux de travail (risque élevé) se ferme.
La boucle, avec un quota de 450 000 jetons (45 exécutions × environ 5 000 jetons, doublé) :
answered 120 | cost US$0.5897 | 0.7 srefused rate_limited 180…answered 26 | cost US$0.1278 | 0.5 srefused quota_exhausted 94, rate_limited 180first quota_exhausted: after 26 answers and US$0.1278 (0.2 s): 429 support-workflow has used its 450,000 tokens for today.…answered 0 | cost US$0.0000 | 0.5 srefused quota_exhausted 120, rate_limited 180La limite de débit a ralenti la boucle, et le quota l’a arrêtée pendant sa deuxième minute : 146 réponses, 0,72 $ US. Votre compte diffère, car l’exercice et les rejeux ont utilisé une partie des jetons de la journée. Avec 2 000 000 de jetons, la boucle simulée du cours dans Quotas, budgets et limites de débit a coûté 4,40 $ US. Le prix du quota plus serré est la vraie tâche : T-90104 s’arrête, et son billet de soutien est transféré à une personne.
Partie 5 : les preuves du mois et la décision de construire ou d’acheter
Section intitulée « Partie 5 : les preuves du mois et la décision de construire ou d’acheter »Utilise Utilisation et coût par agent, Des preuves pour la gouvernance, Trouver l’IA non enregistrée, Comparer les passerelles et Déployer dans une organisation.
-
Rédigez le rapport mensuel pour le mois de votre exécution, comme dans Des preuves pour la gouvernance :
python -m estate report --month $(date -u +%Y-%m) --out state/report.md. -
Enregistrez la facture du simulateur et le journal de sortie réseau de votre mois. Lancez la découverte et l’analyse d’adoption sur ces fichiers :
Fenêtre de terminal python -m provsim bill > state/bill.csvpython -m provsim egress > state/egress.csvpython -m estate discover --bill state/bill.csv --egress state/egress.csv --scan appspython -m estate adoption --month $(date -u +%Y-%m) --bill state/bill.csvSur Windows, obtenez le mois comme dans la leçon et écrivez les fichiers avec
| Out-File -Encoding utf8. -
Vérifiez que le rapport concorde avec vos incidents, votre exercice et votre test de sortie réseau. Pour chaque constat et révision en retard, dites qui agit et avant quelle date.
-
Rédigez la recommandation de construction ou d’achat pour Larkfield : environ une page, avec les quatre questions de la tâche autonome du module, les exigences essentielles de
docs/gateway-comparison.mdet les nombres de votre mois. Ajoutez le coût d’un changement de produit dans deux ans et ce qui, dans votre conception, le garde bas. -
Arrêtez le parc avec
python -m estate down.
Ce que le mois du cours a montré
Provider calls through the gateway: 456 of 456 (100.0%); around it: 0.Friction: the share of each agent's calls that the gateway refused. support-workflow 757 of 955 refused (79.3%): rate_limit 541, quota 214, failure_mode 2 ticket-triage 0 of 240 refused (0.0%)Chaque appel facturé a utilisé az-key-9, la clé de la passerelle. La découverte affiche encore deux lignes de sortie réseau, provenant de triage-svc-01 et de priya-laptop. Il s’agit de votre propre test de la règle de sortie réseau dans la partie 1 : chaque connexion a été bloquée. Le rapport indique la révision en retard du juge de mise en production : Priya le révise, ou le juge s’arrête. Les difficultés du flux de travail viennent de la boucle, pas du travail normal.
Exécution dans un environnement neuf
Section intitulée « Exécution dans un environnement neuf »Copiez le projet sans state/ ni .venv, créez un nouvel environnement virtuel et installez les dépendances. Exécutez ruff check ., les tests, python -m estate init, l’enregistrement de chaque formulaire, python -m estate discover --scan apps et python -m estate policy test. Collez les dernières lignes dans votre rapport. Si une étape exige quelque chose que le README ne mentionne pas, corrigez le README.
Quoi remettre
Section intitulée « Quoi remettre »Votre dossier de projet sans .venv ni state/, avec vos modifications dans Git, et REPORT.md :
# Larkfield's AI estate under governance: the practice month## 1. The catalog and the remap (Tomás's request: the check, the gate, the decision and what it needs)## 2. Registrations and identities (the list, one line per app, the digest's decision, the key inventory, the scan with 0 findings, the egress test, the call without a token)## 3. Gateway configuration (budgets, quotas, failure modes with reasons, the guardrail; the four scenarios with their outputs; the quota arithmetic; the loop's cost)## 4. Tools, approvals and the drill (Grace's rule, the policy tests, the changed project test, the drill plan, the day, the incident and kill_switch_tested)## 5. The month's evidence (the report, discovery, adoption and friction, each finding explained)## 6. Build or buy (the recommendation, the must-haves, the cost of a change of product)## 7. Fresh-environment run## 8. Labels and limits (which numbers are replayed, measured, simulated, constructed, assumed; what this practice month cannot say about production)Incluez git diff --stat par rapport à votre premier commit (enregistrement des modifications). Un réviseur lit les différences dans les formulaires, la copie du catalogue, la politique, l’inventaire des clés et les tests.
Vérifiez votre travail
Section intitulée « Vérifiez votre travail »Un réviseur note chaque élément démontré, partiellement démontré ou pas encore démontré, avec une raison concrète. Pour terminer le cours, vous devez démontrer les cinq éléments; vous pouvez améliorer un élément et le soumettre de nouveau. Sans réviseur, utilisez le tableau pour évaluer votre propre dossier.
| Élément requis | Démontré quand | Partiellement démontré, par exemple | Pas encore démontré, par exemple |
|---|---|---|---|
| 1. Un catalogue de capacités avec des contrats et des associations, et une réassociation décidée à partir de preuves d’évaluation (Demander des capacités, pas des modèles) | Le catalogue réussit sa vérification. La décision cite la vérification et le résultat de chaque consommateur, et nomme les preuves manquantes. | La décision cite seulement la moyenne, ou ignore les consommateurs sans preuves. | L’association a changé sans passer la barrière, ou « c’est le meilleur modèle ». |
| 2. Des enregistrements, des identités et des autorisations pour chaque application, et le résumé enregistré ou retiré (Enregistrer chaque agent, Trouver l’IA non enregistrée) | Chaque application a un responsable encore présent, ses propres identifiants et seulement ses outils. Le résumé et son code sont retirés, ou le résumé passe par la passerelle avec un nouveau responsable. Aucune clé d’équipe ou personnelle ne reste. | Une clé est encore to_revoke (à révoquer). Ou le résumé est retiré, mais son script contenant la clé Fernway est encore là. |
Le résumé appelle encore Fernway, ou deux applications partagent un identifiant. |
| 3. Une configuration de passerelle avec des budgets, des quotas, un mode de défaillance par niveau et un garde-fou, dont le fonctionnement est démontré (La passerelle de modèles) | Chaque réglage a une raison. Les sorties montrent le garde-fou, la solution de repli, les deux modes de défaillance et la limite qui arrête la boucle, avec son coût. | Un mode de défaillance n’a pas de raison, ou le coût de la boucle manque. | Seul le parcours sans erreur a été exécuté, ou le niveau élevé autorise les appels en cas de défaillance. |
| 4. Des politiques d’outils et une politique d’approbation avec des tests, et un exercice d’arrêt d’urgence consigné (Gouverner les outils et les actions) | La règle de Grace a des tests des deux côtés, et les tests du projet réussissent. L’exercice avait un plan écrit avec au moins deux niveaux, et il est consigné. | L’exercice n’est pas consigné, ou les tests couvrent un seul côté de la règle. | Une réexpédition passe avec l’approbation de Sam, ou aucun exercice n’a eu lieu. |
| 5. Le rapport mensuel sur le parc d’IA et une recommandation de construire ou d’acheter (Utilisation, preuves et IA fantôme, Construire, acheter et déployer) | Chaque constat et chaque révision en retard ont un responsable et une action. La recommandation répond aux quatre questions avec des exigences indispensables et des chiffres. | Un constat n’est pas expliqué, ou un produit est nommé sans exigences indispensables. | Aucun rapport, ou « acheter LiteLLM » sans raisons. |
Non accepté, peu importe le reste (l’élément est « pas encore démontré ») :
- Un agent peut appeler un modèle ou un outil sans enregistrement valide. Montrez un appel sans jeton, un agent retiré ou suspendu et un outil non répertorié, tous refusés. (Éléments 2 et 4.)
- Une clé partagée ou personnelle reste. Toutes les clés sauf celle de la passerelle sont révoquées, et l’analyse de
apps/ne trouve aucune clé. (Élément 2.) - Une écriture peut contourner la politique d’approbation. Chaque outil d’écriture dans
config/tools.yamlest nommé par une règle ou refusé pardefault: deny(refuser par défaut). Un test le montre. (Élément 4.)
Erreur courante
Un dossier qui passe sur papier
Symptôme : le rapport dit « toutes les clés sont révoquées », et config/provider-keys.yaml le confirme. Mais python -m estate discover --scan apps répertorie encore quatre clés dans apps/replay.py.
Cause : l’inventaire consigne une décision; il ne change pas le code. Le simulateur ne peut pas révoquer une clé comme un vrai fournisseur. Ici, les anciennes clés fonctionnent donc encore partout où aucune règle de sortie ne les bloque. Dans un vrai parc d’IA, une clé laissée dans le code est prête pour la prochaine copie du fichier.
Correction : retirez les clés du code, relancez l’analyse jusqu’à ce qu’elle ne trouve rien et gardez la règle de sortie active. L’inventaire, l’analyse et le journal de sortie doivent concorder.
Erreur courante
Un exercice qui bloque la journée
Symptôme : les tâches de l’exercice se terminent toutes par Stopped: provider_error (arrêt : erreur du fournisseur) et HTTP 429: rate limited (HTTP 429 : limite de débit atteinte). python -m resolver changes indique 0 change(s) (0 modification).
Cause : la boucle emballée a été exécutée avant l’exercice. Elle a épuisé le quota quotidien du flux de travail, ce qui a fait refuser les vraies tâches de l’exercice. Une limite par agent ne peut pas distinguer une boucle du vrai travail.
Correction : exécutez l’exercice avant la boucle, ou le lendemain (UTC). Expliquez dans votre rapport ce que cela montre : le quota protège le budget, mais il bloque aussi le vrai travail.
Récapitulatif
Dans ce cours, vous avez soumis chaque système d’IA d’une organisation à des contrôles qui fonctionnent dans le code :
- Demandez une capacité, pas un modèle, et changez l’association seulement quand chaque consommateur réussit sa propre évaluation.
- Enregistrez chaque agent avant son premier appel, avec un responsable encore présent et ses propres identifiants de courte durée.
- Faites passer chaque appel par une porte qui le vérifie, le limite et le consigne. Selon le risque, elle autorise ou bloque les appels en cas de défaillance.
- Laissez les personnes contrôler les actions avec des politiques d’approbation testées et des arrêts d’urgence que vous avez essayés.
- Conservez les preuves, et déployez la plateforme à partir des exigences indispensables, une application à la fois.
Une passerelle ne suffit pas à gouverner un parc d’IA. Les enregistrements, les politiques, les exercices et les personnes qui lisent les preuves le font.