Aller au contenu
English

Travail final

  • Après les études de cas
  • environ 3 h

Où nous en sommes

Dans ce cours, nous avons encadré chaque agent avec des contrôles : capacités, enregistrements et identités, passerelles de modèles et d'outils, budgets, politiques, arrêts d'urgence et preuves. Chaque module a ajouté un contrôle et l'a testé seul. Maintenant, tout le parc doit passer sous gouvernance en même temps, pendant un mois marqué par une panne, une demande de réassociation et un agent emballé. Dans ce travail, vous le faites par vous-même et vous remettez les preuves.

Ce que vous saurez faire

Appliquez tous les contrôles du cours à tout le parc en même temps. Enregistrez chaque application avec sa propre identité et décidez du sort du résumé hebdomadaire. Traversez ensuite un mois d’exercice : une demande de réassociation, une nouvelle règle d’approbation, un exercice, une panne, un plan de contrôle arrêté et une boucle incontrôlée. Terminez avec le rapport mensuel du parc et une recommandation de construction ou d’achat. Chaque affirmation de votre dossier renvoie à une commande et à sa sortie.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 180 minutes

Ce que vous devez savoir

  • Les modules 1 à 7. Chaque partie nomme les leçons qu’elle utilise. Le certificat exige aussi une étude de cas.

Ce qu’il vous faut sur votre ordinateur

  • La configuration du cours : Python 3.12, VS Code, deux terminaux et le dépôt des laboratoires dans ~/projects/nextia-learning-labs, comme dans Cinq agents et personne ne le sait.
  • L’instantané end-of-m07, à copier dans un nouveau dossier. Votre projet de cours reste intact.
  • Git, pour que git diff montre chaque changement. Aucun compte, aucune clé et aucuns frais.

Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes Windows et Linux sont écrites, mais n’ont pas été exécutées.

Le conseil pose une question à Kwame : « Tous les systèmes d’IA que Larkfield exploite sont-ils sous contrôle? » Il vous demande de préparer le dossier de preuves qui y répond. Le mois apporte quatre événements : Tomás demande « le modèle le plus puissant pour tout le monde », Grace change une règle d’approbation, le fournisseur subit une panne et un mauvais déploiement du flux de travail déclenche une boucle.

Votre mois est un mois d’exercice, pas le mois de septembre rejoué. Dans le module 6, l’équipe du cours a rejoué 30 jours de septembre avec une horloge de rejeu. Le projet n’inclut pas cet outil de rejeu. Votre mois correspond donc au mois civil de votre exécution, en une ou deux séances avec l’horloge réelle. Chaque réponse de modèle est rejouée : un enregistrement d’un cours antérieur. La panne, la règle de sortie réseau et l’arrêt du plan de contrôle sont simulés. La boucle est construite : un incident d’exercice que vous provoquez volontairement. Vos volumes sont faibles, donc vos coûts se comptent en cents. Trois demandes sont nouvelles, et aucune leçon n’y a répondu : la réassociation de Tomás, la règle de Grace et le quota du flux de travail.

Cinq lignes, une par partie du travail. Chaque ligne se lit de gauche à droite : la partie du mois d'exercice, l'élément du dossier qu'elle prouve (bordure verte) et les leçons qui l'enseignent. La partie 1, chaque application enregistrée et le sort du résumé décidé, prouve l'élément 2, les enregistrements, identités et autorisations sans clé d'équipe ou personnelle restante : Le contenu d'un enregistrement, Une identité par agent, Le cycle de vie d'un agent, Trouver l'IA non enregistrée. La partie 2, la demande de réassociation de Tomás, prouve l'élément 1, le catalogue de capacités et une décision de réassociation fondée sur des preuves d'évaluation : Un catalogue de capacités, Associer les capacités aux modèles, Modifier une association en toute sécurité. La partie 3, la règle de réexpédition de Grace et un exercice pendant une journée rejouée, prouve l'élément 4, les politiques d'outils et d'approbation avec leurs tests et un exercice consigné : Une passerelle pour les outils, L'autonomie et les approbations sous forme de politiques, Arrêts d'urgence et confinement. La partie 4, un numéro de carte, une panne, l'arrêt du plan de contrôle et une boucle incontrôlée, prouve l'élément 3, la configuration de la passerelle avec budgets, quotas, mode de défaillance par niveau et un garde-fou : Une seule porte pour les appels de modèles, Quotas, budgets et limites de débit, Les garde-fous à la passerelle, Quand la passerelle tombe en panne. La partie 5, la fin de votre mois d'exercice, prouve l'élément 5, le rapport mensuel du parc et une recommandation de construction ou d'achat : Utilisation et coût par agent, Des preuves pour la gouvernance, Comparer les passerelles, Déployer dans une organisation.
Les cinq éléments du dossier (en vert), la partie de votre mois qui prouve chacun et les leçons qui l'enseignent.
Description textuelle du diagramme

La partie 1 prouve l’élément 2 du dossier, la partie 2 l’élément 1, la partie 3 l’élément 4, la partie 4 l’élément 3 et la partie 5 l’élément 5. Les parties ne suivent pas l’ordre des éléments : la boucle incontrôlée épuise le quota quotidien du flux de travail. Elle vient donc en dernier.

Étiquetez chaque nombre de votre dossier : rejoué, mesuré (votre propre exécution), simulé, construit, prix ou hypothèse. Vos heures, identifiants et certains comptes diffèrent. Les sorties ci-dessous servent de modèles pour la forme, pas pour chaque chiffre.

  1. Copiez l’instantané dans un nouveau dossier et enregistrez son état initial dans Git :

    Fenêtre de terminal
    cd ~/projects
    cp -R nextia-learning-labs/C32/snapshots/end-of-m07 ai-estate-final
    cd ai-estate-final
    git init -q && git add -A && git commit -qm "end-of-m07"
  2. Créez un environnement virtuel, installez les dépendances et lancez les tests, comme dans Découvrir le parc d’IA de Larkfield. La dernière ligne indique 195 passed, 1 deselected (195 tests réussis, 1 exclu).

  3. Créez un fichier REPORT.md vide avec les sections de Quoi remettre. Après chaque partie, collez-y vos commandes, sorties et décisions.

Partie 1 : chaque application enregistrée, chacune avec son identité

Section intitulée « Partie 1 : chaque application enregistrée, chacune avec son identité »

Utilise Le contenu d’un enregistrement, Une identité par agent, Le cycle de vie d’un agent et Trouver l’IA non enregistrée.

  1. Créez le registre, enregistrez les sept formulaires, révisez les trois à risque élevé et émettez les identifiants. Utilisez les commandes du README.md du projet (« Start the estate », démarrer le parc, sans estate up). Exécutez ensuite python -m estate list. La sortie se termine par 7 registrations (7 enregistrements).

  2. Lisez chaque formulaire dans registrations/. Vérifiez que son budget, ses limites, ses outils et ses classes de données conviennent à l’application. Écrivez une ligne par application dans votre rapport.

  3. Décidez du sort du résumé hebdomadaire. Lee est parti, donc le formulaire a besoin d’un responsable encore présent. Rédigez registrations/weekly-digest.yaml avec un nouveau responsable, à partir du cas d’échec « Un formulaire pour le résumé hebdomadaire » dans Le contenu d’un enregistrement. Vérifiez-le et enregistrez-le :

    Fenêtre de terminal
    python -m estate check registrations/weekly-digest.yaml
    python -m estate register registrations/weekly-digest.yaml
    The form is complete.
    Registered weekly-digest (version 1): active
  4. Choisissez maintenant une voie et justifiez-la dans votre rapport :

    • Retirez-le. Exécutez python -m estate retire weekly-digest --reason "…". Déplacez le formulaire dans registrations/retired/ pour éviter que la boucle de configuration le réenregistre dans un nouvel état. (La barrière de réassociation ignore déjà les agents retirés par le registre.) Supprimez apps/digest/, tests/test_digest.py et le dernier test de tests/test_evidence.py, qui lit le script. Dites qui ferme le compte Fernway et demande à Fernway de supprimer les messages.
    • Gardez-le. Le nouveau responsable le passe à fast-small par la passerelle, avec ses propres identifiants et sans clé Fernway. Le simulateur n’a aucun enregistrement de la requête du résumé sur chat-small. L’appel se termine donc par 422 no_recording (aucun enregistrement), après avoir réussi toutes les vérifications de la passerelle.
  5. Fermez les portes latérales. Dans config/provider-keys.yaml, définissez az-key-1 et az-key-2 à status: revoked (état : révoqué). Ajoutez aussi az-key-3, la clé de Priya, comme revoked (révoquée). Seule az-key-9, la clé de la passerelle, reste.

  6. Dans apps/replay.py, remplacez les quatre anciennes valeurs "key" par "". Supprimez test_direct_replay_uses_the_apps_own_key dans tests/test_replay.py : ce test vérifie qu’une ancienne clé fonctionne encore.

  7. Dans tests/test_evidence.py, remplacez le constat attendu pour az-key-3 par le nouveau texte, comme dans la vérification pratique de Trouver l’IA non enregistrée. Analysez ensuite le code et lancez les tests :

    Fenêtre de terminal
    python -m estate discover --scan apps
    ruff check --fix .
    python -m pytest -q
    0 finding(s).
    Not found by any of these: AI features inside bought tools, and AI used on personal devices outside Larkfield's network. They enter the inventory through the buying process and by asking people.
    …
    191 passed, 1 deselected

    ruff --fix supprime deux importations utilisées par les tests supprimés. Les nombres correspondent à la voie « retirer ».

  8. Démarrez le parc avec la règle de sortie réseau activée et essayez les deux portes :

    Fenêtre de terminal
    SIM_EGRESS=gateway-only python -m estate up
    python -m apps.replay ticket-triage --units 2
    python -m apps.replay ticket-triage --units 5 --via gateway

    L’appel direct reçoit egress_blocked x4 (sortie réseau bloquée quatre fois); la passerelle répond status {200: 10} (10 réponses de statut 200). Rejouez les autres applications avec --via gateway, exécutez python -m apps.helpdesk T-30002 et envoyez un appel sans jeton, comme dans Une identité par agent (401 missing_token, jeton manquant).

Partie 2 : le catalogue et la demande de réassociation de Tomás

Section intitulée « Partie 2 : le catalogue et la demande de réassociation de Tomás »

Utilise Un catalogue de capacités, Associer les capacités aux modèles et Modifier une association en toute sécurité.

Tomás écrit : « chat-strong est notre meilleur modèle. Associez-lui fast-small pour que chaque application obtienne les meilleures réponses. » Décidez à partir de preuves, sans modifier config/catalog.yaml.

  1. Exécutez python -m estate catalog check sur le vrai catalogue. La sortie indique The catalog is consistent (le catalogue est cohérent).

  2. Copiez config/catalog.yaml dans state/tomas-catalog.yaml. Dans la copie, remplacez les deux cibles de fast-small par chat-strong et supprimez leurs params_if_tools. Prédisez le résultat de la vérification. Lancez-la ensuite sur la copie :

    Fenêtre de terminal
    python -m estate catalog check --file state/tomas-catalog.yaml
  3. Prédisez quels consommateurs réussissent. Lancez ensuite la barrière :

    Fenêtre de terminal
    python -m estate remap gate fast-small --to azure/chat-strong
  4. Rédigez la décision comme Kwame l’enverrait à Tomás, en appuyant chaque phrase sur ses preuves. Nommez ce qui doit exister avant que la demande puisse être acceptée.

Vérifiez votre prédiction
fast-small -> azure/chat-strong: the contract promises tools, the model does not have it
fast-small -> azure/chat-strong: the input price 2.0 is above the contract's band 0.5
fast-small -> azure/chat-strong: the output price 10.0 is above the contract's band 2.0
fast-small -> azure-canada/chat-strong: the contract promises tools, the model does not have it
fast-small -> azure-canada/chat-strong: the input price 2.0 is above the contract's band 0.5
fast-small -> azure-canada/chat-strong: the output price 10.0 is above the contract's band 2.0
Remap gate: fast-small from azure/chat-small to azure/chat-strong
doc-assistant NO EVIDENCE no evaluation that the gate can run: no evidence, no remap for this consumer
helpdesk-assistant NO EVIDENCE no evaluation that the gate can run: no evidence, no remap for this consumer
support-workflow NO EVIDENCE no evaluation that the gate can run: no evidence, no remap for this consumer
ticket-triage PASS decisions 87/102 = 0.853 (minimum 0.85); today 90/102 = 0.882; cost US$0.5252 vs US$0.0353 today
items that changed: T-64746, T-64800, T-65317, T-65388, T-65449, T-65552, T-65615, T-65853, T-81018, T-81046, T-81048, T-81056 ...
Average over every item: 0.853 with the candidate, 0.882 today (mean of the consumers' rates: 0.853)
Decision: BLOCK - every consumer must pass its own evaluation

Les deux vérifications la bloquent. Le contrat promet des outils, que chat-strong refuse sur cette API, et le prix dépasse la plage de quatre à cinq fois. Dans la barrière, trois consommateurs n’ont aucune évaluation, et le triage se dégrade pour un coût environ 15 fois supérieur. Un résumé conservé apparaît comme cinquième consommateur sans preuve; un résumé retiré est ignoré.

Utilise Une passerelle pour les outils, L’autonomie et les approbations sous forme de politiques et Arrêts d’urgence et confinement.

Grace écrit : « Une réexpédition envoie les marchandises une deuxième fois. Désormais, un chef d’équipe approuve chaque réexpédition. Les étiquettes restent sous la responsabilité des agents de soutien. »

  1. Affichez les autorisations d’outils : python -m estate tools helpdesk-assistant, puis python -m apps.helpdesk T-30201 --obedient (403 tool_not_allowed, outil non autorisé).

  2. Dans config/policy/approvals.yaml, séparez la règle labels-and-reships en deux règles : return-labels (agent de soutien) et reships (chef d’équipe). Exécutez python -m estate policy test. Prédisez d’abord : les 12 cas réussissent-ils encore?

  3. Ajoutez au moins trois cas dans config/policy/approvals-tests.yaml, des deux côtés de la nouvelle limite : Sam peut approuver une étiquette, Sam ne peut pas approuver une réexpédition, Camille peut approuver une réexpédition. Lancez les tests jusqu’à leur réussite, puis publiez avec python -m estate config publish --note "…".

  4. Lancez les tests du projet. Un test du flux de travail échoue : il attend encore que Sam approuve la réexpédition de T-90103. Adaptez-le à la nouvelle règle : Sam est refusé, Camille approuve avec --as team_lead.

  5. Planifiez l’exercice avant de le lancer : quel arrêt, après quelle tâche, le résultat attendu et qui le lève. Utilisez au moins deux niveaux de l’échelle de confinement, dans un plan différent de celui de la leçon. Réinitialisez la base de données d’exercice avec python -m resolver reset, puis exécutez la journée par parties avec python -m apps.workday --tasks ….

  6. Quand une exécution attend un chef d’équipe, approuvez-la comme Camille :

    Fenêtre de terminal
    RESOLVER_PROVIDER=gateway RESOLVER_TOOLS=gateway python -m resolver approve RUN_ID --as team_lead --approver usr-camille

    Dans PowerShell, définissez d’abord les deux variables avec $env:, comme dans le module.

  7. Consignez l’exercice : un incident de type drill (exercice), avec python -m estate incident add, puis end. Définissez aussi kill_switch_tested dans registrations/support-workflow.yaml à la date de l’exercice. Enregistrez de nouveau le formulaire.

Un exercice et ce qu’il a montré

Le plan : arrêter toute écriture de commande après la tâche 3 (python -m estate kill writes orders --reason …), lever l’arrêt après la tâche 5, suspendre le flux de travail pour la tâche 9, puis le reprendre. La journée, en version abrégée :

task 1 T-90103 resolve (rule W5) | approval by usr-sam refused: Not approved by the platform: Sam may not approve this: it needs a team lead or above (rule reships)
task 2 T-90104 resolve (rule W2) | approved by usr-sam: request_refund LK-793996: done | done
task 3 T-90603 resolve (rule W7) | approved by usr-sam: request_refund LK-645223: done | done
task 4 T-65273 resolve (rule W7) | approved by usr-camille: request_refund LK-507862: failed request_refund: refused by the tool gateway: Stopped: writes are stopped for orders (kill switch 1: drill: wrong goods sent, stop every order write). | handed_to_person
task 5 T-64872 resolve (rule W7) | approved by usr-sam: request_refund LK-739156: failed request_refund: refused by the tool gateway: Stopped: writes are stopped for orders (kill switch 1: drill: wrong goods sent, stop every order write). | handed_to_person
task 9 T-90102 Stopped: provider_error. No proposal: the ticket goes to a person. | Last error: The platform refused a token: {"error":{"code":"invalid_client","message":"support-workflow cannot get a token: its registration is suspended."}}
task 11 T-90106 resolve (rule W5) | approval by usr-sam refused: Not approved by the platform: Sam may not approve this: it needs a team lead or above (rule reships)
task 13 T-90203 resolve (rule W4) | approval by usr-sam refused: Not approved by the platform: Sam may not approve this: it needs a team lead or above (rule reships)

Aux tâches 1, 11 et 13, l’outil workday sollicite Sam, la personne désignée par la vérification interne de l’application. La plateforme refuse son approbation : la copie des règles de l’application est périmée, et la politique l’emporte. Après l’approbation des trois réexpéditions par Camille, python -m resolver changes se termine par 13 change(s) in the practice database (13 changements dans la base de données d’exercice). Trois tâches ont été transférées à des personnes : deux remboursements pendant l’arrêt et la nouvelle exécution pendant la suspension.

Utilise Une seule porte pour les appels de modèles, Quotas, budgets et limites de débit, Les garde-fous à la passerelle et Quand la passerelle tombe en panne.

Écrivez d’abord les paramètres de la passerelle dans votre rapport, en justifiant chacun : les budgets et limites de chaque application et équipe, le mode de défaillance de chaque niveau de risque dans config/gateway.yaml et le garde-fou. Montrez ensuite leur fonctionnement.

  1. Un garde-fou. Envoyez la requête de triage avec un numéro de carte, comme dans Les garde-fous à la passerelle. Cherchez x-gateway-redacted: card-numbers: 1 card number(s) redacted (un numéro de carte masqué) et le garde-fou dans python -m estate usage --last 1. Expliquez le 422 en une phrase.
  2. Une panne de fournisseur. Ouvrez un incident. Mettez East US 2 hors service (python -m provsim control azure down), rejouez le triage et une unité du flux de travail, puis lisez python -m estate usage --last 1 : provider azure-canada (fournisseur azure-canada) et fallback 1 (un recours de secours). Mettez ensuite les deux régions hors service ('*') et rejouez le triage, le flux de travail et l’assistant documentaire : chacun reçoit no_provider_available (aucun fournisseur disponible). Écrivez ce que chaque application fait alors. Remettez les deux contrôles à normal, attendez 10 secondes pour le disjoncteur, rejouez le triage et terminez l’incident.
  3. Le plan de contrôle s’arrête. Dans le terminal 1, exécutez python -m apps.traffic --seconds 120. Vers 20 secondes, exécutez python -m estate down control dans le terminal 2. Vers 90 secondes, interrogez la réplique a avec curl -s http://127.0.0.1:8323/ready. Vers 110 secondes, exécutez python -m estate up control. Repérez le moment où le mode de défaillance de chaque niveau de risque commence.
  4. Le quota du flux de travail selon son utilisation réelle. Le flux de travail dispose de 2 000 000 de jetons par jour. Calculez son besoin réel : 45 exécutions par jour (une hypothèse) × les jetons d’une exécution, affichés par python -m resolver run (T-90103 : 4 647 en entrée et 266 en sortie). Ajoutez une marge et montrez le calcul. Modifiez tokens_per_day, enregistrez de nouveau le formulaire et révisez-le.
  5. La boucle incontrôlée, en dernier. Exécutez python -m apps.runaway support-workflow --attempts 300 trois fois; chaque exécution attend la minute suivante. Lancez ensuite une vraie tâche, T-90104, par les deux passerelles. Dites quelle limite a arrêté la boucle, après combien de réponses, à quel coût et ce qui est arrivé à la vraie tâche. Le quota compte la journée UTC.
Vérifiez vos mesures

Le plan de contrôle s’est arrêté à 20 secondes. Le trafic du terminal 1, en version abrégée :

70 s | triage ok 17 | workflow - | documents ok 3 | replicas a 6, b 7, c 7
80 s | triage ok 15 | workflow - | documents degraded 1, ok 3 | replicas a 7, b 6, c 6
90 s | triage degraded 17 | workflow control_unavailable 1 | documents degraded 2 | replicas a 6, b 7, c 7
100 s | triage degraded 19 | workflow - | documents - | replicas a 7, b 6, c 6
110 s | triage degraded 17 | workflow - | documents degraded 3 | replicas a 6, b 7, c 7
120 s | triage degraded 2, ok 14 | workflow control_unavailable 1, ok 2 | documents ok 1 | replicas a 7, b 7, c 6

Pendant 60 secondes, les copies en cache servent chaque application. Ensuite, le triage (risque moyen) et les documents (risque faible) restent ouverts, avec la marque degraded (dégradé). Le flux de travail (risque élevé) se ferme.

La boucle, avec un quota de 450 000 jetons (45 exécutions × environ 5 000 jetons, doublé) :

answered 120 | cost US$0.5897 | 0.7 s
refused rate_limited 180
…
answered 26 | cost US$0.1278 | 0.5 s
refused quota_exhausted 94, rate_limited 180
first quota_exhausted: after 26 answers and US$0.1278 (0.2 s): 429 support-workflow has used its 450,000 tokens for today.
…
answered 0 | cost US$0.0000 | 0.5 s
refused quota_exhausted 120, rate_limited 180

La limite de débit a ralenti la boucle, et le quota l’a arrêtée pendant sa deuxième minute : 146 réponses, 0,72 $ US. Votre compte diffère, car l’exercice et les rejeux ont utilisé une partie des jetons de la journée. Avec 2 000 000 de jetons, la boucle simulée du cours dans Quotas, budgets et limites de débit a coûté 4,40 $ US. Le prix du quota plus serré est la vraie tâche : T-90104 s’arrête, et son billet de soutien est transféré à une personne.

Partie 5 : les preuves du mois et la décision de construire ou d’acheter

Section intitulée « Partie 5 : les preuves du mois et la décision de construire ou d’acheter »

Utilise Utilisation et coût par agent, Des preuves pour la gouvernance, Trouver l’IA non enregistrée, Comparer les passerelles et Déployer dans une organisation.

  1. Rédigez le rapport mensuel pour le mois de votre exécution, comme dans Des preuves pour la gouvernance : python -m estate report --month $(date -u +%Y-%m) --out state/report.md.

  2. Enregistrez la facture du simulateur et le journal de sortie réseau de votre mois. Lancez la découverte et l’analyse d’adoption sur ces fichiers :

    Fenêtre de terminal
    python -m provsim bill > state/bill.csv
    python -m provsim egress > state/egress.csv
    python -m estate discover --bill state/bill.csv --egress state/egress.csv --scan apps
    python -m estate adoption --month $(date -u +%Y-%m) --bill state/bill.csv

    Sur Windows, obtenez le mois comme dans la leçon et écrivez les fichiers avec | Out-File -Encoding utf8.

  3. Vérifiez que le rapport concorde avec vos incidents, votre exercice et votre test de sortie réseau. Pour chaque constat et révision en retard, dites qui agit et avant quelle date.

  4. Rédigez la recommandation de construction ou d’achat pour Larkfield : environ une page, avec les quatre questions de la tâche autonome du module, les exigences essentielles de docs/gateway-comparison.md et les nombres de votre mois. Ajoutez le coût d’un changement de produit dans deux ans et ce qui, dans votre conception, le garde bas.

  5. Arrêtez le parc avec python -m estate down.

Ce que le mois du cours a montré
Provider calls through the gateway: 456 of 456 (100.0%); around it: 0.
Friction: the share of each agent's calls that the gateway refused.
support-workflow 757 of 955 refused (79.3%): rate_limit 541, quota 214, failure_mode 2
ticket-triage 0 of 240 refused (0.0%)

Chaque appel facturé a utilisé az-key-9, la clé de la passerelle. La découverte affiche encore deux lignes de sortie réseau, provenant de triage-svc-01 et de priya-laptop. Il s’agit de votre propre test de la règle de sortie réseau dans la partie 1 : chaque connexion a été bloquée. Le rapport indique la révision en retard du juge de mise en production : Priya le révise, ou le juge s’arrête. Les difficultés du flux de travail viennent de la boucle, pas du travail normal.

Copiez le projet sans state/ ni .venv, créez un nouvel environnement virtuel et installez les dépendances. Exécutez ruff check ., les tests, python -m estate init, l’enregistrement de chaque formulaire, python -m estate discover --scan apps et python -m estate policy test. Collez les dernières lignes dans votre rapport. Si une étape exige quelque chose que le README ne mentionne pas, corrigez le README.

Votre dossier de projet sans .venv ni state/, avec vos modifications dans Git, et REPORT.md :

# Larkfield's AI estate under governance: the practice month
## 1. The catalog and the remap (Tomás's request: the check, the gate, the decision and what it needs)
## 2. Registrations and identities (the list, one line per app, the digest's decision, the key inventory,
the scan with 0 findings, the egress test, the call without a token)
## 3. Gateway configuration (budgets, quotas, failure modes with reasons, the guardrail; the four
scenarios with their outputs; the quota arithmetic; the loop's cost)
## 4. Tools, approvals and the drill (Grace's rule, the policy tests, the changed project test, the drill plan,
the day, the incident and kill_switch_tested)
## 5. The month's evidence (the report, discovery, adoption and friction, each finding explained)
## 6. Build or buy (the recommendation, the must-haves, the cost of a change of product)
## 7. Fresh-environment run
## 8. Labels and limits (which numbers are replayed, measured, simulated, constructed, assumed;
what this practice month cannot say about production)

Incluez git diff --stat par rapport à votre premier commit (enregistrement des modifications). Un réviseur lit les différences dans les formulaires, la copie du catalogue, la politique, l’inventaire des clés et les tests.

Un réviseur note chaque élément démontré, partiellement démontré ou pas encore démontré, avec une raison concrète. Pour terminer le cours, vous devez démontrer les cinq éléments; vous pouvez améliorer un élément et le soumettre de nouveau. Sans réviseur, utilisez le tableau pour évaluer votre propre dossier.

Élément requis Démontré quand Partiellement démontré, par exemple Pas encore démontré, par exemple
1. Un catalogue de capacités avec des contrats et des associations, et une réassociation décidée à partir de preuves d’évaluation (Demander des capacités, pas des modèles) Le catalogue réussit sa vérification. La décision cite la vérification et le résultat de chaque consommateur, et nomme les preuves manquantes. La décision cite seulement la moyenne, ou ignore les consommateurs sans preuves. L’association a changé sans passer la barrière, ou « c’est le meilleur modèle ».
2. Des enregistrements, des identités et des autorisations pour chaque application, et le résumé enregistré ou retiré (Enregistrer chaque agent, Trouver l’IA non enregistrée) Chaque application a un responsable encore présent, ses propres identifiants et seulement ses outils. Le résumé et son code sont retirés, ou le résumé passe par la passerelle avec un nouveau responsable. Aucune clé d’équipe ou personnelle ne reste. Une clé est encore to_revoke (à révoquer). Ou le résumé est retiré, mais son script contenant la clé Fernway est encore là. Le résumé appelle encore Fernway, ou deux applications partagent un identifiant.
3. Une configuration de passerelle avec des budgets, des quotas, un mode de défaillance par niveau et un garde-fou, dont le fonctionnement est démontré (La passerelle de modèles) Chaque réglage a une raison. Les sorties montrent le garde-fou, la solution de repli, les deux modes de défaillance et la limite qui arrête la boucle, avec son coût. Un mode de défaillance n’a pas de raison, ou le coût de la boucle manque. Seul le parcours sans erreur a été exécuté, ou le niveau élevé autorise les appels en cas de défaillance.
4. Des politiques d’outils et une politique d’approbation avec des tests, et un exercice d’arrêt d’urgence consigné (Gouverner les outils et les actions) La règle de Grace a des tests des deux côtés, et les tests du projet réussissent. L’exercice avait un plan écrit avec au moins deux niveaux, et il est consigné. L’exercice n’est pas consigné, ou les tests couvrent un seul côté de la règle. Une réexpédition passe avec l’approbation de Sam, ou aucun exercice n’a eu lieu.
5. Le rapport mensuel sur le parc d’IA et une recommandation de construire ou d’acheter (Utilisation, preuves et IA fantôme, Construire, acheter et déployer) Chaque constat et chaque révision en retard ont un responsable et une action. La recommandation répond aux quatre questions avec des exigences indispensables et des chiffres. Un constat n’est pas expliqué, ou un produit est nommé sans exigences indispensables. Aucun rapport, ou « acheter LiteLLM » sans raisons.

Non accepté, peu importe le reste (l’élément est « pas encore démontré ») :

  • Un agent peut appeler un modèle ou un outil sans enregistrement valide. Montrez un appel sans jeton, un agent retiré ou suspendu et un outil non répertorié, tous refusés. (Éléments 2 et 4.)
  • Une clé partagée ou personnelle reste. Toutes les clés sauf celle de la passerelle sont révoquées, et l’analyse de apps/ ne trouve aucune clé. (Élément 2.)
  • Une écriture peut contourner la politique d’approbation. Chaque outil d’écriture dans config/tools.yaml est nommé par une règle ou refusé par default: deny (refuser par défaut). Un test le montre. (Élément 4.)

Erreur courante

Un dossier qui passe sur papier

Symptôme : le rapport dit « toutes les clés sont révoquées », et config/provider-keys.yaml le confirme. Mais python -m estate discover --scan apps répertorie encore quatre clés dans apps/replay.py.

Cause : l’inventaire consigne une décision; il ne change pas le code. Le simulateur ne peut pas révoquer une clé comme un vrai fournisseur. Ici, les anciennes clés fonctionnent donc encore partout où aucune règle de sortie ne les bloque. Dans un vrai parc d’IA, une clé laissée dans le code est prête pour la prochaine copie du fichier.

Correction : retirez les clés du code, relancez l’analyse jusqu’à ce qu’elle ne trouve rien et gardez la règle de sortie active. L’inventaire, l’analyse et le journal de sortie doivent concorder.

Erreur courante

Un exercice qui bloque la journée

Symptôme : les tâches de l’exercice se terminent toutes par Stopped: provider_error (arrêt : erreur du fournisseur) et HTTP 429: rate limited (HTTP 429 : limite de débit atteinte). python -m resolver changes indique 0 change(s) (0 modification).

Cause : la boucle emballée a été exécutée avant l’exercice. Elle a épuisé le quota quotidien du flux de travail, ce qui a fait refuser les vraies tâches de l’exercice. Une limite par agent ne peut pas distinguer une boucle du vrai travail.

Correction : exécutez l’exercice avant la boucle, ou le lendemain (UTC). Expliquez dans votre rapport ce que cela montre : le quota protège le budget, mais il bloque aussi le vrai travail.

Récapitulatif

Dans ce cours, vous avez soumis chaque système d’IA d’une organisation à des contrôles qui fonctionnent dans le code :

  • Demandez une capacité, pas un modèle, et changez l’association seulement quand chaque consommateur réussit sa propre évaluation.
  • Enregistrez chaque agent avant son premier appel, avec un responsable encore présent et ses propres identifiants de courte durée.
  • Faites passer chaque appel par une porte qui le vérifie, le limite et le consigne. Selon le risque, elle autorise ou bloque les appels en cas de défaillance.
  • Laissez les personnes contrôler les actions avec des politiques d’approbation testées et des arrêts d’urgence que vous avez essayés.
  • Conservez les preuves, et déployez la plateforme à partir des exigences indispensables, une application à la fois.

Une passerelle ne suffit pas à gouverner un parc d’IA. Les enregistrements, les politiques, les exercices et les personnes qui lisent les preuves le font.