Aller au contenu
English

Des preuves pour la gouvernance

  • Leçon 18
  • 40 min
  • Module 6 : Utilisation, preuves et IA fantôme

Où nous en sommes

Dans la dernière leçon, nous avons transformé les enregistrements de la passerelle en rapports d'utilisation et de coût par agent, équipe et capacité. Nous les avons joints à la trace de l'application pour connaître le coût d'une tâche. Mais le comité de gouvernance pose d'autres questions : chaque agent est-il enregistré, lesquels présentent un risque élevé, qu'est-il arrivé ce mois-ci? Dans cette leçon, nous répondons au comité avec des preuves, comme un restaurant répond à un inspecteur sanitaire. Nous précisons aussi à quelle question ces preuves ne peuvent pas répondre.

Ce que vous saurez faire

Répondez aux questions d’un comité de gouvernance sur l’IA d’une organisation à partir des enregistrements de la plateforme. Utilisez le registre, les enregistrements de la passerelle et la piste d’audit. Vous lisez le rapport de septembre de Larkfield et rédigez le vôtre. Vous indiquez ensuite ce que les preuves ne permettent pas de savoir.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre projet ~/projects/ai-estate après la dernière leçon : l’instantané end-of-m05, avec le trafic de cette leçon dans state/, et son environnement virtuel actif. Si vous partez d’une nouvelle copie de end-of-m05, faites d’abord les étapes « Démarrer un nouveau parc » et « Regrouper les lignes » de la dernière leçon. Vos chiffres correspondront alors à ceux de cette leçon.
  • Le dépôt des exercices dans ~/projects/nextia-learning-labs, pour les fichiers de cette leçon provenant de l’instantané end-of-m06.

Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes Windows (PowerShell) et Linux sont écrites, mais n’ont pas été exécutées. Le rapport de septembre utilise du trafic rejoué. Sa panne, son agent emballé et son résumé sont des incidents d’exercice simulés ou construits, comme indiqué dans les modules précédents.

Un inspecteur sanitaire visite un restaurant et pose chaque fois les mêmes questions. Le réfrigérateur est-il assez froid? Nettoie-t-on la cuisine chaque jour? Qui est responsable? Quelqu’un a-t-il été malade après un repas?

Le restaurant ne répond pas avec des promesses. Il présente des enregistrements. Le réfrigérateur a un thermomètre qui enregistre lui-même la température chaque heure. La liste de nettoyage porte une signature par jour, quand le personnel pense à la signer. L’inspecteur fait davantage confiance au thermomètre qu’à la liste, car personne ne peut oublier d’enregistrer la température. Et certaines questions n’ont aucun enregistrement : « La nourriture est-elle bonne? » ne figure dans aucun journal. Pour le savoir, quelqu’un doit y goûter.

Le problème : des questions qui prennent une semaine

Section intitulée « Le problème : des questions qui prennent une semaine »

Larkfield a un comité de gouvernance de l’IA : Grace, un avocat, le responsable de la sécurité et le responsable des finances. Une fois par mois, ils posent cinq types de questions à Kwame :

  • Couverture de l’inventaire : chaque système d’IA que nous utilisons est-il enregistré, avec un responsable?
  • Niveaux de risque : quels systèmes présentent un risque élevé, et leurs contrôles sont-ils en place et testés?
  • Exceptions : qui peut déroger à une règle, pourquoi et jusqu’à quand?
  • Incidents : qu’est-il arrivé ce mois-ci, et reste-t-il des incidents ouverts?
  • Dépenses : combien l’IA a-t-elle coûté, par équipe, par rapport aux budgets?

Avant la plateforme, Kwame répondait en envoyant des messages à chaque équipe et en attendant une semaine. Amira disait trois systèmes, Mei disait deux, et personne ne mentionnait le script de résumé. Les réponses étaient des promesses, pas des enregistrements. Le comité ne pouvait pas les vérifier, et le même travail recommençait le mois suivant.

Une preuve est un enregistrement qui existe parce qu’un contrôle a fait son travail, pas parce que quelqu’un l’a demandé. La plateforme de Larkfield en conserve quatre types, et chacun répond à des questions différentes. Le code en produit deux, à chaque appel ou commande : ce sont les thermomètres. Des personnes en produisent deux : ce sont les listes de nettoyage.

Un flux de haut en bas. Produits par le code, à chaque appel ou commande : les enregistrements de la passerelle, une ligne par appel de modèle et d'outil; la piste d'audit, estate events : enregistrement, révision, suspension, identifiants, approbations. Produits par des personnes, seulement si elles le font : les formulaires d'enregistrement, avec le niveau de risque, le responsable, la date de révision et le test de l'arrêt d'urgence; les incidents et les exceptions, avec estate incident et estate exception. Les quatre alimentent estate report, le rapport mensuel du parc, qui va au comité de gouvernance. Une ligne pointillée des formulaires au comité indique : arrêt d'urgence testé : pas encore (l'exercice a eu lieu, personne n'a mis le formulaire à jour).
Qui produit les preuves. Les enregistrements produits par le code à chaque appel ne peuvent pas être oubliés. Ceux produits par des personnes dépendent de leur rigueur.
Description textuelle du diagramme

En haut se trouvent les enregistrements que le code produit à chaque appel ou commande. Les enregistrements de la passerelle contiennent une ligne par appel de modèle et par appel d’outil. La piste d’audit, qu’affiche estate events, contient une ligne pour chaque enregistrement, révision, suspension, identifiant et approbation. En dessous se trouvent les enregistrements produits par des personnes, seulement si elles le font. Les formulaires d’enregistrement contiennent le niveau de risque, le responsable, la date de révision et l’état du test de l’arrêt d’urgence. Les incidents et les exceptions sont consignés avec estate incident et estate exception. Les quatre alimentent estate report, le rapport mensuel du parc, qui va au comité de gouvernance. Une ligne pointillée des formulaires au comité montre une lacune : le formulaire indique encore arrêt d’urgence testé : pas encore. L’exercice a eu lieu, mais personne n’a mis le formulaire à jour.

La piste d’audit est la liste des événements du registre : qui a enregistré, révisé, suspendu ou approuvé quoi, et quand. Une exception est une permission écrite permettant à un agent de déroger à une règle. Elle précise la raison, la personne qui l’a approuvée et une date de fin. Un incident est un compte rendu écrit d’un problème : sa nature, son début, sa fin et les agents touchés.

Le rapport mensuel du parc réunit les quatre dans l’ordre des questions du comité : python -m estate report --month YYYY-MM. Il lit le registre et le stockage des données d’utilisation, et indique la source de chaque chiffre.

  1. Copiez le rapport, ses commandes et les preuves du mois rejoué depuis l’instantané end-of-m06. Dans ~/projects/ai-estate :

    Fenêtre de terminal
    S=../nextia-learning-labs/C32/snapshots/end-of-m06
    cp $S/estate/report.py estate/
    cp $S/estate/cli/evidence.py estate/cli/
    cp -R $S/evidence .

    estate/report.py produit le rapport. estate/cli/evidence.py ajoute quatre commandes : report (rapport), incident (incident), exception (exception) et discover (découvrir, dans la prochaine leçon). Le dossier evidence/ contient le mois rejoué : la facture Azure, la ligne de dépense Fernway, un résumé du journal du trafic sortant et le rapport de septembre.

  2. Exécutez les tests :

    Fenêtre de terminal
    python -m pytest -q

    La dernière ligne indique 190 passed, 1 deselected (190 tests réussis, 1 désélectionné). Les tests du rapport accompagnent les fichiers de la prochaine leçon. Si deux tests du flux de travail échouent, lisez le cas d’échec ci-dessous.

  3. Vérifiez la nouvelle commande :

    Fenêtre de terminal
    python -m estate report --help
    usage: python -m estate report [-h] --month MONTH [--out OUT]
    options:
    -h, --help show this help message and exit
    --month MONTH
    --out OUT

Erreur courante

Deux tests du flux de travail échouent après la dernière leçon

Symptôme : python -m pytest -q se termine par :

FAILED tests/workflow/test_checkpoint.py::test_a_crashed_cli_run_resumes - re...
FAILED tests/workflow/test_first_run.py::test_first_run_replays_a_recorded_decision
2 failed, 188 passed, 1 deselected in 37.65s

Au-dessus, l’erreur indique No credentials at …/support-workflow.json: run python -m estate credentials issue support-workflow (aucun identifiant à cet emplacement : exécutez la commande indiquée), avec un chemin dans un dossier temporaire.

Cause : RESOLVER_PROVIDER et RESOLVER_TOOLS valent encore gateway (passerelle) dans votre terminal. Les tests du flux de travail tentent alors d’accéder à la plateforme depuis un dossier de test sans identifiants. Sur Windows, les variables $env: restent jusqu’à la fermeture du terminal. Sur macOS et Linux, cela arrive si vous avez utilisé export.

Diagnostic : echo $RESOLVER_TOOLS sur macOS et Linux, ou $env:RESOLVER_TOOLS dans PowerShell. Si la commande affiche gateway, c’est la cause.

Correction : supprimez les deux variables, puis relancez les tests. Sur macOS et Linux : unset RESOLVER_PROVIDER RESOLVER_TOOLS. Dans PowerShell : Remove-Item Env:RESOLVER_PROVIDER, Env:RESOLVER_TOOLS. Les tests indiquent alors 190 passed (190 tests réussis). Définissez les variables seulement pour la commande qui en a besoin, comme dans les leçons.

Exemple détaillé : le rapport de septembre de Larkfield

Section intitulée « Exemple détaillé : le rapport de septembre de Larkfield »

Le comité se réunit après le mois rejoué. Kwame apporte un fichier, evidence/estate-report-2026-09.md, que estate report a produit à la fin de septembre. Ouvrez-le dans VS Code et appuyez sur Ctrl+Shift+V (Cmd+Shift+V sur macOS) pour l’afficher comme une page. Le diagramme place ses sept sections à côté des questions du comité.

Le rapport mensuel du parc pour septembre, rejoué, avec sept sections à gauche, chacune reliée à la question du comité et à la source à droite. 1. Inventaire : 7 enregistrements, 7 actifs; trouvés hors du registre : 17 résultats; appels de modèles par la passerelle : 40 754. Question : chaque système d'IA est-il enregistré? Non : az-key-3 et fw-7Q2K figurent sur la facture. Source : le registre et estate discover. 2. Niveaux de risque : 3 élevés, 3 moyens, 1 faible; support-workflow fail_closed, arrêt d'urgence testé : pas encore. Question, marquée comme une lacune : quels systèmes présentent un risque élevé, et leur arrêt d'urgence est-il testé? Source : les formulaires d'enregistrement. 3. Dépenses : support-workflow 14,28 $ US, 57 % de 25; ticket-triage 6,48 $ US, 43 % de 15; équipe de service 20,76 $ US sur 40. Question : combien l'IA a-t-elle coûté, par agent et par équipe? Source : les enregistrements de la passerelle; montant absent : 7,36 $ US payés directement. 4. Ce que les contrôles ont arrêté : rate_limit 28 807, quota 6 375, route 40, provider 15; réponses d'une solution de repli : 123. Question : les limites et les solutions de repli ont-elles fonctionné? Source : les enregistrements de la passerelle, une ligne par appel, produite par le code. 5. Exceptions et incidents : aucune exception; incidents : shadow-ai (ouvert), panne, agent emballé (837 appels, 4,09 $ US). Question : qu'est-il arrivé, et qu'est-ce qui reste ouvert? Source : les incidents consignés par des personnes; aucun, si personne ne l'a fait. 6. Révisions et responsables : révision de release-judge prévue le 1 octobre 2026. Question : qui est responsable de chaque système, et une révision est-elle en retard? Source : le registre. 7. Ce que ces preuves ne permettent pas de savoir : les réponses étaient-elles justes, combien a coûté une tâche entière, l'IA dans les outils achetés. Marqué comme une lacune : confier ces questions aux évaluations, aux traces de l'application, au processus d'achat et à un cours ultérieur sur la gouvernance de l'IA.
Le rapport du parc de Larkfield pour septembre, annoté. Chaque section répond à une question du comité à partir d'une source. Les sections rouges montrent les lacunes des preuves.
Description textuelle du diagramme

Le rapport compte sept sections, chacune à côté de la question du comité à laquelle elle répond. Section 1, l’inventaire : 7 enregistrements, tous actifs, mais 17 résultats hors du registre et 40 754 appels de modèles par la passerelle. Elle répond à « chaque système d’IA est-il enregistré? », et la réponse est non : az-key-3 et fw-7Q2K figurent sur la facture. Section 2, les niveaux de risque : 3 élevés, 3 moyens et 1 faible. Le flux de soutien bloque les appels en cas d’échec, mais son arrêt d’urgence n’est « pas encore » testé. C’est une lacune : la source est constituée des formulaires. Section 3, les dépenses : le flux de travail a coûté 14,28 $ US, soit 57 % de ses 25. Le triage a coûté 6,48 $ US, soit 43 % de ses 15, et l’équipe de service 20,76 $ US sur ses 40. La source est constituée des enregistrements de la passerelle, qui n’incluent pas les 7,36 $ US payés directement. Section 4, ce que les contrôles ont arrêté : 28 807 refus liés à la limite de débit, 6 375 refus de quota, 40 appels sans fournisseur et 15 erreurs de fournisseur. Il y a aussi 123 réponses d’une solution de repli. Elle répond à « les limites et les solutions de repli ont-elles fonctionné? » à partir d’enregistrements produits par le code. Section 5 : aucune exception et trois incidents : l’IA fantôme encore ouverte, la panne et l’agent emballé, avec 837 appels pour 4,09 $ US. Section 6 : la révision du juge des mises en production est prévue le 1 octobre. Section 7 indique ce que les preuves ne permettent pas de savoir : si les réponses étaient justes, le coût d’une tâche entière et l’IA dans les outils achetés. Elle confie ces questions aux évaluations, aux traces, au processus d’achat et à un cours ultérieur sur la gouvernance de l’IA.

Répondez maintenant aux cinq questions du comité à partir du fichier, une à la fois. Chaque réponse précise sa ligne.

Chaque système d’IA est-il enregistré? La section 1 indique 7 registrations: 7 active (7 enregistrements : 7 actifs), puis Found outside the registry (17 findings, python -m estate discover) (trouvés hors du registre : 17 résultats, avec la commande indiquée). La réponse est donc non. La liste nomme az-key-3 chat-strong: 202 requests, US$0.8330: a key that nobody told the platform about (202 requêtes, montant indiqué en dollars US : une clé que personne n’a déclarée à la plateforme) et la clé Fernway fw-7Q2K. Le rapport affiche les 12 premiers résultats; la prochaine leçon affiche les 17 et les examine.

Quels systèmes présentent un risque élevé, et leurs contrôles sont-ils testés? Section 2 : 3 high, 3 medium, 1 low (3 élevés, 3 moyens, 1 faible). Les trois systèmes à risque élevé sont le flux de travail et les deux serveurs d’outils. Tous bloquent les appels en cas d’échec. Mais chaque ligne se termine par kill switch tested: not yet (arrêt d’urgence testé : pas encore). Vous avez fait un exercice d’arrêt d’urgence dans Arrêts d’urgence et confinement. Personne ne l’a consigné dans les formulaires d’enregistrement, alors les preuves indiquent qu’il n’a jamais eu lieu. C’est une liste de nettoyage sans signature.

Qui peut déroger à une règle? Section 5 : No exceptions. (aucune exception). C’est une réponse vraie, mais surprenante. L’assistant documentaire produit les plongements de ses documents avec un modèle local; ces appels ne passent donc jamais par la passerelle. Personne n’a consigné cela comme une exception. Le rapport ne peut donc pas distinguer une lacune connue d’une lacune inconnue.

Qu’est-il arrivé? La section 5 énumère trois incidents. L’incident d’IA fantôme du 15 septembre est encore open (ouvert). La panne du 17 septembre a duré de 10 h à 11 h 30. L’agent emballé du 22 septembre a répondu à 837 appels pour 4,09 $ US avant que le quota l’arrête. La section 4 montre les mêmes événements dans les lignes de la passerelle. route 40 représente les appels sans fournisseur pendant la panne : 35 appels de triage, 2 du flux de travail et 3 questions documentaires. Les 28 800 refus liés à la limite de débit et les 6 363 refus de quota de l’agent emballé figurent dans rate_limit 28,807 et quota 6,375. Les 19 autres refus étaient des appels normaux du flux de travail le même jour. Ces tâches ont donc été confiées à des personnes.

Combien cela a-t-il coûté? Section 3 : l’équipe de service a dépensé 20.76 sur 40.00, et aucun agent n’a dépassé son budget. Le tableau des capacités indique strong-reasoning 2,690 calls, 14.70 (2 690 appels, coût indiqué), le chiffre qu’Omar voulait.

Quatre des cinq réponses provenaient d’enregistrements produits par le code. Les deux réponses faibles, sur l’arrêt d’urgence et les exceptions, provenaient d’enregistrements que des personnes avaient oublié de produire.

Votre parc contient le trafic de la dernière leçon. Vous allez provoquer une petite panne d’exercice et la consigner comme incident. Ensuite, vous approuverez une exception et rédigerez le rapport du mois.

  1. Rendez le fournisseur simulé indisponible dans les deux régions et envoyez deux questions sur des documents :

    Fenêtre de terminal
    python -m provsim control '*' down
    python -m apps.replay doc-assistant --units 2 --via gateway --seed 11
    Controls now: [{"provider": "*", "deployment": null, "mode": "down", "seconds": 5.0, "rate": 0.5, "requests_left": null}] (simulated)
    doc-assistant: 2 requests through the gateway | status {503: 2}
    refused or failed: no_provider_available x2
    tokens: 0 in, 0 out | cost: US$0.0000

    Sous Windows, écrivez "*" avec des guillemets doubles. --seed 11 choisit deux questions que la dernière leçon n’a pas envoyées.

  2. Ouvrez un incident pendant la panne. Une personne rédige cet enregistrement; rien ne le rédige à votre place :

    Fenêtre de terminal
    python -m estate incident add --kind outage --agent doc-assistant --summary "practice outage: both Azure regions down, 2 document questions had no answer"
    Incident 1 opened.
  3. Mettez fin à la panne, vérifiez que l’assistant répond de nouveau et fermez l’incident :

    Fenêtre de terminal
    python -m provsim control '*' normal
    python -m apps.replay doc-assistant --units 2 --via gateway --seed 12
    python -m estate incident end 1
    python -m estate incident list
    Controls now: [] (simulated)
    doc-assistant: 2 requests through the gateway | status {200: 2}
    answered by: chat-small (gpt-6-luna-2026-09-22) x2
    tokens: 2,219 in, 271 out | cost: US$0.0004
    Incident 1 ended.
    1 outage … -> …: practice outage: both Azure regions down, 2 document questions had no answer

    Le début et la fin (omis ici : …) sont en UTC, selon l’horloge du parc. Lors de l’exécution du cours, les étapes ont pris moins d’une seconde. Le début et la fin étaient donc dans la même seconde. Lorsque vous consignerez un incident plus tard, indiquez ses heures réelles avec --at, par exemple --at 2026-11-02T10:00:00+00:00.

  4. Approuvez l’exception qui manquait au rapport de septembre. Essayez d’abord sans date de fin :

    Fenêtre de terminal
    python -m estate exception add doc-assistant --rule gateway-only
    An exception needs --reason and --until (a date): exceptions end.

    Ce refus est volontaire. Une exception sans date de fin devient une règle permanente que personne n’a décidée. Donnez la raison et la date :

    Fenêtre de terminal
    python -m estate exception add doc-assistant --rule gateway-only --until 2027-03-31 --reason "its embeddings run on a local model on the CPU: no provider call to route"
    Exception 1: doc-assistant may skip gateway-only until 2027-03-31.
  5. Écrivez le rapport du mois dans un fichier. Le mois doit correspondre à votre exécution; laissez donc l’interpréteur de commandes le fournir :

    Fenêtre de terminal
    python -m estate report --month $(date -u +%Y-%m) --out state/report.md
    Saved the report to state/report.md

    -u demande le mois en UTC, selon l’horloge du parc.

Ouvrez state/report.md dans VS Code. Voici ses sections 3 à 6 lors de l’exécution du cours (les heures de l’incident sont omises : …) :

| Agent | Team | Calls answered | Refused | Cost | Budget | Used |
|---|---|---|---|---|---|---|
| doc-assistant | data | 7 | 0 | 0.00 | 3.00 | 0% |
| helpdesk-assistant | service | 0 | 0 | 0.00 | 2.00 | 0% |
| orders-mcp | data | 0 | 0 | 0.00 | - | - |
| release-judge | evaluation | 5 | 0 | 0.02 | 8.00 | 0% |
| support-mcp | platform | 0 | 0 | 0.00 | - | - |
| support-workflow | service | 5 | 0 | 0.03 | 25.00 | 0% |
| ticket-triage | service | 40 | 0 | 0.01 | 15.00 | 0% |
## 4. What the controls stopped
| Check | Model calls stopped or failed |
|---|---|
| route | 2 |
Answers from a fallback: 0. Calls served in fail-open mode: 0. Calls changed by a guardrail: 0.
| Agent | Tool calls | Outcome | Calls | With an approval |
|---|---|---|---|---|
| support-workflow | read | ok | 2 | 0 |
| support-workflow | write | ok | 5 | 3 |
## 5. Exceptions and incidents
- Exception 1: doc-assistant may skip gateway-only until 2027-03-31 (its embeddings run on a local model on the CPU: no provider call to route; approved by usr-kwame)
- Incident 1 (outage), … to …: practice outage: both Azure regions down, 2 document questions had no answer
## 6. Reviews and owners
- release-judge: review overdue since 2026-10-01 (22 days)

Vérifiez que les enregistrements concordent. Votre incident indique que 2 questions sur des documents n’ont reçu aucune réponse. La section 4, écrite par la passerelle, indique route 2 : deux appels n’avaient aucun fournisseur. Deux sources différentes ont écrit ces enregistrements, et ils concordent. La section 3 les compte comme des échecs, pas des refus : la passerelle ne les a pas refusés. Le fournisseur était absent. L’assistant documentaire affiche donc 7 réponses : 5 de la dernière leçon et 2 après la panne.

La section 4 montre aussi les appels d’outils du flux de travail : 5 écritures, dont 3 avec une approbation. Les 2 autres sont des écritures add_ticket_note. La politique d’approbation indique qu’une note ne nécessite aucune approbation, car elle ne change rien pour le client. Les preuves permettent au conseil de vérifier qu’il s’agit d’une règle, pas d’une faille.

La section 6 est nouvelle depuis septembre : la révision du juge des mises en production est en retard. L’horloge du parc est maintenant en octobre. Votre nombre de jours sera différent.

Enfin, regardez la piste d’audit de l’assistant documentaire :

Fenêtre de terminal
python -m estate events doc-assistant

Les événements, sans leurs heures (…) :

… doc-assistant register usr-kwame {"status": "active", "version": 1}
… doc-assistant credentials_issued usr-kwame {}
… doc-assistant exception usr-kwame {"id": 1, "rule": "gateway-only", "until": "2027-03-31"}

La piste d’audit contient l’exception et la personne qui l’a approuvée, usr-kwame, l’acteur de votre terminal. --by désigne une autre personne, par exemple --by usr-grace. L’incident n’apparaît pas dans cette liste : il ne concerne pas un seul enregistrement. estate incident list l’affiche.

La section 7 de chaque rapport contient trois lignes. C’est la partie la plus honnête du rapport :

- Whether the answers were right: that is each consumer's evaluation (the remap gate) and its reviews.
- What a whole task cost or why it failed: join these records with the app's traces by run ID.
- AI inside bought tools, and AI used outside Larkfield's network: the buying process and asking people.

La passerelle voit que le flux de travail a fait 2 589 appels en septembre. Elle ne voit pas si les remboursements étaient corrects. Cela relève de l’évaluation de Modifier une association en toute sécurité et des personnes qui approuvent. Le coût d’une tâche complète vient de la jointure de la dernière leçon. Et un produit de soutien acheté par Larkfield, avec une fonction d’IA intégrée, n’envoie rien par la passerelle. La prochaine leçon cherche ce qui échappe aux enregistrements.

Le conseil pose aussi des questions auxquelles aucun enregistrement technique ne peut répondre. Cette utilisation de l’IA est-elle acceptable pour nos clients? Qui est responsable lorsque le flux de travail se trompe? Quel niveau de risque attribuer à un nouveau type d’agent? Quelles lois s’appliquent aux données du résumé? Ces questions exigent des politiques, des décisions sur les risques et des personnes chargées de cette responsabilité. Un cours ultérieur sur la gouvernance de l’IA enseigne cet aspect. Ce cours fournit les preuves; l’autre cours décide de ce qu’elles doivent montrer.

Utilisez-le chaque mois, avant la réunion du conseil et après chaque incident. Une seule commande suffit, et chaque nombre a une source. Conservez le fichier de chaque mois : l’an prochain, un auditeur demandera l’historique, pas l’état actuel.

Ne l’utilisez pas pour affirmer que le parc est sûr. Un rapport sans incident peut signifier que rien ne s’est passé ou que personne n’a rien consigné. Un rapport est complet seulement pour ce qui est passé par la plateforme.

Son coût est surtout le temps des personnes. Les enregistrements écrits par le code ne coûtent rien de plus. Ceux écrits par les personnes exigent une habitude : ouvrir un incident pendant l’événement, donner une date de fin aux exceptions, mettre à jour un formulaire après un exercice. Sans cette habitude, le rapport décrit précisément les coûts, mais ne dit rien des risques, comme celui de septembre de Larkfield.

C’est la vérification de fin du module. Utilisez seulement evidence/estate-report-2026-09.md.

  1. Le conseil demande : « Une équipe a-t-elle dépassé son budget d’IA en septembre? » Répondez avec les nombres du rapport.
  2. Le conseil demande : « Les clients ont-ils subi les effets de la panne ou de l’emballement? » Répondez à partir des sections 4 et 5.
  3. Le conseil demande : « L’arrêt d’urgence du flux de travail de soutien a-t-il été testé? » Répondez et indiquez ce que Kwame doit faire pour que le rapport du mois prochain y réponde.
  4. Nommez une question à laquelle les preuves ne peuvent pas répondre et indiquez d’où doit venir la réponse.
Vérifiez vos réponses
  1. Non. Les équipes : service, 20,76 $ US sur 40 $ US; données, 0,13 $ US sur 10 $ US; évaluation, 0,42 $ US sur 10 $ US; plateforme, 0,00 $ US sur 5 $ US. L’agent le plus élevé est le flux de travail, à 57 % de ses 25 $ US. Mais la réponse couvre seulement les enregistrements de la passerelle : 7,36 $ US sont allés directement au fournisseur avant le déplacement des applications. Seule la facture du fournisseur les montre.
  2. Oui, un peu. La panne a laissé 40 appels sans fournisseur (route 40) : 35 appels de triage, 2 du flux de travail et 3 questions sur des documents. Ces billets de soutien et ces tâches ont été confiés à des personnes. L’assistant documentaire a dit « réessayez plus tard ». Pendant l’emballement, 19 appels normaux du flux de travail ont été refusés pour le reste de la journée. Ils figurent dans rate_limit 28,807 et quota 6,375, avec les 28 800 et 6 363 appels de la boucle elle-même. La deuxième région a répondu à 123 appels; les clients n’ont donc pas subi d’effet pour ceux-ci.
  3. Les preuves disent non (kill switch tested: not yet, soit « arrêt d’urgence testé : pas encore »), même si un exercice a eu lieu. Kwame doit le consigner là où le rapport le lit : attribuer la date de l’exercice à kill_switch_tested dans registrations/support-workflow.yaml. Il doit ensuite enregistrer la nouvelle version, qu’une révision approuve.
  4. Par exemple : « Les 2 589 réponses du flux de travail étaient-elles correctes? » La passerelle consigne les appels, pas leur justesse. La réponse vient de l’évaluation du flux de travail, de ses révisions et des personnes qui ont approuvé. Autres bonnes réponses : « Le produit de soutien que nous avons acheté utilise-t-il l’IA? » (le processus d’achat); « Est-il acceptable d’envoyer les messages des clients à un fournisseur? » (la politique de gouvernance et la décision du conseil).

Vérifiez votre compréhension

Le rapport indique « Aucun incident ». Tomás dit : « Bien, donc rien n'a mal tourné ce mois-ci. » Que peut vraiment dire le rapport, et comment le vérifieriez-vous?

Afficher la réponse

Il peut seulement dire que personne n’a ouvert d’incident. Les personnes consignent les incidents. Vérifiez les enregistrements écrits par le code : la section 4 du rapport et estate usage --by outcome. Cette section montre les refus par contrôle, les appels sans fournisseur, les solutions de repli et les appels autorisés malgré une défaillance. Si la passerelle montre beaucoup de refus route ou quota un jour sans incident correspondant, quelque chose a mal tourné. Personne ne l’a consigné.

Vérifiez votre compréhension

Pourquoi estate exception add refuse-t-il une exception sans --until, et que se passerait-il sans cette règle?

Afficher la réponse

Une exception est une décision d’accepter un risque pour une durée limitée, avec une raison précise. Sans date de fin, personne ne la réexamine. Elle devient une règle permanente que personne n’a décidée. La date impose une nouvelle décision : terminer l’exception, corriger la cause ou l’approuver de nouveau avec une nouvelle raison.

Vérifiez votre compréhension

Exercice pratique : consignez l'exercice d'arrêt d'urgence du flux de travail de soutien comme un incident de type drill, à l'heure de son exécution au module 5. Générez de nouveau le rapport et trouvez-y votre incident.

Afficher la réponse

Exécutez, par exemple, python -m estate incident add --kind drill --agent support-workflow --at 2026-10-22T14:00:00+00:00 --summary "kill-switch drill: refund writes stopped, drained, credentials revoked", puis python -m estate incident end 2 --at 2026-10-22T14:20:00+00:00. Les heures de --at doivent être dans le mois du rapport. Générez de nouveau le rapport avec les mêmes --month et --out. La section 5 affiche maintenant Incident 2 (drill), 2026-10-22T14:00 to 2026-10-22T14:20: kill-switch drill: refund writes stopped, drained, credentials revoked (incident 2, exercice d’arrêt d’urgence : écritures de remboursement arrêtées, opérations en cours terminées, identifiants révoqués). Il apparaît avant la panne, car les incidents sont classés par heure de début. La section 2 indique toujours kill switch tested: not yet, car elle lit le formulaire d’enregistrement, pas les incidents.

Récapitulatif

  • Une preuve est un enregistrement qui existe parce qu’un contrôle a fonctionné. Le code écrit les enregistrements de la passerelle et la piste d’audit; les personnes rédigent les formulaires, les incidents et les exceptions.
  • python -m estate report --month YYYY-MM répond aux cinq questions du conseil dans l’ordre : inventaire, niveaux de risque, dépenses, ce que les contrôles ont arrêté, exceptions et incidents, révisions.
  • En septembre, quatre réponses venaient d’enregistrements écrits par le code. Les deux réponses faibles, l’arrêt d’urgence et les exceptions, venaient d’enregistrements que les personnes avaient oubliés.
  • estate incident add | end | list et estate exception add | list écrivent la partie fournie par les personnes. Une exception doit avoir une date de fin.
  • La section 7 indique ce que les preuves ne peuvent pas expliquer : la justesse, le coût d’une tâche complète et l’IA qui ne passe jamais par la passerelle.

Votre projet contient maintenant le rapport, les commandes d’incident et d’exception, et les preuves du mois rejoué. Vous pouvez désormais répondre au conseil à partir des enregistrements. Mais la première section du rapport l’indiquait déjà : 17 éléments détectés hors du registre. Un rapport couvre seulement ce qui est passé par la plateforme. Ensuite, nous chercherons l’IA que personne n’a enregistrée, dans la facture, le journal du trafic sortant et le code.

Leçon suivante : Trouver l'IA non enregistrée