Aller au contenu
English

Les enregistrements auraient-ils pu répondre ?

  • Étude de cas 3
  • 180 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Dans le module sur l'audit, nous avons répondu à la question de Grace sur le double remboursement avec notre propre piste. De vraies organisations ont dû défendre publiquement les propos de leurs assistants d'IA. Dans cette étude de cas, nous prenons un cas documenté : le robot conversationnel d'une ville destiné aux entreprises. Nous listons les questions soulevées et testons quatre conceptions d'enregistrements pour y répondre. À la fin, une nouvelle plainte arrive. Nous y répondons uniquement à partir des enregistrements.

Étude de cas 3 sur 3 · Observabilité des agents d'IA : traces, coûts et pistes d'auditLes enregistrements auraient-ils pu répondre ?
Aperçu du cours

Ce que vous saurez faire

Prenez un cas public où une ville a dû défendre les réponses de son robot conversationnel d’IA. Transformez les questions soulevées en questions destinées aux enregistrements d’un système. Puis créez quatre conceptions d’enregistrements pour une copie d’exercice du robot. Posez chaque question à chaque conception. Recommandez-en une, avec ses coûts et ses limites.

Étude de casPièce de portfolioDonnées synthétiques

Licence
MIT, code et données; les sources publiques sont liées, pas copiées
Durée
Environ 3 h
S’exécute dans
VS Code, Python 3.12+
Compétences utilisées
  • Des questions aux enregistrements
  • Conception d'événements d'audit
  • Le schéma d'audit du cours
  • Un stockage des réponses
  • Échantillonnage et conservation
  • Une comparaison équitable
  • Une réponse d'audit

Décompressez le projet de départ, ouvrez le dossier dans VS Code et suivez les étapes ci-dessous. Elles commencent par un nouvel environnement virtuel.

Le projet de départ est un petit projet Python : un assistant d’exercice, un pilote de 190 jours simulés, trois conceptions d’enregistrements et les questions du cas en code. Vous créez la quatrième conception. Le projet terminé contient le résultat, pour les moments où vous bloquez. Aucun compte, aucune clé ni aucun appel de modèle n’est nécessaire : les réponses du modèle sont des enregistrements rejoués.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 180 minutes

Ce que vous devez savoir

Cette étude de cas utilise tout le cours. Ces leçons comptent le plus :

Ce qu’il vous faut sur votre ordinateur

  • Python 3.12 ou plus récent, VS Code et environ 60 Mo d’espace disque pour l’environnement virtuel et les enregistrements.
  • Aucun projet Larkfield : cette étude de cas a son propre dossier, could-the-records-answer. Pour recommencer, supprimez son dossier work/.

Testé sur macOS (puce Apple) avec Python 3.12.13. Les commandes Windows et Linux sont fournies, mais n’ont pas été exécutées.

En octobre 2023, New York a lancé un robot conversationnel d’IA pilote sur son site MyCity Business. Il devait répondre aux questions des propriétaires d’entreprises à partir de « plus de 2 000 pages Web et articles de NYC Business » (l’annonce de la ville). Cinq mois plus tard, des journalistes l’ont testé. Voici le cas dans nos propres mots, avec ses sources :

Quand Ce que rapportent les sources
29 mars 2024 The Markup, avec THE CITY et Documented, rapporte des réponses qui, selon les journalistes, contredisent les règles locales. Elles portent notamment sur les pourboires, les paiements comptants et les bons d’aide au logement. Un journaliste a obtenu une réponse à la question sur les bons; dix autres membres du personnel ont obtenu l’inverse. La page du robot indique que la ville examine les questions et supprime autrement les données dans les 30 jours. (The Markup)
2 avril 2024 À la question de savoir s’il faut retirer le robot, le maire répond : « Nous allons corriger ces problèmes ». Les responsables parlent d’un « projet pilote ». (la transcription de la ville)
2 avril 2024 Le robot reste en ligne avec un nouvel avertissement : « N’utilisez pas ses réponses comme conseils juridiques ou professionnels ». La capture d’écran d’un lecteur montre un « non » catégorique à la question d’un locataire. (The Markup)
Janvier–février 2026 Le maire suivant décrit le robot comme « pratiquement inutilisable », pour un coût d’« environ un demi-million de dollars ». La ville le retire. (The Markup et THE CITY)

L’AI Incident Database répertorie ce cas comme l’incident 714. Nous n’en tirons aucune conclusion juridique. Nous ignorons ce que la ville a enregistré. Rien sur cette page ne prétend le décrire.

Nous pouvons poser une question plus précise. Supposez que vous exploitiez un robot comme celui-ci. Quels enregistrements permettraient de répondre aux questions des journalistes, des responsables et des critiques, le jour de la publication du reportage?

Notre ville d’exercice est Harbourton. Nadia (elle) dirige ses services numériques, et les journalistes vont l’appeler. Felix (il) a créé le Business Helper de la ville et l’exploite. Les personnes et la ville sont fictives.

L’objectif. Recommandez une conception d’enregistrements pour le Business Helper. Elle doit répondre aux dix questions du cas le lendemain du reportage, uniquement à partir des enregistrements. Elle doit conserver le moins possible de paroles des personnes. Elle doit aussi permettre de répondre à une nouvelle plainte plusieurs mois plus tard.

Quatre conceptions enregistrent les mêmes conversations. L’étude de cas les compare avec une seule mesure : le nombre de questions auxquelles chacune répond entièrement. Elle doit répondre uniquement à partir de ses enregistrements, à une date donnée.

Une conversation du pilote, C-041-04, au jour 41 à 13 h 52 UTC : une personne anonyme demande « Mon restaurant peut-il cesser d'accepter l'argent comptant? ». La version 1.0 cherche dans BP-102@1 et BP-106@1. Elle répond que les restaurants de Harbourton peuvent choisir d'accepter seulement les paiements par carte et par téléphone. Quatre cases montrent ce que chaque conception conserve. A, le journal de l'application : une ligne app.log pendant 90 jours, avec l'identifiant de conversation, une réponse, l'état ok et la latence; la question et la réponse dans chats.jsonl, supprimées après 30 jours, au jour 71; une ligne de formulaire de commentaires seulement si la personne a donné des étoiles. B, chaque question et réponse : une ligne de transcription conservée pour toujours, avec le jour, la conversation, l'identifiant de session, la question et la réponse mot pour mot. C, les traces seulement : cette trace ne faisait pas partie de l'échantillon de 10 %, et tous les spans disparaissent après 14 jours, au jour 55; une trace conservée contient les pages, la version et la réponse courte, mais aucun texte. D, la piste d'audit : enregistrement 2054, une proposition avec le sujet cash, la réponse courte yes, les pages BP-102@1 et BP-106@1, la version 1.0, la requête p1, la révision none; enregistrement 2055, une écriture avec l'empreinte de la réponse 3893ee97ba59bd9e et l'avertissement d1; enregistrement 2056, la fermeture avec le commentaire none; et le texte de la réponse, une seule fois, dans le stockage des réponses pendant 2 ans.
Une conversation du pilote d'exercice, enregistrée de quatre façons. Trafic construit, véritable réponse enregistrée du modèle chat-small du cours.
Description textuelle du diagramme

La case du haut présente la conversation : une question sur l’argent comptant, les deux pages trouvées et la réponse de l’assistant. En dessous, quatre cases. A conserve une ligne de journal et les paroles pendant 30 jours seulement. B conserve la question et la réponse, avec la session, pour toujours. C conserve une trace pour une conversation sur dix seulement, pendant 14 jours, sans texte. D conserve trois enregistrements d’audit aux champs fixes, et le texte de la réponse une seule fois, selon son empreinte.

Conception Ce qu’elle conserve
A. Le journal de l’application (la référence de base) une ligne de journal par conversation (90 jours); la conversation (30 jours); un formulaire de commentaires sans lien avec une conversation
B. Chaque question et réponse la question, la réponse et le compte ou la session de la personne, pour toujours
C. Les traces seulement des traces OpenTelemetry avec les noms du cours : 10 % des conversations, 14 jours, aucun texte
D. Piste d’audit, réponses et métriques des événements d’audit avec le schéma du cours, jamais échantillonnés, 7 ans; chaque réponse distincte une seule fois, 2 ans; des compteurs quotidiens, 13 mois; plus les traces de C

Les 30 jours de A viennent de la seule déclaration publique sur les données du vrai robot. Toutes les autres durées sont des hypothèses inscrites dans le code pour que vous puissiez les modifier.

Aucun enregistrement du vrai robot n’est public. Les données sont donc une copie d’exercice que nous avons créée. La fiche du jeu de données indique ce qui est réel et ce qui est construit :

  • Les pages de règles de Harbourton (data/pages/) : onze courtes pages que nous avons écrites, un fichier par version. Elles ne représentent les règles d’aucune vraie ville et ne constituent pas des conseils juridiques.
  • Le Business Helper (helper/) : une recherche par mots-clés trouve les deux pages qui partagent le plus de mots avec la question. Le modèle répond en JSON : une réponse courte (yes, no, it_depends ou refer), au plus 60 mots, et les pages utilisées. Ces valeurs signifient respectivement oui, non, cela dépend ou orienter vers un autre service.
  • Les réponses du modèle sont de véritables enregistrements. Nous avons envoyé chacune des 17 requêtes distinctes dix fois au déploiement chat-small du cours. Les 170 réponses sont rejouées octet par octet, comme dans le reste du cours. L’enregistrement a coûté 0,0105 $ US selon la grille tarifaire du cours.
  • Le trafic est construit (pilot.py, avec une graine fixe) : 190 jours simulés à partir du lundi 5 janvier. Il comprend 18 conversations par jour de semaine et 6 par jour de fin de semaine. Un quart des personnes se connectent.
  • Les étiquettes (data/labels.json) : une personne a lu chaque réponse distincte une fois et l’a comparée à sa page.

Le journal des versions (data/releases.json) contient l’histoire du pilote. Nous y avons volontairement intégré deux erreurs :

Jour Ce qui se passe
1 Version 1.0 : requête p1, index i1, avertissement d1. L’index contient une ancienne copie de la page sur l’argent comptant, la version 1. Elle indique qu’un commerce peut cesser d’accepter l’argent comptant.
148 Onze journalistes posent la question sur les bons d’aide au logement.
150 Le reportage est publié.
152 Version 1.1 pour 20 % des visiteurs : requête p2, index i2 (la page actuelle sur l’argent comptant), avertissement d2 (à accepter). Un garde-fou dirige les questions sur le logement vers le service du logement.
155 Version 1.1 pour tout le monde.
171 La page sur le salaire minimum change sur le site Web : 18,10 à partir du 1er juillet.
178 1er juillet. L’index contient encore l’ancienne page, la version 3 : 17,40.
185 Version 1.2 : index i3 avec la nouvelle page.
186 Un propriétaire d’entreprise porte plainte.

Chaque question découle d’une question posée publiquement. Le projet les définit dans casefile/case.py :

La question aux enregistrements Soulevée par
Q1 Un lecteur envoie une capture d’écran. L’assistant a-t-il vraiment donné cette réponse, et quand? la capture d’écran du lecteur
Q2 Combien de réponses étaient erronées, sur quel sujet, et de quel jour à quel jour? les tests des journalistes
Q3 Quelles pages, dans quelles versions, ont servi à produire chaque réponse erronée : une mauvaise page ou un mauvais modèle? « 2 000 pages Web »
Q4 Quelle version a donné les réponses erronées, et la correction les a-t-elle changées? « Nous allons corriger ces problèmes »
Q5 Quel avertissement chaque personne a-t-elle vu, et l’a-t-elle accepté? le nouvel avertissement
Q6 Pourquoi la même question a-t-elle reçu des réponses différentes? un journaliste contre dix
Q7 Une personne a-t-elle vérifié une réponse avant son envoi? les critiques
Q8 La ville peut-elle joindre les personnes qui ont reçu une réponse erronée? une réponse erronée a peut-être été suivie
Q9 Des personnes ont-elles signalé les réponses erronées, et quand a eu lieu le premier signalement? la fenêtre de commentaires
Q10 Combien a coûté une réponse, et une réponse correcte? « environ un demi-million de dollars »

Nous posons ces questions au jour 156, le mardi 9 juin : six jours après le reportage. La correction a atteint tout le monde la veille.

  1. Téléchargez le projet de départ dans l’encadré en haut de cette page, puis décompressez-le. Ouvrez le dossier could-the-records-answer dans VS Code, puis ouvrez un terminal : Terminal > New Terminal (terminal, nouveau terminal).

  2. Créez un environnement virtuel et installez les paquets :

    Fenêtre de terminal
    python3 -m venv .venv
    source .venv/bin/activate
    python -m pip install -r requirements-dev.txt

    Les paquets sont ceux du projet du cours : OpenTelemetry 1.45.1, pytest et ruff.

  3. Exécutez le pilote. Il prend environ 5 secondes et écrit dans work/pilot/ :

    Fenêtre de terminal
    python pilot.py
    2783 conversations, 3359 answers over 190 days; 263 wrong by the practice pages. Records in work/pilot/
  4. Exécutez les tests : python -m pytest -q. La dernière ligne indique 11 passed, 9 deselected (11 réussis, 9 exclus). Les neuf tests exclus vérifient la conception D, que vous créez dans la partie 3.

Ce que cela nous apprend. Le pilote utilise une graine fixe. Vos enregistrements sont donc identiques aux nôtres, octet par octet. Sur 3 359 réponses, 263 étaient erronées selon les pages d’exercice. Ce nombre vient de work/pilot/truth.json, qu’aucune conception ne peut lire. C’est le corrigé : nous l’utilisons uniquement pour vérifier les conceptions.

La conception A correspond à ce qu’un pilote créé rapidement conserve. Posez-lui la question sur la capture d’écran :

Fenêtre de terminal
python -m casefile ask Q1 --design applog
A. The app log: not answered
The chats of day 41 were deleted after 30 days (the oldest kept: day 127). app.log shows 6 conversations that day, with no text.

La capture d’écran date du jour 41. Au jour 156, les conversations d’avant le jour 127 ont disparu. Le journal indique que 6 conversations ont eu lieu ce jour-là, mais ne dit rien des propos échangés. Comptez maintenant les réponses erronées et les signalements :

A. The app log: partly
35 wrong answers of 549 kept; days 127–154
77 distinct answer texts to label.
Only the last 30 days are kept (from day 127): earlier wrong answers are gone.
A. The app log: partly
The form has 64 problem reports (first on day 3), but no link to a conversation or an answer.

Ce que cela nous apprend. La conception A voit 35 réponses erronées; le pilote en avait donné 250 au jour 156. Le formulaire de commentaires montre des signalements de problèmes dès le jour 3. Mais personne ne peut dire quelle réponse ils concernaient. Exécutez python -m casefile matrix : la conception A répond entièrement à 0 des 10 questions. C’est la référence de base.

La conception B reprend le plan de Tomás dans le cours : « nous enregistrons chaque requête et chaque réponse, pour pouvoir tout expliquer ». Posez-lui les deux mêmes questions (ask Q1 --design transcripts, puis Q8) :

B. Every question and answer: answered
1 answer(s) with exactly this text on day 41: C-041-04 at 13:52 to S-d26125cf
The file also holds the person's own question, in their words.
B. Every question and answer: answered
247 people; 51 with an account ID, in clear text, next to their own question.

B répond à la question sur la capture d’écran, donne le nombre et indique qui appeler. Mais elle ne peut pas dire quelles pages l’assistant a lues ni quelle version a répondu. Elle ne peut pas non plus expliquer pourquoi deux personnes ont reçu des réponses différentes. Et elle conserve 2 778 questions dans les propres mots des personnes, pour toujours.

La conception C est la première idée de l’ingénieur : des traces avec les noms GenAI de Les conventions GenAI pour les exécutions d’agents. Aucun texte, un échantillonnage initial de 10 % et une conservation des traces de 14 jours. Posez-lui la question sur les pages :

C. Traces only: partly
In the sampled spans of the last 14 days: 1 cash 'yes' answer(s) from BP-102@1, BP-106@1

Ce span (segment de trace) contient le bon indice : l’ancienne page sur l’argent comptant, BP-102@1. Mais il représente une des 30 conversations que l’échantillon a conservées sur les 14 derniers jours. Les traces conviennent à « comment cette exécution s’est-elle déroulée? », mais pas à « combien, depuis quand? ». C répond entièrement à 0 question.

Le schéma d’Enregistrer les décisions, les approbations et les changements donne la structure : qui, quoi, quand, sous quelle autorité, avec quelles preuves. Les questions du cas déterminent le contenu de chaque champ. Voici les enregistrements de la conversation de la capture d’écran dans la conception finale, champ par champ :

Les champs des enregistrements de C-041-04 et la question à laquelle chacun répond. Proposition : evidence page:BP-102@1 et page:BP-106@1 répond à Q3 et Q6, quelles pages et quelles versions. Proposition : short_answer yes et topic cash répond à Q2 et Q6, ce que la réponse disait et sur quel sujet, sous forme de code. Proposition : release 1.0, prompt_version p1 et index i1 répond à Q4, quelle version, quelle requête et quel index. Proposition : review none répond à Q7, la règle de vérification humaine. Écriture : answer_digest 3893ee97ba59bd9e répond à Q1 et Q2, quel texte, grâce au magasin de réponses. Écriture : disclaimer d1 et disclaimer_accepted false répond à Q5, quel avertissement, accepté ou non. Tous les enregistrements : subject customer cust:d447c819d0cc3474 répond à Q8, qui, sous un pseudonyme. run_closed : feedback none et stars 0 répond à Q9, la personne a-t-elle signalé un problème. Tous les enregistrements : trace_id et span_id mènent aux détails tant que la trace est conservée. Les métriques, pas la piste : le jour 41, les réponses et les jetons d'entrée répondent à Q10, le coût.
Les enregistrements de la conversation C-041-04 dans la conception D. Chaque champ existe parce qu'une question du cas en a besoin.
Description textuelle du diagramme

Dix lignes. Chaque ligne présente un champ d’un enregistrement et la question qui en a besoin. La proposition contient les pages et leurs versions, la réponse courte et le sujet, la version avec sa requête et son index, et la règle de révision. L’écriture contient l’empreinte de la réponse et l’avertissement. Chaque enregistrement contient le pseudonyme de la personne et les identifiants de trace et de span. La clôture contient la rétroaction. Le coût vient des métriques quotidiennes, pas de la piste.

Trois choix méritent une explication :

  • La réponse est une write (écriture). Chez Larkfield, une écriture modifiait une commande. Ici, le changement dans le monde est ce qu’une personne lit et peut utiliser pour agir. La réponse que la personne voit est donc l’écriture, et le brouillon du modèle est la proposition.
  • La question reste exclue. Elle contient les mots de la personne. La piste conserve un code de sujet tiré d’une liste fixe. helper/pages.py le produit à partir des mots de la question, jamais à partir des pages trouvées par la recherche.
  • La règle de révision est un champ. « Personne n’a vérifié » doit être un fait dans l’enregistrement, "review": "none", pas un enregistrement manquant. Une approbation absente peut signifier « non enregistrée ».

Votre banque envoie les mêmes quelques lettres à des milliers de personnes. Elle ne conserve pas des milliers de copies. Elle conserve chaque lettre une fois, avec un numéro de référence. Ses enregistrements indiquent « client 18, lettre R-7, 3 mars ». Pour prouver ce qu’une personne a reçu, elle montre la lettre R-7.

La piste présente le même problème. Q1 et Q2 exigent les mots de la réponse. Mais le schéma refuse le texte, pour de bonnes raisons : il est long, peut contenir des données personnelles et personne ne peut le compter.

L’idée : conserver chaque réponse distincte une seule fois, dans un magasin de réponses, sous son empreinte. Ce sont les 16 premiers chiffres hexadécimaux du SHA-256 de son texte. L’enregistrement d’écriture contient seulement l’empreinte, un identifiant court que le schéma accepte. Un même texte a toujours la même empreinte. Une capture d’écran permet donc de retrouver ses enregistrements. Les réponses sont les mots de l’assistant. Le magasin ne contient donc rien qu’une personne a tapé.

Trois enregistrements d'écriture de la version 1.0, sur l'argent comptant : C-001-05 au jour 1 avec l'empreinte 51564dedfa05b363, C-001-13 au jour 1 et C-002-09 au jour 2, tous deux avec l'empreinte e86414979c9ab9c6. Des flèches mènent au magasin de réponses, qui contient deux textes. 51564dedfa05b363, donné pour la première fois au jour 1 : « Oui. Les restaurants de Harbourton choisissent les modes de paiement qu'ils acceptent, y compris uniquement les cartes et les paiements par téléphone. Si vous cessez d'accepter l'argent comptant, affichez un avis à la porte pour informer les clients avant leur commande. » Étiquette incorrecte, donnée 23 fois au jour 156. e86414979c9ab9c6, donné pour la première fois au jour 1 : « Oui. Les restaurants peuvent choisir d'accepter uniquement les cartes et les paiements par téléphone. Si vous cessez d'accepter l'argent comptant, affichez un avis à la porte pour informer les clients avant leur commande. » Étiquette incorrecte, donnée 24 fois au jour 156. En dessous : au jour 156, la piste contient 2 778 réponses et le magasin, 77 textes distincts. Une personne étiquette donc 77 textes une fois, et la piste compte combien de fois chacun a été donné.
Trois réponses sur l'argent comptant, deux textes. La piste conserve l'empreinte; le magasin conserve chaque texte une fois; une personne étiquette chaque texte une fois.
Description textuelle du diagramme

Trois enregistrements d’écriture pointent vers deux textes. Le magasin de réponses conserve chaque texte une fois, avec le jour où il a été donné pour la première fois. Une personne étiquette chaque texte une fois, ici « incorrect ». La piste compte combien de fois chacun a été donné : 23 et 24 fois au jour 156.

Au jour 156, la piste contient 2 778 réponses, mais seulement 77 textes distincts. Une personne lit donc 77 réponses une fois, plutôt que 2 778 conversations. Le magasin coûte peu : 101 lignes pour tout le projet pilote. Il a une limite : si le modèle écrit un nouveau texte chaque fois, le magasin devient aussi long que la piste. Conservez alors la réponse courte et les pages, que la proposition contient déjà.

Ouvrez records/audit.py. Le code de départ écrit un événement : run_closed (exécution terminée), à la fin de chaque conversation. Le refus et le passage de relais du garde-fou sur le logement y sont aussi, à titre d’exemple. Complétez les trois TODO. Notre version des deux événements :

records/audit.py (part)
else:
m["input_tokens"] += a.input_tokens
m["output_tokens"] += a.output_tokens
first = self.event("proposal", at, conv, helper, ids["answer"],
{"topic": a.topic, "short_answer": a.short_answer, "answer_digest": d,
"cites": a.cites},
{"release": rel["id"], "prompt_version": rel["prompt"], "index": rel["index"],
"guardrail": rel["guardrail"], "review": rel["review"]},
[f"page:{p}" for p in a.pages])
self.event("write", at, conv, web, ids["reply"],
{"answer_digest": d, "topic": a.topic, "disclaimer": a.disclaimer, "disclaimer_accepted": accept,
"channel": "web", "language": "en", "proposal_event_id": first},
{"release": rel["id"], "review": rel["review"]})

Et le magasin de réponses, dans keep_answer() :

records/audit.py (part)
d = digest(text)
if d not in self.seen:
if PERSONAL.search(text):
raise ValueError(f"answer {d} looks like it holds personal data: not stored")
with self.answers_path.open("a", encoding="utf-8") as f:
f.write(json.dumps({"digest": d, "first_day": day, "text": text}, ensure_ascii=False) + "\n")
self.seen.add(d)
return d

Chaque événement est écrit dans son span, ids["answer"] ou ids["reply"]. Ses trace_id et span_id mènent donc aux détails. Cela fonctionne même quand l’échantillonneur élimine la trace : les identifiants existent pour chaque conversation.

Erreur courante

Le schéma refuse un code de version

Symptôme : votre première proposition nomme la version de la requête "prompt": rel["prompt"]. python pilot.py s’arrête à la première réponse :

auditstore.schema.AuditEventError: event.authority.prompt: text fields are not allowed in an audit event

Cause : le schéma du cours refuse tout champ nommé prompt (requête), quelle que soit sa valeur. Ici, la valeur est p1, un code, mais le schéma vérifie les noms, pas leur sens. Nous avons fait cette erreur nous-mêmes en créant l’étude de cas.

Diagnostic : la dernière ligne nomme le champ : event.authority.prompt.

Correction : renommez le champ prompt_version. Ne retirez pas prompt de la liste du schéma : le prochain champ nommé prompt pourrait vraiment contenir une requête. Un événement refusé arrête le projet pilote avant qu’une réponse soit envoyée sans enregistrement. C’est une façon sûre d’échouer.

Exécutez de nouveau le projet pilote, puis les tests de la conception D :

Fenêtre de terminal
python pilot.py
python -m pytest -q -m design_d
python -m casefile verify
9 passed, 11 deselected in …
The audit trail is intact: 9550 records, the chain and the anchor match (head a452596501fd0848).

Les tests vérifient que chaque réponse possède une proposition ou un refus, ainsi qu’une écriture. Ils vérifient aussi que la conception D ne contient aucun texte de question et que le magasin refuse une adresse courriel. Ils vérifient également qu’un enregistrement modifié brise la chaîne. Le projet pilote utilise une graine fixe. Votre tête de chaîne doit donc être identique à la nôtre. Sinon, comparez vos champs au code ci-dessus.

Posez chaque question à chaque conception : python -m casefile matrix.

The case's questions on day 156: what each design's records can answer
A. B. C. D.
Q1 no yes no yes
Q2 partly yes partly yes
Q3 no no partly yes
Q4 partly partly partly yes
Q5 partly partly partly yes
Q6 no no partly yes
Q7 no no no yes
Q8 no yes no yes
Q9 partly no no yes
Q10 no no partly yes
yes 0 3 0 10
A. The app log people's own words kept: 549 questions (30 days)
B. Every question and answer people's own words kept: 2778 questions (all)
C. Traces only people's own words kept: none
D. Audit trail, answers and metrics people's own words kept: none

Puis recommencez un an plus tard : python -m casefile --day 400 matrix.

  • Jour 156 (après le signalement)
  • Jour 400 (un an plus tard)
Nombre des dix questions auxquelles chaque conception répond entièrement à partir de ses propres enregistrements. Projet pilote d'exercice : trafic construit, vraies réponses enregistrées.
Description textuelle du graphique

Au jour 156, la conception A répond entièrement à 0 questions, B à 3, C à 0 et D à 10. Au jour 400, A répond à 0, B à 3, C à 0 et D à 9.

Lisez ce que dit la conception D, question par question (python -m casefile ask Q3 --design audit, et ainsi de suite). Quatre réponses comptent particulièrement :

Q3 cash: 250 answer(s) from BP-102@1, BP-106@1; a replaced page: BP-102@1
Q4 release 1.0 (from day 1): 250 wrong of 2729
release 1.1 (from day 152 (part of the visitors first)): 0 wrong of 49
Q6 food_permit, release 1.0, the same pages (BP-107@1, BP-105@1): 8 distinct answers, short answers {'it_depends': 4, 'yes': 4}: the model's own variation
Q9 cash: 38 reports of a wrong answer; the first on day 3 (Wed 7 Jan)

Ce que cela nous apprend.

  • Chaque réponse incorrecte venait d’une page, pas du modèle. Les 250 réponses incorrectes sur l’argent comptant utilisaient l’ancienne copie de la page sur ce sujet. Le modèle répétait fidèlement sa page. Sans les versions des pages dans l’enregistrement, une équipe accuserait le modèle et modifierait la requête. Cette correction ne changerait rien.
  • La même question obtenait différentes réponses à partir des mêmes pages. Dix exemples enregistrés de la demande sur le permis de café ont donné tantôt « oui », tantôt « ça dépend ». L’enregistrement prouve que les pages et la version étaient identiques. La cause est donc la variation propre au modèle. C’est ce que Q6 demande au sujet du journaliste seul et des dix autres.
  • Le premier signalement était l’avertissement. Des personnes ont signalé une réponse incorrecte sur l’argent comptant au jour 3, 147 jours avant la presse. La conception A avait aussi les signalements, mais sans lien avec une réponse. Personne ne pouvait donc agir.
  • La conservation propre à D apparaît aussi. Au jour 400, Q10 n’est résolue que « partiellement » : les métriques sont conservées 13 mois.

La comparaison est-elle équitable? Les quatre conceptions ont vu les mêmes 2 783 conversations, avec le même code. Elles ont reçu les dix mêmes questions le même jour. La mesure a deux points faibles. Nous avons écrit les questions et les conceptions. Lisez donc la matrice comme une vérification d’une conception face à des questions définies, pas comme une note. Et « résolue » signifie « les enregistrements donnent la réponse complète ». Cela ne signifie pas qu’une personne accepterait chaque étiquette.

D utilise aussi le plus d’octets : 7,2 Mo, contre 1,1 Mo pour B et 0,4 Mo pour C. L’essentiel vient des champs fixes de la piste, des empreintes et des clés de pseudonyme de 2 780 personnes (sessions et comptes). Aucun de ces octets ne contient les mots d’une personne.

Pour Nadia, dans ses mots : gardez la conception D et corrigez le processus d’indexation.

  • Enregistrez chaque réponse comme une écriture, avec ses pages et leurs versions, la version du logiciel, l’avertissement et la règle de révision. Conservez chaque réponse distincte une seule fois. Ne conservez jamais les mots de la question.
  • Reliez chaque signalement à la conversation et à sa réponse. Les signalements arrivaient dès le jour 3. Un décompte hebdomadaire des signalements par réponse aurait révélé l’ancienne page sur l’argent comptant dès la première semaine.
  • Reconstruisez l’index quand une page change. Les deux défaillances venaient d’anciennes pages, pas du modèle.
  • Décidez si une personne vérifie les réponses sur les règles et l’argent avant leur envoi, et enregistrez la décision. Les enregistrements peuvent la montrer; ils ne peuvent pas la prendre.

N’utilisez pas la conception D pour affirmer qu’une réponse était correcte ou incorrecte sur le plan juridique. Les étiquettes comparent les réponses aux pages d’exercice seulement.

Au jour 186, un propriétaire d’entreprise écrit. Lisez d’abord la plainte :

Fenêtre de terminal
cat work/pilot/complaint.json
"says": "On Wednesday 1 July your business helper told me that I could pay a new cashier 17.40 an hour. I did. Now I owe back pay. Why did it say that?",
"screenshot_text": "Yes. Harbourton’s minimum wage is $17.40 an hour for every worker aged 16 or over, including new workers."

C’est une nouvelle défaillance, après la correction : la page sur le salaire minimum. Répondez-y avec la méthode de Répondre à une question d’audit, à partir des seuls enregistrements de la conception D :

Fenêtre de terminal
python -m casefile investigate
1. The record: the audit trail is intact, 9550 records, head a452596501fd0848.
2. The conversation: C-178-11 on day 178, person cust:81900cf8d97b43dd; the screenshot's digest 6d0d25df2ed577da matches write record 8949.
3. The story:
record 8948 2026-07-01 16:16 UTC proposal the helper proposed the answer 6d0d25df2ed577da (minimum_wage, short answer yes) from BP-104@3, BP-101@2; release 1.1, prompt p2, index i2, review none
record 8949 2026-07-01 16:16 UTC write the reply 6d0d25df2ed577da was shown with warning d2 (accepted: yes)
record 8950 2026-07-01 16:16 UTC run_closed the conversation closed: 1 answer(s), feedback reported_problem
4. Sources:
the answer store: the text of 6d0d25df2ed577da ("Yes. Harbourton’s minimum wage is $17.40 an hour for every w…")
the pages: BP-104@3 says "The minimum wage in Harbourton is 17.40 an hour for every …"; BP-104@4 (on the website from day 171) replaced it from day 178: "From 1 July, the minimum wage in Harbourton is 18.10 an ho…"
the release log: release 1.2 (index i3, without BP-104@3) from day 185
the trail: 13 wrong minimum_wage answers, days 178–184, to 13 people; 3 signed in
the trail: 2 of those conversations reported a problem; the first on day 178
gaps: the trail keeps no question text (only the topic code), and nothing about what the person did next.

La commande écrit ensuite les deux réponses : une courte lettre au propriétaire et un tableau d’enregistrements pour un auditeur. L’histoire en mots simples : la nouvelle page était sur le site Web depuis le jour 171. Mais l’index de l’assistant a gardé l’ancienne jusqu’au jour 185. Entre le 1er et le 7 juillet, 13 personnes ont reçu l’ancien salaire. Trois d’entre elles se sont connectées, donc la ville peut leur écrire. Le propriétaire a signalé le problème le jour même, et l’index a été reconstruit une semaine plus tard.

Les enregistrements ont permis de répondre à une plainte que personne n’avait prévue. C’est le vrai test d’une conception.

  • Réponses incorrectes
  • Signalements d'une réponse incorrecte
Réponses incorrectes et signalements associés, semaine par semaine, à partir des enregistrements de la conception D. Les signalements commencent à la semaine 1.
Description textuelle du graphique

Un graphique à courbes couvrant les 28 semaines du projet pilote. Les réponses incorrectes varient entre 6 et 24 par semaine, de la semaine 1 à la semaine 22. Elles concernent toutes l’argent comptant. Elles tombent à 0 aux semaines 23 à 25, après la correction. Aux semaines 26 et 27, elles reviennent : 8 et 5 réponses incorrectes sur le salaire minimum. Après le nouvel index, la semaine 28 en compte 0. Les signalements d’une réponse incorrecte arrivent tous les quelques jours, entre 0 et 3 par semaine, dès la semaine 1.

  • Interrogez les enregistrements avant de les créer. Chaque champ venait d’une question. « Tout journaliser » a résolu trois questions sur dix et conservé les mots de chaque personne.
  • L’absence n’est pas une preuve. « Une personne a-t-elle vérifié? » n’a de réponse que si l’enregistrement indique "review": "none".
  • La conservation est une décision sur les questions futures. Trente jours de conversations ne permettaient pas de répondre à un signalement arrivé après cinq mois.
  • Limites. Harbourton n’est pas New York. Rien ici ne dit ce que le vrai robot a fait ou conservé. Le trafic est construit : huit questions fixes, une langue, des taux inventés. Dans ce scénario, le modèle suivait ses pages. Un vrai assistant avec 2 000 pages et des questions libres fait aussi des erreurs de modèle. Ses codes de sujet se trompent aussi. Nous avons créé les étiquettes. Aucun enregistrement ne montre ce qu’une personne a fait après avoir lu une réponse.
  • Excluez les mots des personnes dès la conception, pas par une promesse, et testez cette exclusion, comme le fait test_no_question_text_in_design_d.
  • Un pseudonyme reste une donnée personnelle tant que sa clé existe. Protégez le fichier de clés comme dans La rendre inviolable et contrôlée. Demandez à votre équipe juridique ce qu’une demande de suppression signifie pour ce fichier.
  • Un enregistrement n’est pas un verdict. Il revient aux personnes qui connaissent les règles de décider si une réponse en a enfreint une.
  • Parlez des cas réels avec équité. Ajoutez des liens vers les sources, utilisez vos propres mots, citez seulement de courtes phrases et dites ce que vous ignorez. Ne présentez jamais une copie d’exercice comme le vrai système.

Ce projet montre ce qu’une équipe attend d’un ingénieur qui exploite des assistants d’IA : des enregistrements conçus selon les questions à venir, testés et comparés aux autres options.

Quoi mettre dans le dépôt :

could-the-records-answer/
README.md the case, the four designs, how to run them, your matrix for day 156 and day 400
CASE.md the public case in your own words, with links (no copied articles)
DATASET.md what is real, what is constructed, the limits
LICENSE MIT
records/audit.py your design D, with the reason for each field
casefile/ the questions as code: each one a query over the records
tests/ 20 tests, including "no question text in the trail"
  1. Créez un nouveau dépôt Git à partir de votre dossier terminé et poussez-le vers GitHub. .gitignore exclut work/ : chacun peut recréer les enregistrements avec python pilot.py.
  2. Dans le README, ajoutez votre matrice et trois phrases : ce que le cas demandait, votre conception choisie et ses limites de réponse.
  3. Ajoutez votre propre question à casefile/case.py, par exemple « quelles réponses les personnes ont-elles notées une étoile? », et le champ qui y répond.

En entrevue, en deux phrases : « J’ai transformé les questions d’un cas public d’agent conversationnel en dix requêtes sur les enregistrements d’un assistant. Ma piste d’audit a répondu aux dix sans conserver les mots de quiconque, et montré que chaque réponse incorrecte venait d’une page dépassée. »

Vérifiez votre compréhension

Tomás dit que la conception B, qui conserve toutes les questions et réponses pour toujours, est la plus sûre. Elle répond aux questions sur la capture d'écran et le décompte. Donnez deux questions auxquelles B ne peut pas répondre, et un coût que D n'a pas.

Afficher la réponse

B ne peut pas dire quelles pages et versions ont servi à produire une réponse (Q3). Elle ne peut donc pas distinguer une mauvaise page d’un mauvais modèle. Elle ne peut pas dire quelle version de l’application a répondu, quel avertissement a été affiché, ni pourquoi une même question a reçu différentes réponses (Q4 à Q6). Elle ne peut pas non plus relier un signalement à une réponse. Son coût : elle conserve pour toujours 2 778 questions dans les mots des personnes, qui peuvent contenir des données personnelles. D n’en conserve aucune et stocke chaque réponse de l’assistant une seule fois, selon son empreinte.

Vérifiez votre compréhension

Les 250 mauvaises réponses sur l'argent comptant provenaient toutes de la version 1.0. Felix propose de corriger la requête. Que disent les enregistrements, et quelle est la bonne correction?

Afficher la réponse

La proposition de chaque mauvaise réponse sur l’argent comptant cite la page BP-102@1 comme preuve. L’historique de la page indique que la version 2 l’avait remplacée avant le projet pilote. Le modèle a donc seulement répété le contenu de sa page, et une nouvelle requête n’aiderait pas. Corrigez plutôt l’index : la version 1.1 a retiré l’ancienne copie et n’a donné aucune mauvaise réponse sur l’argent comptant. Reconstruisez ensuite l’index chaque fois qu’une page change.

Vérifiez votre compréhension

Travail autonome : posez Q9 à la conception D au jour 186. Quels sujets ont des signalements, et quand le premier signalement sur le salaire minimum est-il arrivé? Qu'aurait permis un décompte hebdomadaire des signalements par empreinte de réponse?

Afficher la réponse

Exécutez python -m casefile --day 186 ask Q9 --design audit. L’argent comptant compte 38 signalements de mauvaises réponses, à partir du jour 3. Le salaire minimum en compte deux, à partir du jour 178. Un décompte hebdomadaire par empreinte détecte les deux problèmes tôt : l’argent comptant dès la première semaine, le salaire en quelques jours. L’équipe aurait pu trouver les anciennes pages avant qu’un journaliste ou une plainte ne les révèle.

Récapitulatif

  • Le cas public présentait dix questions, et chaque champ des enregistrements venait de l’une d’elles.
  • Au jour 156, le journal de l’application répondait entièrement à 0 question; toutes les questions et réponses, à 3. Les traces seules répondaient à 0 question, et la conception d’audit, à 10. Un an plus tard, la conception d’audit répondait à 9 questions.
  • La réponse est ce que l’assistant écrit. La piste conserve son empreinte, et le stockage des réponses conserve chaque texte une seule fois. Ainsi, les mots des personnes ne sont pas conservés.
  • Chaque mauvaise réponse venait d’une page périmée. Seules les versions des pages dans les enregistrements le montraient, et le premier signalement est arrivé au jour 3.
  • Des mois plus tard, les enregistrements seuls ont permis de répondre à une nouvelle plainte : 13 personnes, 3 joignables, la cause et la correction.

Ensuite, le travail final : exploitez une nouvelle version contenant des problèmes introduits volontairement, et livrez un dossier d’observabilité. Personne ne vous dit quels sont les problèmes. Vos traces, votre panneau de coûts et votre piste d’audit doivent les trouver.

Leçon suivante : Travail final