Les enregistrements auraient-ils pu répondre ?
- Étude de cas 3
- 180 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Dans le module sur l'audit, nous avons répondu à la question de Grace sur le double remboursement avec notre propre piste. De vraies organisations ont dû défendre publiquement les propos de leurs assistants d'IA. Dans cette étude de cas, nous prenons un cas documenté : le robot conversationnel d'une ville destiné aux entreprises. Nous listons les questions soulevées et testons quatre conceptions d'enregistrements pour y répondre. À la fin, une nouvelle plainte arrive. Nous y répondons uniquement à partir des enregistrements.
Étude de cas 3 sur 3 · Observabilité des agents d'IA : traces, coûts et pistes d'auditLes enregistrements auraient-ils pu répondre ?
1. Pourquoi les agents ont besoin de leur propre observabilité
2. OpenTelemetry pour les agents
3. Instrumenter le flux de travail
4. Trouver les défaillances des agents dans Grafana
5. Le coût
6. Pistes d'audit
7. Alertes, niveaux de service et qualité
8. Outils : Langfuse, les autres et l'inspecteur d'exécutions
Ce que vous saurez faire
Prenez un cas public où une ville a dû défendre les réponses de son robot conversationnel d’IA. Transformez les questions soulevées en questions destinées aux enregistrements d’un système. Puis créez quatre conceptions d’enregistrements pour une copie d’exercice du robot. Posez chaque question à chaque conception. Recommandez-en une, avec ses coûts et ses limites.
Le projet de départ est un petit projet Python : un assistant d’exercice, un pilote de 190 jours simulés, trois conceptions d’enregistrements et les questions du cas en code. Vous créez la quatrième conception. Le projet terminé contient le résultat, pour les moments où vous bloquez. Aucun compte, aucune clé ni aucun appel de modèle n’est nécessaire : les réponses du modèle sont des enregistrements rejoués.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise tout le cours. Ces leçons comptent le plus :
- Le rôle de chaque signal et les personnes qui le lisent, dans Ce qu’il faut enregistrer, et ce qu’il ne faut pas.
- L’échantillonnage, dans Le Collector.
- Les quatre règles de la piste d’audit, dans Une piste d’audit n’est pas un journal.
- Le schéma et ce qu’on en exclut, dans Enregistrer les décisions, les approbations et les changements.
- La chaîne, l’ancrage et les pseudonymes, dans La rendre inviolable et contrôlée.
- La méthode en cinq étapes, dans Répondre à une question d’audit.
Ce qu’il vous faut sur votre ordinateur
- Python 3.12 ou plus récent, VS Code et environ 60 Mo d’espace disque pour l’environnement virtuel et les enregistrements.
- Aucun projet Larkfield : cette étude de cas a son propre dossier,
could-the-records-answer. Pour recommencer, supprimez son dossierwork/.
Testé sur macOS (puce Apple) avec Python 3.12.13. Les commandes Windows et Linux sont fournies, mais n’ont pas été exécutées.
La situation
Section intitulée « La situation »En octobre 2023, New York a lancé un robot conversationnel d’IA pilote sur son site MyCity Business. Il devait répondre aux questions des propriétaires d’entreprises à partir de « plus de 2 000 pages Web et articles de NYC Business » (l’annonce de la ville). Cinq mois plus tard, des journalistes l’ont testé. Voici le cas dans nos propres mots, avec ses sources :
| Quand | Ce que rapportent les sources |
|---|---|
| 29 mars 2024 | The Markup, avec THE CITY et Documented, rapporte des réponses qui, selon les journalistes, contredisent les règles locales. Elles portent notamment sur les pourboires, les paiements comptants et les bons d’aide au logement. Un journaliste a obtenu une réponse à la question sur les bons; dix autres membres du personnel ont obtenu l’inverse. La page du robot indique que la ville examine les questions et supprime autrement les données dans les 30 jours. (The Markup) |
| 2 avril 2024 | À la question de savoir s’il faut retirer le robot, le maire répond : « Nous allons corriger ces problèmes ». Les responsables parlent d’un « projet pilote ». (la transcription de la ville) |
| 2 avril 2024 | Le robot reste en ligne avec un nouvel avertissement : « N’utilisez pas ses réponses comme conseils juridiques ou professionnels ». La capture d’écran d’un lecteur montre un « non » catégorique à la question d’un locataire. (The Markup) |
| Janvier–février 2026 | Le maire suivant décrit le robot comme « pratiquement inutilisable », pour un coût d’« environ un demi-million de dollars ». La ville le retire. (The Markup et THE CITY) |
L’AI Incident Database répertorie ce cas comme l’incident 714. Nous n’en tirons aucune conclusion juridique. Nous ignorons ce que la ville a enregistré. Rien sur cette page ne prétend le décrire.
Nous pouvons poser une question plus précise. Supposez que vous exploitiez un robot comme celui-ci. Quels enregistrements permettraient de répondre aux questions des journalistes, des responsables et des critiques, le jour de la publication du reportage?
Notre ville d’exercice est Harbourton. Nadia (elle) dirige ses services numériques, et les journalistes vont l’appeler. Felix (il) a créé le Business Helper de la ville et l’exploite. Les personnes et la ville sont fictives.
L’objectif. Recommandez une conception d’enregistrements pour le Business Helper. Elle doit répondre aux dix questions du cas le lendemain du reportage, uniquement à partir des enregistrements. Elle doit conserver le moins possible de paroles des personnes. Elle doit aussi permettre de répondre à une nouvelle plainte plusieurs mois plus tard.
Ce que vous allez créer
Section intitulée « Ce que vous allez créer »Quatre conceptions enregistrent les mêmes conversations. L’étude de cas les compare avec une seule mesure : le nombre de questions auxquelles chacune répond entièrement. Elle doit répondre uniquement à partir de ses enregistrements, à une date donnée.
Description textuelle du diagramme
La case du haut présente la conversation : une question sur l’argent comptant, les deux pages trouvées et la réponse de l’assistant. En dessous, quatre cases. A conserve une ligne de journal et les paroles pendant 30 jours seulement. B conserve la question et la réponse, avec la session, pour toujours. C conserve une trace pour une conversation sur dix seulement, pendant 14 jours, sans texte. D conserve trois enregistrements d’audit aux champs fixes, et le texte de la réponse une seule fois, selon son empreinte.
| Conception | Ce qu’elle conserve |
|---|---|
| A. Le journal de l’application (la référence de base) | une ligne de journal par conversation (90 jours); la conversation (30 jours); un formulaire de commentaires sans lien avec une conversation |
| B. Chaque question et réponse | la question, la réponse et le compte ou la session de la personne, pour toujours |
| C. Les traces seulement | des traces OpenTelemetry avec les noms du cours : 10 % des conversations, 14 jours, aucun texte |
| D. Piste d’audit, réponses et métriques | des événements d’audit avec le schéma du cours, jamais échantillonnés, 7 ans; chaque réponse distincte une seule fois, 2 ans; des compteurs quotidiens, 13 mois; plus les traces de C |
Les 30 jours de A viennent de la seule déclaration publique sur les données du vrai robot. Toutes les autres durées sont des hypothèses inscrites dans le code pour que vous puissiez les modifier.
Les données
Section intitulée « Les données »Aucun enregistrement du vrai robot n’est public. Les données sont donc une copie d’exercice que nous avons créée. La fiche du jeu de données indique ce qui est réel et ce qui est construit :
- Les pages de règles de Harbourton (
data/pages/) : onze courtes pages que nous avons écrites, un fichier par version. Elles ne représentent les règles d’aucune vraie ville et ne constituent pas des conseils juridiques. - Le Business Helper (
helper/) : une recherche par mots-clés trouve les deux pages qui partagent le plus de mots avec la question. Le modèle répond en JSON : une réponse courte (yes,no,it_dependsourefer), au plus 60 mots, et les pages utilisées. Ces valeurs signifient respectivement oui, non, cela dépend ou orienter vers un autre service. - Les réponses du modèle sont de véritables enregistrements. Nous avons envoyé chacune des 17 requêtes distinctes dix fois au déploiement
chat-smalldu cours. Les 170 réponses sont rejouées octet par octet, comme dans le reste du cours. L’enregistrement a coûté 0,0105 $ US selon la grille tarifaire du cours. - Le trafic est construit (
pilot.py, avec une graine fixe) : 190 jours simulés à partir du lundi 5 janvier. Il comprend 18 conversations par jour de semaine et 6 par jour de fin de semaine. Un quart des personnes se connectent. - Les étiquettes (
data/labels.json) : une personne a lu chaque réponse distincte une fois et l’a comparée à sa page.
Le journal des versions (data/releases.json) contient l’histoire du pilote. Nous y avons volontairement intégré deux erreurs :
| Jour | Ce qui se passe |
|---|---|
| 1 | Version 1.0 : requête p1, index i1, avertissement d1. L’index contient une ancienne copie de la page sur l’argent comptant, la version 1. Elle indique qu’un commerce peut cesser d’accepter l’argent comptant. |
| 148 | Onze journalistes posent la question sur les bons d’aide au logement. |
| 150 | Le reportage est publié. |
| 152 | Version 1.1 pour 20 % des visiteurs : requête p2, index i2 (la page actuelle sur l’argent comptant), avertissement d2 (à accepter). Un garde-fou dirige les questions sur le logement vers le service du logement. |
| 155 | Version 1.1 pour tout le monde. |
| 171 | La page sur le salaire minimum change sur le site Web : 18,10 à partir du 1er juillet. |
| 178 | 1er juillet. L’index contient encore l’ancienne page, la version 3 : 17,40. |
| 185 | Version 1.2 : index i3 avec la nouvelle page. |
| 186 | Un propriétaire d’entreprise porte plainte. |
Les questions
Section intitulée « Les questions »Chaque question découle d’une question posée publiquement. Le projet les définit dans casefile/case.py :
| La question aux enregistrements | Soulevée par | |
|---|---|---|
| Q1 | Un lecteur envoie une capture d’écran. L’assistant a-t-il vraiment donné cette réponse, et quand? | la capture d’écran du lecteur |
| Q2 | Combien de réponses étaient erronées, sur quel sujet, et de quel jour à quel jour? | les tests des journalistes |
| Q3 | Quelles pages, dans quelles versions, ont servi à produire chaque réponse erronée : une mauvaise page ou un mauvais modèle? | « 2 000 pages Web » |
| Q4 | Quelle version a donné les réponses erronées, et la correction les a-t-elle changées? | « Nous allons corriger ces problèmes » |
| Q5 | Quel avertissement chaque personne a-t-elle vu, et l’a-t-elle accepté? | le nouvel avertissement |
| Q6 | Pourquoi la même question a-t-elle reçu des réponses différentes? | un journaliste contre dix |
| Q7 | Une personne a-t-elle vérifié une réponse avant son envoi? | les critiques |
| Q8 | La ville peut-elle joindre les personnes qui ont reçu une réponse erronée? | une réponse erronée a peut-être été suivie |
| Q9 | Des personnes ont-elles signalé les réponses erronées, et quand a eu lieu le premier signalement? | la fenêtre de commentaires |
| Q10 | Combien a coûté une réponse, et une réponse correcte? | « environ un demi-million de dollars » |
Nous posons ces questions au jour 156, le mardi 9 juin : six jours après le reportage. La correction a atteint tout le monde la veille.
Préparer le projet
Section intitulée « Préparer le projet »-
Téléchargez le projet de départ dans l’encadré en haut de cette page, puis décompressez-le. Ouvrez le dossier
could-the-records-answerdans VS Code, puis ouvrez un terminal : Terminal > New Terminal (terminal, nouveau terminal). -
Créez un environnement virtuel et installez les paquets :
Fenêtre de terminal python3 -m venv .venvsource .venv/bin/activatepython -m pip install -r requirements-dev.txtFenêtre de terminal python -m venv .venv.venv\Scripts\Activate.ps1python -m pip install -r requirements-dev.txtFenêtre de terminal python3 -m venv .venvsource .venv/bin/activatepython -m pip install -r requirements-dev.txtLes paquets sont ceux du projet du cours : OpenTelemetry 1.45.1, pytest et ruff.
-
Exécutez le pilote. Il prend environ 5 secondes et écrit dans
work/pilot/:Fenêtre de terminal python pilot.py2783 conversations, 3359 answers over 190 days; 263 wrong by the practice pages. Records in work/pilot/ -
Exécutez les tests :
python -m pytest -q. La dernière ligne indique11 passed, 9 deselected(11 réussis, 9 exclus). Les neuf tests exclus vérifient la conception D, que vous créez dans la partie 3.
Ce que cela nous apprend. Le pilote utilise une graine fixe. Vos enregistrements sont donc identiques aux nôtres, octet par octet. Sur 3 359 réponses, 263 étaient erronées selon les pages d’exercice. Ce nombre vient de work/pilot/truth.json, qu’aucune conception ne peut lire. C’est le corrigé : nous l’utilisons uniquement pour vérifier les conceptions.
Partie 1 : la référence de base
Section intitulée « Partie 1 : la référence de base »La conception A correspond à ce qu’un pilote créé rapidement conserve. Posez-lui la question sur la capture d’écran :
python -m casefile ask Q1 --design applogA. The app log: not answered The chats of day 41 were deleted after 30 days (the oldest kept: day 127). app.log shows 6 conversations that day, with no text.La capture d’écran date du jour 41. Au jour 156, les conversations d’avant le jour 127 ont disparu. Le journal indique que 6 conversations ont eu lieu ce jour-là, mais ne dit rien des propos échangés. Comptez maintenant les réponses erronées et les signalements :
A. The app log: partly 35 wrong answers of 549 kept; days 127–154 77 distinct answer texts to label. Only the last 30 days are kept (from day 127): earlier wrong answers are gone.A. The app log: partly The form has 64 problem reports (first on day 3), but no link to a conversation or an answer.Ce que cela nous apprend. La conception A voit 35 réponses erronées; le pilote en avait donné 250 au jour 156. Le formulaire de commentaires montre des signalements de problèmes dès le jour 3. Mais personne ne peut dire quelle réponse ils concernaient. Exécutez python -m casefile matrix : la conception A répond entièrement à 0 des 10 questions. C’est la référence de base.
Partie 2 : deux autres options
Section intitulée « Partie 2 : deux autres options »La conception B reprend le plan de Tomás dans le cours : « nous enregistrons chaque requête et chaque réponse, pour pouvoir tout expliquer ». Posez-lui les deux mêmes questions (ask Q1 --design transcripts, puis Q8) :
B. Every question and answer: answered 1 answer(s) with exactly this text on day 41: C-041-04 at 13:52 to S-d26125cf The file also holds the person's own question, in their words.B. Every question and answer: answered 247 people; 51 with an account ID, in clear text, next to their own question.B répond à la question sur la capture d’écran, donne le nombre et indique qui appeler. Mais elle ne peut pas dire quelles pages l’assistant a lues ni quelle version a répondu. Elle ne peut pas non plus expliquer pourquoi deux personnes ont reçu des réponses différentes. Et elle conserve 2 778 questions dans les propres mots des personnes, pour toujours.
La conception C est la première idée de l’ingénieur : des traces avec les noms GenAI de Les conventions GenAI pour les exécutions d’agents. Aucun texte, un échantillonnage initial de 10 % et une conservation des traces de 14 jours. Posez-lui la question sur les pages :
C. Traces only: partly In the sampled spans of the last 14 days: 1 cash 'yes' answer(s) from BP-102@1, BP-106@1Ce span (segment de trace) contient le bon indice : l’ancienne page sur l’argent comptant, BP-102@1. Mais il représente une des 30 conversations que l’échantillon a conservées sur les 14 derniers jours. Les traces conviennent à « comment cette exécution s’est-elle déroulée? », mais pas à « combien, depuis quand? ». C répond entièrement à 0 question.
Partie 3 : la conception D
Section intitulée « Partie 3 : la conception D »Partir des questions
Section intitulée « Partir des questions »Le schéma d’Enregistrer les décisions, les approbations et les changements donne la structure : qui, quoi, quand, sous quelle autorité, avec quelles preuves. Les questions du cas déterminent le contenu de chaque champ. Voici les enregistrements de la conversation de la capture d’écran dans la conception finale, champ par champ :
Description textuelle du diagramme
Dix lignes. Chaque ligne présente un champ d’un enregistrement et la question qui en a besoin. La proposition contient les pages et leurs versions, la réponse courte et le sujet, la version avec sa requête et son index, et la règle de révision. L’écriture contient l’empreinte de la réponse et l’avertissement. Chaque enregistrement contient le pseudonyme de la personne et les identifiants de trace et de span. La clôture contient la rétroaction. Le coût vient des métriques quotidiennes, pas de la piste.
Trois choix méritent une explication :
- La réponse est une
write(écriture). Chez Larkfield, une écriture modifiait une commande. Ici, le changement dans le monde est ce qu’une personne lit et peut utiliser pour agir. La réponse que la personne voit est donc l’écriture, et le brouillon du modèle est la proposition. - La question reste exclue. Elle contient les mots de la personne. La piste conserve un code de sujet tiré d’une liste fixe.
helper/pages.pyle produit à partir des mots de la question, jamais à partir des pages trouvées par la recherche. - La règle de révision est un champ. « Personne n’a vérifié » doit être un fait dans l’enregistrement,
"review": "none", pas un enregistrement manquant. Une approbation absente peut signifier « non enregistrée ».
Une nouvelle idée : le magasin de réponses
Section intitulée « Une nouvelle idée : le magasin de réponses »Votre banque envoie les mêmes quelques lettres à des milliers de personnes. Elle ne conserve pas des milliers de copies. Elle conserve chaque lettre une fois, avec un numéro de référence. Ses enregistrements indiquent « client 18, lettre R-7, 3 mars ». Pour prouver ce qu’une personne a reçu, elle montre la lettre R-7.
La piste présente le même problème. Q1 et Q2 exigent les mots de la réponse. Mais le schéma refuse le texte, pour de bonnes raisons : il est long, peut contenir des données personnelles et personne ne peut le compter.
L’idée : conserver chaque réponse distincte une seule fois, dans un magasin de réponses, sous son empreinte. Ce sont les 16 premiers chiffres hexadécimaux du SHA-256 de son texte. L’enregistrement d’écriture contient seulement l’empreinte, un identifiant court que le schéma accepte. Un même texte a toujours la même empreinte. Une capture d’écran permet donc de retrouver ses enregistrements. Les réponses sont les mots de l’assistant. Le magasin ne contient donc rien qu’une personne a tapé.
Description textuelle du diagramme
Trois enregistrements d’écriture pointent vers deux textes. Le magasin de réponses conserve chaque texte une fois, avec le jour où il a été donné pour la première fois. Une personne étiquette chaque texte une fois, ici « incorrect ». La piste compte combien de fois chacun a été donné : 23 et 24 fois au jour 156.
Au jour 156, la piste contient 2 778 réponses, mais seulement 77 textes distincts. Une personne lit donc 77 réponses une fois, plutôt que 2 778 conversations. Le magasin coûte peu : 101 lignes pour tout le projet pilote. Il a une limite : si le modèle écrit un nouveau texte chaque fois, le magasin devient aussi long que la piste. Conservez alors la réponse courte et les pages, que la proposition contient déjà.
Écrire les événements
Section intitulée « Écrire les événements »Ouvrez records/audit.py. Le code de départ écrit un événement : run_closed (exécution terminée), à la fin de chaque conversation. Le refus et le passage de relais du garde-fou sur le logement y sont aussi, à titre d’exemple. Complétez les trois TODO. Notre version des deux événements :
else: m["input_tokens"] += a.input_tokens m["output_tokens"] += a.output_tokens first = self.event("proposal", at, conv, helper, ids["answer"], {"topic": a.topic, "short_answer": a.short_answer, "answer_digest": d, "cites": a.cites}, {"release": rel["id"], "prompt_version": rel["prompt"], "index": rel["index"], "guardrail": rel["guardrail"], "review": rel["review"]}, [f"page:{p}" for p in a.pages]) self.event("write", at, conv, web, ids["reply"], {"answer_digest": d, "topic": a.topic, "disclaimer": a.disclaimer, "disclaimer_accepted": accept, "channel": "web", "language": "en", "proposal_event_id": first}, {"release": rel["id"], "review": rel["review"]})Et le magasin de réponses, dans keep_answer() :
d = digest(text) if d not in self.seen: if PERSONAL.search(text): raise ValueError(f"answer {d} looks like it holds personal data: not stored") with self.answers_path.open("a", encoding="utf-8") as f: f.write(json.dumps({"digest": d, "first_day": day, "text": text}, ensure_ascii=False) + "\n") self.seen.add(d) return dChaque événement est écrit dans son span, ids["answer"] ou ids["reply"]. Ses trace_id et span_id mènent donc aux détails. Cela fonctionne même quand l’échantillonneur élimine la trace : les identifiants existent pour chaque conversation.
Erreur courante
Le schéma refuse un code de version
Symptôme : votre première proposition nomme la version de la requête "prompt": rel["prompt"]. python pilot.py s’arrête à la première réponse :
auditstore.schema.AuditEventError: event.authority.prompt: text fields are not allowed in an audit eventCause : le schéma du cours refuse tout champ nommé prompt (requête), quelle que soit sa valeur. Ici, la valeur est p1, un code, mais le schéma vérifie les noms, pas leur sens. Nous avons fait cette erreur nous-mêmes en créant l’étude de cas.
Diagnostic : la dernière ligne nomme le champ : event.authority.prompt.
Correction : renommez le champ prompt_version. Ne retirez pas prompt de la liste du schéma : le prochain champ nommé prompt pourrait vraiment contenir une requête. Un événement refusé arrête le projet pilote avant qu’une réponse soit envoyée sans enregistrement. C’est une façon sûre d’échouer.
Exécutez de nouveau le projet pilote, puis les tests de la conception D :
python pilot.pypython -m pytest -q -m design_dpython -m casefile verify9 passed, 11 deselected in …The audit trail is intact: 9550 records, the chain and the anchor match (head a452596501fd0848).Les tests vérifient que chaque réponse possède une proposition ou un refus, ainsi qu’une écriture. Ils vérifient aussi que la conception D ne contient aucun texte de question et que le magasin refuse une adresse courriel. Ils vérifient également qu’un enregistrement modifié brise la chaîne. Le projet pilote utilise une graine fixe. Votre tête de chaîne doit donc être identique à la nôtre. Sinon, comparez vos champs au code ci-dessus.
Partie 4 : la comparaison équitable
Section intitulée « Partie 4 : la comparaison équitable »Posez chaque question à chaque conception : python -m casefile matrix.
The case's questions on day 156: what each design's records can answer
A. B. C. D.Q1 no yes no yesQ2 partly yes partly yesQ3 no no partly yesQ4 partly partly partly yesQ5 partly partly partly yesQ6 no no partly yesQ7 no no no yesQ8 no yes no yesQ9 partly no no yesQ10 no no partly yesyes 0 3 0 10
A. The app log people's own words kept: 549 questions (30 days)B. Every question and answer people's own words kept: 2778 questions (all)C. Traces only people's own words kept: noneD. Audit trail, answers and metrics people's own words kept: nonePuis recommencez un an plus tard : python -m casefile --day 400 matrix.
- Jour 156 (après le signalement)
- Jour 400 (un an plus tard)
Description textuelle du graphique
Au jour 156, la conception A répond entièrement à 0 questions, B à 3, C à 0 et D à 10. Au jour 400, A répond à 0, B à 3, C à 0 et D à 9.
Lisez ce que dit la conception D, question par question (python -m casefile ask Q3 --design audit, et ainsi de suite). Quatre réponses comptent particulièrement :
Q3 cash: 250 answer(s) from BP-102@1, BP-106@1; a replaced page: BP-102@1Q4 release 1.0 (from day 1): 250 wrong of 2729 release 1.1 (from day 152 (part of the visitors first)): 0 wrong of 49Q6 food_permit, release 1.0, the same pages (BP-107@1, BP-105@1): 8 distinct answers, short answers {'it_depends': 4, 'yes': 4}: the model's own variationQ9 cash: 38 reports of a wrong answer; the first on day 3 (Wed 7 Jan)Ce que cela nous apprend.
- Chaque réponse incorrecte venait d’une page, pas du modèle. Les 250 réponses incorrectes sur l’argent comptant utilisaient l’ancienne copie de la page sur ce sujet. Le modèle répétait fidèlement sa page. Sans les versions des pages dans l’enregistrement, une équipe accuserait le modèle et modifierait la requête. Cette correction ne changerait rien.
- La même question obtenait différentes réponses à partir des mêmes pages. Dix exemples enregistrés de la demande sur le permis de café ont donné tantôt « oui », tantôt « ça dépend ». L’enregistrement prouve que les pages et la version étaient identiques. La cause est donc la variation propre au modèle. C’est ce que Q6 demande au sujet du journaliste seul et des dix autres.
- Le premier signalement était l’avertissement. Des personnes ont signalé une réponse incorrecte sur l’argent comptant au jour 3, 147 jours avant la presse. La conception A avait aussi les signalements, mais sans lien avec une réponse. Personne ne pouvait donc agir.
- La conservation propre à D apparaît aussi. Au jour 400, Q10 n’est résolue que « partiellement » : les métriques sont conservées 13 mois.
La comparaison est-elle équitable? Les quatre conceptions ont vu les mêmes 2 783 conversations, avec le même code. Elles ont reçu les dix mêmes questions le même jour. La mesure a deux points faibles. Nous avons écrit les questions et les conceptions. Lisez donc la matrice comme une vérification d’une conception face à des questions définies, pas comme une note. Et « résolue » signifie « les enregistrements donnent la réponse complète ». Cela ne signifie pas qu’une personne accepterait chaque étiquette.
D utilise aussi le plus d’octets : 7,2 Mo, contre 1,1 Mo pour B et 0,4 Mo pour C. L’essentiel vient des champs fixes de la piste, des empreintes et des clés de pseudonyme de 2 780 personnes (sessions et comptes). Aucun de ces octets ne contient les mots d’une personne.
La recommandation
Section intitulée « La recommandation »Pour Nadia, dans ses mots : gardez la conception D et corrigez le processus d’indexation.
- Enregistrez chaque réponse comme une écriture, avec ses pages et leurs versions, la version du logiciel, l’avertissement et la règle de révision. Conservez chaque réponse distincte une seule fois. Ne conservez jamais les mots de la question.
- Reliez chaque signalement à la conversation et à sa réponse. Les signalements arrivaient dès le jour 3. Un décompte hebdomadaire des signalements par réponse aurait révélé l’ancienne page sur l’argent comptant dès la première semaine.
- Reconstruisez l’index quand une page change. Les deux défaillances venaient d’anciennes pages, pas du modèle.
- Décidez si une personne vérifie les réponses sur les règles et l’argent avant leur envoi, et enregistrez la décision. Les enregistrements peuvent la montrer; ils ne peuvent pas la prendre.
N’utilisez pas la conception D pour affirmer qu’une réponse était correcte ou incorrecte sur le plan juridique. Les étiquettes comparent les réponses aux pages d’exercice seulement.
Partie 5 : de nouvelles données, de bout en bout
Section intitulée « Partie 5 : de nouvelles données, de bout en bout »Au jour 186, un propriétaire d’entreprise écrit. Lisez d’abord la plainte :
cat work/pilot/complaint.jsonGet-Content work\pilot\complaint.jsoncat work/pilot/complaint.json "says": "On Wednesday 1 July your business helper told me that I could pay a new cashier 17.40 an hour. I did. Now I owe back pay. Why did it say that?", "screenshot_text": "Yes. Harbourton’s minimum wage is $17.40 an hour for every worker aged 16 or over, including new workers."C’est une nouvelle défaillance, après la correction : la page sur le salaire minimum. Répondez-y avec la méthode de Répondre à une question d’audit, à partir des seuls enregistrements de la conception D :
python -m casefile investigate1. The record: the audit trail is intact, 9550 records, head a452596501fd0848.2. The conversation: C-178-11 on day 178, person cust:81900cf8d97b43dd; the screenshot's digest 6d0d25df2ed577da matches write record 8949.3. The story: record 8948 2026-07-01 16:16 UTC proposal the helper proposed the answer 6d0d25df2ed577da (minimum_wage, short answer yes) from BP-104@3, BP-101@2; release 1.1, prompt p2, index i2, review none record 8949 2026-07-01 16:16 UTC write the reply 6d0d25df2ed577da was shown with warning d2 (accepted: yes) record 8950 2026-07-01 16:16 UTC run_closed the conversation closed: 1 answer(s), feedback reported_problem4. Sources: the answer store: the text of 6d0d25df2ed577da ("Yes. Harbourton’s minimum wage is $17.40 an hour for every w…") the pages: BP-104@3 says "The minimum wage in Harbourton is 17.40 an hour for every …"; BP-104@4 (on the website from day 171) replaced it from day 178: "From 1 July, the minimum wage in Harbourton is 18.10 an ho…" the release log: release 1.2 (index i3, without BP-104@3) from day 185 the trail: 13 wrong minimum_wage answers, days 178–184, to 13 people; 3 signed in the trail: 2 of those conversations reported a problem; the first on day 178 gaps: the trail keeps no question text (only the topic code), and nothing about what the person did next.La commande écrit ensuite les deux réponses : une courte lettre au propriétaire et un tableau d’enregistrements pour un auditeur. L’histoire en mots simples : la nouvelle page était sur le site Web depuis le jour 171. Mais l’index de l’assistant a gardé l’ancienne jusqu’au jour 185. Entre le 1er et le 7 juillet, 13 personnes ont reçu l’ancien salaire. Trois d’entre elles se sont connectées, donc la ville peut leur écrire. Le propriétaire a signalé le problème le jour même, et l’index a été reconstruit une semaine plus tard.
Les enregistrements ont permis de répondre à une plainte que personne n’avait prévue. C’est le vrai test d’une conception.
- Réponses incorrectes
- Signalements d'une réponse incorrecte
Description textuelle du graphique
Un graphique à courbes couvrant les 28 semaines du projet pilote. Les réponses incorrectes varient entre 6 et 24 par semaine, de la semaine 1 à la semaine 22. Elles concernent toutes l’argent comptant. Elles tombent à 0 aux semaines 23 à 25, après la correction. Aux semaines 26 et 27, elles reviennent : 8 et 5 réponses incorrectes sur le salaire minimum. Après le nouvel index, la semaine 28 en compte 0. Les signalements d’une réponse incorrecte arrivent tous les quelques jours, entre 0 et 3 par semaine, dès la semaine 1.
Constats et limites
Section intitulée « Constats et limites »- Interrogez les enregistrements avant de les créer. Chaque champ venait d’une question. « Tout journaliser » a résolu trois questions sur dix et conservé les mots de chaque personne.
- L’absence n’est pas une preuve. « Une personne a-t-elle vérifié? » n’a de réponse que si l’enregistrement indique
"review": "none". - La conservation est une décision sur les questions futures. Trente jours de conversations ne permettaient pas de répondre à un signalement arrivé après cinq mois.
- Limites. Harbourton n’est pas New York. Rien ici ne dit ce que le vrai robot a fait ou conservé. Le trafic est construit : huit questions fixes, une langue, des taux inventés. Dans ce scénario, le modèle suivait ses pages. Un vrai assistant avec 2 000 pages et des questions libres fait aussi des erreurs de modèle. Ses codes de sujet se trompent aussi. Nous avons créé les étiquettes. Aucun enregistrement ne montre ce qu’une personne a fait après avoir lu une réponse.
Utilisation responsable
Section intitulée « Utilisation responsable »- Excluez les mots des personnes dès la conception, pas par une promesse, et testez cette exclusion, comme le fait
test_no_question_text_in_design_d. - Un pseudonyme reste une donnée personnelle tant que sa clé existe. Protégez le fichier de clés comme dans La rendre inviolable et contrôlée. Demandez à votre équipe juridique ce qu’une demande de suppression signifie pour ce fichier.
- Un enregistrement n’est pas un verdict. Il revient aux personnes qui connaissent les règles de décider si une réponse en a enfreint une.
- Parlez des cas réels avec équité. Ajoutez des liens vers les sources, utilisez vos propres mots, citez seulement de courtes phrases et dites ce que vous ignorez. Ne présentez jamais une copie d’exercice comme le vrai système.
Faites-en un projet de portfolio
Section intitulée « Faites-en un projet de portfolio »Ce projet montre ce qu’une équipe attend d’un ingénieur qui exploite des assistants d’IA : des enregistrements conçus selon les questions à venir, testés et comparés aux autres options.
Quoi mettre dans le dépôt :
could-the-records-answer/ README.md the case, the four designs, how to run them, your matrix for day 156 and day 400 CASE.md the public case in your own words, with links (no copied articles) DATASET.md what is real, what is constructed, the limits LICENSE MIT records/audit.py your design D, with the reason for each field casefile/ the questions as code: each one a query over the records tests/ 20 tests, including "no question text in the trail"- Créez un nouveau dépôt Git à partir de votre dossier terminé et poussez-le vers GitHub.
.gitignoreexclutwork/: chacun peut recréer les enregistrements avecpython pilot.py. - Dans le README, ajoutez votre matrice et trois phrases : ce que le cas demandait, votre conception choisie et ses limites de réponse.
- Ajoutez votre propre question à
casefile/case.py, par exemple « quelles réponses les personnes ont-elles notées une étoile? », et le champ qui y répond.
En entrevue, en deux phrases : « J’ai transformé les questions d’un cas public d’agent conversationnel en dix requêtes sur les enregistrements d’un assistant. Ma piste d’audit a répondu aux dix sans conserver les mots de quiconque, et montré que chaque réponse incorrecte venait d’une page dépassée. »
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Tomás dit que la conception B, qui conserve toutes les questions et réponses pour toujours, est la plus sûre. Elle répond aux questions sur la capture d'écran et le décompte. Donnez deux questions auxquelles B ne peut pas répondre, et un coût que D n'a pas.
Afficher la réponse
B ne peut pas dire quelles pages et versions ont servi à produire une réponse (Q3). Elle ne peut donc pas distinguer une mauvaise page d’un mauvais modèle. Elle ne peut pas dire quelle version de l’application a répondu, quel avertissement a été affiché, ni pourquoi une même question a reçu différentes réponses (Q4 à Q6). Elle ne peut pas non plus relier un signalement à une réponse. Son coût : elle conserve pour toujours 2 778 questions dans les mots des personnes, qui peuvent contenir des données personnelles. D n’en conserve aucune et stocke chaque réponse de l’assistant une seule fois, selon son empreinte.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Les 250 mauvaises réponses sur l'argent comptant provenaient toutes de la version 1.0. Felix propose de corriger la requête. Que disent les enregistrements, et quelle est la bonne correction?
Afficher la réponse
La proposition de chaque mauvaise réponse sur l’argent comptant cite la page BP-102@1 comme preuve. L’historique de la page indique que la version 2 l’avait remplacée avant le projet pilote. Le modèle a donc seulement répété le contenu de sa page, et une nouvelle requête n’aiderait pas. Corrigez plutôt l’index : la version 1.1 a retiré l’ancienne copie et n’a donné aucune mauvaise réponse sur l’argent comptant. Reconstruisez ensuite l’index chaque fois qu’une page change.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Travail autonome : posez Q9 à la conception D au jour 186. Quels sujets ont des signalements, et quand le premier signalement sur le salaire minimum est-il arrivé? Qu'aurait permis un décompte hebdomadaire des signalements par empreinte de réponse?
Afficher la réponse
Exécutez python -m casefile --day 186 ask Q9 --design audit. L’argent comptant compte 38 signalements de mauvaises réponses, à partir du jour 3. Le salaire minimum en compte deux, à partir du jour 178. Un décompte hebdomadaire par empreinte détecte les deux problèmes tôt : l’argent comptant dès la première semaine, le salaire en quelques jours. L’équipe aurait pu trouver les anciennes pages avant qu’un journaliste ou une plainte ne les révèle.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Le cas public présentait dix questions, et chaque champ des enregistrements venait de l’une d’elles.
- Au jour 156, le journal de l’application répondait entièrement à 0 question; toutes les questions et réponses, à 3. Les traces seules répondaient à 0 question, et la conception d’audit, à 10. Un an plus tard, la conception d’audit répondait à 9 questions.
- La réponse est ce que l’assistant écrit. La piste conserve son empreinte, et le stockage des réponses conserve chaque texte une seule fois. Ainsi, les mots des personnes ne sont pas conservés.
- Chaque mauvaise réponse venait d’une page périmée. Seules les versions des pages dans les enregistrements le montraient, et le premier signalement est arrivé au jour 3.
- Des mois plus tard, les enregistrements seuls ont permis de répondre à une nouvelle plainte : 13 personnes, 3 joignables, la cause et la correction.
Ensuite, le travail final : exploitez une nouvelle version contenant des problèmes introduits volontairement, et livrez un dossier d’observabilité. Personne ne vous dit quels sont les problèmes. Vos traces, votre panneau de coûts et votre piste d’audit doivent les trouver.
Leçon suivante : Travail final