Aller au contenu
English

Recueillir les preuves

  • Leçon 10
  • 30 min
  • Module 4 : Rédiger des rapports de bogue utiles aux personnes

Où nous en sommes

Dans le module 3, nous avons trouvé des défaillances et mesuré leur fréquence. Mais une défaillance que vous avez vue n'est pas encore une défaillance qu'un développeur peut voir : la graine, les versions et les données changent toutes la réponse, et une réinitialisation supprime la trace. Dans cette leçon, nous recueillons les six éléments de preuve qui permettent à n'importe qui de revoir la défaillance.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 10 sur 24 · Tester les applications d'IA : assurance qualité manuelle et assistée par l'IARecueillir les preuves
Aperçu du cours

Ce que vous saurez faire

Recueillez tout ce qu’il faut à un développeur pour observer la défaillance que vous avez vue, avant qu’elle disparaisse. Vous découvrez les six éléments de preuve d’une défaillance d’une fonction d’IA. Vous apprenez où trouver chacun dans l’application de chasse aux bogues. Ensuite, vous prouvez que vos preuves reproduisent la défaillance.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre dossier de cours ai-qa, avec l’application dans ai-qa/practice-app et vos notes dans ai-qa/workspace.
  • Un terminal dans ai-qa/practice-app, avec l’environnement virtuel actif. L’invite commence par (.venv).

Testé sur macOS (Apple silicon) avec Python 3.14.6. Les commandes Windows ont été écrites, mais pas exécutées.

Rappelez-vous la voiture qui fait un bruit certains matins, dans Répéter les essais et mesurer le taux de reproduction. Votre décompte, « 3 des 10 derniers matins », indiquait à la mécanicienne à quelle fréquence s’y attendre. Mais un tour du quartier ne révèle toujours rien.

Une bonne mécanicienne pose d’autres questions. Quand le bruit survient-il : par temps froid, à grande vitesse, au freinage? Quel bruit fait-il exactement? Quelque chose a-t-il changé, comme de nouveaux pneus? Mieux encore, vous avez enregistré le bruit sur votre téléphone, avec la vitesse à l’écran. Elle peut maintenant reproduire le bruit et sait quoi écouter.

Le décompte indiquait la fréquence. Il manquait encore les preuves : les conditions exactes et un enregistrement de ce qui s’était passé.

Le service de soutien de Larkfield a une liste de rapports de bogue datant d’avant l’arrivée d’Esme. Des agents de soutien les ont rédigés. Celui-ci vient d’un chef d’équipe du soutien :

practice-app/backlog/BL-104.md
# BL-104: Return days wrong?
Reported by: support team lead
Sometimes the bot says 30 days for returns. I think it should be 45 now. Not sure.

Tomás, l’ingénieur en IA, fait un essai. Il saisit la question dans ses propres mots. Puis, après avoir relu le rapport, il la saisit dans les mots du client. Aucun essai ne montre le bogue. Il ferme donc le rapport avec la mention « impossible à reproduire ». L’image montre ses deux essais à côté de celui d’Esme.

Trois essais de l'application d'exercice, chacun allant d'une entrée à sa réponse. Esme : les mots exacts « Combien de jours ai-je pour retourner un article inutilisé? » avec la graine 2 donnent « dans les 30 jours suivant la livraison », source Politique de retour, version 3 : le bogue apparaît chaque fois avec ces mots et cette graine. Tomás, dans ses propres mots, « Combien de temps ai-je pour retourner quelque chose? » avec la graine 2, obtient « Je n'ai pas trouvé cette information dans les politiques de Larkfield, alors je préfère ne pas deviner. » Bogue manqué : l'entrée exacte n'était pas dans le rapport. Tomás, avec les mots exacts sans graine (l'application a choisi la graine 22928), obtient « dans les 45 jours suivant la livraison », source Politique de retour, version 4. Bogue manqué : la graine n'était pas dans le rapport.
Un bogue, trois essais. Seul l'essai avec les mots exacts et une graine provoquant l'échec le montre. Simulation (application d'exercice).
Description textuelle du diagramme

Le premier essai est celui d’Esme. Elle envoie « Combien de jours ai-je pour retourner un article inutilisé? » avec la graine 2. La réponse indique « dans les 30 jours suivant la livraison » et cite la politique de retour, version 3. C’est le bogue. Il apparaît chaque fois avec ces mots et cette graine.

Le deuxième essai est le premier de Tomás. Il saisit « Combien de temps ai-je pour retourner quelque chose? », également avec la graine 2. La réponse est « Je n’ai pas trouvé cette information dans les politiques de Larkfield, alors je préfère ne pas deviner. » Il a manqué le bogue parce que l’entrée exacte n’était pas dans le rapport.

Le troisième essai est le deuxième de Tomás. Il saisit les mots exacts, mais sans graine. L’application choisit donc la graine 22928. La réponse indique « dans les 45 jours suivant la livraison » et cite la version 4, ce qui est correct. Il a manqué le bogue parce que la graine n’était pas dans le rapport.

Regardez le deuxième essai. Même graine, autres mots, réponse différente. L’assistant cherche dans les politiques avec les mots de la question. D’autres mots ont trouvé d’autres sections, donc la réponse a suivi un autre chemin. Au troisième essai, les mots étaient les bons, mais pas la graine. La question sur les retours échoue environ 3 fois sur 10. Une graine aléatoire donne donc généralement une réponse correcte.

Tomás n’a rien fait de mal. Il a testé ce que le rapport lui donnait, et celui-ci ne lui donnait presque rien. « Impossible à reproduire » signifie ici « le rapport n’indiquait pas comment ». Dans un logiciel classique, la même entrée donne généralement le même résultat. « Le robot dit 30 jours » pourrait donc suffire. Dans une fonction d’IA, les mots exacts, la graine, les versions et les données modifient tous la réponse. Chaque élément manquant est une autre façon de manquer le bogue.

Quand vous observez une défaillance, vous recueillez une trousse de preuves. Elle contient tout ce qu’il faut pour qu’une autre personne la reproduise et en comprenne la cause. Dans l’application de chasse aux bogues, elle compte six éléments. Chacun répond à une question du développeur.

Six cartes présentant chacune un élément de preuve, sa valeur pour la défaillance du délai de retour et la question correspondante. 1, l'entrée exacte : « Combien de jours ai-je pour retourner un article inutilisé? », copiée du clavardage, et non ressaisie. Elle répond à : qu'avez-vous envoyé? 2, les versions : application 2.3.0, requête support-v8, modèle sim-1 (simulé). Elles répondent à : quelle version du logiciel a répondu? 3, les paramètres : graine 2, date de l'application 16 novembre 2026, client de test C-1001. Ils répondent à : comment obtenir le même essai? 4, la sortie, mot pour mot : « dans les 30 jours suivant la livraison », source [1] Politique de retour, version 3. Elle répond à : qu'avez-vous vu? 5, l'identifiant de trace et les éléments récupérés ou appelés : tr-0001-1, versions 4 et 3 récupérées, aucun appel d'outil, version 3 citée. Ils répondent à : que s'est-il passé à l'intérieur? 6, l'exportation de la conversation : evidence/bug-002-seed2.json, éléments 1 à 5 dans un fichier, la relecture donne 1 réponse identique sur 1. Elle répond à : puis-je l'exécuter moi-même?
La trousse de preuves d'une défaillance, remplie pour la réponse sur le délai de retour avec la graine 2. Simulation (application d'exercice).
Description textuelle du diagramme

Les six éléments, avec leurs valeurs pour la défaillance du délai de retour :

  1. L’entrée exacte, « Combien de jours ai-je pour retourner un article inutilisé? », copiée du clavardage et non ressaisie. Elle répond à : qu’avez-vous envoyé?
  2. Les versions : application 2.3.0, requête support-v8, modèle sim-1 (simulé). Elles répondent à : quelle version du logiciel a répondu?
  3. Les paramètres : graine 2, date de l’application 16 novembre 2026, client de test C-1001. Ils répondent à : comment obtenir le même essai?
  4. La sortie, mot pour mot : « dans les 30 jours suivant la livraison », avec la source [1], la politique de retour, version 3. Elle répond à : qu’avez-vous vu?
  5. L’identifiant de trace, tr-0001-1, et les éléments récupérés ou appelés par l’assistant. Il a récupéré les versions 4 et 3, n’a appelé aucun outil et a cité la version 3. Ils répondent à : que s’est-il passé à l’intérieur?
  6. L’exportation de la conversation, evidence/bug-002-seed2.json, qui contient les éléments 1 à 5 dans un seul fichier. Sa relecture donne 1 réponse identique sur 1. Elle répond à : puis-je l’exécuter moi-même?

Pourquoi chaque élément?

  • L’entrée exacte. La recherche utilise les mots. Ressaisissez une question de mémoire et vous testez une autre question, comme Tomás. Copiez-la du clavardage ou de la trace.
  • Les versions. Une version publiée en a trois : l’application, la requête (les instructions au modèle) et le modèle. Un bogue dans la requête support-v8 peut disparaître dans support-v9, ou un nouveau bogue peut apparaître. Sans versions, « ça fonctionne maintenant » peut signifier « ça fonctionne dans une autre version du logiciel ».
  • Les paramètres. La graine fixe les choix aléatoires de sim-1. La date de l’application détermine quelle version de la politique s’applique. Le client de test détermine quelles commandes l’assistant peut voir.
  • La sortie, mot pour mot. « Il a dit quelque chose de faux sur les retours » est un souvenir. « Dans les 30 jours suivant la livraison », avec la source, est un fait que chacun peut vérifier.
  • L’identifiant de trace et les éléments récupérés ou appelés par l’assistant. La réponse montre ce que le client a vu. La trace montre pourquoi : les sections trouvées, les outils exécutés avec leurs valeurs et la source utilisée. Citez les champs importants, pas les 60 lignes.
  • L’exportation de la conversation. Un fichier JSON avec tout ce qui précède, pour chaque échange. Un développeur peut le rejouer sur son ordinateur.

La trace et l’exportation sont l’enregistreur de vol de l’application, comme dans Découvrir l’application de chasse aux bogues. Cette leçon explique comment les utiliser délibérément au moment d’une défaillance et vérifier que le résultat la reproduit vraiment.

Exemple détaillé : Esme recueille les preuves de BL-104

Section intitulée « Exemple détaillé : Esme recueille les preuves de BL-104 »

Esme repart du rapport en attente. Ses notes de session lui ont déjà appris que la graine 2 donne la réponse de 30 jours. Elle recueille maintenant la trousse, élément par élément. Suivez les étapes avec elle dans ai-qa/practice-app.

  1. Réinitialisez les données de test pour que vos identifiants soient les mêmes que les siens :

    Fenêtre de terminal
    python -m helpdesk reset
    The store is reset: 4 test customers, 8 orders, 8 reviews, no conversations.
  2. Envoyez la question avec les mots exacts du client et la graine 2 :

    Fenêtre de terminal
    python -m helpdesk ask "How many days do I have to return an unused item?" --seed 2

    La sortie, simulée (application d’exercice) :

    Thanks for asking. You can return an unused item within 30 days of delivery for a full refund of the item price. [1] I hope this helps.
    Sources:
    [1] Returns policy, version 3: Return window (/policies/returns-policy/v3#return-window)
    [conversation c-0001 | trace tr-0001-1 | seed 2]

    Cela donne les éléments 1, 3 et 4 : l’entrée, la graine et la sortie. La dernière ligne donne aussi l’identifiant de conversation et l’identifiant de trace.

  3. Affichez la trace :

    Fenêtre de terminal
    python -m helpdesk trace tr-0001-1

    La sortie compte environ 60 lignes. Voici les lignes qu’Esme cite dans ses notes :

    trace tr-0001-1 (part)
    "app_version": "2.3.0",
    "prompt_version": "support-v8",
    "model": "sim-1",
    "settings": { "seed": 2, "today": "2026-11-16", ... },
    "customer_id": "C-1001",
    "retrieved": [
    { "doc_id": "returns-policy", "version": 4, "section": "Return window",
    "score": 7.926, "effective_from": "2026-11-01", "effective_to": null },
    { "doc_id": "returns-policy", "version": 3, "section": "Return window",
    "score": 7.926, "effective_from": "2025-03-01", "effective_to": "2026-10-31" },
    ...
    ],
    "tool_calls": [],
    "cited": [ "returns-policy@3#return-window" ]

    Cela donne les éléments 2 et 5. La recherche a trouvé les deux versions avec le même score, 7,926. La réponse a cité la version 3, qui prenait fin le 31 octobre. Aucun outil n’a été appelé, donc le code des outils n’est pas en cause.

Esme écrit les cinq éléments dans ses notes avant de faire autre chose. Puis elle crée le sixième élément, l’exportation, et prouve qu’il fonctionne.

  1. Créez un dossier pour les preuves dans votre espace de travail :

    Fenêtre de terminal
    mkdir -p ../workspace/bugs/evidence
  2. Exportez-y la conversation. Donnez au fichier un nom qui indique le bogue et la graine :

    Fenêtre de terminal
    python -m helpdesk export c-0001 -o ../workspace/bugs/evidence/bug-002-seed2.json
    Exported c-0001 to ../workspace/bugs/evidence/bug-002-seed2.json

    Les barres obliques fonctionnent aussi sous Windows, donc cette commande est la même sur tous les systèmes.

  3. Réinitialisez, comme le ferait un développeur qui commence avec une copie propre de l’application :

    Fenêtre de terminal
    python -m helpdesk reset
  4. Rejouez l’exportation :

    Fenêtre de terminal
    python -m helpdesk replay ../workspace/bugs/evidence/bug-002-seed2.json
    turn 1: same reply
    1 of 1 replies are the same (seed 2, new conversation c-0001).

« 1 réponse sur 1 est identique » est la preuve. Après une réinitialisation, avec seulement le fichier, l’application a de nouveau donné la réponse de 30 jours. Esme sait maintenant que ses preuves sont complètes, avant de les envoyer à qui que ce soit.

Pourquoi appelle-t-elle le bogue BUG-002? Son premier constat, le montant du remboursement, sera BUG-001. Vous rédigez celui-là à la fin de cette leçon. Esme attribue un identifiant à chaque bogue et l’utilise dans chaque fichier : l’exportation, le rapport et, plus tard, le cas de test.

Ouvrez bug-002-seed2.json dans votre éditeur et trouvez chaque élément de la trousse. Le tableau indique où chacun se trouve.

Élément Où il se trouve dans l’exportation
1. Entrée exacte messages : l’entrée avec "role": "user", son champ text (texte)
2. Versions app_version, prompt_version, model et mode (sim ou live, simulé ou réel)
3. Paramètres settings (paramètres : graine, date de l’application) et customer_id (identifiant du client)
4. Sortie messages : l’entrée avec "role": "assistant"
5. Trace traces : la trace complète de chaque réponse, avec retrieved (éléments récupérés), tool_calls (appels d’outils) et cited (sources citées)
6. L’exportation elle-même le fichier, avec started_at (date de début) et exported_at (date d’exportation)

Si un élément manque dans l’exportation, il manque dans vos preuves.

Vous ne trouvez pas toujours une défaillance avec ask (poser une question). Chaque façon de tester l’application vous donne une exportation :

  • Dans le terminal : python -m helpdesk export c-... -o file.json, avec l’identifiant de conversation de la dernière ligne de la réponse. Dans chat (clavardage), saisissez /export (exporter).
  • Dans l’application Web : sélectionnez Export (exporter) dans la barre du haut. Le navigateur télécharge c-0001.json (ou l’identifiant de la conversation). Déplacez-le dans workspace/bugs/evidence et renommez-le.
  • Depuis l’exécuteur de tests d’assurance qualité : chaque essai en échec d’un cas est déjà enregistré dans le dossier du rapport, dans reports/qa-.../conversations/. Vous les avez utilisés dans Grilles d’évaluation et vérifications de propriétés. Copiez celui qu’il vous faut dans workspace/bugs/evidence.

Recueillez les preuves dès que vous voyez la défaillance. Les preuves disparaissent. reset (réinitialiser) supprime toutes les conversations et traces. Une graine aléatoire que vous n’avez pas notée est perdue. Et une nouvelle version peut changer la réponse. Le coût est faible : deux commandes et un fichier de quelques kilooctets.

Recueillez les preuves des échecs, pas de chaque essai. Un essai réussi demande une ligne dans vos notes de session avec sa graine, pas une exportation. Gardez les exportations des essais que vous signalez.

Avec un modèle réel, l’exportation est un enregistrement, pas une relecture. Un modèle réel ne donne pas deux fois la même réponse, même avec les mêmes paramètres. Dans les essais enregistrés du cours avec un modèle réel, 11 questions sur 30 ont donné 10 réponses différentes en 10 essais. Pour un assistant réel, recueillez donc la même trousse pour plusieurs essais en échec et indiquez le nombre d’essais effectués. Les éléments restent les mêmes : entrée exacte, versions, paramètres, sortie, trace et exportation.

Les données réelles sont l’exception. Chez Larkfield, toutes les conversations de l’application utilisent des clients de test. Une conversation du vrai service de soutien contient des noms, des commandes et des adresses réels. Ne la joignez pas telle quelle. Reproduisez la défaillance avec un client de test et joignez cette exportation. Un modèle de rapport de bogue pour le comportement de l’IA montre ce qu’il faut exclure d’un rapport.

Erreur courante

L'exportation s'arrête avec FileNotFoundError

Symptôme : l’exportation affiche une longue erreur qui se termine ainsi :

FileNotFoundError: [Errno 2] No such file or directory: '../workspace/bugs/evidence/bug-002-seed2.json'

Cause : le dossier workspace/bugs/evidence n’existe pas encore. export écrit un fichier, mais ne crée pas de dossiers.

Solution : créez le dossier (la première étape de l’exportation ci-dessus), puis relancez la même exportation. Rien n’est perdu : la conversation reste dans l’application jusqu’à la réinitialisation.

Erreur courante

La relecture indique DIFFERENT reply

Symptôme : vous rejouez l’exportation d’une annulation et la relecture affiche ceci (simulation, application d’exercice) :

turn 1: DIFFERENT reply
before: Do you want me to cancel order LK-200101 (HT-550 corded hedge trimmer)? Reply yes to confirm.
now: Order LK-200101 is Cancelled, so it can no longer be cancelled. You can return the items after delivery.
turn 2: DIFFERENT reply
before: Done: order LK-200101 is cancelled.
now: I could not find this in Larkfield's policies, so I do not want to guess. The help desk can help: 1-800-555-0142.
0 of 2 replies are the same (seed 7, new conversation c-0002).

Cause : la conversation a modifié les données de test : elle a réellement annulé la commande LK-200101. La relecture a utilisé les données modifiées, donc l’assistant a trouvé une commande annulée.

Diagnostic : cherchez un appel d’outil qui modifie les données (cancel_order, start_refund) dans les traces de l’exportation.

Solution : rejouez avec les données telles qu’elles étaient au départ :

Fenêtre de terminal
python -m helpdesk replay --reset c-0001.json
turn 1: same reply
turn 2: same reply
2 of 2 replies are the same (seed 7, new conversation c-0001).

L’état des données fait partie des paramètres. Dans votre rapport, commencez les étapes par python -m helpdesk reset. Le développeur commencera ainsi avec les mêmes données que vous.

À vous : recueillez les preuves du constat sur le remboursement

Section intitulée « À vous : recueillez les preuves du constat sur le remboursement »

Dans Grilles d’évaluation et vérifications de propriétés, l’offre de remboursement du dévidoir donnait un montant erroné avec la graine 4. Recueillez sa trousse de preuves sous BUG-001. Cette fois, la conversation comporte deux échanges : l’offre, puis « oui ». La trousse doit donc aussi montrer ce que l’assistant a appelé quand le client a dit oui. Cela prend environ 10 minutes.

  1. Réinitialisez les données de test.
  2. Lancez un clavardage avec la graine 4 : python -m helpdesk chat --seed 4.
  3. Saisissez I want to return the hose reel from order LK-200102 (je veux retourner le dévidoir de la commande LK-200102) et appuyez sur Entrée.
  4. Saisissez yes (oui). Puis saisissez /trace pour voir la trace de cette réponse.
  5. Saisissez /quit (quitter).
  6. Exportez la conversation vers ../workspace/bugs/evidence/bug-001-seed4.json.
  7. Réinitialisez, puis rejouez l’exportation. Si elle a modifié les données, ajoutez --reset.
  8. Dans vos notes, écrivez les six éléments de la trousse pour BUG-001. Pour l’élément 5, écrivez ce que montre la trace de l’échange 2.
Vérifiez vos preuves

Le clavardage (simulation, application d’exercice), abrégé :

assistant> I can start the return of the AquaFlow HR-30 hose reel from order LK-200102. Your refund will be 79.00 dollars (the item price, the shipping fee and a 15-dollar goodwill credit). Reply yes to confirm.
[trace tr-0001-1]
assistant> Done: the return is started (refund 51.05 dollars). We email the return label within 1 business day.
[trace tr-0001-2]

La trace de l’échange 2, tr-0001-2, contient un appel d’outil :

trace tr-0001-2 (part)
"input": "yes",
"tool_calls": [
{
"name": "start_refund",
"args": { "order_id": "LK-200102", "sku": "HR-30", "confirmed": true },
"result": { "ok": true, "refund_id": 1, "order_id": "LK-200102", "sku": "HR-30", "amount": 51.05 }
}
]

La relecture après une réinitialisation donne 2 of 2 replies are the same (seed 4, new conversation c-0001) (2 réponses sur 2 sont identiques, graine 4, nouvelle conversation c-0001). Le remboursement a modifié les données de test, mais la relecture est partie de données réinitialisées. La relecture simple fonctionne donc aussi. replay --reset donne le même résultat.

L’élément 5 est le plus important. La réponse proposait 79,00 $. L’outil a lancé un remboursement de 51,05 $, le bon montant (64,00 moins 12,95 de frais de retour). Le client a donc accepté un montant et en reçoit un autre. Sans la trace de l’échange 2, vous signaleriez seulement « un montant erroné ». Avec elle, vous pouvez montrer que la réponse et l’action ne concordent pas. Vous pouvez aussi montrer que l’outil de remboursement a calculé le bon montant.

Votre trousse :

  1. L’entrée de l’étape 3, puis « oui ».
  2. Application 2.3.0, requête support-v8, modèle sim-1 (simulé).
  3. Graine 4, date de l’application 16 novembre 2026, client de test C-1001.
  4. Les deux réponses ci-dessus.
  5. Traces tr-0001-1 et tr-0001-2, avec l’appel d’outil.
  6. L’exportation bug-001-seed4.json.

Vérifiez votre compréhension

Tomás a votre graine, 2, mais il reformule la question sur les retours. Prédisez : voit-il la réponse de 30 jours? Expliquez pourquoi les mots exacts font partie des preuves.

Afficher la réponse

Probablement pas. Dans cette leçon, « How long do I have to return something? » (Quel est le délai pour retourner un article?) avec la graine 2 a donné « I could not find this in Larkfield’s policies » (Je n’ai pas trouvé cette information dans les politiques de Larkfield). L’assistant cherche dans les politiques avec les mots de la question. D’autres mots trouvent d’autres sections. La réponse suit donc un autre chemin, même avec la même graine. Copiez l’entrée exacte depuis la conversation ou la trace. Ne la retapez jamais de mémoire.

Vérifiez votre compréhension

Vous exportez une conversation où l'assistant a annulé une commande. Votre réexécution indique « 0 of 2 replies are the same » (0 réponse sur 2 est identique). Vos preuves sont-elles incorrectes? Que faites-vous?

Afficher la réponse

Les preuves sont bonnes. La conversation a modifié les données de test, et la réexécution a utilisé ces données modifiées : la commande était déjà annulée. Relancez avec python -m helpdesk replay --reset file.json, qui repart de données neuves. Dans le rapport, commencez les étapes par python -m helpdesk reset, car l’état des données fait partie des paramètres.

Vérifiez votre compréhension

Vous voyez une réponse incorrecte dans l'application Web et vous n'avez pas saisi de graine. Nommez les six éléments de preuve à recueillir et indiquez où trouver chacun dans l'application Web.

Afficher la réponse
  1. L’entrée exacte : copiez votre message depuis la conversation. 2. Les versions : elles se trouvent dans la trace et l’exportation (application, requête, modèle). 3. Les paramètres : la graine et la conversation sous la réponse, le client de test dans la barre du haut et la date de l’application dans la trace. 4. La sortie : copiez la réponse mot pour mot, avec ses sources. 5. La trace : sélectionnez l’identifiant de trace sous la réponse. Notez ce que l’assistant a récupéré, les outils qu’il a appelés et les sources qu’il a citées. 6. L’exportation : sélectionnez Export (exporter), puis déplacez le fichier dans workspace/bugs/evidence. Enfin, réinitialisez et réexécutez l’exportation pour vérifier qu’elle donne la même réponse.

Récapitulatif

  • « Impossible à reproduire » signifie souvent « le rapport n’indiquait pas comment ». Pour une fonction d’IA, les mots exacts, la graine, les versions et les données influencent tous la réponse.
  • Un dossier de preuves contient six éléments : l’entrée exacte, les versions, les paramètres, la sortie mot pour mot, l’identifiant de trace avec ce que l’assistant a récupéré ou appelé, et l’exportation.
  • Recueillez les preuves au moment de la défaillance : reset (réinitialiser) supprime les conversations et les traces.
  • Vérifiez le dossier : réinitialisez, puis réexécutez l’exportation. « Même réponse » signifie qu’un développeur peut voir ce que vous avez vu. Utilisez replay --reset quand la conversation a modifié des données.
  • La trace montre ce que la réponse ne montre pas : dans BUG-001, la réponse proposait 79,00 $, mais l’outil de remboursement a lancé un remboursement de 51,05 $.

Votre espace de travail contient maintenant workspace/bugs/evidence/ avec bug-002-seed2.json (le délai de retour) et bug-001-seed4.json (l’offre de remboursement). Vos notes contiennent aussi les six éléments de chaque dossier. Ensuite, vous décidez de la gravité de chaque bogue et des mesures à prendre quand il apparaît seulement parfois.

Leçon suivante : Gravité et tri pour « parfois faux »