Aller au contenu
English

Chartes de test et sessions

  • Leçon 7
  • 35 min
  • Module 3 : Explorer et reproduire

Où nous en sommes

Dans le module 2, nous avons planifié selon les risques et écrit des vérifications pour les défaillances attendues. Mais beaucoup de défaillances sont celles que personne n'attendait, et une liste de tests planifiés ne les trouve pas. Dans cette leçon, nous explorons l'application librement, mais avec une structure : une charte, une durée limite, des notes avec preuves et un bilan.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 7 sur 24 · Tester les applications d'IA : assurance qualité manuelle et assistée par l'IAChartes de test et sessions
Aperçu du cours

Ce que vous saurez faire

Planifiez une session exploratoire avec une charte de test, gardez des notes contenant des preuves et terminez par un court bilan. Explorez ensuite l’application de chasse aux bogues pendant 30 minutes avec votre propre charte.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre dossier de cours ai-qa, avec l’application dans ai-qa/practice-app et son environnement virtuel .venv, configurés dans la leçon sur l’application de chasse aux bogues.
  • Un éditeur de texte pour les fichiers Markdown.

Testé sur macOS (puce Apple) avec Python 3.13 et 3.14. Les commandes Windows n’ont pas été exécutées pour cette leçon.

Vous avez deux heures libres dans une ville que vous ne connaissez pas. Vous pouvez vous promener sans but. Vous verrez beaucoup de rues, mais à la fin, vous ne pourrez pas dire ce que vous avez vu ou manqué.

Ou vous pouvez vous donner une mission : « Parcourir le vieux quartier avec la carte papier pour trouver une boulangerie ouverte le dimanche. Revenir à l’hôtel à 18 h. » La mission ne précise pas quelles rues prendre. Vous choisissez toujours en chemin et vous remarquez quand même un beau marché sur votre parcours. Mais la promenade a un objectif, une limite et une fin. Ensuite, vous pouvez raconter à un ami votre parcours, vos découvertes et les rues qu’il reste à voir.

Voici un exemple construit. Pour son premier après-midi avec l’application de chasse aux bogues, Esme fait comme bien des testeurs devant une nouvelle fonction. Elle ouvre l’application Web et essaie des choses pendant trois heures. Certaines réponses semblent étranges. À la fin de la journée, ses notes disent ceci :

refund amount looked wrong once??
return window: 30 days sometimes, 45 other times
French reply in English? check

Le lendemain matin, Tomás, l’ingénieur en IA, pose trois questions. Quel client de test? Quelle graine? Quelle trace? Esme ne le sait pas, alors il ne peut pas voir les défaillances. Puis Omar, le gestionnaire de produit, demande : « As-tu testé les annulations? » Esme n’est pas certaine. Elle se souvient de quelques essais, mais pas du client utilisé.

L’après-midi présentait trois problèmes :

  • Aucune preuve. Les notes ne contiennent ni identifiants de trace ni graines. Personne ne peut revoir les défaillances.
  • Aucune couverture connue. Esme ne peut pas dire ce qu’elle a testé et ce qu’elle n’a pas testé.
  • Aucune fin. Rien ne lui indiquait quand arrêter, ni quand cesser d’examiner une réponse étrange.

Le problème n’est pas qu’elle a exploré. L’exploration a révélé trois vrais problèmes en un après-midi. Le problème, c’est que cette exploration n’a rien laissé que les autres peuvent utiliser.

L’idée : une charte, une durée limitée et des notes

Section intitulée « L’idée : une charte, une durée limitée et des notes »

Les tests exploratoires consistent à concevoir et à exécuter les tests en même temps. Chaque résultat vous aide à choisir le test suivant. Ils conviennent bien aux fonctions d’IA, car vous ne pouvez pas prévoir toutes les entrées et toutes les réponses acceptables. Mais les tests exploratoires ne consistent pas à cliquer au hasard. Ils ont une structure en trois parties.

  1. Une charte de test décrit la mission d’une session. Vous la rédigez avant de commencer. Elle précise quoi explorer, avec quoi et ce que vous voulez apprendre. Comme la mission de la promenade, elle donne un objectif, mais pas le parcours.
  2. Une session exploratoire est une période réservée à une charte, souvent de 30 à 90 minutes, sans interruptions. La durée limitée donne une fin à la session.
  3. Les notes de session consignent ce que vous écrivez pendant les tests : chaque entrée, vos observations et les preuves associées. Un court bilan à la fin transforme les notes en décisions.

Cette façon de travailler s’appelle la gestion des tests par sessions. Jonathan et James Bach l’ont décrite pour tester des logiciels ordinaires. Elle fonctionne de la même façon pour les fonctions d’IA. Seules les preuves diffèrent : pour une réponse d’IA, vous gardez la graine, l’identifiant de trace et les versions.

Une charte tient en une phrase de trois parties. Cette forme vient du livre d’Elisabeth Hendrickson sur les tests exploratoires, Explore It! :

Explorer une cible avec des ressources pour découvrir de l’information.

  • La cible est une zone de l’application : une fonction, un risque ou une partie de la conversation. Elle doit être assez petite pour une session.
  • Les ressources sont ce que vous utilisez : les clients de test que vous incarnez, les données, les graines et les outils. La trace et l’exportation sont des exemples d’outils.
  • L’information est la question à laquelle la session répond. « Les montants des remboursements sont-ils parfois erronés? » est une question. « Tester les remboursements » n’en est pas une.

Voici la charte d’Esme pour sa première session planifiée. Elle a choisi la cible dans son tableau des risques : les remboursements causent des dommages importants et sont fréquents.

Une fiche intitulée « Charte de test : remboursements et retours ». Explorer : les retours et les offres de remboursement pour les commandes livrées. Note : la cible, une zone de l'application assez petite pour une session. Avec : les clients de test C-1001, C-1002 et C-1003; les graines fixes de 1 à 5; la trace et l'exportation. Note : les ressources, qui vous incarnez, quelles données et quels outils vous utilisez. Pour découvrir : si les montants des remboursements, les versions de la politique et les confirmations sont parfois erronés. Note : l'information, la question à laquelle la session répond. En bas, le cadre : testeuse Esme, durée limitée de 30 minutes, application 2.3.0, requête support-v8, modèle sim-1 (simulé); risques : remboursements et retours, annulation d'une commande, réponses en français; hors portée : commandes d'autres clients. Note : qui, quelle durée, quelle version, quels risques et ce qui ne fait pas partie de cette session.
La charte d'Esme pour sa première session. La phrase du haut décrit la mission; le cadre en dessous rend la session reproductible.
Description textuelle du diagramme

La fiche comporte quatre parties. Explorer : les retours et les offres de remboursement pour les commandes livrées. C’est la cible. Avec : trois clients de test, C-1001, C-1002 et C-1003, les graines fixes de 1 à 5, la trace et l’exportation. Ce sont les ressources. Pour découvrir : si les montants des remboursements, les versions de la politique et les confirmations sont parfois erronés. C’est l’information que la session doit trouver.

Sous la phrase se trouve le cadre. Esme est la testeuse et la durée limite est de 30 minutes. Les versions sont l’application 2.3.0, la requête support-v8 et le modèle sim-1, qui est simulé. Les risques viennent de son tableau : remboursements et retours, annulation d’une commande et réponses en français. Les commandes d’autres clients sont hors portée, car une autre charte les couvre.

Chaque client de test a sa raison d’être. C-1001 n’a pas d’adhésion Rewards, C-1002 a un barbecue de plus de 30 kg et C-1003 est francophone et membre Rewards Gold. Chacun correspond à une règle de remboursement différente. Les graines fixes rendent chaque exécution reproductible, pour pouvoir montrer toute défaillance à Tomás. La mention « hors portée » protège la durée limite. Les commandes d’autres clients présentent un vrai risque, mais elles ont leur propre session.

La partie la plus difficile d’une charte est sa portée. Comparez trois chartes pour la même zone :

Charte Problème
Explorer l’assistant pour trouver des bogues Trop large. Elle n’a ni cible ni question, donc la session n’a ni orientation ni fin.
Explorer la question sur les retours avec la graine 2 pour découvrir si la réponse indique 30 jours Trop étroite. C’est un cas de test, pas une session. Vous connaissez déjà la réponse.
Explorer les retours et les offres de remboursement avec trois clients de test et les graines de 1 à 5 pour découvrir si les montants, les versions et les confirmations sont parfois erronés Juste assez précise. Une zone, quelques ressources, une question à laquelle 30 minutes permettent de répondre en partie.

Une bonne charte laisse de la place aux surprises. Esme ne dresse pas la liste des messages qu’elle enverra. Elle inscrit des idées à essayer sous la charte et en ajoute pendant ses tests.

Esme réinitialise les données de test, démarre une minuterie et essaie ses idées. Elle écrit une ligne de notes pour chaque message. L’image montre ses 30 minutes. Cinq de ses lignes correspondent à de vrais constats sur les défauts placés dans l’application. Cette leçon en montre un; les autres sont à vous de les trouver.

Une ligne du temps de 0 à 30 minutes. Une courte bande grise, préparation, couvre les 3 premières minutes; une bande bleue, tests, investigation et prise de notes, couvre le reste. Événements au-dessus et en dessous de la ligne : minute 2, correct, offre de remboursement de 51,05 $, trace tr-0001-1. Minute 3, correct, « yes » (oui) lance le remboursement, tr-0001-2. Minute 6, un constat, à vous de le trouver. Minute 9, correct en français, une question pour Grace. Minute 12, BOGUE, 30 jours, version 3, tr-0004-1, avec une bordure rouge. Minute 13, graine 3 : 45 jours, donc « parfois », tr-0005-1. Minute 15, un constat, à vous de le trouver. Minute 18, correct, remboursement du barbecue de 600,00 $, tr-0007-1. Minute 21, un constat, à vous de le trouver. Minute 25, un constat hors de la charte, à vous de le trouver. Minute 30, la durée limite est atteinte : rédiger le bilan.
La session de 30 minutes d'Esme sur la charte des remboursements. Simulation (application d'exercice). Les cases en pointillés représentent des constats que cette leçon ne montre pas.
Description textuelle du diagramme

La session commence par 3 minutes de préparation : réinitialisation et minuterie. Les tests, l’investigation et les notes occupent ensuite le reste. À la minute 2, l’offre de remboursement du dévidoir est correcte : 51,05 $, trace tr-0001-1. À la minute 3, le « yes » (oui) du client lance le remboursement, trace tr-0001-2. À la minute 6, il y a un constat que cette leçon ne montre pas. À la minute 9, une offre de remboursement en français est correcte, mais Esme note une question pour Grace. À la minute 12 apparaît le bogue présenté dans cette leçon. Le délai de retour est de 30 jours, selon la version 3 de la politique, trace tr-0004-1. À la minute 13, la graine 3 donne 45 jours, donc le bogue ne survient que parfois. La minute 15 contient un autre constat caché. À la minute 18, le remboursement du barbecue de 600,00 $ est correct. Les minutes 21 et 25 contiennent des constats cachés; celui de la minute 25 est hors de la charte. À la minute 30, la durée limite est atteinte et Esme rédige le bilan.

Trois habitudes rendent cette session utile.

Chaque ligne contient sa preuve. L’identifiant de trace et la graine sont dans les notes dès qu’Esme voit la réponse. Elle n’a pas besoin de se souvenir de quoi que ce soit plus tard.

Un constat reçoit une vérification rapide, pas une longue recherche. À la minute 12, la réponse indique 30 jours. Une minute plus tard, Esme envoie la même question avec la graine 3, et la réponse indique 45 jours. Elle sait maintenant que le bogue ne survient que parfois. Elle écrit « À quelle fréquence? » et continue. Elle mesure le taux après la session, comme le montre la dernière leçon de ce module.

Un constat hors de la charte est noté, pas approfondi. À la minute 25, Esme trouve quelque chose qui ne concerne pas les remboursements. C’est trop important pour l’oublier, alors elle écrit une ligne et indique « hors de ma charte ». Ce constat devient une nouvelle charte, pas un détour de 40 minutes.

Esme utilise le modèle de notes de session du dossier de cours (templates/session-notes.md). Voici quatre de ses lignes; les autres contiennent les constats cachés.

workspace/notes/session-01-refunds.md (part)
| Min | What I did (customer, seed) | What I saw | Trace | Bug? Question? Idea? |
|---|---|---|---|---|
| 2 | C-1001, seed 1: "I want to return the hose reel from order LK-200102" | Asks first. 51.05 dollars = 64.00 - 12.95. | tr-0001-1 | OK |
| 3 | same conversation: "yes" | "Done: the return is started (refund 51.05 dollars)". Trace: `start_refund` with `confirmed: true`, result ok. | tr-0001-2 | OK |
| 12 | C-1001, seed 2: "How many days do I have to return an unused item?" | **"30 days", cites version 3.** | tr-0004-1 | **Bug: outdated policy.** |
| 13 | C-1001, seed 3: same question | "45 days", version 4. | tr-0005-1 | So it is "sometimes". |

Les notes indiquent le résultat attendu, pas seulement ce qui s’est produit. « 51,05 $ = 64,00 - 12,95 » montre qu’Esme a vérifié le montant selon la règle. Il s’agit du prix de l’article moins 12,95 $ de frais d’expédition de retour. « Correct » sans raison ne montrerait pas qu’elle a vérifié quoi que ce soit.

En haut du fichier, Esme consigne aussi la répartition des 30 minutes : préparation 10 %, tests 60 %, investigation et notes sur les bogues 30 %. Cette répartition donne un signal à l’équipe. Si l’investigation occupe presque toute la session, la zone contient beaucoup de bogues et la charte a couvert moins que prévu.

Exemple détaillé : exécutez vous-même les premières minutes

Section intitulée « Exemple détaillé : exécutez vous-même les premières minutes »

Exécutez maintenant quatre lignes de la session d’Esme sur votre ordinateur et consignez-les dans vos propres notes. Les identifiants diffèrent des siens à un endroit, car vous sautez ses autres lignes.

  1. Ouvrez un terminal, allez dans ai-qa/practice-app et activez l’environnement virtuel comme dans la leçon sur l’application de chasse aux bogues.

  2. Réinitialisez les données de test pour que vos identifiants commencent à 1 :

    Fenêtre de terminal
    python -m helpdesk reset

    La sortie :

    The store is reset: 4 test customers, 8 orders, 8 reviews, no conversations.
  3. Démarrez une conversation en tant qu’Alex Martin (C-1001, le client par défaut) avec la graine 1 :

    Fenêtre de terminal
    python -m helpdesk chat --seed 1
  4. Tapez I want to return the hose reel from order LK-200102 (je veux retourner le dévidoir de la commande LK-200102) et appuyez sur Entrée. Tapez ensuite yes (oui), puis /quit (quitter).

    La sortie, simulée (application d’exercice) :

    Larkfield help desk 2.3.0 (simulated model sim-1).
    Signed in as test customer C-1001. Conversation c-0001, seed 1.
    Type a message. Commands: /trace, /export, /new, /quit
    you> I want to return the hose reel from order LK-200102
    assistant> I can start the return of the AquaFlow HR-30 hose reel from order LK-200102. Your refund will be 51.05 dollars (the item price minus 12.95 dollars return shipping). Reply yes to confirm.
    [trace tr-0001-1]
    you> yes
    assistant> Done: the return is started (refund 51.05 dollars). We email the return label within 1 business day.
    [trace tr-0001-2]
    you> /quit
  5. Envoyez la question sur les retours avec la graine 2, puis avec la graine 3 :

    Fenêtre de terminal
    python -m helpdesk ask "How many days do I have to return an unused item?" --seed 2
    python -m helpdesk ask "How many days do I have to return an unused item?" --seed 3

    La sortie, simulée (application d’exercice) :

    Thanks for asking. You can return an unused item within 30 days of delivery for a full refund of the item price. [1] I hope this helps.
    Sources:
    [1] Returns policy, version 3: Return window (/policies/returns-policy/v3#return-window)
    [conversation c-0002 | trace tr-0002-1 | seed 2]
    Here is what our policy says. You can return an unused item within 45 days of delivery for a full refund of the item price. [1]
    Sources:
    [1] Returns policy, version 4: Return window (/policies/returns-policy/v4#return-window)
    [conversation c-0003 | trace tr-0003-1 | seed 3]

Les réponses sont les mêmes que celles d’Esme, car les graines et les messages sont les mêmes. Seuls les numéros de conversation et de trace diffèrent. Esme a obtenu tr-0004-1 et tr-0005-1, car elle avait envoyé d’autres messages auparavant. Rédigez maintenant vos notes.

  1. Copiez les deux modèles dans votre dossier de notes. Exécutez ceci dans ai-qa/practice-app :

    Fenêtre de terminal
    cp ../templates/test-charter.md ../workspace/notes/charter-01-refunds.md
    cp ../templates/session-notes.md ../workspace/notes/session-01-refunds.md
  2. Remplissez la charte avec celle d’Esme, présentée sur la fiche ci-dessus.

  3. Dans les notes de session, écrivez une ligne pour chacun de vos quatre messages. Utilisez vos identifiants de trace.

Vos quatre lignes devraient ressembler à ceci :

workspace/notes/session-01-refunds.md (part)
| Min | What I did (customer, seed) | What I saw | Trace | Bug? Question? Idea? |
|---|---|---|---|---|
| 2 | C-1001, seed 1: "I want to return the hose reel from order LK-200102" | Asks first. 51.05 dollars = 64.00 - 12.95. | tr-0001-1 | OK |
| 3 | same conversation: "yes" | "Done: the return is started (refund 51.05 dollars)". | tr-0001-2 | OK |
| 4 | C-1001, seed 2: "How many days do I have to return an unused item?" | **"30 days", cites version 3.** | tr-0002-1 | **Bug: outdated policy.** How often? |
| 5 | C-1001, seed 3: same question | "45 days", version 4. | tr-0003-1 | So it is "sometimes". |

Le « yes » a-t-il vraiment lancé le remboursement? La réponse le dit, mais la trace constitue la preuve. Exécutez python -m helpdesk trace tr-0001-2. Son champ tool_calls (appels d’outils) montre start_refund (lancer le remboursement) avec "confirmed": true (confirmation vraie) et le résultat "ok": true (réussite vraie). Écrivez ce que vous avez vérifié, pas ce que vous avez supposé.

Quand la durée limite est atteinte, Esme arrête, même au milieu d’une idée. Elle rédige le résumé du bilan à la fin de ses notes et rencontre Tomás et Grace pendant dix minutes. Le bilan répond à trois questions :

  1. Qu’ai-je couvert, qu’ai-je laissé de côté et pourquoi? Esme a couvert les offres de remboursement pour trois clients, la confirmation et le délai de retour dans deux langues. Elle n’a pas couvert les retours partiels de plusieurs articles ni les remboursements d’articles endommagés.
  2. Quel est le constat le plus important? Elle en nomme un pour que l’équipe sache quoi examiner en premier.
  3. Quelle est la suite? De nouvelles chartes. L’une porte sur le statut des commandes et les commandes d’autres clients, qui étaient hors portée. Une autre porte sur son constat de la minute 25. Une session ultérieure couvre les deux cas de remboursement qu’elle n’a pas couverts.

Elle pose aussi ses questions en suspens. Grace répond immédiatement à la première : « Oui, dans une réponse en français, le nom du produit peut rester en anglais. C’est le nom du produit. » Ce n’est pas un bogue, alors Esme ferme la question. Sans le bilan, elle aurait pu devenir un rapport de bogue qui fait perdre du temps à Tomás.

Un flux de haut en bas. Tableau des risques : où se trouvent les dommages. Puis charte : explorer une cible, avec des ressources, pour découvrir de l'information. Puis session : une durée limitée de 30 à 90 minutes, des notes avec des identifiants de trace. Puis bilan : ce que vous avez couvert, ce que vous avez trouvé, quoi tester ensuite. À partir du bilan, deux résultats avec des bordures vertes : rapports de bogue, avec un taux de reproduction; et nouvelles chartes pour ce que vous n'avez pas couvert. Une flèche en pointillés relie les nouvelles chartes à la session.
Le cycle de l'exploration par sessions. Chaque bilan produit des rapports de bogue et les chartes suivantes.
Description textuelle du diagramme

Le cycle commence par le tableau des risques, qui montre où se trouvent les dommages. Une charte nomme une cible, ses ressources et l’information à trouver. La session a une durée limitée de 30 à 90 minutes, avec des notes contenant des identifiants de trace. Le bilan demande ce qui a été couvert, ce qui a été trouvé et quoi tester ensuite. Il produit deux résultats : des rapports de bogue, chacun avec un taux de reproduction, et de nouvelles chartes pour les zones non couvertes. Les nouvelles chartes mènent à de nouvelles sessions.

Utilisez une session guidée par une charte quand vous ne savez pas encore où une fonction échoue. Par exemple, pour une nouvelle fonction, un nouveau modèle ou une nouvelle requête, ou une zone à risque élevé selon le tableau. L’exploration révèle des défaillances pour lesquelles personne n’avait pensé à écrire un cas de test. C’est encore plus important pour les fonctions d’IA, car leurs défaillances sont difficiles à prévoir.

N’utilisez pas l’exploration pour vérifier ce que vous savez déjà. Supposons que la règle soit claire : « le remboursement correspond au prix de l’article moins 12,95 $ ». Écrivez alors un cas de test et laissez l’outil d’exécution des tests d’assurance qualité le répéter. L’exploration trouve le bogue; un cas enregistré empêche son retour. Vous créerez ces cas dans les modules suivants.

Une session demande environ 30 à 90 minutes à un testeur. Ajoutez environ 10 minutes de bilan pour deux ou trois personnes. Les sessions plus courtes consacrent trop de temps à la préparation. Les plus longues perdent leur objectif de vue. Une session dépend aussi du testeur : deux testeurs qui suivent la même charte trouvent des choses différentes. C’est une force, si chaque session laisse des notes que les autres peuvent utiliser.

Erreur courante

Des notes sans preuves

Symptôme : une ligne de vos notes dit « montant de remboursement incorrect », mais personne, même vous, ne peut retrouver la réponse.

Cause : vous avez noté l’observation, mais pas la graine aléatoire, le client de test ou l’identifiant de trace. Ou vous avez exécuté reset (réinitialiser) avant d’exporter la conversation, ce qui supprime toutes les traces.

Diagnostic : vérifiez la ligne. Quelqu’un peut-il reproduire l’essai avec cette seule ligne? Il lui faut le message, le client de test, la graine aléatoire et l’identifiant de trace.

Correction : si vous connaissez la graine aléatoire et le client, envoyez le même message. La même graine donne la même réponse. Sinon, exécutez le message avec les graines 1 à 10 jusqu’au retour de la défaillance, puis notez cette graine. La prochaine fois, copiez immédiatement la dernière ligne de chaque réponse dans vos notes.

Erreur courante

La session s'éloigne de la charte

Symptôme : après 30 minutes, la plupart de vos notes portent sur autre chose, et la question de votre charte reste sans réponse.

Cause : vous avez trouvé quelque chose d’intéressant et vous avez poursuivi cette piste. Un constat en a entraîné un autre.

Correction : arrêtez et notez la nouvelle zone sur une ligne, avec « hors de ma charte ». Revenez à votre liste d’idées. Au bilan, proposez une nouvelle charte pour cette zone. Si le constat est grave, par exemple une action sans consentement, prévenez l’équipe immédiatement. Mais ne poursuivez pas les tests sur ce point pendant cette session.

Planifiez et exécutez maintenant votre propre session. Choisissez une cible qui ne concerne pas les remboursements. Par exemple, le statut d’une commande, les réponses en français, l’annulation d’une commande ou le résumé des avis sur un produit. Utilisez votre tableau des risques pour choisir la cible au risque le plus élevé que vous n’avez pas encore explorée.

  1. Copiez le modèle de charte dans workspace/notes/charter-02-<target>.md, par exemple charter-02-order-status.md.
  2. Écrivez la phrase de la charte : explorer, avec, pour découvrir. Puis précisez le cadre : durée limite de 30 minutes, versions, risques et éléments exclus.
  3. Écrivez au moins quatre idées à essayer. Pensez à différents clients de test, à différentes graines aléatoires et à un « oui » après une question.
  4. Copiez le modèle de notes de session dans workspace/notes/session-02-<target>.md.
  5. Exécutez python -m helpdesk reset, puis lancez une minuterie de 30 minutes.
  6. Testez. Écrivez une ligne pour chaque message, avec le client, la graine aléatoire et l’identifiant de trace.
  7. Quand une réponse semble incorrecte, essayez une ou deux autres graines aléatoires, puis continuez.
  8. Quand la minuterie sonne, arrêtez. Notez la répartition du temps et le résumé du bilan.

Utilisez ask (poser une question) pour les questions isolées, et chat (discuter) pour les conversations avec un « oui ». Utilisez l’application Web si vous préférez un navigateur. Choisissez vous-même vos graines aléatoires, par exemple de 1 à 5, pour que chaque ligne soit reproductible.

Vérifiez votre charte et vos notes

Lisez votre charte comme Omar le ferait. Un autre testeur pourrait-il exécuter la même session à partir de cette charte? Il faut une cible assez petite pour 30 minutes, les clients de test, les graines aléatoires et une question à résoudre.

Lisez vos notes comme Tomás le ferait. Peut-il reproduire chaque ligne? Il lui faut le message, le client, la graine aléatoire et l’identifiant de trace. Chaque « OK » précise-t-il ce que vous avez vérifié?

Chaque zone suggérée contient au moins un défaut ajouté volontairement. Si vous n’en avez trouvé aucun, ouvrez la trace de chaque réponse marquée OK. Vérifiez ses sources, ses versions et ses appels d’outils. Examinez ensuite vos graines aléatoires : une défaillance qui survient 1 fois sur 10 peut facilement passer inaperçue en 5 essais. Conservez votre meilleur constat : dans Répéter les essais et mesurer le taux de reproduction, vous mesurerez sa fréquence.

Vérifiez votre compréhension

Réécrivez cette charte pour qu'elle puisse guider une session de 30 minutes : « Tester l'assistant en français. »

Afficher la réponse

Elle n’a pas de cible assez petite, de ressources ni de question. Voici une bonne version : « Explorer les réponses en français sur les politiques avec C-1003, les graines 1 à 5 et la trace. Le but est de découvrir si elles sont en français et présentent les mêmes faits qu’en anglais. » Le cadre ajoute la durée limite (30 minutes) et les versions (application 2.3.0, requête support-v8, modèle sim-1). Il précise aussi les éléments exclus, par exemple les offres de remboursement en français.

Vérifiez votre compréhension

À la minute 12, Esme voit « 30 jours, version 3 ». Pourquoi renvoie-t-elle la même question avec une autre graine aléatoire? Pourquoi continue-t-elle ensuite, au lieu de l'exécuter 30 fois?

Afficher la réponse

Une autre graine aléatoire lui indique rapidement si la défaillance survient toujours ou seulement parfois. Avec la graine 3, la réponse est correcte. Le bogue est donc intermittent, ce qui change sa façon de le signaler. Elle continue parce que la durée limite de la session est consacrée à la charte. Mesurer un taux demande de nombreux essais. C’est plus facile avec l’outil d’exécution des tests d’assurance qualité après la session. Elle écrit « À quelle fréquence? » dans ses notes pour ne pas oublier.

Vérifiez votre compréhension

Quels sont les trois éléments nécessaires dans une ligne de notes pour qu'un développeur retrouve la même réponse? Pourquoi une fonction d'IA exige-t-elle ici plus d'éléments qu'une boutique en ligne ordinaire?

Afficher la réponse

Le message exact, le client de test et la graine aléatoire, et idéalement l’identifiant de trace aussi. Dans une boutique en ligne ordinaire, la même entrée donne généralement la même page. L’entrée suffit donc. Une fonction d’IA fait des choix aléatoires : le même message peut donc donner une autre réponse. La graine aléatoire permet à l’application d’exercice de répéter l’essai, et la trace montre ce qui s’est passé à l’intérieur. Avec un vrai modèle, conservez aussi l’exportation, car vous ne pouvez pas reproduire exactement la réponse.

Récapitulatif

  • Les tests exploratoires consistent à concevoir et à exécuter des tests en même temps. Une structure les rend utiles : une charte, une durée limite, des notes et un bilan.
  • Une charte de test tient en une phrase : explorer une cible, avec des ressources, pour découvrir des informations. Ajoutez le cadre : testeur, durée limite, versions, risques et éléments exclus.
  • Une session exploratoire dure de 30 à 90 minutes et suit une seule charte. Arrêtez quand le temps est écoulé.
  • Chaque ligne de notes contient ses preuves : message, client de test, graine aléatoire, identifiant de trace et éléments vérifiés.
  • Vérifiez rapidement un constat une deuxième fois, puis continuez. Notez les constats hors charte et transformez-les en nouvelles chartes.
  • Le bilan précise ce que vous avez couvert ou non, le constat le plus important et les prochains tests.

Votre espace de travail contient maintenant, dans workspace/notes/, la charte d’Esme charter-01-refunds.md. Vos notes de ses premières minutes se trouvent dans session-01-refunds.md. Vous avez aussi vos propres fichiers charter-02-<target>.md et session-02-<target>.md. Ensuite, vous varierez les personnes qui écrivent et leurs messages : personas, cas limites et entrées hostiles.

Leçon suivante : Personas, cas limites et entrées hostiles