Chartes de test et sessions
- Leçon 7
- 35 min
- Module 3 : Explorer et reproduire
Où nous en sommes
Dans le module 2, nous avons planifié selon les risques et écrit des vérifications pour les défaillances attendues. Mais beaucoup de défaillances sont celles que personne n'attendait, et une liste de tests planifiés ne les trouve pas. Dans cette leçon, nous explorons l'application librement, mais avec une structure : une charte, une durée limite, des notes avec preuves et un bilan.
Leçon 7 sur 24 · Tester les applications d'IA : assurance qualité manuelle et assistée par l'IAChartes de test et sessions
1. Comment les fonctions d'IA échouent
2. Planifier et juger sans une seule bonne réponse
3. Explorer et reproduire
4. Rédiger des rapports de bogue utiles aux personnes
5. Rédiger des rapports qu'un agent de programmation peut corriger
6. Tester la recherche, les agents et la sécurité
7. Assurance qualité assistée par l'IA et protection contre les régressions
Ce que vous saurez faire
Planifiez une session exploratoire avec une charte de test, gardez des notes contenant des preuves et terminez par un court bilan. Explorez ensuite l’application de chasse aux bogues pendant 30 minutes avec votre propre charte.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Comment envoyer des messages, lire une trace, utiliser les graines et réinitialiser l’application d’exercice, selon Découvrir l’application de chasse aux bogues.
- Comment évaluer les fonctions selon les dommages et la fréquence dans un tableau des risques, selon Planifier les tests selon les risques.
Ce qu’il vous faut sur votre ordinateur
- Votre dossier de cours
ai-qa, avec l’application dansai-qa/practice-appet son environnement virtuel.venv, configurés dans la leçon sur l’application de chasse aux bogues. - Un éditeur de texte pour les fichiers Markdown.
Testé sur macOS (puce Apple) avec Python 3.13 et 3.14. Les commandes Windows n’ont pas été exécutées pour cette leçon.
Une promenade dans une nouvelle ville
Section intitulée « Une promenade dans une nouvelle ville »Vous avez deux heures libres dans une ville que vous ne connaissez pas. Vous pouvez vous promener sans but. Vous verrez beaucoup de rues, mais à la fin, vous ne pourrez pas dire ce que vous avez vu ou manqué.
Ou vous pouvez vous donner une mission : « Parcourir le vieux quartier avec la carte papier pour trouver une boulangerie ouverte le dimanche. Revenir à l’hôtel à 18 h. » La mission ne précise pas quelles rues prendre. Vous choisissez toujours en chemin et vous remarquez quand même un beau marché sur votre parcours. Mais la promenade a un objectif, une limite et une fin. Ensuite, vous pouvez raconter à un ami votre parcours, vos découvertes et les rues qu’il reste à voir.
Le problème : un après-midi à cliquer
Section intitulée « Le problème : un après-midi à cliquer »Voici un exemple construit. Pour son premier après-midi avec l’application de chasse aux bogues, Esme fait comme bien des testeurs devant une nouvelle fonction. Elle ouvre l’application Web et essaie des choses pendant trois heures. Certaines réponses semblent étranges. À la fin de la journée, ses notes disent ceci :
refund amount looked wrong once??return window: 30 days sometimes, 45 other timesFrench reply in English? checkLe lendemain matin, Tomás, l’ingénieur en IA, pose trois questions. Quel client de test? Quelle graine? Quelle trace? Esme ne le sait pas, alors il ne peut pas voir les défaillances. Puis Omar, le gestionnaire de produit, demande : « As-tu testé les annulations? » Esme n’est pas certaine. Elle se souvient de quelques essais, mais pas du client utilisé.
L’après-midi présentait trois problèmes :
- Aucune preuve. Les notes ne contiennent ni identifiants de trace ni graines. Personne ne peut revoir les défaillances.
- Aucune couverture connue. Esme ne peut pas dire ce qu’elle a testé et ce qu’elle n’a pas testé.
- Aucune fin. Rien ne lui indiquait quand arrêter, ni quand cesser d’examiner une réponse étrange.
Le problème n’est pas qu’elle a exploré. L’exploration a révélé trois vrais problèmes en un après-midi. Le problème, c’est que cette exploration n’a rien laissé que les autres peuvent utiliser.
L’idée : une charte, une durée limitée et des notes
Section intitulée « L’idée : une charte, une durée limitée et des notes »Les tests exploratoires consistent à concevoir et à exécuter les tests en même temps. Chaque résultat vous aide à choisir le test suivant. Ils conviennent bien aux fonctions d’IA, car vous ne pouvez pas prévoir toutes les entrées et toutes les réponses acceptables. Mais les tests exploratoires ne consistent pas à cliquer au hasard. Ils ont une structure en trois parties.
- Une charte de test décrit la mission d’une session. Vous la rédigez avant de commencer. Elle précise quoi explorer, avec quoi et ce que vous voulez apprendre. Comme la mission de la promenade, elle donne un objectif, mais pas le parcours.
- Une session exploratoire est une période réservée à une charte, souvent de 30 à 90 minutes, sans interruptions. La durée limitée donne une fin à la session.
- Les notes de session consignent ce que vous écrivez pendant les tests : chaque entrée, vos observations et les preuves associées. Un court bilan à la fin transforme les notes en décisions.
Cette façon de travailler s’appelle la gestion des tests par sessions. Jonathan et James Bach l’ont décrite pour tester des logiciels ordinaires. Elle fonctionne de la même façon pour les fonctions d’IA. Seules les preuves diffèrent : pour une réponse d’IA, vous gardez la graine, l’identifiant de trace et les versions.
Les trois parties d’une charte
Section intitulée « Les trois parties d’une charte »Une charte tient en une phrase de trois parties. Cette forme vient du livre d’Elisabeth Hendrickson sur les tests exploratoires, Explore It! :
Explorer une cible avec des ressources pour découvrir de l’information.
- La cible est une zone de l’application : une fonction, un risque ou une partie de la conversation. Elle doit être assez petite pour une session.
- Les ressources sont ce que vous utilisez : les clients de test que vous incarnez, les données, les graines et les outils. La trace et l’exportation sont des exemples d’outils.
- L’information est la question à laquelle la session répond. « Les montants des remboursements sont-ils parfois erronés? » est une question. « Tester les remboursements » n’en est pas une.
Voici la charte d’Esme pour sa première session planifiée. Elle a choisi la cible dans son tableau des risques : les remboursements causent des dommages importants et sont fréquents.
Description textuelle du diagramme
La fiche comporte quatre parties. Explorer : les retours et les offres de remboursement pour les commandes livrées. C’est la cible. Avec : trois clients de test, C-1001, C-1002 et C-1003, les graines fixes de 1 à 5, la trace et l’exportation. Ce sont les ressources. Pour découvrir : si les montants des remboursements, les versions de la politique et les confirmations sont parfois erronés. C’est l’information que la session doit trouver.
Sous la phrase se trouve le cadre. Esme est la testeuse et la durée limite est de 30 minutes. Les versions sont l’application 2.3.0, la requête support-v8 et le modèle sim-1, qui est simulé. Les risques viennent de son tableau : remboursements et retours, annulation d’une commande et réponses en français. Les commandes d’autres clients sont hors portée, car une autre charte les couvre.
Chaque client de test a sa raison d’être. C-1001 n’a pas d’adhésion Rewards, C-1002 a un barbecue de plus de 30 kg et C-1003 est francophone et membre Rewards Gold. Chacun correspond à une règle de remboursement différente. Les graines fixes rendent chaque exécution reproductible, pour pouvoir montrer toute défaillance à Tomás. La mention « hors portée » protège la durée limite. Les commandes d’autres clients présentent un vrai risque, mais elles ont leur propre session.
Trop large, trop étroite, juste assez précise
Section intitulée « Trop large, trop étroite, juste assez précise »La partie la plus difficile d’une charte est sa portée. Comparez trois chartes pour la même zone :
| Charte | Problème |
|---|---|
| Explorer l’assistant pour trouver des bogues | Trop large. Elle n’a ni cible ni question, donc la session n’a ni orientation ni fin. |
| Explorer la question sur les retours avec la graine 2 pour découvrir si la réponse indique 30 jours | Trop étroite. C’est un cas de test, pas une session. Vous connaissez déjà la réponse. |
| Explorer les retours et les offres de remboursement avec trois clients de test et les graines de 1 à 5 pour découvrir si les montants, les versions et les confirmations sont parfois erronés | Juste assez précise. Une zone, quelques ressources, une question à laquelle 30 minutes permettent de répondre en partie. |
Une bonne charte laisse de la place aux surprises. Esme ne dresse pas la liste des messages qu’elle enverra. Elle inscrit des idées à essayer sous la charte et en ajoute pendant ses tests.
La session d’Esme, minute par minute
Section intitulée « La session d’Esme, minute par minute »Esme réinitialise les données de test, démarre une minuterie et essaie ses idées. Elle écrit une ligne de notes pour chaque message. L’image montre ses 30 minutes. Cinq de ses lignes correspondent à de vrais constats sur les défauts placés dans l’application. Cette leçon en montre un; les autres sont à vous de les trouver.
Description textuelle du diagramme
La session commence par 3 minutes de préparation : réinitialisation et minuterie. Les tests, l’investigation et les notes occupent ensuite le reste. À la minute 2, l’offre de remboursement du dévidoir est correcte : 51,05 $, trace tr-0001-1. À la minute 3, le « yes » (oui) du client lance le remboursement, trace tr-0001-2. À la minute 6, il y a un constat que cette leçon ne montre pas. À la minute 9, une offre de remboursement en français est correcte, mais Esme note une question pour Grace. À la minute 12 apparaît le bogue présenté dans cette leçon. Le délai de retour est de 30 jours, selon la version 3 de la politique, trace tr-0004-1. À la minute 13, la graine 3 donne 45 jours, donc le bogue ne survient que parfois. La minute 15 contient un autre constat caché. À la minute 18, le remboursement du barbecue de 600,00 $ est correct. Les minutes 21 et 25 contiennent des constats cachés; celui de la minute 25 est hors de la charte. À la minute 30, la durée limite est atteinte et Esme rédige le bilan.
Trois habitudes rendent cette session utile.
Chaque ligne contient sa preuve. L’identifiant de trace et la graine sont dans les notes dès qu’Esme voit la réponse. Elle n’a pas besoin de se souvenir de quoi que ce soit plus tard.
Un constat reçoit une vérification rapide, pas une longue recherche. À la minute 12, la réponse indique 30 jours. Une minute plus tard, Esme envoie la même question avec la graine 3, et la réponse indique 45 jours. Elle sait maintenant que le bogue ne survient que parfois. Elle écrit « À quelle fréquence? » et continue. Elle mesure le taux après la session, comme le montre la dernière leçon de ce module.
Un constat hors de la charte est noté, pas approfondi. À la minute 25, Esme trouve quelque chose qui ne concerne pas les remboursements. C’est trop important pour l’oublier, alors elle écrit une ligne et indique « hors de ma charte ». Ce constat devient une nouvelle charte, pas un détour de 40 minutes.
Ses notes
Section intitulée « Ses notes »Esme utilise le modèle de notes de session du dossier de cours (templates/session-notes.md). Voici quatre de ses lignes; les autres contiennent les constats cachés.
| Min | What I did (customer, seed) | What I saw | Trace | Bug? Question? Idea? ||---|---|---|---|---|| 2 | C-1001, seed 1: "I want to return the hose reel from order LK-200102" | Asks first. 51.05 dollars = 64.00 - 12.95. | tr-0001-1 | OK || 3 | same conversation: "yes" | "Done: the return is started (refund 51.05 dollars)". Trace: `start_refund` with `confirmed: true`, result ok. | tr-0001-2 | OK || 12 | C-1001, seed 2: "How many days do I have to return an unused item?" | **"30 days", cites version 3.** | tr-0004-1 | **Bug: outdated policy.** || 13 | C-1001, seed 3: same question | "45 days", version 4. | tr-0005-1 | So it is "sometimes". |Les notes indiquent le résultat attendu, pas seulement ce qui s’est produit. « 51,05 $ = 64,00 - 12,95 » montre qu’Esme a vérifié le montant selon la règle. Il s’agit du prix de l’article moins 12,95 $ de frais d’expédition de retour. « Correct » sans raison ne montrerait pas qu’elle a vérifié quoi que ce soit.
En haut du fichier, Esme consigne aussi la répartition des 30 minutes : préparation 10 %, tests 60 %, investigation et notes sur les bogues 30 %. Cette répartition donne un signal à l’équipe. Si l’investigation occupe presque toute la session, la zone contient beaucoup de bogues et la charte a couvert moins que prévu.
Exemple détaillé : exécutez vous-même les premières minutes
Section intitulée « Exemple détaillé : exécutez vous-même les premières minutes »Exécutez maintenant quatre lignes de la session d’Esme sur votre ordinateur et consignez-les dans vos propres notes. Les identifiants diffèrent des siens à un endroit, car vous sautez ses autres lignes.
-
Ouvrez un terminal, allez dans
ai-qa/practice-appet activez l’environnement virtuel comme dans la leçon sur l’application de chasse aux bogues. -
Réinitialisez les données de test pour que vos identifiants commencent à 1 :
Fenêtre de terminal python -m helpdesk resetLa sortie :
The store is reset: 4 test customers, 8 orders, 8 reviews, no conversations. -
Démarrez une conversation en tant qu’Alex Martin (C-1001, le client par défaut) avec la graine 1 :
Fenêtre de terminal python -m helpdesk chat --seed 1 -
Tapez
I want to return the hose reel from order LK-200102(je veux retourner le dévidoir de la commande LK-200102) et appuyez sur Entrée. Tapez ensuiteyes(oui), puis/quit(quitter).La sortie, simulée (application d’exercice) :
Larkfield help desk 2.3.0 (simulated model sim-1).Signed in as test customer C-1001. Conversation c-0001, seed 1.Type a message. Commands: /trace, /export, /new, /quityou> I want to return the hose reel from order LK-200102assistant> I can start the return of the AquaFlow HR-30 hose reel from order LK-200102. Your refund will be 51.05 dollars (the item price minus 12.95 dollars return shipping). Reply yes to confirm.[trace tr-0001-1]you> yesassistant> Done: the return is started (refund 51.05 dollars). We email the return label within 1 business day.[trace tr-0001-2]you> /quit -
Envoyez la question sur les retours avec la graine 2, puis avec la graine 3 :
Fenêtre de terminal python -m helpdesk ask "How many days do I have to return an unused item?" --seed 2python -m helpdesk ask "How many days do I have to return an unused item?" --seed 3La sortie, simulée (application d’exercice) :
Thanks for asking. You can return an unused item within 30 days of delivery for a full refund of the item price. [1] I hope this helps.Sources:[1] Returns policy, version 3: Return window (/policies/returns-policy/v3#return-window)[conversation c-0002 | trace tr-0002-1 | seed 2]Here is what our policy says. You can return an unused item within 45 days of delivery for a full refund of the item price. [1]Sources:[1] Returns policy, version 4: Return window (/policies/returns-policy/v4#return-window)[conversation c-0003 | trace tr-0003-1 | seed 3]
Les réponses sont les mêmes que celles d’Esme, car les graines et les messages sont les mêmes. Seuls les numéros de conversation et de trace diffèrent. Esme a obtenu tr-0004-1 et tr-0005-1, car elle avait envoyé d’autres messages auparavant. Rédigez maintenant vos notes.
-
Copiez les deux modèles dans votre dossier de notes. Exécutez ceci dans
ai-qa/practice-app:Fenêtre de terminal cp ../templates/test-charter.md ../workspace/notes/charter-01-refunds.mdcp ../templates/session-notes.md ../workspace/notes/session-01-refunds.mdFenêtre de terminal Copy-Item ..\templates\test-charter.md ..\workspace\notes\charter-01-refunds.mdCopy-Item ..\templates\session-notes.md ..\workspace\notes\session-01-refunds.mdFenêtre de terminal cp ../templates/test-charter.md ../workspace/notes/charter-01-refunds.mdcp ../templates/session-notes.md ../workspace/notes/session-01-refunds.md -
Remplissez la charte avec celle d’Esme, présentée sur la fiche ci-dessus.
-
Dans les notes de session, écrivez une ligne pour chacun de vos quatre messages. Utilisez vos identifiants de trace.
Vos quatre lignes devraient ressembler à ceci :
| Min | What I did (customer, seed) | What I saw | Trace | Bug? Question? Idea? ||---|---|---|---|---|| 2 | C-1001, seed 1: "I want to return the hose reel from order LK-200102" | Asks first. 51.05 dollars = 64.00 - 12.95. | tr-0001-1 | OK || 3 | same conversation: "yes" | "Done: the return is started (refund 51.05 dollars)". | tr-0001-2 | OK || 4 | C-1001, seed 2: "How many days do I have to return an unused item?" | **"30 days", cites version 3.** | tr-0002-1 | **Bug: outdated policy.** How often? || 5 | C-1001, seed 3: same question | "45 days", version 4. | tr-0003-1 | So it is "sometimes". |Le « yes » a-t-il vraiment lancé le remboursement? La réponse le dit, mais la trace constitue la preuve. Exécutez python -m helpdesk trace tr-0001-2. Son champ tool_calls (appels d’outils) montre start_refund (lancer le remboursement) avec "confirmed": true (confirmation vraie) et le résultat "ok": true (réussite vraie). Écrivez ce que vous avez vérifié, pas ce que vous avez supposé.
Le bilan
Section intitulée « Le bilan »Quand la durée limite est atteinte, Esme arrête, même au milieu d’une idée. Elle rédige le résumé du bilan à la fin de ses notes et rencontre Tomás et Grace pendant dix minutes. Le bilan répond à trois questions :
- Qu’ai-je couvert, qu’ai-je laissé de côté et pourquoi? Esme a couvert les offres de remboursement pour trois clients, la confirmation et le délai de retour dans deux langues. Elle n’a pas couvert les retours partiels de plusieurs articles ni les remboursements d’articles endommagés.
- Quel est le constat le plus important? Elle en nomme un pour que l’équipe sache quoi examiner en premier.
- Quelle est la suite? De nouvelles chartes. L’une porte sur le statut des commandes et les commandes d’autres clients, qui étaient hors portée. Une autre porte sur son constat de la minute 25. Une session ultérieure couvre les deux cas de remboursement qu’elle n’a pas couverts.
Elle pose aussi ses questions en suspens. Grace répond immédiatement à la première : « Oui, dans une réponse en français, le nom du produit peut rester en anglais. C’est le nom du produit. » Ce n’est pas un bogue, alors Esme ferme la question. Sans le bilan, elle aurait pu devenir un rapport de bogue qui fait perdre du temps à Tomás.
Description textuelle du diagramme
Le cycle commence par le tableau des risques, qui montre où se trouvent les dommages. Une charte nomme une cible, ses ressources et l’information à trouver. La session a une durée limitée de 30 à 90 minutes, avec des notes contenant des identifiants de trace. Le bilan demande ce qui a été couvert, ce qui a été trouvé et quoi tester ensuite. Il produit deux résultats : des rapports de bogue, chacun avec un taux de reproduction, et de nouvelles chartes pour les zones non couvertes. Les nouvelles chartes mènent à de nouvelles sessions.
Quand utiliser les chartes, et ce qu’elles coûtent
Section intitulée « Quand utiliser les chartes, et ce qu’elles coûtent »Utilisez une session guidée par une charte quand vous ne savez pas encore où une fonction échoue. Par exemple, pour une nouvelle fonction, un nouveau modèle ou une nouvelle requête, ou une zone à risque élevé selon le tableau. L’exploration révèle des défaillances pour lesquelles personne n’avait pensé à écrire un cas de test. C’est encore plus important pour les fonctions d’IA, car leurs défaillances sont difficiles à prévoir.
N’utilisez pas l’exploration pour vérifier ce que vous savez déjà. Supposons que la règle soit claire : « le remboursement correspond au prix de l’article moins 12,95 $ ». Écrivez alors un cas de test et laissez l’outil d’exécution des tests d’assurance qualité le répéter. L’exploration trouve le bogue; un cas enregistré empêche son retour. Vous créerez ces cas dans les modules suivants.
Une session demande environ 30 à 90 minutes à un testeur. Ajoutez environ 10 minutes de bilan pour deux ou trois personnes. Les sessions plus courtes consacrent trop de temps à la préparation. Les plus longues perdent leur objectif de vue. Une session dépend aussi du testeur : deux testeurs qui suivent la même charte trouvent des choses différentes. C’est une force, si chaque session laisse des notes que les autres peuvent utiliser.
Erreur courante
Des notes sans preuves
Symptôme : une ligne de vos notes dit « montant de remboursement incorrect », mais personne, même vous, ne peut retrouver la réponse.
Cause : vous avez noté l’observation, mais pas la graine aléatoire, le client de test ou l’identifiant de trace. Ou vous avez exécuté reset (réinitialiser) avant d’exporter la conversation, ce qui supprime toutes les traces.
Diagnostic : vérifiez la ligne. Quelqu’un peut-il reproduire l’essai avec cette seule ligne? Il lui faut le message, le client de test, la graine aléatoire et l’identifiant de trace.
Correction : si vous connaissez la graine aléatoire et le client, envoyez le même message. La même graine donne la même réponse. Sinon, exécutez le message avec les graines 1 à 10 jusqu’au retour de la défaillance, puis notez cette graine. La prochaine fois, copiez immédiatement la dernière ligne de chaque réponse dans vos notes.
Erreur courante
La session s'éloigne de la charte
Symptôme : après 30 minutes, la plupart de vos notes portent sur autre chose, et la question de votre charte reste sans réponse.
Cause : vous avez trouvé quelque chose d’intéressant et vous avez poursuivi cette piste. Un constat en a entraîné un autre.
Correction : arrêtez et notez la nouvelle zone sur une ligne, avec « hors de ma charte ». Revenez à votre liste d’idées. Au bilan, proposez une nouvelle charte pour cette zone. Si le constat est grave, par exemple une action sans consentement, prévenez l’équipe immédiatement. Mais ne poursuivez pas les tests sur ce point pendant cette session.
À vous : une session de 30 minutes
Section intitulée « À vous : une session de 30 minutes »Planifiez et exécutez maintenant votre propre session. Choisissez une cible qui ne concerne pas les remboursements. Par exemple, le statut d’une commande, les réponses en français, l’annulation d’une commande ou le résumé des avis sur un produit. Utilisez votre tableau des risques pour choisir la cible au risque le plus élevé que vous n’avez pas encore explorée.
- Copiez le modèle de charte dans
workspace/notes/charter-02-<target>.md, par exemplecharter-02-order-status.md. - Écrivez la phrase de la charte : explorer, avec, pour découvrir. Puis précisez le cadre : durée limite de 30 minutes, versions, risques et éléments exclus.
- Écrivez au moins quatre idées à essayer. Pensez à différents clients de test, à différentes graines aléatoires et à un « oui » après une question.
- Copiez le modèle de notes de session dans
workspace/notes/session-02-<target>.md. - Exécutez
python -m helpdesk reset, puis lancez une minuterie de 30 minutes. - Testez. Écrivez une ligne pour chaque message, avec le client, la graine aléatoire et l’identifiant de trace.
- Quand une réponse semble incorrecte, essayez une ou deux autres graines aléatoires, puis continuez.
- Quand la minuterie sonne, arrêtez. Notez la répartition du temps et le résumé du bilan.
Utilisez ask (poser une question) pour les questions isolées, et chat (discuter) pour les conversations avec un « oui ». Utilisez l’application Web si vous préférez un navigateur. Choisissez vous-même vos graines aléatoires, par exemple de 1 à 5, pour que chaque ligne soit reproductible.
Vérifiez votre charte et vos notes
Lisez votre charte comme Omar le ferait. Un autre testeur pourrait-il exécuter la même session à partir de cette charte? Il faut une cible assez petite pour 30 minutes, les clients de test, les graines aléatoires et une question à résoudre.
Lisez vos notes comme Tomás le ferait. Peut-il reproduire chaque ligne? Il lui faut le message, le client, la graine aléatoire et l’identifiant de trace. Chaque « OK » précise-t-il ce que vous avez vérifié?
Chaque zone suggérée contient au moins un défaut ajouté volontairement. Si vous n’en avez trouvé aucun, ouvrez la trace de chaque réponse marquée OK. Vérifiez ses sources, ses versions et ses appels d’outils. Examinez ensuite vos graines aléatoires : une défaillance qui survient 1 fois sur 10 peut facilement passer inaperçue en 5 essais. Conservez votre meilleur constat : dans Répéter les essais et mesurer le taux de reproduction, vous mesurerez sa fréquence.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Réécrivez cette charte pour qu'elle puisse guider une session de 30 minutes : « Tester l'assistant en français. »
Afficher la réponse
Elle n’a pas de cible assez petite, de ressources ni de question. Voici une bonne version : « Explorer les réponses en français sur les politiques avec C-1003, les graines 1 à 5 et la trace. Le but est de découvrir si elles sont en français et présentent les mêmes faits qu’en anglais. » Le cadre ajoute la durée limite (30 minutes) et les versions (application 2.3.0, requête support-v8, modèle sim-1). Il précise aussi les éléments exclus, par exemple les offres de remboursement en français.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
À la minute 12, Esme voit « 30 jours, version 3 ». Pourquoi renvoie-t-elle la même question avec une autre graine aléatoire? Pourquoi continue-t-elle ensuite, au lieu de l'exécuter 30 fois?
Afficher la réponse
Une autre graine aléatoire lui indique rapidement si la défaillance survient toujours ou seulement parfois. Avec la graine 3, la réponse est correcte. Le bogue est donc intermittent, ce qui change sa façon de le signaler. Elle continue parce que la durée limite de la session est consacrée à la charte. Mesurer un taux demande de nombreux essais. C’est plus facile avec l’outil d’exécution des tests d’assurance qualité après la session. Elle écrit « À quelle fréquence? » dans ses notes pour ne pas oublier.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Quels sont les trois éléments nécessaires dans une ligne de notes pour qu'un développeur retrouve la même réponse? Pourquoi une fonction d'IA exige-t-elle ici plus d'éléments qu'une boutique en ligne ordinaire?
Afficher la réponse
Le message exact, le client de test et la graine aléatoire, et idéalement l’identifiant de trace aussi. Dans une boutique en ligne ordinaire, la même entrée donne généralement la même page. L’entrée suffit donc. Une fonction d’IA fait des choix aléatoires : le même message peut donc donner une autre réponse. La graine aléatoire permet à l’application d’exercice de répéter l’essai, et la trace montre ce qui s’est passé à l’intérieur. Avec un vrai modèle, conservez aussi l’exportation, car vous ne pouvez pas reproduire exactement la réponse.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Les tests exploratoires consistent à concevoir et à exécuter des tests en même temps. Une structure les rend utiles : une charte, une durée limite, des notes et un bilan.
- Une charte de test tient en une phrase : explorer une cible, avec des ressources, pour découvrir des informations. Ajoutez le cadre : testeur, durée limite, versions, risques et éléments exclus.
- Une session exploratoire dure de 30 à 90 minutes et suit une seule charte. Arrêtez quand le temps est écoulé.
- Chaque ligne de notes contient ses preuves : message, client de test, graine aléatoire, identifiant de trace et éléments vérifiés.
- Vérifiez rapidement un constat une deuxième fois, puis continuez. Notez les constats hors charte et transformez-les en nouvelles chartes.
- Le bilan précise ce que vous avez couvert ou non, le constat le plus important et les prochains tests.
Votre espace de travail contient maintenant, dans workspace/notes/, la charte d’Esme charter-01-refunds.md. Vos notes de ses premières minutes se trouvent dans session-01-refunds.md. Vous avez aussi vos propres fichiers charter-02-<target>.md et session-02-<target>.md. Ensuite, vous varierez les personnes qui écrivent et leurs messages : personas, cas limites et entrées hostiles.
Leçon suivante : Personas, cas limites et entrées hostiles