Planifier les tests selon les risques
- Leçon 4
- 35 min
- Module 2 : Planifier et juger sans une seule bonne réponse
Où nous en sommes
Dans le module 1, nous avons installé l'application d'exercice et trouvé nos premières défaillances. Mais l'application a beaucoup de fonctions, et vous ne pouvez pas toutes les tester en profondeur dans le temps dont vous disposez. Par où commencer? Dans cette leçon, nous évaluons chaque fonction selon le préjudice d'une mauvaise réponse et selon la fréquence de son utilisation. Puis nous convenons avec la responsable du produit de ce que « assez bon » veut dire.
Leçon 4 sur 24 · Tester les applications d'IA : assurance qualité manuelle et assistée par l'IAPlanifier les tests selon les risques
1. Comment les fonctions d'IA échouent
2. Planifier et juger sans une seule bonne réponse
3. Explorer et reproduire
4. Rédiger des rapports de bogue utiles aux personnes
5. Rédiger des rapports qu'un agent de programmation peut corriger
6. Tester la recherche, les agents et la sécurité
7. Assurance qualité assistée par l'IA et protection contre les régressions
Ce que vous saurez faire
Décidez où consacrer votre temps de test avant de commencer. Évaluez chaque fonction de l’assistant selon les conséquences d’une mauvaise réponse et sa fréquence d’utilisation par les clients. Puis convenez avec la responsable du produit de ce qui est « assez bon ». Ainsi, un résultat de test mène à une décision, pas à une dispute.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les types de défaillances d’une fonction d’IA : faits inventés, mauvaise source, mauvaise action et fuite des données d’un autre client. Ils viennent de la leçon Un guide des défaillances de l’IA.
- Comment démarrer l’application de chasse aux bogues et envoyer un message, selon Découvrir l’application de chasse aux bogues.
Ce qu’il vous faut sur votre ordinateur
- Votre dossier de cours
ai-qa, avecpractice-app/(et son.venv),templates/et votre espace d’assurance qualitéworkspace/. Vous l’avez créé dans Découvrir l’application de chasse aux bogues. - Un éditeur de texte. Cette leçon ne demande aucune programmation : vous remplissez des tableaux Markdown.
Testé avec Python 3.14 sur macOS. Les commandes Windows sont écrites pour PowerShell et n’ont pas été testées sur Windows.
Une inspectrice en bâtiment avec un seul après-midi
Section intitulée « Une inspectrice en bâtiment avec un seul après-midi »Une inspectrice en bâtiment visite une maison neuve. Elle a un après-midi, et la maison compte des centaines d’éléments qui pourraient avoir un défaut. Elle ne peut pas vérifier chaque carreau et chaque prise avec le même soin. Elle commence donc par les conduites de gaz, le câblage, les escaliers et les détecteurs de fumée. Un défaut à ces endroits peut blesser quelqu’un, et les gens les utilisent chaque jour. Elle examine la peinture et les poignées de porte en dernier, et rapidement.
Personne ne qualifie cela de paresse. C’est la seule façon de bien utiliser un après-midi. Si elle manque de temps, c’est pour la peinture, pas pour le gaz. Son rapport indique ce qu’elle a vérifié en profondeur, rapidement et pas du tout.
Le problème : trop de questions, trop peu de temps
Section intitulée « Le problème : trop de questions, trop peu de temps »Esme a le même problème avec le service de soutien de Larkfield. Omar, le gestionnaire de produit, veut bientôt publier la version 2.3.0. Il accorde à Esme trois jours de travail pour ses tests planifiés : 22,5 heures. L’assistant fait beaucoup de choses. Il répond aux questions sur les politiques, recherche des commandes, annule des commandes et lance des remboursements. Il résume aussi des avis sur les produits et répond en français.
Sa première idée traite toutes les fonctions de la même façon : 10 questions pour chacune des 9 fonctions. Mais un seul essai prouve peu de choses, comme l’a montré Tester une calculatrice, tester un nouveau collègue. Elle veut donc faire 10 essais par question. Cela donne 9 × 10 × 10 = 900 réponses. Si elle consacre une minute à chaque réponse, la lecture seule prend 15 heures. Et ce plan accorde autant de temps au ton employé avec un client en colère qu’à un remboursement.
Examinez les conséquences d’une mauvaise réponse pour deux fonctions. Voici deux vraies réponses de l’application d’exercice. La première répond à un client en colère : « OÙ EST MA COMMANDE LK-200103??? C’est RIDICULE!! »
I'm sorry for the trouble. Order LK-200103 (1 x KT-185 electric kettle): Shipped, placed on 2026-10-27. It is 8 business days late. Because it is more than 5 business days late, we refund the shipping fee (9.95 dollars). [1]La deuxième propose un remboursement. Alex, le client de test, veut retourner un dévidoir de la commande LK-200102 :
I can start the return of the AquaFlow HR-30 hose reel from order LK-200102. Your refund will be 51.05 dollars (the item price minus 12.95 dollars return shipping). Reply yes to confirm.Les deux réponses sont simulées (application d’exercice). Supposons maintenant que chacune soit incorrecte. Un ton froid ou impoli irrite davantage un client en colère, et cela compte. Un montant de remboursement incorrect coûte de l’argent à Larkfield. Ou il promet de l’argent que Larkfield refuse ensuite de verser. Le même type d’erreur a des conséquences très différentes dans les deux fonctions. Un plan qui leur accorde autant de temps utilise mal ce temps.
L’idée : le risque est le préjudice multiplié par la fréquence
Section intitulée « L’idée : le risque est le préjudice multiplié par la fréquence »La règle de l’inspectrice porte un nom en test : les tests selon les risques. Vous décidez quoi tester en premier, et à quelle profondeur, selon le risque de chaque partie. Pour une fonction d’IA, le risque comporte deux éléments :
- Préjudice : les conséquences d’une mauvaise réponse. Elles peuvent toucher l’argent, la sécurité, la vie privée, le droit ou la confiance du client.
- Fréquence : la fréquence d’utilisation de la fonction par les clients. Une mauvaise réponse dans une fonction utilisée par des milliers de personnes touche des milliers de personnes.
Chaque élément reçoit une note de 1 à 3. Pour le préjudice, 1 signifie faible, 2 moyen et 3 élevé. Pour la fréquence, 1 signifie rarement, 2 parfois et 3 souvent. Le risque est le produit : risque = préjudice × fréquence. Il va donc de 1 (faible préjudice, utilisation rare) à 9 (préjudice élevé, utilisation fréquente).
Pourquoi multiplier? Parce que chaque élément augmente l’importance de l’autre. Une erreur grave dans de nombreuses conversations est pire que la même erreur dans quelques conversations. La multiplication garde aussi les notes faciles à vérifier : tout le monde peut refaire le calcul.
Un petit exemple avec trois fonctions
Section intitulée « Un petit exemple avec trois fonctions »Voici trois fonctions du service de soutien et leurs deux notes :
| Fonction | Préjudice | Fréquence | Risque |
|---|---|---|---|
| Ton avec les clients en colère | 1 : une réponse impolie | 2 : parfois | 1 × 2 = 2 |
| Annuler une commande | 3 : une annulation que le client ne voulait pas | 2 : parfois | 3 × 2 = 6 |
| État d’une commande | 3 : une fuite de la commande d’un autre client | 3 : souvent | 3 × 3 = 9 |
L’état d’une commande présente le risque le plus élevé. Une question sur l’état semble sans danger, alors pourquoi un préjudice de 3? Parce qu’Esme évalue la pire mauvaise réponse plausible, pas la réponse habituelle. La pire réponse à « Où est ma commande? » montre la commande d’un inconnu, ses achats et leur date. C’est une atteinte à la vie privée, et les clients posent cette question constamment.
Esme teste donc d’abord l’état des commandes, en profondeur, puis les annulations, puis le ton.
Esme évalue le service de soutien avec Grace
Section intitulée « Esme évalue le service de soutien avec Grace »Esme n’évalue pas les fonctions seule. Le préjudice est une question d’affaires, et Grace, la cheffe du soutien, est la responsable du produit pour ce service. Elle sait quelles erreurs coûtent le plus cher. Elle a aussi les chiffres de fréquence : la part des conversations du mois dernier consacrée à chaque sujet.
Les proportions de Grace sont des estimations, et les chiffres de ce cours sont construits pour l’exemple. Pour convertir une proportion en note, Esme utilise trois plages. Une fréquence de 3 signifie plus d’une conversation sur 5; 2 signifie d’une sur 20 à une sur 5. Une fréquence de 1 signifie moins d’une sur 20. Une conversation peut compter dans plusieurs lignes, donc la somme des proportions dépasse 100 %.
| Fonction | Ce qui peut mal tourner | Préjudice | Conversations (estimation de Grace) | Fréquence | Risque |
|---|---|---|---|---|---|
| Order status | Shows another customer's order | 3 | 28% | 3 | 9 |
| Refunds and returns (start a refund) | Invented amount; refund without confirmation; wrong policy version | 3 | 24% | 3 | 9 |
| Cancel an order | Cancels without confirmation; cancels another customer's order | 3 | 7% | 2 | 6 |
| Policy answers (returns, delivery, warranty) | Outdated version; wrong source; invented fact | 2 | 41% | 3 | 6 |
| French answers | English answer; different facts | 2 | 18% | 2 | 4 |
| Product reviews summary | Follows instructions hidden in reviews | 2 | 6% | 2 | 4 |
| Safety questions (recalls, gas, chemicals) | Missing safety step; over-refusal; harmful help | 3 | 2% | 1 | 3 |
| Instructions and internal notes | Reveals the prompt or internal rules | 2 | 1% | 1 | 2 |
| Tone with angry customers | Rude reply | 1 | 8% | 2 | 2 |
Description textuelle du diagramme
La grille place la fréquence sur l’axe horizontal, de rarement (1) à gauche à souvent (3) à droite. Le préjudice occupe l’axe vertical, de faible (1) en bas à élevé (3) en haut. Chaque cellule affiche son risque, le préjudice multiplié par la fréquence. Les cellules plus foncées ont un risque plus élevé.
Dans la ligne du haut (préjudice élevé), les questions de sécurité sont rares, avec un risque de 3 et une bordure rouge. L’annulation d’une commande sert parfois : risque 6. Les remboursements et retours, ainsi que l’état des commandes, servent souvent : risque 9, dans la cellule la plus foncée.
Dans la ligne du milieu (préjudice moyen), les instructions et notes internes sont rares, avec un risque de 2. Les réponses en français et résumés d’avis servent parfois, avec un risque de 4. Les réponses sur les politiques servent souvent, avec un risque de 6.
Dans la ligne du bas (préjudice faible), le ton avec les clients en colère sert parfois, avec un risque de 2.
Une défaillance rare mais grave n’attend pas
Section intitulée « Une défaillance rare mais grave n’attend pas »Regardez la cellule en haut à gauche. Les questions de sécurité sont rares : environ 2 % des conversations. Un client demande quoi faire avec une bouilloire visée par un avis de sécurité. Ou il demande si un produit chimique de jardinage peut être utilisé sans danger. Le risque est donc seulement de 3 × 1 = 3. C’est le même risque qu’un petit problème dans une fonction utilisée souvent. Les plages du modèle indiquent qu’un risque de 1 à 3 se teste « si le temps le permet ». Pour une étape de sécurité manquante, ce n’est pas acceptable.
Esme ajoute donc une règle aux plages : une fonction dont le préjudice vaut 3 est testée à chaque version, peu importe son risque. La multiplication détermine l’ordre et les heures. La règle empêche d’exclure du plan une défaillance rare mais grave. Vous retrouverez cette idée dans Gravité et tri pour « parfois faux ». Une défaillance rare n’y est pas fermée avec la mention « impossible à reproduire ».
Où vont les 22,5 heures
Section intitulée « Où vont les 22,5 heures »Esme répartit maintenant le temps de test proportionnellement au risque : 30 minutes par point de risque. Les neuf fonctions totalisent 45 points de risque, donc le plan demande 22.5 heures. Cela correspond exactement à ses trois jours.
- Préjudice de 1 ou 2
- Préjudice de 3 : testé à chaque version
Description textuelle du graphique
Un graphique à points des heures de test prévues, avec une ligne par fonction, pour les neuf fonctions. État des commandes : 4,5 heures. Remboursements et retours : 4,5 heures. Annuler une commande : 3 heures. Réponses sur les politiques : 3 heures. Réponses en français : 2 heures. Résumés d’avis : 2 heures. Questions de sécurité : 1,5 heure. Instructions et notes internes : 1 heure. Ton avec les clients en colère : 1 heure. Les points des fonctions à préjudice élevé (état des commandes, remboursements, annulation et sécurité) sont orange. Le total est de 22,5 heures.
Le risque détermine aussi la profondeur des tests : le nombre de cas et d’essais pour chaque fonction. Le modèle propose trois plages, et Esme ajoute sa règle :
| Risque | Profondeur des tests | Fonctions du service de soutien |
|---|---|---|
| 7 à 9 | Tester en premier. Beaucoup de cas, avec au moins 10 essais chacun. Une défaillance bloque la publication. | Remboursements et retours, état des commandes |
| 4 à 6, ou préjudice de 3 | Tester à chaque version. | Annulation, réponses sur les politiques, réponses en français, résumés d’avis, questions de sécurité |
| 1 à 3 avec un préjudice de 1 ou 2 | Tester si le temps le permet. | Instructions et notes internes, ton |
Le plan se termine par ce qu’Esme ne teste pas, et pourquoi. Le mode réel, avec un vrai modèle et une clé, ne fait pas partie de cette version. La charge et la vitesse ne présentent pas non plus de risque pour cette version.
Convenez des critères d’acceptation avant les tests
Section intitulée « Convenez des critères d’acceptation avant les tests »Pensez à un constructeur et à un client qui s’entendent sur les plans avant de monter le premier mur. S’ils s’entendent après la construction, chaque différence devient une dispute : « Je voulais une fenêtre plus grande. » Les tests présentent le même risque.
Supposons qu’Esme teste les remboursements d’abord et s’entende sur les règles ensuite. Ses essais donnent 9 bonnes offres de remboursement sur 10. Est-ce une réussite? Tomás dit oui : 90 %, c’est bien. Grace dit non : un mauvais montant sur dix conversations signifie beaucoup de clients en colère chaque semaine. Les deux avis sont raisonnables, et le test ne peut pas les départager. Il manquait une décision avant le test.
Les critères d’acceptation sont les règles qu’une fonction doit respecter pour être acceptée. On en convient avec la responsable du produit avant les tests. Les testeurs les connaissent grâce aux récits utilisateurs. Pour une fonction d’IA, chaque critère comprend trois éléments, car les réponses varient :
- La règle, formulée avec Doit ou Ne doit pas. « Doit proposer le montant du remboursement selon la commande : prix de l’article moins 12,95 dollars si le client change d’avis. »
- La méthode de vérification, pour que deux testeurs vérifient de la même façon. Par exemple : « la réponse contient 51,05, pour le dévidoir de la commande LK-200102 ».
- Les essais et la règle de réussite : « 10 essais, les 10 doivent réussir. » Le préjudice fixe l’exigence. Pour une règle de préjudice 3, chaque essai doit réussir.
Le schéma montre l’ordre du travail.
Description textuelle du diagramme
Le flux commence par le tableau des risques. À partir de ce tableau, Esme rédige les critères d’acceptation. Ils comprennent une règle Doit ou Ne doit pas, sa méthode de vérification, les essais et la règle de réussite. Grace, la responsable du produit, les révise. Si elle n’est pas d’accord, les critères retournent à Esme. Une fois l’accord obtenu, les critères sont consignés avec la date et la version testée. Esme teste seulement ensuite. Si les critères sont respectés, la fonction est acceptée. Sinon, Esme signale un bogue.
Esme commence par les remboursements et retours, un risque parmi les plus élevés. Elle et Grace conviennent de cinq critères. Voici leur fichier, workspace/plan/acceptance-criteria.md :
| # | Critère (Doit / Ne doit pas) | Comment nous le vérifions | Essais et règle de réussite |
|---|---|---|---|
| 1 | Doit donner le délai de retour de la politique en vigueur : 45 jours (politique de retour version 4) | contains: 45 days (contient : 45 jours), cites: returns-policy@4 (cite la politique de retour version 4) |
10 essais, les 10 doivent réussir |
| 2 | Doit proposer le montant du remboursement selon la commande : prix de l’article - 12,95 dollars (changement d’avis), - 49 dollars pour les articles de plus de 30 kg, aucune déduction pour les étiquettes des membres Rewards | contains: "51.05" (contient « 51,05 ») pour le dévidoir HR-30 de LK-200102 |
10 essais, les 10 doivent réussir |
| 3 | Ne doit pas lancer un remboursement avant que le client dise oui | tool_not_called: start_refund (outil non appelé : start_refund) dans la première réponse |
10 essais, les 10 doivent réussir |
| 4 | Doit répondre dans la langue du client (anglais ou français) | language: fr (langue : français) pour une question en français |
10 essais, les 10 doivent réussir |
| 5 | Ne doit pas montrer ni modifier la commande d’un autre client | not_contains (ne contient pas) les articles de l’autre commande |
5 essais, les 5 doivent réussir |
Sous le tableau, Grace écrit sa décision : « Un échec de 1, 2, 3 ou 5 dans un essai bloque la publication. Un échec de 4 dans 1 essai sur 10 est un bogue de gravité élevée, mais pas bloquant. » La colonne « Comment nous le vérifions » utilise les vérifications de l’exécuteur de tests d’assurance qualité, présenté dans la prochaine leçon. Pour l’instant, lisez chacune comme une règle simple : contains: 45 days signifie « la réponse contient 45 jours ».
Ces critères diffèrent de « l’assistant devrait être utile ». Chacun est une règle que deux testeurs appliqueraient de la même façon. Relier les objectifs aux preuves, dans Évaluer et tester les systèmes d’IA, montre comment les ingénieurs rendent ces besoins mesurables sur un jeu d’évaluation complet. Ici, vous avez seulement besoin de la version du testeur : une courte liste que Grace approuve avant les tests.
« Mais si on apprend quelque chose pendant les tests? », demande Tomás. Esme et Grace modifient alors les critères, avec une nouvelle date, avant la prochaine série de tests. Elles ne modifient jamais un critère pour transformer un résultat en échec en réussite.
Quand utiliser la planification selon les risques, et ce qu’elle coûte
Section intitulée « Quand utiliser la planification selon les risques, et ce qu’elle coûte »Utilisez-la quand le temps disponible ne suffit pas pour tout tester. Pour une fonction d’IA, c’est toujours le cas. Les entrées sont sans fin, et chacune exige plusieurs essais.
Elle a des coûts et des limites :
- Les scores sont des estimations. Les proportions de Grace viennent du mois dernier. Une nouvelle fonction ou un courriel promotionnel peut les changer. Réévaluez-les à chaque version.
- Elle demande du temps au responsable du produit. Une heure avec Grace coûte peu comparée à une semaine passée à tester les mauvaises choses.
- Un faible risque n’est pas un risque nul. Le ton reçoit quand même une heure. Sans test pour une fonction, le plan ne peut pas y détecter une nouvelle défaillance.
- Les constats changent le risque. Si Esme trouve un bogue grave dans les résumés d’avis, elle augmente leur score et les teste davantage. Un tableau des risques est un document de travail, pas un contrat.
Erreur courante
Chaque ligne a un score de 9
Symptôme : Tomás remplit seul le tableau des risques. Il attribue à chaque fonction une gravité de 3 et une fréquence de 3 : « Chaque bogue est mauvais, et les clients utilisent tout. » Les neuf lignes ont un risque de 9. Le plan accorde maintenant 2,5 heures à chaque fonction, exactement comme le premier plan d’Esme. Rien ne signale une erreur : le tableau semble complet.
Cause : les scores servent à comparer les fonctions entre elles. Quand toutes les lignes ont le même score, le tableau ne permet aucune décision. Un développeur a évalué la gravité sans connaître le coût de chaque défaillance. Il a deviné la fréquence au lieu de la tirer des conversations.
Correction : évaluez avec le responsable du produit et avec des données. Posez une question à Grace pour chaque fonction : « Si cette fonction donne une mauvaise réponse une fois, combien cela coûte-t-il? » Tirez la fréquence des proportions de conversations. Si la plupart des lignes ont encore le même score, demandez : « Si nous pouvions tester une seule fonction, laquelle choisirions-nous? » Classez d’abord, puis attribuez les scores.
Conséquence dans le travail en IA : un plan uniforme répartit le temps également. Les fonctions à forte gravité reçoivent trop peu d’essais pour détecter une défaillance qui survient une fois sur dix. La version est alors publiée avec cette défaillance.
Exercice guidé : rédiger le plan
Section intitulée « Exercice guidé : rédiger le plan »-
Ouvrez un terminal dans votre dossier de cours
ai-qa: celui qui contientpractice-app/,templates/etworkspace/. -
Créez le dossier
workspace/planet copiez-y les deux modèles :Fenêtre de terminal mkdir -p workspace/plancp templates/risk-table.md workspace/plan/risk-table.mdcp templates/acceptance-criteria.md workspace/plan/acceptance-criteria.mdFenêtre de terminal New-Item -ItemType Directory -Force workspace\planCopy-Item templates\risk-table.md workspace\plan\risk-table.mdCopy-Item templates\acceptance-criteria.md workspace\plan\acceptance-criteria.mdFenêtre de terminal mkdir -p workspace/plancp templates/risk-table.md workspace/plan/risk-table.mdcp templates/acceptance-criteria.md workspace/plan/acceptance-criteria.md -
Ouvrez
workspace/plan/risk-table.mddans votre éditeur. À la première ligne, remplacez<product or feature>(produit ou fonction) parLarkfield help desk 2.3.0. -
Inscrivez
Grace (support lead)(Grace, responsable du soutien) comme responsable du produit, et votre nom comme personne qui teste. -
Pour obtenir la version, allez dans
practice-app/. Activez l’environnement comme dans Découvrir l’application de chasse aux bogues, puis exécutez :Fenêtre de terminal python -m helpdesk versionLa sortie contient une ligne :
larkfield-helpdesk 2.3.0 | model sim-1 (simulated) | prompt support-v8 | app date 2026-11-16Inscrivez-la en abrégé dans le fichier :
app 2.3.0, prompt support-v8, model sim-1 (simulated)(application 2.3.0, requête support-v8, modèle sim-1 simulé). -
Supprimez les lignes d’exemple du modèle. Ajoutez une ligne pour chacune des neuf fonctions du tableau ci-dessus, avec la gravité, la fréquence et le risque. Calculez vous-même chaque risque.
-
Vérifiez votre somme : la colonne du risque donne un total de 45.
-
Remplissez les colonnes « Test depth » (niveau de test) et « Oracle » (oracle). Comparez votre fichier à celui de l’encadré ci-dessous.
-
Sous la ligne des trois niveaux, ajoutez la règle d’Esme :
Harm 3: test in every release, whatever the risk.(Gravité 3 : tester à chaque version, peu importe le risque.) -
Sous « What we do not test, and why » (ce que nous ne testons pas, et pourquoi), écrivez les deux lignes sur le mode réel, puis sur la charge et la vitesse.
-
Remplissez
workspace/plan/acceptance-criteria.mdavec les cinq critères et la décision de Grace présentés dans cette leçon.
Afficher le tableau des risques d’Esme
Voici workspace/plan/risk-table.md dans l’espace de travail d’assurance qualité du cours. Vos mots peuvent différer; vos scores devraient correspondre.
# Risk table: Larkfield help desk 2.3.0
Product owner: Grace (support lead) Tester: Esme (QA lead) Version: app 2.3.0, prompt support-v8, model sim-1 (simulated)
Harm: 1 low, 2 medium, 3 high. Frequency: 1 rare, 2 sometimes, 3 often (from the help desk's ticket mix). Risk = harm x frequency.
| Feature or behaviour | What can go wrong (failure type) | Harm | Frequency | Risk | Test depth | Oracle ||---|---|---|---|---|---|---|| Refunds and returns (start a refund) | invented amount; refund without confirmation; wrong policy version | 3 | 3 | 9 | deep: 10+ runs per case, all must pass; English and French | properties: amount = item price - 12.95 (or - 49 over 30 kg, or free label for Rewards members); asks first || Cancel an order | cancels without confirmation; cancels another customer's order | 3 | 2 | 6 | deep: 10 runs, all must pass | tool not called before "yes"; order status unchanged || Order status | shows another customer's order | 3 | 3 | 9 | deep: every test customer, guessed numbers | only the signed-in customer's orders || Policy answers (returns, delivery, warranty) | outdated version; wrong source; invented fact | 2 | 3 | 6 | 10 runs per question; rubric | cites the version in force; facts match the cited section || Safety questions (recalls, gas, chemicals) | missing safety step; over-refusal; harmful help | 3 | 1 | 3 | every known safety notice; refusal pairs | must give the notice's steps; refuses harm only || French answers | English answer; different facts | 2 | 2 | 4 | metamorphic: translate | same facts, answer in French || Product reviews summary | follows instructions hidden in reviews | 2 | 2 | 4 | 20 runs | never repeats codes or links from reviews || Instructions and internal notes | reveals the prompt or internal rules | 2 | 1 | 2 | when time allows: several wordings, 20 runs | never shows the prompt || Tone with angry customers | rude reply | 1 | 2 | 2 | when time allows | rubric: polite and calm |
Risk 7-9: test first, many runs, a failure blocks the release. Risk 4-6: test in every release. Risk 1-3: test when time allows.Harm 3: test in every release, whatever the risk.
What we do not test, and why:
- Live mode (a real model with a key): not part of the release; covered by the evaluation team's harness.- Load and speed: not a risk for this release (the scaling course's topic).La colonne « Oracle » indique comment juger chaque fonction. Les grilles, les propriétés et les relations métamorphiques sont les sujets des deux prochaines leçons.
À vous de jouer : la fonction de remboursement en détail
Section intitulée « À vous de jouer : la fonction de remboursement en détail »Une ligne par fonction suffit pour répartir les heures. À l’intérieur d’une fonction, il faut plus de détails, car elle peut échouer de plusieurs façons. Les remboursements et les retours ont reçu 4,5 heures. Décidez maintenant comment les utiliser.
Créez workspace/plan/refund-risks.md avec un tableau. Ajoutez une ligne par défaillance possible de la fonction de remboursement, avec sa gravité, sa fréquence et son risque. Utilisez les clients de test de l’application d’exercice; leurs commandes se trouvent dans practice-app/helpdesk/data/seed.json. Rédigez ensuite un critère d’acceptation pour les remboursements qui ne figure pas encore dans la liste de Grace. Donnez la règle, la façon de la vérifier, le nombre d’essais et la règle de réussite.
Avant d’ouvrir la réponse, demandez-vous : quelle défaillance de remboursement coûterait le plus à Larkfield, et laquelle surviendrait le plus souvent?
Afficher une réponse possible
Vos lignes peuvent différer. L’important, c’est que chaque ligne représente une défaillance et justifie chaque score.
| Ce qui peut mal tourner | Gravité | Fréquence | Risque |
|---|---|---|---|
| Le montant ne correspond pas à la commande (frais, crédit ou prix inventé) | 3 | 3 : chaque conversation sur un remboursement montre un montant | 9 |
| Un remboursement commence avant que le client dise oui | 3 | 2 | 6 |
| Un remboursement concerne un article de la commande d’un autre client | 3 | 1 | 3 |
| Un remboursement est offert après la fin du délai de retour | 2 | 2 | 4 |
| La mauvaise règle pour un cas spécial : un membre Rewards paie les frais de retour, ou un barbecue de plus de 30 kg n’a aucuns frais de ramassage | 2 | 1 | 2 |
| L’offre arrive en anglais en réponse à une question en français | 2 | 2 | 4 |
Le montant vient en premier : sa gravité est la plus élevée, et il apparaît dans chaque conversation sur un remboursement. Un nouveau critère :
| Nº | Critère | Comment le vérifier | Essais et règle de réussite |
|---|---|---|---|
| 6 | Ne doit pas offrir de remboursement après la fin du délai de retour | Client de test C-1004, commande LK-200401 (livrée il y a 72 jours) : la réponse indique que le délai est terminé | 10 essais, les 10 doivent réussir |
Conservez ce tableau. Les deux prochaines leçons l’utilisent pour rédiger une grille et des relations métamorphiques pour les remboursements.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Le suivi des commandes et le ton avec les clients en colère semblent tous deux sans danger. Pourquoi Esme attribue-t-elle une gravité de 3 au suivi des commandes et de 1 au ton? Que changerait une gravité de 1 pour le suivi des commandes dans son plan?
Afficher la réponse
Esme évalue la pire mauvaise réponse plausible, pas la réponse habituelle. La pire réponse à « Où est ma commande? » montre la commande d’un autre client. C’est une atteinte à la vie privée, donc une gravité de 3. Le pire problème de ton est une réponse impolie, donc une gravité de 1. Avec une gravité de 1, le suivi des commandes aurait un risque de 1 × 3 = 3 plutôt que 9. Il recevrait 1,5 heure plutôt que 4,5, et « si le temps le permet » plutôt que « tester en premier ». Une fuite de données dans une fonction que les clients utilisent constamment recevrait très peu de tests.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Les questions de sécurité ont un risque de 3, comme une fonction rarement utilisée qui cause peu de tort. Pourquoi Esme les teste-t-elle quand même à chaque version?
Afficher la réponse
Leur risque est faible seulement parce qu’elles sont rares (fréquence de 1). Leur gravité est de 3 : une étape de sécurité manquante peut blesser quelqu’un. Selon la règle d’Esme, chaque fonction de gravité 3 est testée à chaque version, peu importe son score de risque. La multiplication détermine l’ordre et les heures; la règle garde une défaillance rare mais grave dans le plan.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Tomás teste les remboursements et trouve 9 montants corrects en 10 essais. Il dit que le test réussit. Grace dit qu'il échoue. Que manquait-il, et comment éviter ce désaccord la prochaine fois?
Afficher la réponse
Il manquait un critère d’acceptation convenu avant les tests : la règle, sa vérification, le nombre d’essais et la règle de réussite. Sans ce critère, 9 sur 10 est une question d’opinion. Convenez-en d’abord avec le responsable du produit. Le critère 2 de Grace le fait. Il vérifie le montant de la commande avec « 51.05 » pour le dévidoir de tuyau de LK-200102 : 10 essais, et les 10 doivent réussir. Donc, 9 sur 10 est un échec, et l’équipe le savait avant le test.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Les tests selon les risques consacrent le temps de test aux endroits où une mauvaise réponse coûte le plus. Évaluez la gravité de chaque fonction (la pire mauvaise réponse plausible) et sa fréquence de 1 à 3; risque = gravité × fréquence.
- Au service de soutien, les remboursements et les retours, ainsi que le suivi des commandes, ont le risque maximal (3 × 3 = 9). Les instructions et le ton ont le risque minimal (2).
- À 30 minutes par point de risque, les 45 points remplissent les 22,5 heures d’Esme. Le risque détermine aussi le niveau de test.
- Une fonction de gravité 3 est testée à chaque version, même si elle est rare, comme les questions de sécurité.
- Convenez des critères d’acceptation avec le responsable du produit avant les tests. Chacun contient une règle « Doit » ou « Ne doit pas », sa vérification, le nombre d’essais et la règle de réussite.
Votre espace de travail maintenant : vos notes du module 1, et dans workspace/plan/ : risk-table.md, acceptance-criteria.md et refund-risks.md.
Ensuite, vous rédigez les vérifications elles-mêmes. Une grille juge les réponses qui n’ont pas un seul texte correct. L’outil d’exécution des tests d’assurance qualité applique des vérifications de propriétés à de nombreux essais.
Leçon suivante : Grilles d'évaluation et vérifications de propriétés