Aller au contenu
English

Gravité et tri pour « parfois faux »

  • Leçon 11
  • 30 min
  • Module 4 : Rédiger des rapports de bogue utiles aux personnes

Où nous en sommes

Dans la leçon précédente, nous avons recueilli des preuves qui reproduisent chaque défaillance. Nous avons maintenant plusieurs bogues, et certains n'apparaissent que dans 1 essai sur 10. Un bogue rare est-il grave? L'équipe peut-elle le fermer comme « impossible à reproduire »? Dans cette leçon, nous évaluons la gravité à partir du préjudice et de la fréquence ensemble, et nous convenons d'une priorité lors du tri.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 11 sur 24 · Tester les applications d'IA : assurance qualité manuelle et assistée par l'IAGravité et tri pour « parfois faux »
Aperçu du cours

Ce que vous saurez faire

Décidez de la gravité d’un bogue qui apparaît seulement dans certains essais, et de la réponse de l’équipe. Évaluez la gravité selon le préjudice et la fréquence. Ainsi, une défaillance rare mais grave ne sera pas fermée comme « impossible à reproduire ». Convenez ensuite d’une priorité avec le développeur et le responsable du produit.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • L’application dans ai-qa/practice-app, avec l’environnement virtuel actif et PyYAML installé pour l’outil d’exécution QA.
  • Votre espace de travail ai-qa/workspace, avec le dossier cases et vos exports dans bugs/evidence.

Testé sur macOS (Apple silicon) avec Python 3.14.6. Ici, les commandes Windows sont les mêmes que sur macOS, mais elles n’ont pas été exécutées.

À l’urgence, une infirmière voit chaque patient en premier. C’est le tri. L’infirmière ne traite pas les patients dans leur ordre d’arrivée. Un homme au doigt coupé arrive en premier, mais une femme avec une douleur thoracique passe avant lui. Cette douleur peut être sans gravité, et elle peut disparaître pendant l’attente. L’infirmière ne la renvoie pas chez elle parce que « la douleur a disparu ». Elle est survenue une fois, et le préjudice serait trop grand si elle revenait.

Deux questions déterminent l’ordre : quelle serait la gravité si nous attendons, et à quel point sommes-nous certains du problème? Un symptôme rare qui présente un préjudice élevé passe quand même en premier.

Le problème : un bogue rare, fermé après trois essais

Section intitulée « Le problème : un bogue rare, fermé après trois essais »

Esme envoie à Tomás BUG-001, l’offre de remboursement au mauvais montant. Il fait trois essais, avec les graines 1, 2 et 3 :

Fenêtre de terminal
for s in 1 2 3; do python -m helpdesk ask "I want to return the hose reel from order LK-200102" --seed $s; done

Les trois réponses sont identiques, simulées (application d’exercice) :

I can start the return of the AquaFlow HR-30 hose reel from order LK-200102. Your refund will be 51.05 dollars (the item price minus 12.95 dollars return shipping). Reply yes to confirm.

51,05 dollars est le bon montant. Tomás écrit « impossible à reproduire, 3 sur 3 réussis » et veut fermer le bogue. Mais Esme a obtenu le mauvais montant avec la graine 4, et son export le reproduit. Qui a raison?

Les deux séries d’essais sont réelles. L’offre de remboursement échoue seulement dans certains essais, et les trois essais de Tomás ont tous réussi. Esme a mesuré le taux avec l’outil d’exécution QA. Elle a mis un cas par bogue dans workspace/cases/bugs.yaml (vous écrirez ce fichier à la fin de la leçon). Elle l’a ensuite exécuté :

Fenêtre de terminal
python -m qa run ../workspace/cases/bugs.yaml
QA run: 2 case(s) from ../workspace/cases/bugs.yaml
App: larkfield-helpdesk 2.3.0 | model sim-1 | prompt support-v8
KNOWN bug-001-refund-amount 18/20 passed (needs 20; seeds 1-20) known bug BUG-001
first failing run: seed 4, trace tr-0001-1
- contains: missing ['51.05']
KNOWN bug-002-return-window-version 16/20 passed (needs 20; seeds 1-20) known bug BUG-002
first failing run: seed 2, trace tr-0001-1
- contains: missing ['45 days']
- not_cites: cited ['returns-policy@3#return-window']
2 case(s): 0 passed, 0 failed, 2 known bug(s) still failing, 0 known bug(s) now passing, 0 not run
Report: reports/qa-<date>-<time>/report.md

L’offre de remboursement a échoué dans 2 essais sur 20 : environ 1 essai sur 10. KNOWN (connu) signifie que le cas appartient à un bogue signalé (status: known-bug) et échoue encore. Avec 100 essais (--runs 100 --runs-override), les résultats sont de 11 sur 100 pour le remboursement. Ils sont de 30 sur 100 pour le délai de retour.

Quelle était la probabilité du résultat de Tomás? Si un bogue apparaît dans 1 essai sur 10, chaque essai a 90 % de chances de réussir. Trois essais consécutifs ont tous une probabilité de réussite de 0,9 × 0,9 × 0,9, soit 72,9 %. Donc, 73 % du temps, trois essais ne montrent rien. Le graphique montre cette probabilité pour d’autres taux.

La probabilité que trois essais ne montrent aucune défaillance, pour cinq taux de reproduction. La colonne mise en évidence représente l'offre de remboursement, environ 1 sur 10. Calcul : (1 − taux) × (1 − taux) × (1 − taux).
Description textuelle du graphique

Un graphique à colonnes, avec une colonne par taux de reproduction. 1 sur 2 : 13 %. 3 sur 10, le délai de retour : 34 %. 1 sur 6 : 58 %. 1 sur 10, l’offre de remboursement, mise en évidence : 73 %. 1 sur 50 : 94 %. Plus la défaillance est rare, plus trois essais risquent de la manquer.

Pour un bogue qui apparaît 1 fois sur 2, trois essais sans défaillance seraient surprenants. Pour un bogue qui apparaît 1 fois sur 50, trois essais sans défaillance ne vous disent presque rien. Vous ne voyez aucune défaillance 94 % du temps. « Impossible à reproduire » après trois essais ne prouve pas que le bogue a disparu. Cela prouve que trois essais sont insuffisants.

Et le bogue de remboursement concerne de l’argent. Si l’équipe le ferme, certains clients acceptent 79,00 dollars et reçoivent 51,05 dollars. Une défaillance causant ce préjudice ne doit pas disparaître de la liste parce qu’elle est rare.

L’idée : la gravité selon le préjudice et la fréquence

Section intitulée « L’idée : la gravité selon le préjudice et la fréquence »

La gravité décrit à quel point un bogue est sérieux. Elle tient compte de son coût pour le client et l’entreprise, et de sa fréquence. C’est un fait concernant le bogue, et le testeur la propose à partir des preuves.

La priorité indique dans quel délai l’équipe corrige le bogue. C’est une décision que l’équipe prend pendant le tri. Elle tient compte de la gravité, mais aussi d’autres facteurs : la date de version, le coût de correction, une solution temporaire.

Les testeurs connaissent les deux mots. Pour les fonctions d’IA, la gravité demande un changement : un bogue a un taux, pas seulement un oui ou un non. La gravité combine donc deux évaluations.

  • Préjudice : le coût de la pire réponse erronée crédible, comme dans le tableau des risques. Élevé : argent, vie privée, sécurité ou action sans le consentement du client. Moyen : information erronée qui induit en erreur. Faible : style, ton, message d’erreur ou absence de réponse.
  • Fréquence : la fréquence des défaillances quand un client envoie l’entrée qui les déclenche. C’est le taux de reproduction, mesuré avec assez d’essais. Rarement : moins de 1 essai sur 10. Parfois : de 1 sur 10 à 1 sur 2. Souvent : plus de la moitié des essais.

La matrice de gravité combine les deux. L’image la montre, avec quatre constats placés dedans.

Une grille avec la fréquence en haut (rarement : moins de 1 essai sur 10; parfois : de 1 essai sur 10 à 1 sur 2; souvent : plus de la moitié des essais) et le préjudice sur le côté (élevé : argent, vie privée, sécurité, action sans consentement; moyen : information erronée qui induit en erreur; faible : style, ton, message d'erreur, absence de réponse). Préjudice élevé : critique, critique, critique; la case rarement indique « rare reste critique ». Préjudice moyen : moyenne, élevée, élevée. Préjudice faible : faible, faible, moyenne. Quatre constats : offre de remboursement, mauvais montant, 2 essais sur 20 et 11 sur 100 (simulés), préjudice élevé, parfois : critique. Délai de retour, politique expirée, 4 essais sur 20 et 30 sur 100 (simulés), préjudice moyen, parfois : élevée. Nunavut, réponse qui commence par « Non », 2 essais sur 10 (enregistrés), préjudice moyen, parfois : élevée. Garantie, « demandez au magasin », 1 essai sur 10 (enregistré), préjudice faible, parfois : faible.
La matrice de gravité : le préjudice sur le côté, la fréquence en haut. Les cadres pleins sont simulés (application d'exercice); les cadres pointillés sont enregistrés (modèle réel).
Description textuelle du diagramme

La fréquence apparaît en haut. Rarement signifie moins de 1 essai sur 10, parfois de 1 sur 10 à 1 sur 2. Souvent signifie plus de la moitié des essais. Le préjudice apparaît sur le côté. Élevé concerne l’argent, la vie privée, la sécurité ou une action sans consentement. Moyen concerne une information erronée qui induit en erreur. Faible concerne le style, le ton, un message d’erreur ou l’absence de réponse.

La rangée du haut indique critique dans les trois cases, avec la note « rare reste critique ». La rangée du milieu indique moyenne, élevée, élevée. La rangée du bas indique faible, faible, moyenne.

Quatre constats sont placés sur la grille. L’offre de remboursement au mauvais montant, 2 essais sur 20 et 11 sur 100, simulés : préjudice élevé, parfois, donc critique. Le délai de retour avec la politique expirée, 4 essais sur 20 et 30 sur 100, simulés : préjudice moyen, parfois, donc élevée. La réponse sur le Nunavut qui commence par « Non », 2 essais sur 10, enregistrés avec un modèle réel : préjudice moyen, parfois, donc élevée. La réponse sur la garantie envoie le client au « magasin où vous l’avez acheté », dans 1 essai sur 10, enregistré. Le préjudice est faible, la fréquence est parfois, donc la gravité est faible.

Lisez d’abord la rangée du haut. Avec un préjudice élevé, toutes les fréquences donnent une gravité critique. Cette règle protège le bogue de remboursement. La rareté ne réduit pas la gravité d’un bogue qui coûte de l’argent ou divulgue des données. Dans les autres rangées, la fréquence compte. Une réponse trompeuse dans 3 essais sur 10 est pire que la même réponse dans 1 essai sur 50.

Pourquoi « la pire réponse erronée crédible »? Parce que le taux indique la fréquence, et le préjudice doit indiquer la gravité des conséquences. Si vous évaluez le préjudice de la réponse moyenne, un bogue habituellement sans problème semble toujours sans danger.

La matrice fonctionne de la même façon pour un modèle réel. Les deux cadres pointillés proviennent des essais enregistrés du cours avec un modèle réel (Azure, requête de l’assistant de soutien, 10 essais par question). À la question « Livrez-vous au Nunavut? », le modèle réel a commencé 2 réponses sur 10 par « Non. Les gros articles ne sont pas livrés au Nunavut ». Larkfield y livre d’autres articles, donc un client pourrait abandonner. À propos de la garantie du dévidoir, 1 réponse sur 10 disait « contactez le magasin où vous l’avez acheté ». Ce magasin est Larkfield. La réponse ne contient aucun fait erroné, donc le préjudice est faible.

Esme évalue ses deux bogues et note chaque valeur :

Bogue Préjudice et raison Essais Fréquence Gravité
BUG-001 offre de remboursement élevé : argent; le client accepte 79,00 dollars et reçoit 51,05 2 sur 20 (11 sur 100) parfois (environ 1 sur 10) critique
BUG-002 délai de retour moyen : un client peut abandonner un retour valide 4 sur 20 (30 sur 100) parfois (environ 3 sur 10) élevée

BUG-001 échoue moins souvent que BUG-002, mais sa gravité est supérieure, parce que son préjudice est supérieur. Triez la liste de travaux uniquement par fréquence, et le bogue de remboursement arrive en dernier.

Combien d’essais avant « impossible à reproduire »?

Section intitulée « Combien d’essais avant « impossible à reproduire »? »

Parfois, un bogue a vraiment disparu, par exemple après une correction. Combien d’essais sans défaillance faut-il avant de pouvoir l’affirmer? Cela dépend du taux signalé. La leçon Répéter les essais et mesurer le taux de reproduction montrait comment trouver ce nombre. Ce tableau donne le nombre d’essais nécessaire pour voir la défaillance au moins une fois, avec une probabilité de 90 %, si elle existe encore :

Taux signalé Essais pour une probabilité de 90 % de la voir
1 sur 2 4
3 sur 10 7
1 sur 6 13
1 sur 10 22
1 sur 50 114

L’équipe de Larkfield convient donc d’une règle. Fermez un bogue comme « impossible à reproduire » seulement après le nombre d’essais du tableau, sans défaillance, avec les mêmes versions et paramètres. Pour BUG-001, cela signifie 22 essais, pas 3. Avant cela, son statut reste ouvert, avec la note « plus d’essais nécessaires ».

Combien cela coûte-t-il? Dans l’application d’exercice, 100 essais prennent moins d’une seconde. Avec un modèle réel, chaque essai est un appel payant et prend une ou deux secondes. Les 300 appels enregistrés du cours ont coûté environ 4 cents US avec le modèle utilisé. Les prix changent : consultez la page actuelle de votre fournisseur. Pour un bogue qui coûte de l’argent ou divulgue des données, les essais coûtent peu comparativement au préjudice.

Le tri avec le développeur et le responsable du produit

Section intitulée « Le tri avec le développeur et le responsable du produit »

La gravité est la proposition du testeur. La priorité est une décision d’équipe, prise dans une courte réunion de tri. Chez Larkfield, trois personnes y participent :

  • Esme (assurance qualité) apporte les preuves : le dossier, les essais et la gravité proposée.
  • Tomás (ingénieur en IA) apporte la cause probable, le coût d’une correction et le risque qu’elle brise autre chose.
  • Grace (responsable du soutien et du produit) apporte les répercussions sur l’entreprise. Combien de clients envoient cette entrée déclencheuse? Combien coûte une réponse erronée? Existe-t-il une solution temporaire?

L’image montre le parcours d’un constat pendant le tri.

Un processus. Un constat : x essais sur y, avec ses preuves. Question : assez d'essais pour connaître le taux (20 à 100)? Si non, ne le fermez jamais comme « impossible à reproduire » ici : faites plus d'essais, avec les mêmes versions et paramètres, puis posez encore la question. Si oui : évaluez le préjudice de la pire réponse erronée crédible, puis lisez la gravité dans la matrice, en combinant préjudice et fréquence. Ensuite, le tri : Esme apporte les preuves, Tomás la cause et le coût, Grace les répercussions sur l'entreprise. Quatre résultats : corriger avant la mise en production; corriger dans une version ultérieure; accepter le risque, avec une raison écrite et un responsable; ce n'est pas un bogue, le fermer avec la raison.
Du constat à la décision. Un constat avec trop peu d'essais retourne à l'étape des essais; il n'est jamais fermé comme « impossible à reproduire » ici.
Description textuelle du diagramme

Un constat commence avec x essais sur y et ses preuves. La première question est : y a-t-il assez d’essais pour connaître le taux, soit 20 à 100? Sinon, le constat retourne à l’étape des essais, avec les mêmes versions et paramètres. Il n’est jamais fermé comme « impossible à reproduire » à cette étape.

Avec assez d’essais, Esme évalue le préjudice de la pire réponse erronée crédible et lit la gravité dans la matrice. Ensuite vient la réunion de tri. Esme apporte les preuves, Tomás la cause et le coût, Grace les répercussions sur l’entreprise. La réunion se termine par un de quatre résultats. L’équipe corrige le bogue avant la mise en production, ou dans une version ultérieure. Ou elle accepte le risque, avec une raison écrite et un responsable. Ou elle ferme l’élément comme n’étant pas un bogue, avec la raison.

Larkfield utilise quatre priorités. P0 : arrêter, bloquer la mise en production maintenant. P1 : corriger avant la mise en production. P2 : corriger dans la prochaine version. P3 : corriger quand le temps le permet.

Pendant la réunion, Tomás demande : « BUG-001, c’est 1 sur 10. Ça peut attendre? » Grace répond : « Rare, ce n’est pas acceptable pour l’argent. Un client qui accepte 79 dollars et reçoit 51 nous appelle en colère. Et cet appel coûte plus cher que la correction. » Le bogue est critique, P1, à corriger avant la mise en production. BUG-002 a une gravité élevée : les clients posent des questions sur les retours chaque jour. Grace veut aussi le corriger avant la mise en production, P1.

Esme note aussi l’élément fermé par Grace au bilan de session dans Chartes de test et sessions. Il s’agit d’un nom d’article en anglais dans une réponse en français. Le catalogue de produits est en anglais pour l’instant, donc ce n’est pas un bogue. Un élément fermé a toujours une raison, écrite à un endroit où l’équipe peut la trouver.

Utilisez la matrice pour chaque constat, afin que deux testeurs évaluent le même bogue de la même façon. Cela prend une minute par bogue, une fois le taux connu. Elle ne remplace pas la réunion. La matrice propose la gravité; les personnes décident de la priorité. Parfois, elles ne sont pas d’accord avec la matrice pour une bonne raison. Notez cette raison.

N’évaluez pas la gravité à partir d’un ou deux essais. Mesurez d’abord : un taux sur 3 essais peut faire passer un bogue de « souvent » à « rarement ». Le cas d’échec ci-dessous le montre. Et ne consacrez pas la réunion aux catégories. Si Esme et Tomás débattent dix minutes entre « élevée » et « critique », le bogue demande plus de preuves, pas plus de discussions.

Erreur courante

Cinq essais sans défaillance, et l'outil indique FIXED?

Symptôme : vous relancez les cas de bogue avec seulement 5 essais, en commençant à la graine 3. Rien n’a changé dans l’application (simulé, application d’exercice) :

Fenêtre de terminal
python -m qa run ../workspace/cases/bugs.yaml --runs 5 --runs-override --seed-start 3
KNOWN bug-001-refund-amount 4/5 passed (needs 5; seeds 3-7) known bug BUG-001
first failing run: seed 4, trace tr-0001-1
- contains: missing ['51.05']
FIXED? bug-002-return-window-version 5/5 passed (needs 5; seeds 3-7) known bug BUG-002

Le bogue du délai de retour semble corrigé. Avec les graines 1 à 5, le même cas avait échoué une fois.

Cause : 5 essais sont insuffisants pour un bogue qui échoue environ 3 fois sur 10. Les graines 3 à 7 donnent, par hasard, de bons résultats. Le point d’interrogation dans FIXED? (corrigé?) est l’avertissement de l’outil : un bogue connu qui réussit demande une vérification.

Diagnostic : comparez le nombre d’essais avec le tableau ci-dessus. Pour 3 sur 10, il faut 7 essais pour avoir 90 % de chances de voir la défaillance.

Rétablissement : exécutez le cas avec son propre nombre d’essais (20), ou avec 100. Ne fermez jamais un bogue et ne réduisez jamais sa gravité après moins d’essais que le tableau l’indique.

Erreur courante

La liste de travaux est triée par fréquence

Symptôme : l’équipe corrige d’abord les bogues qui échouent le plus souvent. Le bogue de remboursement, 1 sur 10, attend en bas de la liste. Pendant ce temps, il touche les clients.

Cause : la fréquence a servi de gravité. Le préjudice n’a pas été évalué du tout.

Rétablissement : évaluez d’abord le préjudice de chaque bogue avec le responsable du produit, puis lisez la gravité dans la matrice. Tout bogue au préjudice élevé va dans la rangée du haut, peu importe sa rareté.

Mesurez les taux de BUG-001 et BUG-002, puis rédigez les notes de tri. Cela prend environ 15 minutes.

  1. Dans workspace/cases, créez un fichier bugs.yaml avec ce contenu. bug: associe chaque cas à un rapport. status: known-bug indique à l’exécuteur que le bogue est signalé, mais pas encore corrigé :

    workspace/cases/bugs.yaml
    # One case per reported bug (Module 4). status: known-bug -> the runner shows KNOWN while it fails, FIXED? when it passes.
    id: bug-001-refund-amount
    title: The refund offer gives the amount from the order
    bug: BUG-001
    status: known-bug
    message: I want to return the hose reel from order LK-200102
    checks:
    - contains: "51.05"
    runs: 20
    ---
    id: bug-002-return-window-version
    title: The return window comes from the policy in force
    bug: BUG-002
    status: known-bug
    message: How many days do I have to return an unused item?
    checks:
    - contains: 45 days
    - not_cites: returns-policy@3
    runs: 20
  2. Vérifiez le fichier :

    Fenêtre de terminal
    python -m qa check ../workspace/cases/bugs.yaml
    2 valid case(s): bug-001-refund-amount, bug-002-return-window-version
  3. Exécutez-le. Votre sortie doit correspondre à l’exécution dans « Le problème » ci-dessus :

    Fenêtre de terminal
    python -m qa run ../workspace/cases/bugs.yaml
  4. Dans workspace/notes, créez un fichier triage.md. Copiez-y la matrice de gravité sous forme de tableau.

  5. Ajoutez un tableau avec une ligne pour BUG-001, une pour BUG-002 et une pour un constat de votre première chasse aux bogues. Utilisez ces colonnes : Bogue, Préjudice, Fréquence (exécutions), Gravité, Priorité proposée, Question pour le responsable du produit.

  6. Si votre constat compte moins de 20 exécutions, ajoutez un cas correspondant dans un fichier temporaire. Exécutez-le d’abord 20 fois.

Vérifiez vos notes de tri

Vos lignes pour les deux bogues devraient indiquer :

Bogue Préjudice Fréquence (exécutions) Gravité Priorité proposée
BUG-001 montant de remboursement inventé élevé (argent) 2 sur 20 critique P1
BUG-002 politique de retour expirée moyen 4 sur 20 élevée P1

Pour votre propre constat, vérifiez trois choses. Le préjudice correspond-il à la pire réponse erronée crédible, plutôt qu’à la réponse habituelle? La fréquence repose-t-elle sur au moins 20 exécutions, avec les graines aléatoires notées? Et votre gravité vient-elle de la matrice, ou avez-vous une raison écrite pour un autre niveau?

Une bonne question pour Grace nomme un fait d’affaires que vous ne connaissez pas. Par exemple : « Combien de clients posent des questions sur le retour de produits chimiques de jardin au printemps? » Cette réponse change la priorité, pas la gravité.

L’instantané de l’espace de travail à la fin de ce module contient les notes de tri complètes d’Esme. Elles couvrent les cinq bogues du module, dans workspace/notes/triage.md.

Vérifiez votre compréhension

Un bogue apparaît dans 1 exécution sur 10. Tomás fait 3 exécutions et ne voit aucune défaillance. Estimez la probabilité de ce résultat et le nombre d'exécutions nécessaire pour avoir 90 % de chances de voir le bogue.

Afficher la réponse

Chaque exécution a 90 % de chances de réussir. Trois exécutions réussies ont une probabilité de 0,9 × 0,9 × 0,9, soit environ 73 %. Trois exécutions sans défaillance sont le résultat habituel, pas une surprise. Pour avoir 90 % de chances de voir la défaillance au moins une fois, il faut 22 exécutions. D’ici là, le bogue reste ouvert avec « plus d’exécutions nécessaires », et non « impossible à reproduire ».

Vérifiez votre compréhension

Dans 1 exécution sur 40, l'assistant montre à un client de test l'adresse de livraison d'un autre client. Quelle est la gravité, et pourquoi? Que diriez-vous à un développeur qui dit « c'est très rare »?

Afficher la réponse

Critique. Montrer l’adresse d’un autre client est une atteinte à la vie privée : le préjudice est élevé. Avec un préjudice élevé, la matrice indique une gravité critique pour chaque fréquence. Donc, 1 sur 40 ne la réduit pas. La rareté signifie que moins de clients subissent un préjudice, pas que ce préjudice est moindre. Avec le volume de conversations de Larkfield, 1 sur 40 touche quand même de vrais clients. Une seule fuite peut poser un problème juridique.

Vérifiez votre compréhension

L'assistant refuse la question sur le désherbant dans 20 exécutions sur 20. Le préjudice est faible (aucune réponse, le client peut appeler). Quelle est sa gravité? Supposons que Grace lui donne la priorité P1 au printemps. Est-ce une erreur?

Afficher la réponse

Un préjudice faible et une fréquence élevée (20 sur 20) donnent une gravité moyenne. P1 n’est pas une erreur. La gravité est un fait concernant le bogue; la priorité est une décision d’équipe qui tient aussi compte d’autres faits. Au printemps, beaucoup de clients posent des questions sur les produits chimiques de jardin. Le refus touche donc beaucoup de personnes et surcharge la ligne téléphonique. Grace le sait; la matrice ne le sait pas. L’équipe écrit la raison à côté de la priorité.

Récapitulatif

  • « Impossible à reproduire » après quelques essais est une preuve faible. Un bogue qui apparaît 1 fois sur 10 passe 3 essais sans défaillance dans 73 % des cas.
  • La gravité indique à quel point un bogue est sérieux; la priorité indique dans quel délai l’équipe le corrige. La personne qui teste propose la gravité; le tri détermine la priorité.
  • La gravité combine le préjudice (la pire réponse erronée crédible) et la fréquence (le taux de reproduction, mesuré sur assez d’exécutions). Avec un préjudice élevé, toute fréquence donne une gravité critique.
  • Fermez un bogue comme « impossible à reproduire » seulement après assez d’exécutions pour son taux signalé : 22 pour 1 sur 10.
  • Le tri réunit les preuves (personne qui teste), la cause et le coût (développeur), et les répercussions sur l’entreprise (responsable du produit). Chaque décision, y compris « ce n’est pas un bogue », a une raison écrite.

Votre espace de travail contient maintenant workspace/cases/bugs.yaml avec les cas de BUG-001 et BUG-002. Il contient aussi workspace/notes/triage.md avec la matrice et vos premières lignes. Ensuite, vous rédigerez les rapports de bogue eux-mêmes, à l’aide d’un modèle.

Leçon suivante : Un modèle de rapport de bogue pour le comportement de l'IA