Aller au contenu
English

Répéter les essais et mesurer le taux de reproduction

  • Leçon 9
  • 40 min
  • Module 3 : Explorer et reproduire

Où nous en sommes

Dans les deux leçons précédentes, nous avons trouvé des défaillances qui apparaissent dans certains essais et pas dans d'autres. « Ça échoue parfois » est vrai, mais personne ne peut planifier une correction avec cela, et un développeur qui essaie une fois peut voir le test réussir. Dans cette leçon, nous exécutons la même entrée de nombreuses fois, nous comptons les échecs et nous rapportons un nombre fiable.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 9 sur 24 · Tester les applications d'IA : assurance qualité manuelle et assistée par l'IARépéter les essais et mesurer le taux de reproduction
Aperçu du cours

Ce que vous saurez faire

Transformez « ça échoue parfois » en un nombre auquel les autres peuvent se fier. Exécutez la même entrée plusieurs fois, comptez les échecs et indiquez ce compte avec le nombre d’essais.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre dossier de cours ai-qa, avec l’application dans ai-qa/practice-app, son environnement virtuel actif et PyYAML installé.

Testé sur macOS (Apple silicon) avec Python 3.13 et 3.14. Les commandes Windows sont les mêmes; elles n’ont pas été exécutées pour cette leçon.

Votre voiture fait un bruit étrange certains matins. Vous l’amenez au garage. Le mécanicien fait un tour du quartier et n’entend rien. Il vous la rend : « Je n’arrive pas à le reproduire. » Vous repartez et, le lendemain matin, vous entendez encore le bruit.

Le mécanicien n’a rien fait de mal pendant ce trajet. Le problème, c’est qu’un seul trajet ne révèle pas un bruit qui survient seulement certains matins. La prochaine fois, vous prenez donc des notes : « C’est arrivé 3 des 10 derniers matins, toujours quand le moteur était froid. » Le mécanicien sait maintenant à quelle fréquence s’y attendre. Un seul trajet sans bruit ne prouve rien.

Le problème : « ça fonctionne sur mon ordinateur »

Section intitulée « Le problème : « ça fonctionne sur mon ordinateur » »

Esme signale le délai de retour périmé observé pendant sa session : « L’assistant dit parfois 30 jours au lieu de 45. » Tomás essaie aussitôt :

Fenêtre de terminal
python -m helpdesk ask "How many days do I have to return an unused item?" --seed 1

La réponse, simulée (application d’exercice) : « Vous pouvez retourner un article inutilisé dans les 45 jours suivant la livraison et obtenir le remboursement complet de son prix. » Tomás écrit « Ça fonctionne sur mon ordinateur » et ferme le rapport.

Avec un logiciel ordinaire, « ça fonctionne sur mon ordinateur » est un indice utile. La même entrée et les mêmes données donnent le même résultat. Une différence signifie donc qu’autre chose diffère : un réglage, les données, une version. Avec une fonction d’IA, la même entrée, les mêmes données et la même version peuvent donner une autre réponse. L’essai de Tomás n’est pas un indice. C’est un seul essai, et la plupart des essais de ce bogue réussissent.

Un vrai modèle complique encore la situation. Le cours a enregistré le véritable assistant sur un modèle hébergé, avec la même requête, les mêmes documents et les mêmes outils que l’application d’exercice. Il a répondu à 30 questions 10 fois chacune. Seulement 3 des 30 questions ont obtenu le même texte dans les 10 essais. La question médiane a obtenu 8 textes différents en 10 essais. Enregistré (modèle réel). Et contrairement à l’application d’exercice, un modèle réel n’a pas de graine permettant de reproduire exactement une réponse.

Voici une de ces questions. Un client demande : « Livrez-vous au Nunavut? » Larkfield y livre, sauf les articles volumineux. Voici deux des dix réponses enregistrées :

Run 2: Yes. We deliver to Nunavut, except large items, which aren’t delivered to the territories. [1][3]
Run 4: No. Large items aren’t delivered to Nunavut or any other territory [1][3]. For other items, we deliver throughout Canada, including Nunavut [1].

Enregistré (modèle réel). L’essai 4 commence par « Non ». Un client qui ne lit que le premier mot obtient la mauvaise réponse. C’est arrivé dans 2 des 10 essais. Un développeur qui pose la question une seule fois obtient une bonne réponse 80 % du temps.

L’idée : compter les échecs et préciser le nombre d’essais

Section intitulée « L’idée : compter les échecs et préciser le nombre d’essais »

La solution est la même que pour la voiture : exécuter l’entrée plusieurs fois et compter. Le taux de reproduction est le nombre d’essais en échec divisé par le nombre d’essais. Indiquez toujours le compte et sa base : « 5 essais sur 30 », pas seulement « 17 % ».

La base compte, car une proportion seule cache l’étendue de vos connaissances. « 1 sur 3 » et « 10 sur 30 » donnent tous deux 33 %. Mais un échec sur trois essais pourrait facilement être dû au hasard, tandis que dix sur trente révèlent une tendance. Un testeur qui dit « 5 essais sur 30, graines 1 à 30 » donne trois renseignements. Il indique la fréquence, le degré de certitude et la façon de répéter les essais.

Esme décrit le bogue dans un cas comportant plusieurs essais. Ce cas reprend ses vérifications de propriétés et contient runs: 30.

  1. Créez workspace/cases/repro-rate.yaml :

    workspace/cases/repro-rate.yaml
    # Measure a reproduction rate (Module 3): many runs, and a pass rule that shows the rate.
    id: repro-return-window-30-runs
    title: The return window is 45 days (30 runs)
    message: How many days do I have to return an unused item?
    checks:
    - contains: 45 days
    - cites: returns-policy@4
    runs: 30
  2. Exécutez-le :

    Fenêtre de terminal
    python -m qa run ../workspace/cases/repro-rate.yaml

    La sortie, simulée (application d’exercice) :

    QA run: 1 case(s) from ../workspace/cases/repro-rate.yaml
    App: larkfield-helpdesk 2.3.0 | model sim-1 | prompt support-v8
    FAIL repro-return-window-30-runs 25/30 passed (needs 30; seeds 1-30)
    first failing run: seed 2, trace tr-0001-1
    - contains: missing ['45 days']
    - cites: expected returns-policy@4, cited ['returns-policy@3#return-window']
    1 case(s): 0 passed, 1 failed, 0 known bug(s) still failing, 0 known bug(s) now passing, 0 not run
    Report: reports/qa-YYYYMMDD-HHMMSS/report.md

25 essais sur 30 ont réussi, donc 5 essais sur 30 ont échoué : 17 %. L’exécuteur a utilisé les graines 1 à 30, chacune dans une nouvelle conversation avec de nouvelles données de test. Dans la dernière ligne, YYYYMMDD-HHMMSS représente la date et l’heure de votre exécution. C’est le nom de votre dossier de rapport.

Ouvrez report.md dans le dossier de rapport. Il présente chaque essai en échec avec sa graine et sa réponse : graines 2, 8, 11, 14 et 22. Le dossier conversations contient l’exportation de chaque essai en échec, prête à joindre à un rapport de bogue. Toutes les réponses en échec échouent-elles de la même façon? Ici, les cinq indiquent 30 jours et citent la version 3. Cette vérification compte : un taux ne mesure un seul bogue que si chaque échec correspond au même bogue.

Exécutez maintenant le même cas avec moins d’essais, puis avec plus d’essais. --runs-override donne priorité à --runs sur runs: 30 dans le fichier :

Fenêtre de terminal
python -m qa run ../workspace/cases/repro-rate.yaml --runs 10 --runs-override
python -m qa run ../workspace/cases/repro-rate.yaml --runs 100 --runs-override

Les lignes de résultats, simulées (application d’exercice) :

FAIL repro-return-window-30-runs 8/10 passed (needs 10; seeds 1-10)
FAIL repro-return-window-30-runs 70/100 passed (needs 100; seeds 1-100)
Essais Échecs Taux Intervalle de taux réels compatibles avec ce compte (95 %)
10 2 20 % 6 % à 51 %
30 5 17 % 7 % à 34 %
100 30 30 % 22 % à 40 %

Le taux change : 20 %, puis 17 %, puis 30 %. Aucun de ces taux n’est faux. Chacun est une estimation fondée sur un nombre différent d’essais. La dernière colonne indique à quel point l’estimation peut s’éloigner du taux réel. Cet intervalle contient les taux réels qui pourraient facilement donner le compte observé. Les statisticiens l’appellent un intervalle à 95 %.

Lisez la première ligne. Deux échecs sur 10 essais sont compatibles avec un taux réel allant de 6 % à 51 %. Après 10 essais, Esme peut donc dire « ça échoue assez souvent pour être important », mais pas « environ 1 sur 5 ». Après 100 essais, l’intervalle va de 22 % à 40 % : environ 1 essai sur 3.

  • taux mesuré
  • intervalle à 95 %
La question sur les retours, graines 1 à 200 : le taux d'échec après chaque essai et l'intervalle de taux réels compatibles. Simulé (application d'exercice).
Description textuelle du graphique

Un graphique en courbes. L’axe des x représente le nombre d’essais, de 1 à 200. L’axe des y représente la proportion d’essais en échec, de 0 % à 100 %. Le taux mesuré varie brusquement au début : après 2 essais, il atteint 50 %, car la graine 2 a échoué. Il se stabilise lentement : 2 sur 10, 5 sur 30, 30 sur 100 et 61 sur 200, soit environ 31 %. Deux lignes pointillées montrent l’intervalle de taux réels compatibles avec le compte. Après 10 essais, l’intervalle est très large, de 6 % à 51 %. Il se resserre quand le nombre d’essais augmente, jusqu’à environ 24 % à 37 % après 200 essais.

Les lignes pointillées se rapprochent quand le nombre d’essais augmente, mais lentement. Pour réduire la largeur de l’intervalle de moitié, il faut environ quatre fois plus d’essais. C’est pourquoi le nombre d’essais doit être une décision, pas une habitude.

Les graines comptent aussi. Voici le même cas avec 10 essais par testeur, pour deux testeurs qui commencent à des graines différentes. --seed-start définit la première graine :

Fenêtre de terminal
python -m qa run ../workspace/cases/repro-rate.yaml --runs 10 --runs-override --seed-start 141
python -m qa run ../workspace/cases/repro-rate.yaml --runs 10 --runs-override --seed-start 61

Les lignes de résultats, simulées (application d’exercice) :

PASS repro-return-window-30-runs 10/10 passed (needs 10; seeds 141-150)
FAIL repro-return-window-30-runs 4/10 passed (needs 10; seeds 61-70)

Le premier testeur ne voit aucun échec sur 10 essais et pourrait écrire « impossible à reproduire ». Le second voit 6 échecs sur 10 et pourrait écrire « échoue plus de la moitié du temps ». Même application, même version, même bogue. Imaginez 20 testeurs qui exécutent chacun 10 graines successives : graines 1 à 10, 11 à 20, jusqu’à 191 à 200. Le graphique montre ce qu’ils verraient.

20 testeurs, 10 essais chacun (graines 1 à 200 par blocs de 10) : combien de testeurs voient 0, 1, 2… échecs. Simulé (application d'exercice).
Description textuelle du graphique

Un graphique à colonnes. Chaque colonne représente le nombre d’échecs qu’un testeur observe sur 10 essais, de 0 à 6. Sa hauteur indique combien des 20 testeurs observent ce nombre : 0 failures: 1; 1 failures: 1; 2 failures: 6; 3 failures: 4; 4 failures: 5; 5 failures: 2; 6 failures: 1. La colonne de 0 échec est orange : ce testeur dirait « impossible à reproduire ». La plupart des testeurs voient 2, 3 ou 4 échecs.

Un testeur sur 20 n’a rien vu, et un autre a vu 6 échecs sur 10. Aucun n’est négligent : cette dispersion vient des choix aléatoires. Un seul bloc de 10 essais peut donc induire en erreur dans les deux sens. Indiquez les graines avec le compte, pour que chacun puisse répéter exactement vos essais.

Vous savez maintenant qu’un test court peut manquer un bogue bien présent. Combien d’essais faut-il pour être assez certain de le voir au moins une fois? Faites d’abord une prédiction, puis explorez.

Explorer

À quelle fréquence vous voyez un bogue qui provoque un échec sur 10 essais

Probabilité de ne voir aucun échec
34,9 %
Probabilité de le voir au moins une fois
65,1 %
Échecs attendus
1
Exécutions pour 90 % de chances de le voir
22

Un bogue qui échoue 1 fois sur 10, testé en 10 exécutions : vous ne voyez aucun échec dans 34,9 % des cas. Environ 3 testeurs sur 10 diraient « impossible à reproduire ». Vous le voyez au moins une fois dans 65,1 % des cas. Pour avoir 90 % de chances de le voir au moins une fois, exécutez-le 22 fois.

  • aucun échec observé
  • échec observé
0 %10 %20 %30 %40 %012345Échecs observés en 10 exécutionsProbabilité0 sur 10 exécutions (aucun échec observé) : 34,9 %34,9 %1 sur 10 exécutions : 38,7 %38,7 %2 sur 10 exécutions : 19,4 %19,4 %3 sur 10 exécutions : 5,7 %5,7 %4 sur 10 exécutions : 1,1 %1,1 %5 sur 10 exécutions : 0,15 %0,15 %Autres nombres : moins de 0,05 %
0 %10 %20 %30 %40 %012345Échecs observés en 10 exécutionsProbabilité0 sur 10 exécutions (aucun échec observé) : 34,9 %34,9 %1 sur 10 exécutions : 38,7 %38,7 %2 sur 10 exécutions : 19,4 %19,4 %3 sur 10 exécutions : 5,7 %5,7 %4 sur 10 exécutions : 1,1 %1,1 %5 sur 10 exécutions : 0,15 %0,15 %Autres nombres : moins de 0,05 %
La probabilité de chaque nombre d'échecs en N essais, pour un bogue qui provoque un échec sur 10 essais. La barre orange signifie « aucun échec observé ». Le taux est une hypothèse que vous choisissez, pas une mesure.
Description textuelle de l’explorateur

Un graphique à colonnes avec un curseur : le nombre d’essais, de 1 à 100, initialement réglé à 10. Chaque colonne indique la probabilité de voir 0, 1, 2… échecs dans ces essais, pour un bogue qui échoue 1 essai sur 10. La première colonne, orange, indique la probabilité de ne voir aucun échec. Avec 10 essais, elle est de 34,9 % : environ 3 testeurs sur 10 diraient « impossible à reproduire ». La probabilité de voir le bogue au moins une fois est de 65,1 %. L’affichage indique aussi le nombre d’échecs attendu (1) et les essais nécessaires pour avoir 90 % de chances de voir le bogue : 22. À 22 essais, la colonne orange descend à 9,8 %.

La plupart des gens devinent 10 : « ça échoue 1 fois sur 10, donc 10 essais devraient le montrer. » Mais avec 10 essais, le bogue reste caché 35 % du temps. Il faut 22 essais pour atteindre une probabilité de 90 %, et 29 pour 95 %. Les bogues rares demandent beaucoup plus d’essais que leur fréquence « 1 sur… » le laisse croire.

Modifiez maintenant le taux aussi. Essayez un bogue qui provoque un échec sur 3 essais, puis un sur 100.

Explorer

Essais et échecs pour n'importe quel taux

Probabilité de ne voir aucun échec
1,7 %
Probabilité de le voir au moins une fois
98,3 %
Échecs attendus
3,3
Exécutions pour 90 % de chances de le voir
6

Un bogue qui échoue 1 fois sur 3, testé en 10 exécutions : vous ne voyez aucun échec dans 1,7 % des cas. Presque aucun testeur ne dirait « impossible à reproduire ». Vous le voyez au moins une fois dans 98,3 % des cas. C’est déjà plus de 90 % de chances.

  • aucun échec observé
  • échec observé
0 %10 %20 %30 %012345678Échecs observés en 10 exécutionsProbabilité0 sur 10 exécutions (aucun échec observé) : 1,7 %1,7 %1 sur 10 exécutions : 8,7 %8,7 %2 sur 10 exécutions : 19,5 %19,5 %3 sur 10 exécutions : 26 %26 %4 sur 10 exécutions : 22,8 %22,8 %5 sur 10 exécutions : 13,7 %13,7 %6 sur 10 exécutions : 5,7 %5,7 %7 sur 10 exécutions : 1,6 %1,6 %8 sur 10 exécutions : 0,3 %0,3 %Autres nombres : moins de 0,05 %
0 %10 %20 %30 %02468Échecs observés en 10 exécutionsProbabilité0 sur 10 exécutions (aucun échec observé) : 1,7 %1 sur 10 exécutions : 8,7 %2 sur 10 exécutions : 19,5 %3 sur 10 exécutions : 26 %4 sur 10 exécutions : 22,8 %5 sur 10 exécutions : 13,7 %6 sur 10 exécutions : 5,7 %7 sur 10 exécutions : 1,6 %8 sur 10 exécutions : 0,3 %Autres nombres : moins de 0,05 %
Deux curseurs : le nombre d'essais et le taux réel du bogue. Les taux sont des hypothèses que vous choisissez.
Description textuelle de l’explorateur

Le même graphique avec un second curseur : le taux réel du bogue, de 1 sur 100 à 1 sur 2. Il commence à 1 sur 3 avec 10 essais. Vous ne voyez alors aucun échec 1,7 % du temps. Avec 6 essais, vous avez 90 % de chances de voir le bogue. Avec un taux de 1 sur 100 et 100 essais, vous ne voyez aucun échec 36,6 % du temps. Il faut 230 essais pour atteindre une probabilité de 90 %.

Le bogue provoque un échec Essais pour avoir 90 % de chances de le voir Essais pour une probabilité de 95 %
1 fois sur 2 4 5
1 fois sur 3 6 8
1 fois sur 10 22 29
1 fois sur 20 45 59
1 fois sur 100 230 299

Le tableau fonctionne aussi dans l’autre sens. Si vous avez exécuté un cas 30 fois sans voir d’échec, le bogue peut quand même être présent. Zéro échec sur 30 essais reste compatible avec un taux réel allant jusqu’à environ 11 %, soit environ 1 essai sur 9. Zéro échec sur 10 essais reste compatible avec un taux allant jusqu’à 28 %. Donc, « 0 essai sur 30 » est un bon résultat, mais ce n’est pas « jamais ».

Les essais enregistrés du cours donnent de véritables taux de reproduction pour l’assistant réel. Chaque question a été exécutée 10 fois. Deux questions ont échoué dans les 10 essais, et 22 n’ont jamais échoué. Le graphique montre les questions qui ont échoué seulement parfois, ainsi que la question sur les retours. Il présente l’intervalle que permettent 10 essais.

Recorded (real model): the assistant's prompt, documents and tools on chat-small, 10 runs per question, the course author's labels. Ranges: Wilson, 95%.
Description textuelle du graphique

Une ligne par question, avec son taux d’échec sur 10 essais enregistrés. L’intervalle montre les taux réels compatibles : Order 8 days late (4 of 10): 40% (16.8% to 68.7%); Hose reel refund amount (3 of 10): 30% (10.8% to 60.3%); Delivery to Nunavut (2 of 10): 20% (5.7% to 51%); Hose reel warranty (1 of 10): 10% (1.8% to 40.4%); Refund time, in French (1 of 10): 10% (1.8% to 40.4%); Insists on a cancel (1 of 10): 10% (1.8% to 40.4%); Return window (0 of 10): 0% (0% to 27.8%). Tous les intervalles sont larges. Une question avec 1 échec sur 10 est compatible avec un taux réel d’environ 2 % à 40 %. La question sur les retours n’a échoué dans aucun des 10 essais. Cela reste compatible avec un taux réel allant jusqu’à environ 28 %.

Regardez la largeur des intervalles. « Commande en retard de 8 jours » a échoué 4 fois sur 10. Son taux réel pourrait toutefois se situer entre environ 17 % et 69 %. Les trois questions avec 1 échec sur 10 ne peuvent pas être distinguées. Pour chacune, les échecs pourraient être rares ou fréquents. Dix essais suffisaient pour montrer quelles questions échouent. Ils ne suffisent pas pour dire à quelle fréquence, ni pour les classer.

La question sur les retours montre l’autre côté. Le modèle réel n’a jamais dit 30 jours en 10 essais. Mais « 0 sur 10 » reste compatible avec un taux réel allant jusqu’à 28 %. L’application d’exercice échoue à cette question environ 1 essai sur 3. Un modèle réel peut donc se comporter très différemment de la simulation. Dix essais ne peuvent pas prouver qu’un bogue est absent.

Ces enregistrements ont coûté peu : 300 appels ont coûté environ 0,04 $ US sur un petit modèle hébergé. Les prix changent; consultez donc la page actuelle de votre fournisseur. Avec un modèle plus gros, une requête plus longue ou un juge pour chaque réponse, les essais coûtent plus cher. Le nombre d’essais devient alors une décision budgétaire.

Un taux de reproduction constitue une preuve seulement avec son contexte. Après la session, Esme ajoute une section à ses notes de session :

workspace/notes/session-01-refunds.md (part)
## Reproduction rates measured after the session (QA runner)
| Bug | Failing runs | Note |
|---|---|---|
| Outdated returns policy (30 days, version 3) | 5 of 30 (seeds 1-30: 2, 8, 11, 14, 22) | 30 of 100 with seeds 1-100. All failures cite version 3. |

Un taux complet comporte cinq éléments :

  1. Le compte et la base : 5 essais sur 30.
  2. Comment le reproduire : les graines 1 à 30 et les graines en échec. Pour un modèle réel, les réglages et la date d’exécution dans votre journal d’exécution.
  3. La version logicielle : application 2.3.0, modèle sim-1, requête support-v8.
  4. Ce qui constitue un échec : les vérifications, ici « dit 45 jours » et « cite la version 4 ».
  5. Les preuves : les exportations des essais en échec, dans le dossier conversations du rapport.

Pour un modèle réel, précisez que les essais ne peuvent pas être reproduits exactement et joignez chaque exportation en échec. Le modèle de rapport de bogue du module 4 comporte un champ pour chacun de ces éléments.

Mesurez le taux d’un échec intermittent avant de le signaler. Le taux indique à l’équipe la gravité du bogue et la difficulté à le revoir. Mesurez de nouveau après une correction. Le module 5 montre combien d’essais une correction demande avant de l’accepter.

Choisissez le nombre d’essais selon ce que vous devez montrer :

  • Que le bogue existe : exécutez jusqu’au premier échec, sans dépasser le nombre du tableau ci-dessus pour le taux que vous craignez.
  • À quelle fréquence il échoue, environ : 30 essais donnent un taux approximatif; 100 essais donnent un taux à environ ±10 points de pourcentage.
  • Qu’une correction fonctionne : beaucoup d’essais sans échec, car « 0 sur N » limite seulement le taux à environ 3 sur N.

Les essais de l’application d’exercice prennent quelques secondes. Les essais d’un modèle réel coûtent de l’argent et du temps, et un grand jeu de cas multiplie les deux. Consacrez les essais aux endroits où le tableau des risques indique des dommages importants.

Erreur courante

Votre compte diffère de celui de la leçon

Symptôme : vous exécutez le cas et obtenez, par exemple, 7 essais en échec sur 30, plutôt que 5 sur 30.

Cause : vous avez exécuté d’autres graines. Le plus souvent, --seed-start est défini ou le cas contient un autre nombre d’essais. Une autre cause est une application différente : --app pointe vers une autre version.

Diagnostic : lisez la ligne de résultat : elle indique les graines exécutées, par exemple seeds 1-30 (graines 1 à 30). Lisez la ligne App: (application) : elle doit indiquer 2.3.0, sim-1 et support-v8.

Résolution : exécutez le cas sans --seed-start et sans --app. Avec les mêmes graines et la même version logicielle, l’application d’exercice donne le même compte sur chaque ordinateur. Ce n’est pas le cas d’un modèle réel : un compte différent est alors normal.

Erreur courante

Le taux mélange deux bogues

Symptôme : un cas échoue dans 8 essais sur 30, mais les réponses en échec ne se ressemblent pas.

Cause : le cas comporte plusieurs vérifications, et différents essais échouent à différentes vérifications. Le taux compte alors deux échecs ensemble.

Diagnostic : exécutez le cas avec -v : il affiche chaque essai en échec et les vérifications qui ont échoué. Ou lisez report.md.

Résolution : divisez le cas en un cas par échec, chacun contenant seulement les vérifications de cet échec. Indiquez un taux par bogue.

Prenez le meilleur constat de votre session dans Chartes de test et sessions ou Personas, cas limites et entrées hostiles.

  1. Ajoutez un cas dans workspace/cases/repro-rate.yaml, après une ligne ---.
  2. Utilisez le message exact et le client de test de vos notes. Pour une conversation, utilisez steps: avec des lignes - say: ....
  3. Écrivez des vérifications qui échouent quand le bogue se produit, et seulement à ce moment-là.
  4. Définissez runs: 30.
  5. Exécutez python -m qa check ../workspace/cases/repro-rate.yaml, puis exécutez le fichier.
  6. Lisez les réponses en échec dans report.md. Vérifiez qu’elles montrent toutes le même bogue.
  7. Utilisez l’explorateur : 30 essais suffisent-ils pour le taux que vous avez trouvé?
  8. Notez le taux dans vos notes de session, avec les cinq éléments ci-dessus.
Vérifiez votre mesure

Si votre cas échoue à chaque essai, testez-le une fois sur une réponse que vous savez correcte. La vérification elle-même pourrait être erronée. S’il n’échoue à aucun essai, mais que vous avez vu le bogue pendant votre session, comparez le cas à vos notes. Vérifiez le message, le client de test et l’étape « oui », s’il y en avait une. Puis exécutez le cas avec la graine qui a échoué pendant votre session, avec --seed-start et --runs 1 --runs-override. Si cette graine échoue, le bogue est rare : faites 100 essais.

Un bon résultat se lit comme ceci. « Échec dans 5 essais sur 30 (graines 1 à 30; graines en échec : 2, 8, 11, 14, 22). Application 2.3.0, sim-1, support-v8. L’intervalle compatible avec ce compte va d’environ 7 % à 34 %. » Dites ensuite ce que des essais supplémentaires changeraient. Avec 100 essais, l’intervalle se réduirait à environ ±10 points. Ils ne changeraient pas la décision : Tomás doit corriger le bogue.

Vérifiez votre compréhension

Prédisez : un bogue se produit 1 fois sur 10. Vous testez l'entrée 5 fois. Quelle est la probabilité de ne voir aucun échec? Qu'écrivez-vous si vous n'en voyez aucun?

Afficher la réponse

0,9 × 0,9 × 0,9 × 0,9 × 0,9 = 0,59, soit 59 % : le plus souvent, vous ne voyez rien. Si vous ne voyez aucun échec, écrivez « 0 essai sur 5 (graines 1 à 5) », pas « impossible à reproduire ». Zéro échec dans 5 essais est compatible avec un taux réel allant jusqu’à environ 43 %. Cela dit donc peu de choses. Faites plus d’essais : 22 essais donnent 90 % de chances de voir un bogue qui se produit 1 fois sur 10.

Vérifiez votre compréhension

Tomás a testé l'entrée d'Esme une fois. Le test a réussi et il a écrit « ça fonctionne sur ma machine ». Que lui répondez-vous, avec les chiffres de cette leçon?

Afficher la réponse

Un essai réussi est le résultat attendu pour ce bogue. Il a échoué dans 5 essais sur 30. Un seul essai réussit donc environ 5 fois sur 6. Avec une fonction d’IA, la même entrée et la même version peuvent donner une réponse différente. Son essai n’indique donc pas que quelque chose diffère. Demandez-lui d’exécuter le cas avec les graines en échec (2, 8, 11, 14, 22), ou de faire les 30 essais. Avec un vrai modèle, il n’y a pas de graine : envoyez-lui les exports des essais en échec et leur nombre.

Vérifiez votre compréhension

Vérification du module : rapportez un constat avec son taux de reproduction et le nombre d'essais. Dites ce que des essais supplémentaires changeraient.

Afficher la réponse

Exemple : « L’assistant donne l’ancien délai de retour de 30 jours et cite la version 3 de la politique de retour. Il échoue dans 5 essais sur 30 (graines 1 à 30; graines en échec : 2, 8, 11, 14, 22). Application 2.3.0, modèle sim-1, requête support-v8. Vérifications : la réponse indique 45 jours et cite la version 4. Les exports des essais en échec sont joints. » Ce que des essais supplémentaires changent : l’estimation, pas le constat. Un résultat de 5 sur 30 est compatible avec un taux réel d’environ 7 % à 34 %. Avec 100 essais, le compte était de 30 sur 100, soit un intervalle d’environ 22 % à 40 %. Plus d’essais rendraient le taux plus précis. Cela aide à le comparer avant et après une correction. Ils ne rendraient pas le bogue moins réel.

Récapitulatif

  • Le taux de reproduction est le nombre d’essais en échec divisé par le nombre d’essais. Rapportez le compte et le total, « 5 essais sur 30 », avec les graines et la version de compilation.
  • « Ça fonctionne sur ma machine » est un argument faible pour les fonctions d’IA. La même entrée et la même version peuvent donner une réponse différente. Un essai réussi est souvent le résultat attendu d’un bogue intermittent.
  • Un taux tiré de peu d’essais est incertain. Un résultat de 2 sur 10 est compatible avec un taux réel d’environ 6 % à 51 %. Pour réduire l’intervalle de moitié, faites environ quatre fois plus d’essais.
  • Pour avoir 90 % de chances de voir un bogue qui se produit 1 fois sur 10, faites 22 essais. « 0 sur 30 » reste compatible avec un taux allant jusqu’à environ 1 sur 9.
  • L’assistant réel enregistré a échoué à certaines questions dans 1 à 4 essais sur 10. Dix essais montrent quelles questions échouent, mais pas à quelle fréquence.

Votre espace de travail contient maintenant workspace/cases/repro-rate.yaml, avec le cas d’Esme et celui de votre meilleur constat. Dans workspace/notes/, vos notes de session contiennent une section « taux de reproduction ». Vous avez exploré, varié et mesuré. Le prochain module transforme vos constats en rapports de bogue sur lesquels les gens peuvent agir.

Leçon suivante : Recueillir les preuves