Grilles d'évaluation et vérifications de propriétés
- Leçon 5
- 40 min
- Module 2 : Planifier et juger sans une seule bonne réponse
Où nous en sommes
Dans la leçon précédente, nous avons choisi où consacrer notre temps de test et nous avons écrit des critères d'acceptation sous forme de règles Doit et Ne doit pas. Mais une règle sur papier ne dit pas comment juger des centaines de réponses qui utilisent toutes d'autres mots. Dans cette leçon, nous transformons ces règles en une grille que deux testeurs appliquent de la même façon, et en vérifications de propriétés que l'exécuteur applique à chaque essai.
Leçon 5 sur 24 · Tester les applications d'IA : assurance qualité manuelle et assistée par l'IAGrilles d'évaluation et vérifications de propriétés
1. Comment les fonctions d'IA échouent
2. Planifier et juger sans une seule bonne réponse
3. Explorer et reproduire
4. Rédiger des rapports de bogue utiles aux personnes
5. Rédiger des rapports qu'un agent de programmation peut corriger
6. Tester la recherche, les agents et la sécurité
7. Assurance qualité assistée par l'IA et protection contre les régressions
Ce que vous saurez faire
Décidez si une réponse réussit le test quand aucun texte unique n’est la bonne réponse. Vous jugez les réponses avec une courte grille que deux testeurs appliquent de la même façon. Vous écrivez aussi des vérifications de propriétés que le programme d’assurance qualité applique à chaque essai.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Votre tableau des risques et les critères d’acceptation de Grace, dans Planifier les tests selon les risques. Cette leçon transforme certains critères en vérifications.
- Comment poser une question à l’application avec une graine, et comment une graine reproduit un essai. Vous l’avez vu dans Découvrir l’application de chasse aux bogues.
Ce qu’il vous faut sur votre ordinateur
- Votre dossier de cours
ai-qa, avecpractice-app/et son.venv,templates/etworkspace/. - Une connexion Internet une seule fois, pour installer PyYAML, le seul paquet nécessaire au programme d’assurance qualité. L’application elle-même n’a besoin de rien.
Testé avec Python 3.14 sur macOS. Les commandes Windows sont écrites pour PowerShell et n’ont pas été testées sur Windows.
Un enseignant corrige deux types de questions
Section intitulée « Un enseignant corrige deux types de questions »Un enseignant corrige un examen de mathématiques. La première question est « 7 × 8 =? ». Le corrigé indique 56, et toute autre réponse est fausse. La correction prend une seconde, et tous les enseignants donnent la même note.
La deuxième question est « Expliquez pourquoi les plantes ont besoin de lumière. » Aucun élève n’écrit la même phrase qu’un autre. Un corrigé d’une seule phrase ferait donc échouer presque toute la classe. L’enseignant utilise plutôt un barème de correction. Il accorde un point pour « la lumière donne de l’énergie à la plante ». Il en accorde un pour « la plante l’utilise pour produire sa nourriture » et un pour un exemple correct. Deux enseignants qui utilisent le même barème donnent les mêmes notes.
L’enseignant a aussi des règles que toute bonne réponse respecte, quels que soient les mots utilisés. Elle doit contenir des phrases complètes, dans la langue de l’examen. Un élève qui répond dans une autre langue échoue, même si le contenu est correct.
Le problème : un texte attendu fait échouer de bonnes réponses
Section intitulée « Le problème : un texte attendu fait échouer de bonnes réponses »Les testeurs écrivent un résultat attendu pour chaque cas de test. Pour une calculatrice, le résultat attendu est un nombre. Dans Tester une calculatrice, tester un nouveau collègue, vous avez vu qu’un seul texte attendu fait échouer de bonnes réponses. Maintenant, Esme mesure l’ampleur du problème. Elle demande « Combien de jours ai-je pour retourner un article non utilisé? » avec la graine 1. Elle enregistre la réponse comme texte attendu :
Good question. You can return an unused item within 45 days of delivery for a full refund of the item price. [1]Puis elle pose la même question avec les graines 2 à 20. Sur les 20 réponses, 16 donnent le bon délai de 45 jours. Ces 16 réponses utilisent 14 textes différents. En voici deux, provenant des graines 3 et 9 :
Here is what our policy says. You can return an unused item within 45 days of delivery for a full refund of the item price. [1]You can return an unused item within 45 days of delivery for a full refund of the item price. [1] Is there anything else I can help with?Les trois réponses sont simulées (application d’exercice), et elles sont toutes correctes. Une seule des 16 réponses correctes reprend mot pour mot le texte attendu : la réponse de la graine 1 elle-même. Un test de correspondance exacte fait échouer les 15 autres.
Un vrai modèle varie de la même façon. Pour ce cours, nous avons posé la même question 10 fois à un vrai modèle. La requête, la recherche et les outils étaient identiques (enregistré, vrai modèle). Les 10 réponses ont donné 45 jours, avec 8 textes différents. En voici deux :
You can return an unused item within 45 days of delivery. The 45-day period starts on the delivery date shown in your account. [1]You can return an unused item within 45 days of the delivery date shown in your account. [1]Tomás propose l’inverse : « Vérifiez seulement que la réponse contient le mot return (retourner). » Cette vérification accepte les 20 réponses simulées, y compris les 4 qui ne donnent pas 45 jours. Esme a besoin d’un compromis entre « le même texte » et « tout texte contenant le mot return ».
L’idée : choisir votre oracle de test
Section intitulée « L’idée : choisir votre oracle de test »Vous avez rencontré l’oracle de test dans Tester une calculatrice, tester un nouveau collègue. C’est ce qui vous indique si un résultat est correct. (Dans la Grèce antique, un oracle était un lieu où les gens allaient demander la bonne réponse.) Pour une calculatrice, l’oracle est le nombre attendu. Pour un assistant de soutien, un texte attendu est un mauvais oracle, comme vous venez de le voir. Les testeurs de fonctions d’IA en utilisent quatre meilleurs, du plus strict au plus souple.
Description textuelle du diagramme
L’échelle compte quatre échelons, du bas vers le haut.
Correspondance exacte : il vous faut le texte attendu. Elle détecte tout changement, mais fait échouer les bonnes réponses qui utilisent d’autres mots. Son exécution coûte peu. Par contre, elle est presque impossible à écrire pour des réponses qui varient.
Grille : il vous faut quelques critères courts et un lecteur, une personne ou un modèle. Elle détecte les faits erronés, les éléments manquants et les problèmes de ton. Elle coûte quelques minutes de lecture par réponse.
Vérifications de propriétés : il vous faut des règles que toute bonne réponse respecte. Elles détectent une mauvaise langue, une source absente ou périmée et des montants inventés. Un programme les vérifie sur chaque réponse en quelques secondes.
Relations métamorphiques : il vous faut un changement à l’entrée qui ne doit pas modifier la réponse. Elles détectent les réponses qui changent selon un nom ou une formulation et n’exigent aucune réponse attendue. La prochaine leçon les couvre.
Vous montez dans l’échelle quand l’échelon inférieur ne peut pas juger vos réponses. La plupart des plans de test combinent plusieurs échelons.
Grilles : un barème de correction pour les réponses
Section intitulée « Grilles : un barème de correction pour les réponses »Une grille est une courte liste de critères qu’un lecteur utilise pour juger une réponse, avec un score par niveau. C’est le barème de correction de l’enseignant. Une bonne grille a trois parties :
- Des critères vérifiables par oui ou non. « Chaque nombre, date et règle de la réponse figure dans la politique citée » est vérifiable. « La réponse est exacte » ne l’est pas, car deux lecteurs ne s’entendent pas sur le sens d’exact.
- Des repères de score qui décrivent chaque score, avec un exemple.
- Une règle de réussite, par exemple « score de 3 ou plus ».
Le dossier des modèles contient une grille avec cinq critères et quatre scores. Voici l’essentiel :
1. Correct facts. Every number, date and rule in the reply is in the cited policy or the order. (Yes/No)2. Cites the source. The reply cites the policy that supports it, in its version in force. (Yes/No)3. Answers the question. The reply answers what the customer asked, not a nearby question. (Yes/No)4. Safe action. The reply asks before any action (cancel, refund) and acts only for this customer. (Yes/No)5. Language and tone. Same language as the customer; polite and calm. (Yes/No)
- 4: all five criteria are met.- 3: criteria 1, 3 and 4 are met; one small problem in 2 or 5.- 2: the reply is incomplete or partly wrong, but it does no harm.- 1: a wrong fact, a wrong action, a leak or a harmful reply.Pass: score 3 or more.Un petit exemple : trois réponses à une question en français
Section intitulée « Un petit exemple : trois réponses à une question en français »Esme note trois réponses à la version française de la question : « Combien de jours ai-je pour retourner un article non utilisé? » À la date de l’application, la politique de retour en vigueur est la version 4 : 45 jours. Les réponses proviennent des graines 1, 9 et 2.
| Graine | Réponse (début) | 1 Faits | 2 Source | 3 Répond à la question | 4 Action | 5 Langue, ton | Score |
|---|---|---|---|---|---|---|---|
| 1 | « Bonne question. Vous pouvez retourner un article non utilisé dans les 45 jours… » cite la version 4 | Oui | Oui | Oui | Oui | Oui | 4 : réussite |
| 9 | « You can return an unused item within 45 days of delivery… » (Vous pouvez retourner un article non utilisé dans les 45 jours suivant la livraison…) cite la version 4 | Oui | Oui | Oui | Oui | Non : anglais | 3 : réussite |
| 2 | « Thanks for asking. You can return an unused item within 30 days… » (Merci pour votre question. Vous pouvez retourner un article non utilisé dans les 30 jours…) cite la version 3 | Non : 30 jours est l’ancienne règle | Non : ancienne version | Oui | Oui | Non : anglais | 1 : échec |
L’auteur du cours a attribué les scores. Les réponses sont simulées (application d’exercice). La grille remplit son rôle pour la graine 2 : un fait erroné donne un score de 1. Cela reste vrai, peu importe ce que la réponse réussit par ailleurs. Vous avez rencontré cette réponse périmée dans Tester une calculatrice, tester un nouveau collègue.
Mais regardez la graine 9. Un client francophone reçoit une réponse en anglais, et la grille l’accepte avec un score de 3. La grille considère la mauvaise langue comme un « petit problème ». Le critère 4 de Grace indique que la réponse doit être dans la langue du client. Un score additionne les problèmes, donc une règle obligatoire peut disparaître dans le total. Une règle qui ne doit jamais être enfreinte exige sa propre vérification, à chaque essai. C’est la prochaine idée.
Qui lit avec la grille
Section intitulée « Qui lit avec la grille »Une grille exige un lecteur. Une personne prend une ou deux minutes par réponse. Elle peut donc lire 30 réponses, pas 3 000. Un modèle juge est un modèle de langage qui note les réponses avec votre grille. Il peut en lire des milliers. Mais il commet ses propres erreurs, et vous devez d’abord comparer ses scores aux vôtres. Trier de nombreuses réponses avec un modèle juge montre comment un testeur en utilise un. Rédiger une grille d’évaluation utilisable, dans le cours sur l’évaluation, approfondit les grilles. Calibrer les évaluateurs montre comment mesurer l’accord entre deux lecteurs.
Vérifications de propriétés : des règles que toute bonne réponse respecte
Section intitulée « Vérifications de propriétés : des règles que toute bonne réponse respecte »La règle de l’enseignant « dans la langue de l’examen » n’exige aucun barème de correction. Vous pouvez la vérifier en une seconde, et toute bonne réponse la respecte, quels que soient ses mots. Une vérification de propriétés est une règle de ce type pour une fonction d’IA. Elle décrit ce que toute bonne réponse contient, ou ne contient jamais, et un programme peut la vérifier. Le nom vient du mot courant : une propriété est une qualité que possède une chose.
Le plan de ce cours nomme trois propriétés d’une bonne réponse du service de soutien :
- Elle répond dans la langue du client. Une question en français reçoit une réponse en français.
- Elle cite une politique. Une réponse sur une politique a une source.
- Elle ne donne jamais un montant qui ne lui a pas été fourni. Une question sur le délai de retour ne reçoit aucun montant en dollars. Une offre de remboursement donne seulement le montant indiqué dans la commande.
Esme vérifie d’abord à la main les trois propriétés de la réponse de la graine 9.
Description textuelle du diagramme
À gauche se trouve la question du client, en français : « Combien de jours ai-je pour retourner un article non utilisé? » En dessous se trouve la réponse de la graine 9, en anglais : « You can return an unused item within 45 days of delivery for a full refund of the item price. [1] Is there anything else I can help with? » Elle signifie : « Vous pouvez retourner un article non utilisé dans les 45 jours suivant la livraison pour obtenir le remboursement complet de son prix. [1] Puis-je vous aider avec autre chose? » Sa source est « Returns policy, version 4: Return window » (Politique de retour, version 4 : délai de retour).
À droite se trouvent trois vérifications. Langue : la question est en français, la réponse en anglais, donc la vérification échoue. Cite la politique de retour : la réponse cite la politique de retour, version 4, donc la vérification réussit. Aucun montant : la réponse ne contient aucun nombre comme 12,95, donc la vérification réussit. Le verdict en bas : une vérification échoue, donc l’essai échoue.
Chaque vérification est simple, et aucune n’exige un texte attendu. La vérification de langue accepte toutes les formulations françaises. Elle rejette une réponse en anglais même si ses faits sont corrects.
Le programme d’assurance qualité applique les propriétés à de nombreux essais
Section intitulée « Le programme d’assurance qualité applique les propriétés à de nombreux essais »La vérification manuelle convient pour trois réponses. Une défaillance intermittente exige de nombreux essais, donc Esme laisse un programme s’en charger. Le programme d’assurance qualité dans practice-app/qa/ lit des cas de test dans des fichiers YAML. Il exécute chaque cas plusieurs fois, chaque fois avec une nouvelle graine, une nouvelle conversation et des données de test fraîches. Puis il applique les vérifications à chaque réponse.
YAML est un format de texte brut composé de lignes key: value (clé : valeur); vous le modifiez seulement. Esme commence workspace/cases/properties.yaml avec deux cas. Une ligne --- les sépare :
# Property checks (Module 2): rules that every good answer follows, instead of one exact expected text.id: prop-refund-time-citestitle: An answer about refund times cites the refunds policymessage: How long does a refund take to reach my card?checks: - cites: refunds-and-payments - not_contains: "within 3 business days after we receive"runs: 10---id: prop-french-answer-in-frenchtitle: A French question gets a French answermessage: Combien de jours ai-je pour retourner un article non utilisé ?checks: - language: frruns: 10Chaque ligne sous checks (vérifications) est une propriété. Dans le premier cas, cites: refunds-and-payments réussit quand la réponse cite la politique de remboursement et de paiement. not_contains (ne contient pas) réussit quand la réponse ne contient pas le texte. « Within 3 business days after we receive » (Dans les 3 jours ouvrables suivant la réception) semble correct. Pourtant, aucune politique ne le dit : ce texte mélange deux règles réelles. Une réponse qui le dit a inventé un délai. Dans le deuxième cas, language: fr réussit quand la réponse est en français. runs: 10 exécute chaque cas 10 fois, avec les graines 1 à 10.
Esme exécute le fichier. La sortie :
QA run: 2 case(s) from ../workspace/cases/properties.yamlApp: larkfield-helpdesk 2.3.0 | model sim-1 | prompt support-v8PASS prop-refund-time-cites 10/10 passed (needs 10; seeds 1-10)FAIL prop-french-answer-in-french 7/10 passed (needs 10; seeds 1-10) first failing run: seed 2, trace tr-0001-1 - language: expected fr, the reply is in en
2 case(s): 1 passed, 1 failed, 0 known bug(s) still failing, 0 known bug(s) now passing, 0 not runReport: reports/qa-<date>-<time>/report.mdLisez-la à partir du haut. Le programme a utilisé l’application 2.3.0 avec le modèle simulé. Le cas du délai de remboursement a réussi les 10 essais. Le cas en français a réussi 7 essais sur 10. Il en exige 10 sur 10, donc il échoue. Son premier essai en échec utilisait la graine 2, et sa réponse était en anglais. Le fichier de rapport liste chaque essai en échec (graines 2, 8 et 9) avec sa réponse. Il enregistre aussi chaque conversation en échec au format JSON, prête à joindre à un rapport de bogue.
C’est un défaut : le service de soutien répond à certaines questions en français par une réponse en anglais. Le cas l’a détecté dans 3 essais sur 10 (simulé, application d’exercice). Le critère 4 de Grace exige 10 sur 10, et sa décision en fait un bogue de gravité élevée. Quelle certitude donne « 3 sur 10 »? Répéter les essais et mesurer le taux de reproduction montre combien d’essais il vous faut.
Grille ou vérification de propriétés?
Section intitulée « Grille ou vérification de propriétés? »Vous avez généralement besoin des deux. Elles détectent des choses différentes et ont des coûts différents :
| Grille | Vérification de propriétés | |
|---|---|---|
| Qui l’applique | Une personne, ou un modèle juge que vous avez vérifié | Le programme d’assurance qualité |
| Coût par réponse | Une ou deux minutes de lecture | Moins d’une seconde |
| Détecte | Faits erronés, éléments manquants, réponse à une question voisine, ton | Langue, source absente ou périmée, montant qui ne devrait pas être là, outil qui ne devrait pas être appelé |
| Ne détecte pas | Problèmes que le lecteur fatigué ne remarque pas; erreurs d’un juge non vérifié | Tout ce qu’aucune règle ne décrit : une réponse polie avec un mauvais conseil |
Esme transforme donc chaque règle obligatoire en vérification de propriétés appliquée à chaque réponse. Elle lit un échantillon de réponses avec la grille pour trouver les problèmes qu’aucune règle ne décrit encore. Chaque nouveau problème qu’elle trouve peut devenir une nouvelle propriété.
Les vérifications de propriétés présentent un autre risque : une propriété faible accepte de mauvaises réponses. contains: return accepte tout, comme l’a montré l’idée de Tomás. Une bonne propriété fait échouer au moins une mauvaise réponse que vous pouvez nommer. Avant de faire confiance à une nouvelle propriété, essayez-la sur une réponse qui devrait échouer.
Erreur courante
Une grille que deux testeurs appliquent différemment
Symptôme : Tomás écrit une grille rapide : « La réponse est-elle bonne? Score de 1 à 5. » Esme et Tomás notent les quatre mêmes réponses à la question sur les retours. Ces scores sont construits pour cet exemple :
| Réponse | Esme | Tomás |
|---|---|---|
| Graine 1, 45 jours, cite la version 4 | 5 | 4 |
| Graine 4, 45 jours, plus longue, avec « The 45 days start on the delivery date » (Les 45 jours commencent à la date de livraison) | 5 | 3 (« trop longue ») |
| Graine 9 à la question en français, réponse en anglais | 2 | 4 (« les faits sont corrects ») |
| Graine 2, 30 jours, cite la version 3 | 1 | 3 (« ça me semble correct ») |
Ils ne s’entendent sur aucune des quatre réponses. Pour la graine 2, Tomás accepte une mauvaise réponse. Il ne sait pas que le délai de retour est passé à 45 jours.
Cause : « bonne » n’est pas un critère. Chaque lecteur y met sa propre idée : Esme pense à la politique, Tomás à la longueur. Et la grille ne donne au lecteur aucun fait auquel comparer la réponse.
Correction : écrivez des critères vérifiables par oui ou non, et nommez la source de vérité. Le modèle le fait : « Chaque nombre, date et règle de la réponse figure dans la politique citée, dans sa version en vigueur. » Donnez des repères de score avec un exemple. Ensuite, les deux testeurs notent les 10 mêmes réponses et comparent leurs scores. S’ils divergent sur plus d’une réponse, précisez le critère qui a causé le désaccord.
Conséquence dans le travail en IA : une grille vague donne des nombres qui ressemblent à des mesures, mais sont des opinions. On ne peut pas comparer deux séries de tests faites par deux testeurs. Une mauvaise réponse réussit quand le lecteur ne connaît pas la règle.
Exercice guidé : exécuter vos premières vérifications de propriétés
Section intitulée « Exercice guidé : exécuter vos premières vérifications de propriétés »-
Ouvrez un terminal dans
ai-qa/practice-app/et activez l’environnement, comme dans Découvrir l’application de chasse aux bogues. L’invite commence par(.venv). -
Installez PyYAML, le paquet dont l’exécuteur de tests d’assurance qualité a besoin :
Fenêtre de terminal python -m pip install -r requirements.txtLa dernière ligne de la sortie est
Successfully installed PyYAML-6.0.3(installation de PyYAML-6.0.3 réussie). -
Dans le dossier
workspace/cases, créé dans Découvrir l’application de chasse aux bogues, créez le fichierproperties.yamlavec les deux cas d’Esme de cette leçon. -
Vérifiez que vos fichiers de cas sont valides. L’exécuteur les lit sans les exécuter :
Fenêtre de terminal python -m qa check ../workspace/casesLa sortie nomme chaque cas du dossier : vos deux nouveaux cas et les trois du module 1 :
5 valid case(s): return-window-one-run, return-window-ten-runs, prop-refund-time-cites, prop-french-answer-in-french, smoke-first-answerSi vous voyez
Case error(erreur de cas), le message nomme le cas à corriger. YAML exige des espaces, pas des tabulations, avant chaque ligne- language. -
Exécutez d’abord le fichier du module 1. Il contient deux fois la question sur les retours, avec
runs: 1, puis avecruns: 10:Fenêtre de terminal python -m qa run ../workspace/cases/one-run-is-not-enough.yamlPASS return-window-one-run 1/1 passed (needs 1; seed 1)FAIL return-window-ten-runs 8/10 passed (needs 10; seeds 1-10)first failing run: seed 2, trace tr-0001-1- contains: missing ['45 days']La même vérification réussit avec 1 essai et échoue avec 10. C’est la leçon du module 1, maintenant dans un cas de test.
-
Exécutez votre nouveau fichier :
Fenêtre de terminal python -m qa run ../workspace/cases/properties.yamlVous voyez
PASS prop-refund-time-cites(réussite) etFAIL prop-french-answer-in-french 7/10 passed(échec, 7 essais sur 10 réussis), comme ci-dessus. Les graines sont fixes, donc votre résultat est le même. -
Ouvrez le fichier
report.mdnommé à la dernière ligne. Trouvez les réponses des graines 2, 8 et 9. Évaluez chacune avec le modèle de grille.
Afficher les notes de l’étape 7
La graine 9 obtient 3 avec le modèle de grille : les faits et la source sont corrects, mais la réponse est en anglais. Elle réussit selon la grille et échoue à la vérification de propriété, comme dans la leçon. Les graines 2 et 8 répondent en anglais et donnent 30 jours avec la politique de retour, version 3. C’est un fait erroné (critère 1), donc chacune obtient 1. La vérification de propriété a trouvé le problème de langue dans les trois essais. Elle n’a pas détecté les 30 jours, car aucune vérification de ce cas ne porte sur le nombre de jours. C’est le rôle du critère 1 de la liste de Grace et des cas de non-régression des modules suivants.
À vous : une grille et une propriété pour les remboursements
Section intitulée « À vous : une grille et une propriété pour les remboursements »Passons à la fonction de remboursement, en tête de votre tableau des risques.
Partie 1. Copiez templates/rubric.md dans workspace/plan/rubric-refund-reply.md. Adaptez-le à une réponse sur un retour ou un remboursement. Précisez les faits qui doivent être corrects (le montant, le nombre de jours, la règle). Précisez la politique à citer et ce qui constitue une action sûre. Gardez de 4 à 6 critères oui/non, des repères de notation et une règle de réussite.
Partie 2. Ajoutez un troisième cas à workspace/cases/properties.yaml, après une ligne ---. Il vérifie l’offre de remboursement pour le dévidoir de la commande LK-200102 (client de test C-1001, par défaut). Pensez aux critères 2 et 3 de Grace : le montant de la commande et aucun remboursement avant un oui. Utilisez les vérifications du README de l’exécuteur, dans practice-app/README.md. Exécutez le fichier de nouveau.
Partie 3. Si un essai échoue, ouvrez sa réponse dans le rapport. Évaluez-la avec votre grille.
Afficher une réponse possible
Partie 1. La grille d’Esme, au début de workspace/plan/rubric-refund-reply.md :
# Rubric: a reply about a return or a refund
## Criteria
1. **Correct facts.** Every amount, number of days and rule in the reply is in the cited policy or in the customer's order. (Yes/No)2. **Cites the source.** The reply cites the returns or refunds policy in its version in force (returns policy version 4). (Yes/No)3. **Answers the question.** The reply answers what the customer asked. (Yes/No)4. **Safe action.** The reply asks before it starts a refund, and acts only for this customer. (Yes/No)5. **Language and tone.** Same language as the customer; polite and calm. (Yes/No)
## Score
- **4:** all five criteria are met.- **3:** criteria 1, 3 and 4 are met; one small problem in 2 or 5.- **2:** incomplete or partly wrong, but no harm.- **1:** a wrong amount, a wrong action, a leak or a harmful reply.
Pass: 3 or more. A score of 1 is a bug.Partie 2. Le troisième cas :
---id: prop-refund-amount-from-ordertitle: A refund offer gives the amount from the order (64.00 - 12.95 = 51.05)message: I want to return the hose reel from order LK-200102checks: - contains: "51.05" - tool_not_called: start_refundruns: 1051,05 correspond au prix du dévidoir (64,00 $) moins les frais d’expédition de retour de 12,95 $. tool_not_called: start_refund vérifie le critère 3 de Grace : après le premier message, aucun remboursement n’est lancé. Les guillemets autour de "51.05" conservent cette valeur sous forme de texte.
L’essai affiche FAIL prop-refund-amount-from-order 9/10 passed (échec, 9 essais sur 10 réussis). Le premier essai en échec utilise la graine 4 : contains: missing ['51.05'] (la valeur « 51.05 » manque).
Partie 3. La réponse de la graine 4 (simulée, application d’exercice) :
I can start the return of the AquaFlow HR-30 hose reel from order LK-200102. Your refund will be 79.00 dollars (the item price, the shipping fee and a 15-dollar goodwill credit). Reply yes to confirm.Critère 1 : non. La commande n’a aucuns frais d’expédition à rembourser, et aucune politique ne prévoit un crédit de 15 $. Critère 2 : non, il n’y a pas de source. Critères 3, 4 et 5 : oui. Note 1 : un montant erroné. Esme ajoute cet exemple détaillé à la fin de son fichier de grille. Vous rédigerez le rapport de bogue correspondant dans Un modèle de rapport de bogue pour le comportement de l’IA. La fonction de remboursement contient d’autres défauts que ce cas ne peut pas détecter.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Esme enregistre la réponse de la graine 1 comme texte attendu et la compare à 20 essais. Quel problème cela pose-t-il, et quel oracle utiliseriez-vous plutôt pour le délai de retour?
Afficher la réponse
Un oracle de correspondance exacte fait échouer de bonnes réponses qui utilisent d’autres mots. Sur 20 essais simulés, 16 réponses donnaient le bon délai de 45 jours, dans 14 textes différents. Seule la graine 1 correspondait au texte attendu, donc 15 réponses correctes échoueraient. Un vrai modèle varie aussi : 10 essais enregistrés ont donné 8 textes différents. Utilisez plutôt des vérifications de propriétés : la réponse contient 45, cite la politique de retour, version 4, et utilise la langue du client. Lisez un échantillon avec une grille pour évaluer ce que les règles ne peuvent pas détecter.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Avec le modèle de grille, une réponse anglaise à une question française obtient 3 et réussit. Pourquoi, et qu'ajoute Esme?
Afficher la réponse
Le modèle compte la mauvaise langue comme un « petit problème » au critère 5, et la note 3 permet un petit problème. Une note additionne les problèmes, ce qui peut masquer une règle obligatoire. Esme vérifie cette règle séparément, à chaque essai, avec la propriété language: fr. Ce cas a trouvé des réponses anglaises dans 3 essais sur 10.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : Tomás ajoute la propriété `contains: days` à un cas sur le délai de retour. Quelle réponse erronée réussit quand même? Écrivez une meilleure propriété.
Afficher la réponse
La réponse qui donne 30 jours avec la politique de retour, version 3, réussit, car « 30 days » contient « days » (jours). Chaque réponse sur un délai de retour contient « days », donc la vérification ne fait échouer aucune réponse. Mieux : contains: 45 days avec cites: returns-policy@4, comme dans le critère 1 de Grace. Testez une nouvelle propriété sur une réponse qui devrait échouer avant de lui faire confiance.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un oracle de test décide si un résultat réussit. Un texte attendu exact est un mauvais oracle pour une fonction d’IA. Parmi les réponses simulées correctes, 15 sur 16 utilisaient d’autres mots. Un vrai modèle a donné 8 textes en 10 essais.
- Une grille comprend des critères oui/non, des repères de notation et une règle de réussite. Une note peut masquer une règle obligatoire, comme la langue du client.
- Une vérification de propriété est une règle que chaque bonne réponse respecte. Exemples : la langue du client, une politique citée dans sa version en vigueur, aucun montant qui n’a pas été fourni. L’exécuteur de tests d’assurance qualité applique les propriétés à chaque essai.
- Pour la question française sur les retours, l’exécuteur a trouvé des réponses anglaises dans 3 essais sur 10 (simulés, application d’exercice) : un défaut.
- Utilisez les deux : des propriétés pour chaque règle obligatoire à chaque essai, et une grille sur un échantillon. Vous trouverez ainsi ce qu’aucune règle ne décrit encore.
Votre espace de travail maintenant : vos notes du module 1, workspace/plan/ avec risk-table.md, acceptance-criteria.md, refund-risks.md et rubric-refund-reply.md, et workspace/cases/properties.yaml avec trois cas.
Ensuite, vous évaluerez des réponses sans même connaître la bonne réponse, en comparant deux réponses qui doivent concorder.
Leçon suivante : Tests métamorphiques