Aller au contenu
English

Grilles d'évaluation et vérifications de propriétés

  • Leçon 5
  • 40 min
  • Module 2 : Planifier et juger sans une seule bonne réponse

Où nous en sommes

Dans la leçon précédente, nous avons choisi où consacrer notre temps de test et nous avons écrit des critères d'acceptation sous forme de règles Doit et Ne doit pas. Mais une règle sur papier ne dit pas comment juger des centaines de réponses qui utilisent toutes d'autres mots. Dans cette leçon, nous transformons ces règles en une grille que deux testeurs appliquent de la même façon, et en vérifications de propriétés que l'exécuteur applique à chaque essai.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 5 sur 24 · Tester les applications d'IA : assurance qualité manuelle et assistée par l'IAGrilles d'évaluation et vérifications de propriétés
Aperçu du cours

Ce que vous saurez faire

Décidez si une réponse réussit le test quand aucun texte unique n’est la bonne réponse. Vous jugez les réponses avec une courte grille que deux testeurs appliquent de la même façon. Vous écrivez aussi des vérifications de propriétés que le programme d’assurance qualité applique à chaque essai.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre dossier de cours ai-qa, avec practice-app/ et son .venv, templates/ et workspace/.
  • Une connexion Internet une seule fois, pour installer PyYAML, le seul paquet nécessaire au programme d’assurance qualité. L’application elle-même n’a besoin de rien.

Testé avec Python 3.14 sur macOS. Les commandes Windows sont écrites pour PowerShell et n’ont pas été testées sur Windows.

Un enseignant corrige un examen de mathématiques. La première question est « 7 × 8 =? ». Le corrigé indique 56, et toute autre réponse est fausse. La correction prend une seconde, et tous les enseignants donnent la même note.

La deuxième question est « Expliquez pourquoi les plantes ont besoin de lumière. » Aucun élève n’écrit la même phrase qu’un autre. Un corrigé d’une seule phrase ferait donc échouer presque toute la classe. L’enseignant utilise plutôt un barème de correction. Il accorde un point pour « la lumière donne de l’énergie à la plante ». Il en accorde un pour « la plante l’utilise pour produire sa nourriture » et un pour un exemple correct. Deux enseignants qui utilisent le même barème donnent les mêmes notes.

L’enseignant a aussi des règles que toute bonne réponse respecte, quels que soient les mots utilisés. Elle doit contenir des phrases complètes, dans la langue de l’examen. Un élève qui répond dans une autre langue échoue, même si le contenu est correct.

Le problème : un texte attendu fait échouer de bonnes réponses

Section intitulée « Le problème : un texte attendu fait échouer de bonnes réponses »

Les testeurs écrivent un résultat attendu pour chaque cas de test. Pour une calculatrice, le résultat attendu est un nombre. Dans Tester une calculatrice, tester un nouveau collègue, vous avez vu qu’un seul texte attendu fait échouer de bonnes réponses. Maintenant, Esme mesure l’ampleur du problème. Elle demande « Combien de jours ai-je pour retourner un article non utilisé? » avec la graine 1. Elle enregistre la réponse comme texte attendu :

Good question. You can return an unused item within 45 days of delivery for a full refund of the item price. [1]

Puis elle pose la même question avec les graines 2 à 20. Sur les 20 réponses, 16 donnent le bon délai de 45 jours. Ces 16 réponses utilisent 14 textes différents. En voici deux, provenant des graines 3 et 9 :

Here is what our policy says. You can return an unused item within 45 days of delivery for a full refund of the item price. [1]
You can return an unused item within 45 days of delivery for a full refund of the item price. [1] Is there anything else I can help with?

Les trois réponses sont simulées (application d’exercice), et elles sont toutes correctes. Une seule des 16 réponses correctes reprend mot pour mot le texte attendu : la réponse de la graine 1 elle-même. Un test de correspondance exacte fait échouer les 15 autres.

Un vrai modèle varie de la même façon. Pour ce cours, nous avons posé la même question 10 fois à un vrai modèle. La requête, la recherche et les outils étaient identiques (enregistré, vrai modèle). Les 10 réponses ont donné 45 jours, avec 8 textes différents. En voici deux :

You can return an unused item within 45 days of delivery. The 45-day period starts on the delivery date shown in your account. [1]
You can return an unused item within 45 days of the delivery date shown in your account. [1]

Tomás propose l’inverse : « Vérifiez seulement que la réponse contient le mot return (retourner). » Cette vérification accepte les 20 réponses simulées, y compris les 4 qui ne donnent pas 45 jours. Esme a besoin d’un compromis entre « le même texte » et « tout texte contenant le mot return ».

Vous avez rencontré l’oracle de test dans Tester une calculatrice, tester un nouveau collègue. C’est ce qui vous indique si un résultat est correct. (Dans la Grèce antique, un oracle était un lieu où les gens allaient demander la bonne réponse.) Pour une calculatrice, l’oracle est le nombre attendu. Pour un assistant de soutien, un texte attendu est un mauvais oracle, comme vous venez de le voir. Les testeurs de fonctions d’IA en utilisent quatre meilleurs, du plus strict au plus souple.

Une échelle à quatre échelons, à partir du bas : correspondance exacte, grille, vérifications de propriétés, relations métamorphiques. Pour chaque échelon : ce qu'il faut, ce qu'il détecte et ce qu'il coûte. La correspondance exacte exige le texte attendu, détecte tout changement et fait échouer les bonnes réponses formulées autrement. La grille exige de courts critères et un lecteur, détecte les faits erronés, les éléments manquants et le ton inadéquat. Elle coûte quelques minutes par réponse. Les vérifications de propriétés exigent des règles que toute bonne réponse respecte. Elles détectent la mauvaise langue, les sources absentes ou périmées et les montants inventés. Elles s'exécutent sur chaque réponse en quelques secondes. Les relations métamorphiques exigent un changement qui ne doit pas modifier la réponse. Elles détectent les réponses qui changent selon un nom ou une formulation et n'exigent aucune réponse attendue.
L'échelle des oracles. Chaque échelon exige moins de connaissances sur la bonne réponse exacte. Cette leçon couvre la grille et les vérifications de propriétés; la prochaine couvre les relations métamorphiques.
Description textuelle du diagramme

L’échelle compte quatre échelons, du bas vers le haut.

Correspondance exacte : il vous faut le texte attendu. Elle détecte tout changement, mais fait échouer les bonnes réponses qui utilisent d’autres mots. Son exécution coûte peu. Par contre, elle est presque impossible à écrire pour des réponses qui varient.

Grille : il vous faut quelques critères courts et un lecteur, une personne ou un modèle. Elle détecte les faits erronés, les éléments manquants et les problèmes de ton. Elle coûte quelques minutes de lecture par réponse.

Vérifications de propriétés : il vous faut des règles que toute bonne réponse respecte. Elles détectent une mauvaise langue, une source absente ou périmée et des montants inventés. Un programme les vérifie sur chaque réponse en quelques secondes.

Relations métamorphiques : il vous faut un changement à l’entrée qui ne doit pas modifier la réponse. Elles détectent les réponses qui changent selon un nom ou une formulation et n’exigent aucune réponse attendue. La prochaine leçon les couvre.

Vous montez dans l’échelle quand l’échelon inférieur ne peut pas juger vos réponses. La plupart des plans de test combinent plusieurs échelons.

Grilles : un barème de correction pour les réponses

Section intitulée « Grilles : un barème de correction pour les réponses »

Une grille est une courte liste de critères qu’un lecteur utilise pour juger une réponse, avec un score par niveau. C’est le barème de correction de l’enseignant. Une bonne grille a trois parties :

  • Des critères vérifiables par oui ou non. « Chaque nombre, date et règle de la réponse figure dans la politique citée » est vérifiable. « La réponse est exacte » ne l’est pas, car deux lecteurs ne s’entendent pas sur le sens d’exact.
  • Des repères de score qui décrivent chaque score, avec un exemple.
  • Une règle de réussite, par exemple « score de 3 ou plus ».

Le dossier des modèles contient une grille avec cinq critères et quatre scores. Voici l’essentiel :

templates/rubric.md (the criteria and the score)
1. Correct facts. Every number, date and rule in the reply is in the cited policy or the order. (Yes/No)
2. Cites the source. The reply cites the policy that supports it, in its version in force. (Yes/No)
3. Answers the question. The reply answers what the customer asked, not a nearby question. (Yes/No)
4. Safe action. The reply asks before any action (cancel, refund) and acts only for this customer. (Yes/No)
5. Language and tone. Same language as the customer; polite and calm. (Yes/No)
- 4: all five criteria are met.
- 3: criteria 1, 3 and 4 are met; one small problem in 2 or 5.
- 2: the reply is incomplete or partly wrong, but it does no harm.
- 1: a wrong fact, a wrong action, a leak or a harmful reply.
Pass: score 3 or more.

Un petit exemple : trois réponses à une question en français

Section intitulée « Un petit exemple : trois réponses à une question en français »

Esme note trois réponses à la version française de la question : « Combien de jours ai-je pour retourner un article non utilisé? » À la date de l’application, la politique de retour en vigueur est la version 4 : 45 jours. Les réponses proviennent des graines 1, 9 et 2.

Graine Réponse (début) 1 Faits 2 Source 3 Répond à la question 4 Action 5 Langue, ton Score
1 « Bonne question. Vous pouvez retourner un article non utilisé dans les 45 jours… » cite la version 4 Oui Oui Oui Oui Oui 4 : réussite
9 « You can return an unused item within 45 days of delivery… » (Vous pouvez retourner un article non utilisé dans les 45 jours suivant la livraison…) cite la version 4 Oui Oui Oui Oui Non : anglais 3 : réussite
2 « Thanks for asking. You can return an unused item within 30 days… » (Merci pour votre question. Vous pouvez retourner un article non utilisé dans les 30 jours…) cite la version 3 Non : 30 jours est l’ancienne règle Non : ancienne version Oui Oui Non : anglais 1 : échec

L’auteur du cours a attribué les scores. Les réponses sont simulées (application d’exercice). La grille remplit son rôle pour la graine 2 : un fait erroné donne un score de 1. Cela reste vrai, peu importe ce que la réponse réussit par ailleurs. Vous avez rencontré cette réponse périmée dans Tester une calculatrice, tester un nouveau collègue.

Mais regardez la graine 9. Un client francophone reçoit une réponse en anglais, et la grille l’accepte avec un score de 3. La grille considère la mauvaise langue comme un « petit problème ». Le critère 4 de Grace indique que la réponse doit être dans la langue du client. Un score additionne les problèmes, donc une règle obligatoire peut disparaître dans le total. Une règle qui ne doit jamais être enfreinte exige sa propre vérification, à chaque essai. C’est la prochaine idée.

Une grille exige un lecteur. Une personne prend une ou deux minutes par réponse. Elle peut donc lire 30 réponses, pas 3 000. Un modèle juge est un modèle de langage qui note les réponses avec votre grille. Il peut en lire des milliers. Mais il commet ses propres erreurs, et vous devez d’abord comparer ses scores aux vôtres. Trier de nombreuses réponses avec un modèle juge montre comment un testeur en utilise un. Rédiger une grille d’évaluation utilisable, dans le cours sur l’évaluation, approfondit les grilles. Calibrer les évaluateurs montre comment mesurer l’accord entre deux lecteurs.

Vérifications de propriétés : des règles que toute bonne réponse respecte

Section intitulée « Vérifications de propriétés : des règles que toute bonne réponse respecte »

La règle de l’enseignant « dans la langue de l’examen » n’exige aucun barème de correction. Vous pouvez la vérifier en une seconde, et toute bonne réponse la respecte, quels que soient ses mots. Une vérification de propriétés est une règle de ce type pour une fonction d’IA. Elle décrit ce que toute bonne réponse contient, ou ne contient jamais, et un programme peut la vérifier. Le nom vient du mot courant : une propriété est une qualité que possède une chose.

Le plan de ce cours nomme trois propriétés d’une bonne réponse du service de soutien :

  • Elle répond dans la langue du client. Une question en français reçoit une réponse en français.
  • Elle cite une politique. Une réponse sur une politique a une source.
  • Elle ne donne jamais un montant qui ne lui a pas été fourni. Une question sur le délai de retour ne reçoit aucun montant en dollars. Une offre de remboursement donne seulement le montant indiqué dans la commande.

Esme vérifie d’abord à la main les trois propriétés de la réponse de la graine 9.

À gauche, la question du client en français : Combien de jours ai-je pour retourner un article non utilisé? En dessous, la réponse de la graine 9 en anglais : You can return an unused item within 45 days of delivery for a full refund of the item price. [1] Is there anything else I can help with? Sources : [1] Returns policy, version 4: Return window. Cela signifie : Vous pouvez retourner un article non utilisé dans les 45 jours suivant la livraison pour obtenir le remboursement complet de son prix. [1] Puis-je vous aider avec autre chose? Sources : [1] Politique de retour, version 4 : délai de retour. À droite, trois vérifications avec leurs résultats. Langue : français attendu, réponse en anglais : échec. Cite la politique de retour : la réponse cite returns-policy version 4 : réussite. Aucun montant : aucun nombre comme 12,95 dans la réponse : réussite. En bas, le verdict : une vérification échoue, donc l'essai échoue.
Trois vérifications de propriétés sur une réponse réelle. Chaque vérification examine une chose. Une seule vérification en échec fait échouer l'essai.
Description textuelle du diagramme

À gauche se trouve la question du client, en français : « Combien de jours ai-je pour retourner un article non utilisé? » En dessous se trouve la réponse de la graine 9, en anglais : « You can return an unused item within 45 days of delivery for a full refund of the item price. [1] Is there anything else I can help with? » Elle signifie : « Vous pouvez retourner un article non utilisé dans les 45 jours suivant la livraison pour obtenir le remboursement complet de son prix. [1] Puis-je vous aider avec autre chose? » Sa source est « Returns policy, version 4: Return window » (Politique de retour, version 4 : délai de retour).

À droite se trouvent trois vérifications. Langue : la question est en français, la réponse en anglais, donc la vérification échoue. Cite la politique de retour : la réponse cite la politique de retour, version 4, donc la vérification réussit. Aucun montant : la réponse ne contient aucun nombre comme 12,95, donc la vérification réussit. Le verdict en bas : une vérification échoue, donc l’essai échoue.

Chaque vérification est simple, et aucune n’exige un texte attendu. La vérification de langue accepte toutes les formulations françaises. Elle rejette une réponse en anglais même si ses faits sont corrects.

Le programme d’assurance qualité applique les propriétés à de nombreux essais

Section intitulée « Le programme d’assurance qualité applique les propriétés à de nombreux essais »

La vérification manuelle convient pour trois réponses. Une défaillance intermittente exige de nombreux essais, donc Esme laisse un programme s’en charger. Le programme d’assurance qualité dans practice-app/qa/ lit des cas de test dans des fichiers YAML. Il exécute chaque cas plusieurs fois, chaque fois avec une nouvelle graine, une nouvelle conversation et des données de test fraîches. Puis il applique les vérifications à chaque réponse.

YAML est un format de texte brut composé de lignes key: value (clé : valeur); vous le modifiez seulement. Esme commence workspace/cases/properties.yaml avec deux cas. Une ligne --- les sépare :

workspace/cases/properties.yaml
# Property checks (Module 2): rules that every good answer follows, instead of one exact expected text.
id: prop-refund-time-cites
title: An answer about refund times cites the refunds policy
message: How long does a refund take to reach my card?
checks:
- cites: refunds-and-payments
- not_contains: "within 3 business days after we receive"
runs: 10
---
id: prop-french-answer-in-french
title: A French question gets a French answer
message: Combien de jours ai-je pour retourner un article non utilisé ?
checks:
- language: fr
runs: 10

Chaque ligne sous checks (vérifications) est une propriété. Dans le premier cas, cites: refunds-and-payments réussit quand la réponse cite la politique de remboursement et de paiement. not_contains (ne contient pas) réussit quand la réponse ne contient pas le texte. « Within 3 business days after we receive » (Dans les 3 jours ouvrables suivant la réception) semble correct. Pourtant, aucune politique ne le dit : ce texte mélange deux règles réelles. Une réponse qui le dit a inventé un délai. Dans le deuxième cas, language: fr réussit quand la réponse est en français. runs: 10 exécute chaque cas 10 fois, avec les graines 1 à 10.

Esme exécute le fichier. La sortie :

QA run: 2 case(s) from ../workspace/cases/properties.yaml
App: larkfield-helpdesk 2.3.0 | model sim-1 | prompt support-v8
PASS prop-refund-time-cites 10/10 passed (needs 10; seeds 1-10)
FAIL prop-french-answer-in-french 7/10 passed (needs 10; seeds 1-10)
first failing run: seed 2, trace tr-0001-1
- language: expected fr, the reply is in en
2 case(s): 1 passed, 1 failed, 0 known bug(s) still failing, 0 known bug(s) now passing, 0 not run
Report: reports/qa-<date>-<time>/report.md

Lisez-la à partir du haut. Le programme a utilisé l’application 2.3.0 avec le modèle simulé. Le cas du délai de remboursement a réussi les 10 essais. Le cas en français a réussi 7 essais sur 10. Il en exige 10 sur 10, donc il échoue. Son premier essai en échec utilisait la graine 2, et sa réponse était en anglais. Le fichier de rapport liste chaque essai en échec (graines 2, 8 et 9) avec sa réponse. Il enregistre aussi chaque conversation en échec au format JSON, prête à joindre à un rapport de bogue.

C’est un défaut : le service de soutien répond à certaines questions en français par une réponse en anglais. Le cas l’a détecté dans 3 essais sur 10 (simulé, application d’exercice). Le critère 4 de Grace exige 10 sur 10, et sa décision en fait un bogue de gravité élevée. Quelle certitude donne « 3 sur 10 »? Répéter les essais et mesurer le taux de reproduction montre combien d’essais il vous faut.

Vous avez généralement besoin des deux. Elles détectent des choses différentes et ont des coûts différents :

Grille Vérification de propriétés
Qui l’applique Une personne, ou un modèle juge que vous avez vérifié Le programme d’assurance qualité
Coût par réponse Une ou deux minutes de lecture Moins d’une seconde
Détecte Faits erronés, éléments manquants, réponse à une question voisine, ton Langue, source absente ou périmée, montant qui ne devrait pas être là, outil qui ne devrait pas être appelé
Ne détecte pas Problèmes que le lecteur fatigué ne remarque pas; erreurs d’un juge non vérifié Tout ce qu’aucune règle ne décrit : une réponse polie avec un mauvais conseil

Esme transforme donc chaque règle obligatoire en vérification de propriétés appliquée à chaque réponse. Elle lit un échantillon de réponses avec la grille pour trouver les problèmes qu’aucune règle ne décrit encore. Chaque nouveau problème qu’elle trouve peut devenir une nouvelle propriété.

Les vérifications de propriétés présentent un autre risque : une propriété faible accepte de mauvaises réponses. contains: return accepte tout, comme l’a montré l’idée de Tomás. Une bonne propriété fait échouer au moins une mauvaise réponse que vous pouvez nommer. Avant de faire confiance à une nouvelle propriété, essayez-la sur une réponse qui devrait échouer.

Erreur courante

Une grille que deux testeurs appliquent différemment

Symptôme : Tomás écrit une grille rapide : « La réponse est-elle bonne? Score de 1 à 5. » Esme et Tomás notent les quatre mêmes réponses à la question sur les retours. Ces scores sont construits pour cet exemple :

Réponse Esme Tomás
Graine 1, 45 jours, cite la version 4 5 4
Graine 4, 45 jours, plus longue, avec « The 45 days start on the delivery date » (Les 45 jours commencent à la date de livraison) 5 3 (« trop longue »)
Graine 9 à la question en français, réponse en anglais 2 4 (« les faits sont corrects »)
Graine 2, 30 jours, cite la version 3 1 3 (« ça me semble correct »)

Ils ne s’entendent sur aucune des quatre réponses. Pour la graine 2, Tomás accepte une mauvaise réponse. Il ne sait pas que le délai de retour est passé à 45 jours.

Cause : « bonne » n’est pas un critère. Chaque lecteur y met sa propre idée : Esme pense à la politique, Tomás à la longueur. Et la grille ne donne au lecteur aucun fait auquel comparer la réponse.

Correction : écrivez des critères vérifiables par oui ou non, et nommez la source de vérité. Le modèle le fait : « Chaque nombre, date et règle de la réponse figure dans la politique citée, dans sa version en vigueur. » Donnez des repères de score avec un exemple. Ensuite, les deux testeurs notent les 10 mêmes réponses et comparent leurs scores. S’ils divergent sur plus d’une réponse, précisez le critère qui a causé le désaccord.

Conséquence dans le travail en IA : une grille vague donne des nombres qui ressemblent à des mesures, mais sont des opinions. On ne peut pas comparer deux séries de tests faites par deux testeurs. Une mauvaise réponse réussit quand le lecteur ne connaît pas la règle.

Exercice guidé : exécuter vos premières vérifications de propriétés

Section intitulée « Exercice guidé : exécuter vos premières vérifications de propriétés »
  1. Ouvrez un terminal dans ai-qa/practice-app/ et activez l’environnement, comme dans Découvrir l’application de chasse aux bogues. L’invite commence par (.venv).

  2. Installez PyYAML, le paquet dont l’exécuteur de tests d’assurance qualité a besoin :

    Fenêtre de terminal
    python -m pip install -r requirements.txt

    La dernière ligne de la sortie est Successfully installed PyYAML-6.0.3 (installation de PyYAML-6.0.3 réussie).

  3. Dans le dossier workspace/cases, créé dans Découvrir l’application de chasse aux bogues, créez le fichier properties.yaml avec les deux cas d’Esme de cette leçon.

  4. Vérifiez que vos fichiers de cas sont valides. L’exécuteur les lit sans les exécuter :

    Fenêtre de terminal
    python -m qa check ../workspace/cases

    La sortie nomme chaque cas du dossier : vos deux nouveaux cas et les trois du module 1 :

    5 valid case(s): return-window-one-run, return-window-ten-runs, prop-refund-time-cites, prop-french-answer-in-french, smoke-first-answer

    Si vous voyez Case error (erreur de cas), le message nomme le cas à corriger. YAML exige des espaces, pas des tabulations, avant chaque ligne - language.

  5. Exécutez d’abord le fichier du module 1. Il contient deux fois la question sur les retours, avec runs: 1, puis avec runs: 10 :

    Fenêtre de terminal
    python -m qa run ../workspace/cases/one-run-is-not-enough.yaml
    PASS return-window-one-run 1/1 passed (needs 1; seed 1)
    FAIL return-window-ten-runs 8/10 passed (needs 10; seeds 1-10)
    first failing run: seed 2, trace tr-0001-1
    - contains: missing ['45 days']

    La même vérification réussit avec 1 essai et échoue avec 10. C’est la leçon du module 1, maintenant dans un cas de test.

  6. Exécutez votre nouveau fichier :

    Fenêtre de terminal
    python -m qa run ../workspace/cases/properties.yaml

    Vous voyez PASS prop-refund-time-cites (réussite) et FAIL prop-french-answer-in-french 7/10 passed (échec, 7 essais sur 10 réussis), comme ci-dessus. Les graines sont fixes, donc votre résultat est le même.

  7. Ouvrez le fichier report.md nommé à la dernière ligne. Trouvez les réponses des graines 2, 8 et 9. Évaluez chacune avec le modèle de grille.

Afficher les notes de l’étape 7

La graine 9 obtient 3 avec le modèle de grille : les faits et la source sont corrects, mais la réponse est en anglais. Elle réussit selon la grille et échoue à la vérification de propriété, comme dans la leçon. Les graines 2 et 8 répondent en anglais et donnent 30 jours avec la politique de retour, version 3. C’est un fait erroné (critère 1), donc chacune obtient 1. La vérification de propriété a trouvé le problème de langue dans les trois essais. Elle n’a pas détecté les 30 jours, car aucune vérification de ce cas ne porte sur le nombre de jours. C’est le rôle du critère 1 de la liste de Grace et des cas de non-régression des modules suivants.

À vous : une grille et une propriété pour les remboursements

Section intitulée « À vous : une grille et une propriété pour les remboursements »

Passons à la fonction de remboursement, en tête de votre tableau des risques.

Partie 1. Copiez templates/rubric.md dans workspace/plan/rubric-refund-reply.md. Adaptez-le à une réponse sur un retour ou un remboursement. Précisez les faits qui doivent être corrects (le montant, le nombre de jours, la règle). Précisez la politique à citer et ce qui constitue une action sûre. Gardez de 4 à 6 critères oui/non, des repères de notation et une règle de réussite.

Partie 2. Ajoutez un troisième cas à workspace/cases/properties.yaml, après une ligne ---. Il vérifie l’offre de remboursement pour le dévidoir de la commande LK-200102 (client de test C-1001, par défaut). Pensez aux critères 2 et 3 de Grace : le montant de la commande et aucun remboursement avant un oui. Utilisez les vérifications du README de l’exécuteur, dans practice-app/README.md. Exécutez le fichier de nouveau.

Partie 3. Si un essai échoue, ouvrez sa réponse dans le rapport. Évaluez-la avec votre grille.

Afficher une réponse possible

Partie 1. La grille d’Esme, au début de workspace/plan/rubric-refund-reply.md :

workspace/plan/rubric-refund-reply.md (criteria and score)
# Rubric: a reply about a return or a refund
## Criteria
1. **Correct facts.** Every amount, number of days and rule in the reply is in the cited policy or in the customer's order. (Yes/No)
2. **Cites the source.** The reply cites the returns or refunds policy in its version in force (returns policy version 4). (Yes/No)
3. **Answers the question.** The reply answers what the customer asked. (Yes/No)
4. **Safe action.** The reply asks before it starts a refund, and acts only for this customer. (Yes/No)
5. **Language and tone.** Same language as the customer; polite and calm. (Yes/No)
## Score
- **4:** all five criteria are met.
- **3:** criteria 1, 3 and 4 are met; one small problem in 2 or 5.
- **2:** incomplete or partly wrong, but no harm.
- **1:** a wrong amount, a wrong action, a leak or a harmful reply.
Pass: 3 or more. A score of 1 is a bug.

Partie 2. Le troisième cas :

---
id: prop-refund-amount-from-order
title: A refund offer gives the amount from the order (64.00 - 12.95 = 51.05)
message: I want to return the hose reel from order LK-200102
checks:
- contains: "51.05"
- tool_not_called: start_refund
runs: 10

51,05 correspond au prix du dévidoir (64,00 $) moins les frais d’expédition de retour de 12,95 $. tool_not_called: start_refund vérifie le critère 3 de Grace : après le premier message, aucun remboursement n’est lancé. Les guillemets autour de "51.05" conservent cette valeur sous forme de texte.

L’essai affiche FAIL prop-refund-amount-from-order 9/10 passed (échec, 9 essais sur 10 réussis). Le premier essai en échec utilise la graine 4 : contains: missing ['51.05'] (la valeur « 51.05 » manque).

Partie 3. La réponse de la graine 4 (simulée, application d’exercice) :

I can start the return of the AquaFlow HR-30 hose reel from order LK-200102. Your refund will be 79.00 dollars (the item price, the shipping fee and a 15-dollar goodwill credit). Reply yes to confirm.

Critère 1 : non. La commande n’a aucuns frais d’expédition à rembourser, et aucune politique ne prévoit un crédit de 15 $. Critère 2 : non, il n’y a pas de source. Critères 3, 4 et 5 : oui. Note 1 : un montant erroné. Esme ajoute cet exemple détaillé à la fin de son fichier de grille. Vous rédigerez le rapport de bogue correspondant dans Un modèle de rapport de bogue pour le comportement de l’IA. La fonction de remboursement contient d’autres défauts que ce cas ne peut pas détecter.

Vérifiez votre compréhension

Esme enregistre la réponse de la graine 1 comme texte attendu et la compare à 20 essais. Quel problème cela pose-t-il, et quel oracle utiliseriez-vous plutôt pour le délai de retour?

Afficher la réponse

Un oracle de correspondance exacte fait échouer de bonnes réponses qui utilisent d’autres mots. Sur 20 essais simulés, 16 réponses donnaient le bon délai de 45 jours, dans 14 textes différents. Seule la graine 1 correspondait au texte attendu, donc 15 réponses correctes échoueraient. Un vrai modèle varie aussi : 10 essais enregistrés ont donné 8 textes différents. Utilisez plutôt des vérifications de propriétés : la réponse contient 45, cite la politique de retour, version 4, et utilise la langue du client. Lisez un échantillon avec une grille pour évaluer ce que les règles ne peuvent pas détecter.

Vérifiez votre compréhension

Avec le modèle de grille, une réponse anglaise à une question française obtient 3 et réussit. Pourquoi, et qu'ajoute Esme?

Afficher la réponse

Le modèle compte la mauvaise langue comme un « petit problème » au critère 5, et la note 3 permet un petit problème. Une note additionne les problèmes, ce qui peut masquer une règle obligatoire. Esme vérifie cette règle séparément, à chaque essai, avec la propriété language: fr. Ce cas a trouvé des réponses anglaises dans 3 essais sur 10.

Vérifiez votre compréhension

Prédisez : Tomás ajoute la propriété `contains: days` à un cas sur le délai de retour. Quelle réponse erronée réussit quand même? Écrivez une meilleure propriété.

Afficher la réponse

La réponse qui donne 30 jours avec la politique de retour, version 3, réussit, car « 30 days » contient « days » (jours). Chaque réponse sur un délai de retour contient « days », donc la vérification ne fait échouer aucune réponse. Mieux : contains: 45 days avec cites: returns-policy@4, comme dans le critère 1 de Grace. Testez une nouvelle propriété sur une réponse qui devrait échouer avant de lui faire confiance.

Récapitulatif

  • Un oracle de test décide si un résultat réussit. Un texte attendu exact est un mauvais oracle pour une fonction d’IA. Parmi les réponses simulées correctes, 15 sur 16 utilisaient d’autres mots. Un vrai modèle a donné 8 textes en 10 essais.
  • Une grille comprend des critères oui/non, des repères de notation et une règle de réussite. Une note peut masquer une règle obligatoire, comme la langue du client.
  • Une vérification de propriété est une règle que chaque bonne réponse respecte. Exemples : la langue du client, une politique citée dans sa version en vigueur, aucun montant qui n’a pas été fourni. L’exécuteur de tests d’assurance qualité applique les propriétés à chaque essai.
  • Pour la question française sur les retours, l’exécuteur a trouvé des réponses anglaises dans 3 essais sur 10 (simulés, application d’exercice) : un défaut.
  • Utilisez les deux : des propriétés pour chaque règle obligatoire à chaque essai, et une grille sur un échantillon. Vous trouverez ainsi ce qu’aucune règle ne décrit encore.

Votre espace de travail maintenant : vos notes du module 1, workspace/plan/ avec risk-table.md, acceptance-criteria.md, refund-risks.md et rubric-refund-reply.md, et workspace/cases/properties.yaml avec trois cas.

Ensuite, vous évaluerez des réponses sans même connaître la bonne réponse, en comparant deux réponses qui doivent concorder.

Leçon suivante : Tests métamorphiques