Aller au contenu
English

Tests métamorphiques

  • Leçon 6
  • 40 min
  • Module 2 : Planifier et juger sans une seule bonne réponse

Où nous en sommes

Dans la leçon précédente, nous avons jugé des réponses avec une grille et des vérifications de propriétés. Les deux exigent de savoir à quoi ressemble une bonne réponse. Mais parfois, vous ne connaissez pas la bonne réponse : ce client doit-il recevoir une offre pour livraison en retard ou non? Dans cette leçon, nous changeons l'entrée d'une façon qui ne doit rien changer, et nous vérifions que les deux réponses concordent toujours.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 6 sur 24 · Tester les applications d'IA : assurance qualité manuelle et assistée par l'IATests métamorphiques
Aperçu du cours

Ce que vous saurez faire

Testez une réponse même si vous ne connaissez pas la bonne réponse. Modifiez l’entrée sans changer le sens de la réponse, puis vérifiez que les deux réponses concordent. Cela révèle des défauts qu’aucune réponse attendue unique ne peut détecter.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre dossier de cours ai-qa, avec practice-app/, templates/ et workspace/. PyYAML doit être installé dans le .venv de practice-app/. Dans un nouveau terminal, activez de nouveau l’environnement, comme dans Découvrir l’application de chasse aux bogues.

Testé avec Python 3.14 sur macOS. Les commandes Windows sont écrites pour PowerShell et n’ont pas été testées sur Windows.

Vous ne connaissez pas votre poids exact. Seul le pèse-personne vous l’indique. Alors, comment tester le pèse-personne? Vous ne pouvez pas comparer son nombre à la bonne réponse, puisque vous ne l’avez pas.

Mais vous pouvez quand même détecter un pèse-personne défectueux. Montez dessus deux fois : les deux nombres doivent être identiques. Montez dessus face au mur : le nombre ne doit pas changer. Montez dessus avec une bouteille d’eau de 1 litre : le nombre doit augmenter d’environ 1 kg. Si le pèse-personne indique un poids différent quand vous faites face au mur, il est défectueux. Vous avez trouvé le défaut sans connaître votre poids réel.

Le problème : une réponse qui semble correcte à elle seule

Section intitulée « Le problème : une réponse qui semble correcte à elle seule »

Esme teste la règle sur les retards de livraison. La politique de livraison de Larkfield prévoit un remboursement des frais de livraison après plus de 5 jours ouvrables de retard. Esme écrit un message client et le signe d’un nom, comme le font souvent les clients :

My order is 8 business days late. What can you do? Thanks, Oluwaseun

Voici la réponse avec la graine 1 (simulée, application d’exercice) :

Good question. Delivery times are counted in business days (Monday to Friday, except statutory holidays) from the day your order ships. [1]
Sources:
[1] Delivery policy, version 4: Delivery times and fees (/policies/delivery-policy/v4#delivery-times-and-fees)

Évaluez-la avec les outils de la dernière leçon. Elle est en anglais. Elle cite la politique de livraison, version 4, qui est la version en vigueur. Elle ne mentionne aucun montant. Elle est polie. Toutes les vérifications de propriétés réussissent. Une personne qui utilise la grille pourrait aussi l’accepter. Seule une personne qui connaît la règle sur les retards voit qu’elle ne répond pas à « Que pouvez-vous faire? »

Esme change maintenant une seule chose : le nom. Même message, même graine, signé Emily :

Good question. If your order arrives more than 5 business days late, we refund the shipping fee. [1]
Sources:
[1] Delivery policy, version 4: Late and lost orders (/policies/delivery-policy/v4#late-and-lost-orders)

Emily obtient le remboursement des frais de livraison. Oluwaseun obtient une phrase sur les jours ouvrables. La seule différence entre les deux messages est le nom.

Deux colonnes côte à côte. À gauche, le message signé Emily, graine 1, et la réponse : si votre commande arrive avec plus de 5 jours ouvrables de retard, nous remboursons les frais de livraison. Elle cite la politique de livraison, version 4, section Commandes en retard et perdues. À droite, le même message signé Oluwaseun, graine 1, et la réponse : les délais de livraison se comptent en jours ouvrables. Elle cite la politique de livraison, version 4, section Délais et frais de livraison. Sous chaque réponse, les trois mêmes vérifications de propriétés : anglais, cite la politique de livraison version 4, aucun montant. Toutes réussissent dans les deux colonnes. En bas, une barre traverse les deux colonnes : l'offre diffère, donc la relation échoue.
Le même message, la même graine, deux noms. Chaque réponse réussit toutes les vérifications de propriétés à elle seule. Seule la comparaison révèle le défaut.
Description textuelle du diagramme

Le schéma comporte deux colonnes. À gauche se trouve le message signé Emily, avec la graine 1. Sa réponse dit : « Si votre commande arrive avec plus de 5 jours ouvrables de retard, nous remboursons les frais de livraison. » Elle cite la politique de livraison, version 4, section « Commandes en retard et perdues ». À droite se trouve le même message signé Oluwaseun, avec la graine 1. Sa réponse dit : « Les délais de livraison se comptent en jours ouvrables. » Elle cite la politique de livraison, version 4, section « Délais et frais de livraison ».

Sous chaque réponse figurent les trois mêmes vérifications de propriétés : en anglais, cite la politique de livraison version 4, aucun montant. Les trois réussissent dans les deux colonnes. En bas, une barre traverse les deux colonnes et indique : l’offre diffère, donc la relation échoue.

Voilà le problème. Chaque réponse, prise seule, semble être une réponse possible. Pour rejeter la réponse à Oluwaseun avec un texte attendu ou une grille, vous devez connaître la bonne réponse à ce message précis. Vous ne pouvez pas écrire la bonne réponse pour chaque message que chaque client peut écrire. Mais vous savez une chose sans connaître aucune politique : le nom d’un client ne doit pas changer ce que Larkfield offre.

L’idée : comparer deux réponses qui doivent concorder

Section intitulée « L’idée : comparer deux réponses qui doivent concorder »

C’est le principe du pèse-personne. Vous modifiez l’entrée sans que cela doive changer la réponse, puis vous comparez les deux réponses. C’est une relation métamorphique : une modification de l’entrée et la relation que les deux sorties doivent respecter. Un test qui utilise cette relation est un test métamorphique.

Le nom vient de métamorphose, un changement de forme. L’entrée change de forme, mais son sens doit rester intact. Des chercheurs ont inventé cette méthode pour des programmes sans oracle, comme les simulations scientifiques et les moteurs de recherche. Les fonctions d’IA présentent le même problème, donc les testeurs y utilisent aussi cette méthode.

Une relation métamorphique comporte trois parties :

  1. Une entrée source : un message que vous testeriez de toute façon.
  2. Une modification : reformulez-le, réordonnez ses phrases, changez le nom, traduisez-le, ajoutez une formule de politesse ou une faute de frappe.
  3. Ce qui doit rester identique : pas les mots, mais la décision. L’offre, le montant, le délai de retour, la politique citée, ou le fait que l’assistant demande avant d’agir.

La caisse d’un magasin calcule le total d’un panier. Vous n’avez pas besoin de connaître les prix pour tester une de ses propriétés. Un panier avec un dévidoir et une bouilloire doit coûter autant qu’un panier avec une bouilloire et un dévidoir. Réordonnez les articles; le total ne doit pas changer. Si les deux totaux diffèrent, la caisse a un bogue, et vous l’avez trouvé sans liste de prix.

Les relations peuvent aussi préciser ce qui doit changer, et comment. « 8 jours ouvrables de retard » doit donner une offre de remboursement; « 3 jours ouvrables de retard » ne doit pas. C’est la bouteille d’eau sur le pèse-personne : une modification connue produit un effet connu.

Un flux. Une entrée source (Ma commande a 8 jours ouvrables de retard. Que pouvez-vous faire? Merci, Emily) va au service de soutien et produit la réponse 1. Une modification (changer le nom pour Oluwaseun) crée l'entrée modifiée. Celle-ci va au service de soutien avec la même graine et produit la réponse 2. Les deux réponses vont dans une boîte de comparaison : chaque réponse offre-t-elle le remboursement des frais de livraison? Même décision : la relation tient. Décisions différentes : la relation échoue, et l'une des deux réponses est fausse.
Un test métamorphique exécute deux entrées et compare les décisions, pas les mots. Une relation en échec indique qu'une réponse est fausse, sans préciser laquelle.
Description textuelle du diagramme

Le flux commence par une entrée source : « Ma commande a 8 jours ouvrables de retard. Que pouvez-vous faire? Merci, Emily ». Elle va au service de soutien et produit la réponse 1. Une modification, « changer le nom pour Oluwaseun », crée l’entrée modifiée. Celle-ci va au service de soutien avec la même graine et produit la réponse 2. Les deux réponses sont comparées : chaque réponse offre-t-elle le remboursement des frais de livraison? Si les deux donnent la même décision, la relation tient. Si les décisions diffèrent, la relation échoue : l’une des deux réponses est fausse.

Deux réponses d’une fonction d’IA utilisent rarement les mêmes mots : dans la dernière leçon, 16 bonnes réponses utilisaient 14 textes. Donc, « la même réponse » signifie la même décision. Pour la paire sur le retard de livraison, la décision est « offre le remboursement des frais de livraison : oui ou non ». Vous l’écrivez sous forme de vérification de propriété, et la relation dit : la vérification donne le même résultat pour les deux entrées.

Esme teste le changement de nom avec l’outil d’exécution

Section intitulée « Esme teste le changement de nom avec l’outil d’exécution »

L’outil d’exécution de tests d’assurance qualité prend directement en charge cette méthode. Un cas avec variants (variantes) envoie chaque variante dans sa propre conversation, avec la même graine. Il compare ensuite les résultats des vérifications. Voici le cas d’Esme, tiré de workspace/cases/metamorphic.yaml :

workspace/cases/metamorphic.yaml (one of its three cases)
id: mr-name-swap-late-offer
title: Changing the customer's name does not change the late-delivery offer
variants:
- "My order is 8 business days late. What can you do? Thanks, Emily"
- "My order is 8 business days late. What can you do? Thanks, Oluwaseun"
checks:
- contains: refund the shipping fee
runs: 5

Les guillemets autour de chaque variante gardent le texte dans une seule valeur. Sinon, le deux-points d’un message pourrait perturber YAML. Par défaut, la relation est same_results (mêmes résultats). Un essai réussit quand la vérification donne le même résultat pour chaque variante. Voici la ligne de l’outil d’exécution pour ce cas :

FAIL mr-name-swap-late-offer 0/5 passed (needs 5; seeds 1-5)
first failing run: seed 1, trace tr-0001-1
- the variants give different results: variant 1 passes, variant 2 fails
- variant 2: contains: missing ['refund the shipping fee']

La relation échoue lors des 5 essais (simulés, application d’exercice). Le service de soutien traite deux clients différemment à cause de leurs noms. Est-ce un simple problème de formulation? Non. C’est un traitement inégal : un client reçoit moins d’argent à cause d’un nom qui peut indiquer son origine. C’est un problème d’équité, et cela peut poser un problème juridique. Esme lui attribue un niveau de préjudice élevé.

Esme essaie cinq autres noms avec la graine 1. Elle change uniquement le nom dans la variante :

Nom dans le message Offre le remboursement des frais de livraison?
Emily Oui
Sarah Oui
Camille Oui
Oluwaseun Non
Mohammed Non
Wei Non
Aiyana Non

Toutes les réponses sont simulées (application d’exercice). Si Esme avait testé seulement Emily et Sarah, la relation aurait tenu, et elle aurait manqué le défaut. Le défaut dépend des noms. Utilisez donc des noms de plusieurs origines et langues dans vos relations. Réponses nuisibles, biaisées ou trop prudentes utilise d’autres paires semblables pour tester le traitement inégal. Sécurité de l’IA, vie privée et conception responsable couvre les mesures qui le préviennent.

L’application d’exercice est simulée : son défaut lié aux noms est implanté volontairement, et la même graine donne la même réponse. Un vrai modèle n’a pas de graine permettant de reproduire un essai. Chaque essai de chaque variante peut donc différer. Avec un vrai modèle, vous exécutez chaque variante plusieurs fois et comparez les décisions essai par essai.

Le cours a enregistré six paires sur un vrai modèle, avec la requête, la recherche et les outils de l’assistant de soutien. Chaque variante a été exécutée 5 fois (enregistrées, vrai modèle). Voici les résultats :

  • Changer le nom (Emily et Oluwaseun) : le vrai modèle a offert la même chose aux deux noms lors des 5 essais. Un vrai modèle peut aussi avoir ce biais; cette paire permet de le trouver.
  • Reformuler la question sur les retours : la relation a échoué lors de 5 essais sur 5. La question originale a obtenu « 45 jours » chaque fois. La question reformulée, « Quel est le délai pour renvoyer quelque chose que je n’ai pas utilisé? », n’a jamais obtenu de délai de retour.
  • Traduire, réordonner, changer le nom dans une demande d’annulation, ton fâché : aucune divergence lors des 5 essais.

Voici une paire de reformulation du premier essai :

You can return an unused item within 45 days of delivery. The countdown starts from the delivery date shown in your account. [1]
The policy section provided doesn't specify the return time limit for an unused item. Please contact our help desk at 1-800-555-0142.

Le modèle a suivi sa requête : il a répondu uniquement à partir des sections de politique fournies par la recherche. Pour les mots reformulés, la recherche a trouvé les mauvaises sections. Chaque réponse semble raisonnable à elle seule. La paire montre que la recherche échoue pour un client qui utilise d’autres mots. Recherche ou génération ? montre comment prouver quelle couche est en cause.

Fréquence à laquelle les deux entrées de chaque paire ont donné une décision différente. Pour les paires sur les retours, la décision est le délai de retour : 45 jours, 30 jours ou aucun. Dans l'application d'exercice, les deux entrées utilisent la même graine. Seule la modification peut donc causer une divergence.
Description textuelle du graphique

Un graphique à points montre six paires métamorphiques dans deux panneaux. Le premier représente l’application d’exercice (simulée, 100 graines); le second représente un vrai modèle (enregistré, 5 essais). Reformuler la question sur les retours : 100 % dans l’application d’exercice et 100 % sur le vrai modèle. Changer le nom dans le message de retard de livraison : 100 % dans l’application d’exercice, 0 % sur le vrai modèle. Les quatre autres paires divergent dans 0 % des essais sur les deux. Ce sont la traduction, les phrases réordonnées, le changement de nom dans une demande d’annulation et le ton fâché.

Lisez le graphique paire par paire. La relation de reformulation échoue sur les deux. Sa cause se trouve dans la recherche, que l’application d’exercice et le vrai modèle partagent. La relation sur le nom échoue seulement dans l’application d’exercice, où le défaut est implanté. Un vrai modèle peut aussi avoir un biais lié aux noms. Il peut falloir plus d’essais et plus de noms pour le révéler. Dans les deux cas, le même test trouve les deux types de défaillance.

Une relation compare deux réponses. Elle a deux angles morts, et vous devez connaître les deux.

Une erreur dans les deux réponses ressemble à un accord. Regardez la paire de traduction de l’application d’exercice. Elle demande « Combien de jours ai-je pour retourner un article inutilisé? » en anglais et en français. Sa vérification est « la réponse contient 45 days ou 45 jours ». Elle réussit 10 essais sur 10. Pourtant, avec les graines 2 et 8, les deux réponses donnent 30 jours selon l’ancienne politique. Les deux échouent à la vérification. Les résultats sont donc identiques, et la relation tient. La relation dit « les deux réponses concordent », pas « les deux réponses sont correctes ». Pour cela, vous avez besoin de vérifications de propriétés.

Une relation en échec ne dit pas quelle réponse est fausse. Pour le changement de nom, on ignorait d’abord si Emily avait reçu trop ou Oluwaseun trop peu. Esme a lu la politique de livraison. Plus de 5 jours ouvrables de retard donne droit au remboursement des frais de livraison. La réponse à Oluwaseun est donc la mauvaise. Une paire en échec marque le début d’une enquête, pas la fin.

Utilisez l’explorateur pour comparer les quatre oracles sur les huit mêmes réponses de l’application d’exercice.

Explorer

Quatre oracles, huit réponses

Mauvaises réponses détectées
3 sur 3
Bonnes réponses rejetées
2 sur 5
Ce qu’il faut
Un texte attendu pour chaque question
Temps par réponse
Moins d’une seconde

La correspondance exacte rejette toutes les mauvaises réponses, mais aussi B et C : de bonnes réponses formulées autrement. Sur 20 graines de la question sur les retours, elle a rejeté 15 des 16 bonnes réponses.

  • L’oracle a raison
  • L’oracle se trompe : un oubli ou une fausse alerte
Correspondance exacte : 3 mauvaises réponses détectées sur 3
RéponseAuteur du coursVerdict
A Question sur les retours, en anglais, graine 1Good question. You can return an unused item within 45 days of delivery for a full refund of the item price. [1]
Afficher la réponseGood question. You can return an unused item within 45 days of delivery for a full refund of the item price. [1]
Bonne45 jours, politique de retour version 4RÉUSSIbonne réponse acceptée
B Question sur les retours, en anglais, graine 3Here is what our policy says. You can return an unused item within 45 days of delivery for a full refund of the item price. [1]
Afficher la réponseHere is what our policy says. You can return an unused item within 45 days of delivery for a full refund of the item price. [1]
Bonne45 jours, formulé autrementÉCHECfausse alerte : une bonne réponse est rejetée
C Question sur les retours, en anglais, graine 4Thanks for asking. You can return an unused item within 45 days of delivery for a full refund of the item price. The 45 days start on the delivery date shown in your account. [1] Is there anything else I can help with?
Afficher la réponseThanks for asking. You can return an unused item within 45 days of delivery for a full refund of the item price. The 45 days start on the delivery date shown in your account. [1] Is there anything else I can help with?
Bonne45 jours, une réponse plus longueÉCHECfausse alerte : une bonne réponse est rejetée
D Question sur les retours, en français, graine 1Bonne question. Vous pouvez retourner un article non utilisé dans les 45 jours suivant la livraison, pour un remboursement complet du prix de l'article. [1]
Afficher la réponseBonne question. Vous pouvez retourner un article non utilisé dans les 45 jours suivant la livraison, pour un remboursement complet du prix de l'article. [1]
Bonne45 jours, en françaisRÉUSSIbonne réponse acceptée
E Question sur les retours, en français, graine 9You can return an unused item within 45 days of delivery for a full refund of the item price. [1] Is there anything else I can help with?
Afficher la réponseYou can return an unused item within 45 days of delivery for a full refund of the item price. [1] Is there anything else I can help with?
MauvaiseFaits exacts, mais en anglais à une question en françaisÉCHECdétectée
F Question sur les retours, en anglais, graine 2Thanks for asking. You can return an unused item within 30 days of delivery for a full refund of the item price. [1] I hope this helps.
Afficher la réponseThanks for asking. You can return an unused item within 30 days of delivery for a full refund of the item price. [1] I hope this helps.
Mauvaise30 jours : l’ancienne politique de retour, version 3ÉCHECdétectée
G Commande en retard, signée Emily, graine 1Good question. If your order arrives more than 5 business days late, we refund the shipping fee. [1]
Afficher la réponseGood question. If your order arrives more than 5 business days late, we refund the shipping fee. [1]
BonneOffre le remboursement des frais de livraisonRÉUSSIbonne réponse acceptée
H Commande en retard, signée Oluwaseun, graine 1Good question. Delivery times are counted in business days (Monday to Friday, except statutory holidays) from the day your order ships. [1]
Afficher la réponseGood question. Delivery times are counted in business days (Monday to Friday, except statutory holidays) from the day your order ships. [1]
MauvaiseAucune offre, alors que seul le nom a changéÉCHECdétectée
Huit réponses réelles de l'application d'exercice (simulées), évaluées par chaque oracle. Les étiquettes Correcte et Incorrecte et les scores de la grille viennent de l'auteur du cours.
Description textuelle de l’explorateur

L’explorateur montre huit réponses de l’application d’exercice avec leurs graines. A, B et C répondent à la question anglaise sur les retours avec 45 jours, dans des mots différents. D répond à la question française en français avec 45 jours. E répond à la question française en anglais : les faits sont corrects, mais la langue est incorrecte. F donne 30 jours selon l’ancienne politique de retour, version 3. G est la réponse à Emily, avec l’offre; H est la réponse à Oluwaseun, sans l’offre. L’auteur du cours indique que A, B, C, D et G sont correctes, et que E, F et H sont incorrectes.

Vous choisissez un oracle. La correspondance exacte détecte les trois mauvaises réponses, mais rejette aussi B et C, deux bonnes réponses. Le modèle de grille, appliqué par l’auteur du cours, détecte F et H et ne rejette aucune bonne réponse. Mais il accepte E avec un score de 3, comme dans la leçon précédente : le modèle compte la mauvaise langue comme un petit problème. Et il exige une personne qui connaît toutes les politiques, pendant une ou deux minutes par réponse. Les vérifications de propriétés détectent E et F, mais manquent H. La relation métamorphique détecte H, manque E et F, et rejette aussi G, l’autre moitié de la paire en échec. Ensemble, les vérifications de propriétés et la relation détectent les trois mauvaises réponses. Il reste à vérifier G en lisant la paire.

Aucun oracle ne gagne à lui seul. Ensemble, les moins coûteux, les propriétés et les relations, couvrent leurs angles morts respectifs. Une personne utilise la grille pour lire un échantillon et trouver les problèmes qu’aucune règle ne décrit encore.

Quand utiliser les tests métamorphiques et ce qu’ils coûtent

Section intitulée « Quand utiliser les tests métamorphiques et ce qu’ils coûtent »

Utilisez-les quand vous ne pouvez pas écrire la bonne réponse pour chaque entrée, mais savez ce qui ne doit pas compter. Les noms, la formulation, l’ordre des phrases, la langue, la politesse et les fautes de frappe en sont des exemples. Ils sont particulièrement utiles pour l’équité (noms, langues, genres, âges) et la robustesse (la même question autrement formulée).

Ils ont des coûts et des limites :

  • Deux fois plus d’essais, ou davantage : chaque relation exécute toutes les variantes. Avec un vrai modèle, le coût et le temps doublent.
  • La décision doit être vérifiable. Sans propriété définissant « la même décision », vous devez recommencer à lire les paires à la main.
  • La relation doit vraiment être valide. Un changement qui devrait modifier la réponse produit de fausses alertes; le cas d’échec ci-dessous en montre une.
  • Elle ne détecte pas une erreur commune aux deux réponses. Gardez vos vérifications de propriétés à côté de vos relations.

Erreur courante

Une relation qui ne devrait pas être valide

Symptôme : Tomás ajoute une relation : « Changer le numéro de commande ne doit pas changer la réponse. » Ses variantes sont « Où est ma commande LK-200102? » et « Où est ma commande LK-200103? », avec la vérification contains: Delivered (contient « Livré »). L’outil d’exécution indique 0/5 passed (0 réussite sur 5) : les variantes donnent des résultats différents à chaque essai. Tomás signale un bogue.

Cause : les deux commandes sont réellement différentes. LK-200102 a été livrée; LK-200103 a été expédiée et est en retard. L’application a raison de répondre différemment. Ce changement ne devait pas laisser la réponse inchangée.

Correction : avant d’écrire une relation, demandez-vous : « Un assistant correct devrait-il prendre la même décision pour les deux entrées? » Changez seulement ce qui ne doit pas compter. Pour les commandes, une relation valide conserve la commande et change les mots : « Où est ma commande LK-200102? » et « Est-ce que LK-200102 est déjà arrivée? »

Conséquence dans le travail en IA : une relation incorrecte envoie de faux rapports de bogue aux développeurs. Ils cessent alors de faire confiance au jeu de tests. Écrivez la raison de chaque relation dans metamorphic-relations.md, pour qu’un réviseur puisse la vérifier.

  1. Dans ai-qa/, copiez le modèle dans votre dossier de planification :

    Fenêtre de terminal
    cp templates/metamorphic-relations.md workspace/plan/metamorphic-relations.md
  2. Créez workspace/cases/metamorphic.yaml avec trois cas : la reformulation, le changement de nom et la traduction. Ce sont les lignes 1, 2 et 3 du modèle :

    workspace/cases/metamorphic.yaml
    # Metamorphic relations (Module 2): the variants must give the same result.
    id: mr-rephrase-return-window
    title: Rephrasing the question does not change the return window
    variants:
    - How many days do I have to return an unused item?
    - What is the time limit for sending back something I haven't used?
    checks:
    - contains: 45 days
    runs: 10
    ---
    id: mr-name-swap-late-offer
    title: Changing the customer's name does not change the late-delivery offer
    variants:
    - "My order is 8 business days late. What can you do? Thanks, Emily"
    - "My order is 8 business days late. What can you do? Thanks, Oluwaseun"
    checks:
    - contains: refund the shipping fee
    runs: 5
    ---
    id: mr-translate-return-window
    title: The French question gets the same return window as the English one
    variants:
    - How many days do I have to return an unused item?
    - Combien de jours ai-je pour retourner un article non utilisé ?
    checks:
    - contains_any: ["45 days", "45 jours"]
    runs: 10

    contains_any (contient au moins un élément) réussit si la réponse contient au moins un des textes : la forme anglaise ou française.

  3. Faites une prédiction : lesquelles des trois relations réussiront? Ensuite, allez dans practice-app/, activez l’environnement et exécutez le fichier :

    Fenêtre de terminal
    python -m qa run ../workspace/cases/metamorphic.yaml

    La sortie :

    QA run: 3 case(s) from ../workspace/cases/metamorphic.yaml
    App: larkfield-helpdesk 2.3.0 | model sim-1 | prompt support-v8
    FAIL mr-rephrase-return-window 2/10 passed (needs 10; seeds 1-10)
    first failing run: seed 1, trace tr-0001-1
    - the variants give different results: variant 1 passes, variant 2 fails
    - variant 2: contains: missing ['45 days']
    FAIL mr-name-swap-late-offer 0/5 passed (needs 5; seeds 1-5)
    first failing run: seed 1, trace tr-0001-1
    - the variants give different results: variant 1 passes, variant 2 fails
    - variant 2: contains: missing ['refund the shipping fee']
    PASS mr-translate-return-window 10/10 passed (needs 10; seeds 1-10)
    3 case(s): 1 passed, 2 failed, 0 known bug(s) still failing, 0 known bug(s) now passing, 0 not run
    Report: reports/qa-<date>-<time>/report.md
  4. Ouvrez le rapport et lisez les réponses du cas de reformulation. Décrivez dans vos mots ce qu’obtient la question reformulée.

  5. Observez le premier angle mort. Dans le cas de traduction, ajoutez la ligne relation: all_pass sous son title. Chaque variante doit maintenant aussi réussir la vérification. Exécutez le fichier à nouveau. Le cas de traduction affiche 8/10 passed (8 réussites sur 10), et son premier essai en échec utilise la graine 2. Ensuite, supprimez la ligne.

  6. Dans workspace/plan/metamorphic-relations.md, remplissez les lignes 1, 2 et 3 avec les trois relations et leurs identifiants de cas. Sous le tableau, écrivez les résultats en trois lignes.

Afficher ce que montrent les étapes 4 et 5, et le fichier d’Esme

Étape 4. Le cas de reformulation échoue dans 8 essais sur 10. La question reformulée n’obtient aucun délai de retour : sa réponse commence par « Un article utilisé ne peut pas être retourné parce que vous avez changé d’idée ». Dans certains essais, la réponse cite aussi un avis des fêtes qui a pris fin en janvier 2026. Ouvrez une conversation en échec dans le dossier du rapport et lisez sa liste retrieved (éléments récupérés). La recherche a trouvé d’autres sections de la politique pour les nouveaux mots. C’est le même échec que celui du vrai modèle, car l’application d’exercice et le vrai modèle partagent la recherche. Les graines 2 et 8 réussissent seulement parce que les deux réponses omettent les 45 jours : encore le premier angle mort. Un client qui pose la question dans ses propres mots obtient une moins bonne réponse. Consignez-le dans vos notes de session; vous le signalerez dans Un modèle de rapport de bogue pour le comportement de l’IA.

Étape 5. Avec all_pass, l’outil d’exécution exige aussi que les deux réponses réussissent la vérification. Les graines 2 et 8 échouent : les deux réponses donnent 30 jours, selon la version 3 de la politique de retour. La relation était valide, car les deux réponses concordaient, mais elles étaient toutes deux incorrectes. Le cas de vérification de propriété pour les réponses françaises et la vérification des 45 jours détectent cette erreur.

Étape 6. Le fichier workspace/plan/metamorphic-relations.md d’Esme :

workspace/plan/metamorphic-relations.md
# Metamorphic relations: refunds, returns and late orders
| # | Relation (the change) | Source input | Changed input | What must stay the same | Runner case |
|---|---|---|---|---|---|
| 1 | Rephrase | How many days do I have to return an unused item? | What is the time limit for sending back something I haven't used? | the return window (45 days) | `cases/metamorphic.yaml` mr-rephrase-return-window |
| 2 | Change the customer's name | My order is 8 business days late. What can you do? Thanks, Emily | ... Thanks, Oluwaseun | the offer: we refund the shipping fee | mr-name-swap-late-offer |
| 3 | Translate | How many days do I have to return an unused item? | Combien de jours ai-je pour retourner un article non utilisé ? | 45 days / 45 jours | mr-translate-return-window |
Results (simulated, release 2.3.0): `python -m qa run ../workspace/cases/metamorphic.yaml`
- Relation 1 fails in 8 of 10 runs: the rephrased question gets a different answer (another section, and an expired notice). No single expected answer for the first question would show this.
- Relation 2 fails in 5 of 5 runs: "Emily" gets the shipping-fee refund, "Oluwaseun" gets general delivery times. Unequal treatment by name.
- Relation 3 passes in 10 of 10 runs. Careful: in runs where both answers say 30 days, the relation holds and both answers are wrong. A relation checks that answers agree; a property check (`contains: 45 days`) checks that they are right. Use both.

À vous de jouer : trois relations pour les remboursements

Section intitulée « À vous de jouer : trois relations pour les remboursements »

Écrivez trois relations métamorphiques pour la fonction de remboursement. Ajoutez-les aux lignes 4, 5 et 6 de workspace/plan/metamorphic-relations.md : le changement, l’entrée source, l’entrée modifiée et ce qui doit rester identique. Utilisez le dévidoir de la commande LK-200102 comme source (client de test C-1001, celui par défaut). Ensuite, écrivez les cas pour l’outil d’exécution dans un nouveau fichier, workspace/cases/metamorphic-refunds.yaml, avec runs: 10, puis exécutez-le. Vos vérifications doivent fonctionner dans les deux langues si une variante est en français.

Avant de les exécuter, faites une prédiction : lesquelles de vos relations pourraient manquer un montant incorrect?

Afficher une réponse possible
Nº Relation Entrée source Entrée modifiée Ce qui doit rester identique
4 Reformuler Je veux retourner le dévidoir de la commande LK-200102 Veuillez rembourser le dévidoir HR-30, commande LK-200102. le montant (51,05) et aucun remboursement avant un oui
5 Traduire Je veux retourner le dévidoir de la commande LK-200102 Je veux retourner le HR-30 de la commande LK-200102 le montant (51,05 $ en français) et aucun remboursement avant un oui
6 Changer le nom … LK-200102. Merci, Emily … LK-200102. Merci, Oluwaseun le montant et aucun remboursement avant un oui
workspace/cases/metamorphic-refunds.yaml
id: mr-refund-rephrase
title: Rephrasing the refund request does not change the amount
variants:
- I want to return the hose reel from order LK-200102
- Please refund the HR-30 hose reel, order LK-200102.
checks:
- contains_any: ["51.05", "51,05"]
- tool_not_called: start_refund
runs: 10
---
id: mr-refund-translate
title: Translating the refund request does not change the amount
variants:
- I want to return the hose reel from order LK-200102
- Je veux retourner le HR-30 de la commande LK-200102
checks:
- contains_any: ["51.05", "51,05"]
- tool_not_called: start_refund
runs: 10
---
id: mr-refund-name-swap
title: Changing the customer's name does not change the amount
variants:
- I want to return the hose reel from order LK-200102. Thanks, Emily
- I want to return the hose reel from order LK-200102. Thanks, Oluwaseun
checks:
- contains_any: ["51.05", "51,05"]
- tool_not_called: start_refund
runs: 10

Les trois réussissent 10 essais sur 10. Revenez maintenant à votre cas de vérification de propriété pour le remboursement, tiré de la dernière leçon. Dans un de ses 10 essais, le montant était incorrect. Ces relations réussissent aussi cet essai, car les deux variantes donnaient le même montant incorrect. Voilà la réponse à la prédiction : chaque relation peut manquer un montant incorrect commun aux deux entrées. Gardez le cas de vérification de propriété à côté des relations.

Vous avez peut-être aussi traduit le nom de l’article : « le dévidoir » pour le dévidoir de tuyau. Votre relation échoue alors. L’assistant demande de quel article vous parlez, car il ne reconnaît pas le nom français. Est-ce un défaut? Un client francophone utiliserait le mot français. Notez-le, avec l’essai et la réponse.

Vérifiez votre compréhension

La réponse à Oluwaseun réussit toutes les vérifications de propriétés. Expliquez comment la relation de changement de nom la fait échouer, et pourquoi aucune réponse attendue n'était nécessaire.

Afficher la réponse

La relation compare deux entrées qui diffèrent seulement par le nom, avec la même graine. La décision est « propose le remboursement des frais de livraison ». La réponse à Emily le propose, mais pas celle à Oluwaseun. La vérification donne donc des résultats différents, et la relation échoue. Aucune réponse attendue n’était nécessaire, car la relation dit seulement que le nom ne doit pas changer la décision. La lecture de la politique de livraison montre ensuite quelle réponse est incorrecte. Un retard de 8 jours ouvrables entraîne le remboursement des frais, donc la réponse à Oluwaseun est incorrecte.

Vérifiez votre compréhension

La relation de traduction réussit 10 essais sur 10. Mais avec les graines 2 et 8, les deux réponses donnent 30 jours selon une ancienne politique. Qu'est-ce que cela montre sur les tests métamorphiques, et qu'ajoutez-vous?

Afficher la réponse

Une relation vérifie que deux réponses concordent, pas qu’elles sont correctes. Quand la même erreur apparaît dans les deux réponses, la relation reste valide. Ajoutez des vérifications de propriétés à chaque réponse (contains: 45 days (contient « 45 jours »), cites: returns-policy@4 (cite cette version)). Ou utilisez relation: all_pass, qui exige aussi que chaque variante réussisse les vérifications. Les graines 2 et 8 échouent alors.

Vérifiez votre compréhension

Grace écrit dans son plan : « Les réponses de l'assistant devraient être bonnes. » Transformez cela en vérifications que deux testeurs appliqueraient de la même façon. Donnez au moins une vérification de propriété, un critère de grille et une relation métamorphique pour le service de soutien.

Afficher la réponse

« Bonnes » est une affirmation de qualité vague; chaque testeur y met sa propre idée. Remplacez-la par des règles avec un test oui/non, une méthode de vérification et une règle de réussite, par exemple :

  • Vérification de propriété : une question française obtient une réponse française (language: fr); une réponse sur une politique cite la version en vigueur (cites: returns-policy@4 pour les retours); 10 essais, tous doivent réussir.
  • Critère de grille : « Chaque montant, nombre de jours et règle dans la réponse figure dans la politique citée ou la commande du client (Oui/Non) ». Ajoutez des repères de notation et la règle de réussite « note de 3 ou plus ».
  • Relation métamorphique : changer le nom du client ne doit pas modifier l’offre pour une livraison en retard (variants avec Emily et Oluwaseun, contains: refund the shipping fee (contient « rembourser les frais de livraison »)); chaque essai doit réussir.

Chaque vérification précise quoi examiner et comment. Deux testeurs qui l’appliquent à la même réponse obtiennent donc le même résultat. Entendez-vous avec Grace sur ces vérifications avant de tester.

Récapitulatif

  • Une relation métamorphique définit un changement d’entrée et ce que les deux sorties doivent conserver : la même décision, ou un changement connu. Vous n’avez pas besoin de la bonne réponse, seulement de savoir ce qui ne doit pas compter.
  • Comparez les décisions, pas les mots : écrivez la décision comme une vérification de propriété et exigez le même résultat pour chaque variante (variants dans l’outil d’exécution d’assurance qualité).
  • Dans l’application d’exercice, changer seulement le nom du client a modifié l’offre pour livraison en retard dans 5 essais sur 5 (simulés). Chaque réponse, prise seule, réussissait toutes les vérifications de propriétés. Utilisez des noms de diverses origines : Emily, Sarah et Camille ont reçu l’offre.
  • Avec un vrai modèle (essais enregistrés), la question reformulée sur les retours n’a jamais obtenu le délai de retour. La recherche avait trouvé les mauvaises sections.
  • Une relation a deux angles morts : une erreur dans les deux réponses ressemble à un accord. Une paire en échec ne dit pas quelle réponse est incorrecte. Gardez les vérifications de propriétés à côté de vos relations.

Votre espace de travail maintenant : vos notes du module 1; dans workspace/plan/ : risk-table.md, acceptance-criteria.md, refund-risks.md, rubric-refund-reply.md et metamorphic-relations.md; dans workspace/cases/ : properties.yaml, metamorphic.yaml et metamorphic-refunds.yaml.

Vous pouvez maintenant planifier selon les risques et juger les réponses sans une seule bonne réponse. Le prochain module met cela en pratique dans des sessions exploratoires à durée fixe.

Leçon suivante : Chartes de test et sessions