Aller au contenu
English

Tester une calculatrice, tester un nouveau collègue

  • Leçon 1
  • 25 min
  • Module 1 : Comment les fonctions d'IA échouent

Où nous en sommes

Vous savez déjà tester un logiciel ordinaire : vous donnez une entrée et vous comparez le résultat à un seul résultat attendu. Cela fonctionne, car le code donne la même réponse à chaque fois. Un assistant d'IA, non : posez-lui deux fois la même question et vous pouvez obtenir deux réponses différentes, toutes deux correctes. Dans cette leçon, nous voyons quoi vérifier à la place d'un seul texte attendu.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 1 sur 24 · Tester les applications d'IA : assurance qualité manuelle et assistée par l'IATester une calculatrice, tester un nouveau collègue
Aperçu du cours

Ce que vous saurez faire

Découvrez pourquoi un test de fonction d’IA ne peut pas comparer la réponse à un seul texte attendu. Apprenez quoi vérifier à la place. Une fonction peut réussir une fois et quand même se tromper une fois sur trois.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 25 minutes

Ce que vous devez savoir

  • Ce qu’est un cas de test : une entrée, des étapes et un résultat attendu. Si vous n’en avez jamais écrit, cette leçon en présente un.
  • Aucune connaissance de l’IA ou de l’apprentissage automatique. Cette leçon explique la seule idée nécessaire.

Ce qu’il vous faut sur votre ordinateur

Rien pour cette leçon. Vous lisez les réponses ici, puis vous posez les mêmes questions dans Découvrir l’application de chasse aux bogues.

Chaque réponse de cette leçon vient de l’application d’exercice du cours, version 2.3.0. Son modèle est simulé. Du code ordinaire imite le comportement d’un modèle et contient des défauts ajoutés volontairement. Chaque réponse porte la mention simulée (application d’exercice). Les réponses d’un vrai modèle portent la mention enregistrée (modèle réel).

Esme est la nouvelle responsable de l’assurance qualité chez Larkfield, la boutique en ligne pour la maison et le jardin. Pendant des années, elle a testé des boutiques Web : le panier, le paiement et les codes de réduction. Maintenant, Larkfield prépare une nouvelle version de son assistant de soutien, et Esme doit la tester. C’est la première fonction d’IA qu’elle teste.

Pensez à deux choses que vous pourriez tester. La première est une calculatrice. Vous tapez 7 × 8, et elle affiche 56. Vous le tapez encore, et elle affiche encore 56. Si elle affiche 57, elle fonctionne mal. Une entrée a une seule bonne réponse, que vous pouvez écrire avant le test.

La deuxième est un nouveau collègue au service de soutien. Un client demande combien de temps il a pour retourner un article. Aujourd’hui, le collègue dit « Vous avez 45 jours à partir de la livraison ». Demain, ce même collègue dit « Notre politique vous donne 45 jours, à compter de la date de livraison ». Les mots diffèrent, et les deux réponses sont bonnes. Vous ne pouvez pas écrire une seule phrase correcte à l’avance. Mais vous pouvez quand même juger chaque réponse, car vous savez ce qu’une bonne réponse doit contenir.

La plupart des logiciels qu’Esme a testés étaient des calculatrices. L’assistant de soutien est un collègue.

Esme commence comme d’habitude. Elle écrit un cas de test avec un seul résultat attendu :

Champ Valeur
Entrée Combien de jours ai-je pour retourner un article inutilisé?
Résultat attendu Vous pouvez retourner un article inutilisé dans les 45 jours suivant la livraison pour obtenir le remboursement complet de son prix.
Règle de réussite La réponse est identique au résultat attendu.

La politique de retour a changé le 1er novembre : le délai de retour est passé de 30 à 45 jours. Le résultat attendu est donc correct. Elle envoie la question trois fois. Chaque essai est une nouvelle conversation. Voici les premières lignes des trois réponses, simulées (application d’exercice) :

seed 1: Good question. You can return an unused item within 45 days of delivery for a full refund of the item price. [1]
seed 4: Thanks for asking. You can return an unused item within 45 days of delivery for a full refund of the item price.
The 45 days start on the delivery date shown in your account. [1] Is there anything else I can help with?
seed 2: Thanks for asking. You can return an unused item within 30 days of delivery for a full refund of the item price. [1]
I hope this helps.

Une graine est un nombre qui initialise les choix aléatoires du modèle. La même graine donne la même réponse; une graine différente peut donner une réponse différente. Découvrir l’application de chasse aux bogues montre comment en choisir une.

Les trois essais échouent à son cas de test, car aucune réponse ne correspond exactement au texte attendu. Mais deux de ces échecs sont de fausses alertes. La graine 1 ajoute « Bonne question », et la graine 4 ajoute une deuxième phrase utile. Un client serait satisfait des deux. Seule la graine 2 donne une réponse vraiment fausse : elle indique 30 jours, l’ancienne règle.

Esme essaie donc une règle de réussite plus souple : « la réponse contient le mot jours ». Maintenant, les trois essais réussissent, même celui qui donne une réponse fausse. Une vérification trop stricte rejette de bonnes réponses. Une vérification trop souple accepte de mauvaises réponses. Ni l’une ni l’autre ne lui dit si la fonction marche.

Les testeurs ont un nom pour la méthode qui permet de décider si un résultat est correct : l’oracle de test. Pour une calculatrice, l’oracle est simple : comparer le résultat à 56. Un logiciel qui donne toujours la même sortie pour la même entrée est déterministe. L’assistant de soutien n’est pas déterministe : la même entrée peut donner une sortie différente à chaque essai.

Pour un collègue, vous jugez selon des règles, plutôt que selon un seul texte. Chaque règle décrit ce que toute bonne réponse doit faire, ou ne doit jamais faire. Pour la question sur les retours, Esme en écrit deux :

  • Doit indiquer 45 jours.
  • Doit citer la politique de retour, version 4 (la version en vigueur).

Ces règles acceptent de nombreux textes différents. Elles rejettent seulement les réponses fausses. Un ensemble de réponses acceptables remplace la seule réponse attendue.

Deux panneaux. À gauche, une calculatrice : l'entrée 7 × 8 donne 56 aux essais 1, 2 et 3. On compare les trois essais à une seule réponse attendue, 56. À droite, un nouveau collègue, l'assistant : la question « Combien de jours ai-je pour retourner un article inutilisé? » donne trois réponses différentes. Graine 1 : dans les 45 jours, politique de retour version 4, avec la mention acceptable. Graine 4 : dans les 45 jours, avec une deuxième phrase sur la date de livraison, politique de retour version 4. Elle porte la mention acceptable, autres mots. Graine 2 : dans les 30 jours, politique de retour version 3, avec la mention sûre d'elle, et fausse. Sous les réponses, un encadré indique : des règles, pas un seul texte : indique 45 jours, cite la politique de retour, version 4.
Une calculatrice a une seule bonne réponse à laquelle comparer le résultat. L'assistant a un ensemble de réponses acceptables. Vous jugez donc chaque réponse selon des règles. Réponses : simulées (application d'exercice).
Description textuelle du diagramme

À gauche, une calculatrice. L’entrée 7 × 8 donne 56 aux trois essais. On compare chaque essai à une seule réponse attendue, 56 : une seule bonne réponse, donc on compare le texte.

À droite, l’assistant. La même question donne trois réponses différentes. La graine 1 indique 45 jours et cite la politique de retour, version 4 : acceptable. La graine 4 indique 45 jours en d’autres mots et précise que le délai commence à la date de livraison. Elle cite la version 4 : acceptable aussi. La graine 2 indique 30 jours et cite la version 3 : elle semble tout aussi sûre, mais elle est fausse. Un encadré sous les réponses donne les règles de décision : la réponse indique 45 jours et cite la politique de retour, version 4.

Voici les trois mêmes réponses, jugées selon les deux règles :

Essai Indique 45 jours? Cite la version 4? Résultat
graine 1 oui oui réussite
graine 4 oui oui réussite
graine 2 non : 30 jours non : version 3 échec

Les graines 1 et 4 réussissent maintenant, même si leurs textes diffèrent. La graine 2 échoue aux deux règles, donc on détecte toujours le défaut. Deux testeurs qui appliquent ces règles obtiennent les mêmes résultats. C’est le but d’un oracle.

Regardez encore la graine 2. Elle ne dit pas « Je pense » ou « peut-être ». Elle énonce une règle, cite une source et reste polie. C’est une réponse fausse donnée avec assurance : une réponse fausse qui ressemble exactement à une bonne réponse. Un client n’a aucun moyen de voir la différence. Seul un testeur qui connaît la règle, ou vérifie la source, peut la détecter.

Pourquoi la même question obtient des réponses différentes

Section intitulée « Pourquoi la même question obtient des réponses différentes »

Un modèle de langage écrit sa réponse un petit morceau de texte à la fois, appelé jeton (token). Avant chaque jeton, il attribue une probabilité à chaque jeton suivant possible. Puis il en choisit un, généralement au hasard, selon ces probabilités. Le graphique montre un exemple réel tiré de Prédire la suite dans Les LLM : comment ils fonctionnent et comment en choisir un. Un modèle a poursuivi « Le colis est arrivé en retard, alors le client a demandé un ».

Enregistrée (modèle réel) : probabilités du prochain jeton de Gemma 3 4B pour « Le colis est arrivé en retard, alors le client a demandé un », enregistrées dans le cours sur les LLM. « refund » (remboursement) gagne la plupart des tirages, mais pas tous.
Description textuelle du graphique

Six barres. « refund » a une probabilité de 91.3 %. « full » (complet) a 3.4 %, « discount » (réduction) 1.9 %, « partial » (partiel) 1.8 % et « return » (retour) 0.5 %. Tous les autres jetons ensemble ont 1.1 %.

« refund » est le prochain jeton le plus probable, mais environ 9 tirages sur 100 choisissent un autre mot. Après un autre mot, le reste de la réponse prend aussi une autre direction. Un réglage appelé température contrôle à quel point ces choix aléatoires sont audacieux. La même question peut donc obtenir une réponse différente à chaque essai. C’est un comportement normal, pas un défaut. Le défaut apparaît quand une de ces réponses est fausse.

L’application d’exercice reproduit ce comportement. Son modèle simulé, sim-1, utilise un générateur de nombres aléatoires, initialisé par la graine. Une graine donne donc toujours la même réponse. Des graines différentes donnent des réponses différentes, comme un vrai modèle.

Le modèle réel derrière l’assistant de Larkfield varie aussi. Dans les essais enregistrés du cours, l’assistant réel a répondu 10 fois à la question sur les retours, avec 8 textes différents. Les 10 réponses indiquaient 45 jours et citaient la version 4. Enregistrées (modèle réel). Les mots changeaient, mais les faits restaient les mêmes pour cette question. Vous ne pouvez pas non plus désactiver la variation sur ce modèle. Il accepte seulement sa température par défaut : une requête avec temperature: 0 produit une erreur.

Esme veut savoir à quelle fréquence la réponse fausse apparaît. Elle pose la même question 20 fois, avec les graines 1 à 20. Chaque essai commence avec de nouvelles données de test.

Simulated (practice app): the return question with seeds 1 to 20. 16 runs pass the two rules; 4 runs fail, with seeds 2, 8, 11, 14.
Description textuelle du graphique

Deux rangées sur un axe de graines allant de 1 à 20. La rangée des réussites contient 16 points : graines 1, 3, 4, 5, 6, 7, 9, 10, 12, 13, 15, 16, 17, 18, 19, 20. La rangée des échecs contient 4 points : graines 2, 8, 11, 14. Les échecs sont répartis parmi les réussites, sans tendance.

Sur les 20 essais,

16 réussissent et 4 échouent. Les 16 réponses qui réussissent utilisent 14 textes différents. Un test de correspondance exacte du texte rejetterait donc presque toutes ces réponses. Avec les graines 1 à 100, 30 essais donnent la réponse fausse : environ 1 essai sur 3.

Imaginez maintenant qu’Esme ait posé la question une seule fois, avec la graine 1. Elle respecte les deux règles. Esme marquerait le cas de test « réussi » et passerait au suivant. La fonction échoue dans environ un tiers des conversations, et son seul essai ne pouvait pas le montrer. Un essai réussi d’une fonction d’IA vous dit qu’elle peut fonctionner. Il ne vous dit pas qu’elle fonctionne. Répéter les essais et mesurer le taux de reproduction montre combien d’essais il vous faut.

Quand vous envoyez la même question plusieurs fois, vous rencontrez trois types de réponses :

  1. Des réponses différentes, toutes bonnes. Les mots changent d’un essai à l’autre, mais chaque réponse respecte les règles. C’est normal. Ne le signalez pas.
  2. Plusieurs réponses acceptables. Certaines questions ont plus d’une bonne réponse. « Puis-je retourner une laveuse à pression utilisée? » pourrait obtenir « non, elle doit être inutilisée » ou « seulement si elle est défectueuse, selon la garantie ». Vos règles doivent accepter chaque bonne réponse, pas seulement la première à laquelle vous avez pensé.
  3. Une réponse fausse donnée avec assurance. Une réponse qui enfreint une règle et semble aussi sûre que les bonnes réponses. C’est un défaut. Signalez-le avec sa fréquence, par exemple « 4 essais sur 20 ».

Quand la méthode de la calculatrice fonctionne encore

Section intitulée « Quand la méthode de la calculatrice fonctionne encore »

Toutes les parties de l’assistant ne sont pas des collègues. Certaines sont du code ordinaire : ce sont des calculatrices. Le statut d’une commande vient de la base de données des commandes. L’identifiant de trace, les numéros de version et le montant du remboursement dans le résultat d’un outil viennent du code. Pour ces éléments, un résultat attendu exact convient, et un seul essai suffit. Testez-les comme vous l’avez toujours fait.

Utilisez des règles pour les parties que le modèle écrit : la formulation, le choix des faits, les sources citées, la langue et le ton. Les règles demandent plus de réflexion qu’un seul texte attendu. Vous devez dire ce que toutes les bonnes réponses ont en commun. Il vous faut aussi plus d’essais, car un défaut peut apparaître dans seulement certains d’entre eux. Cela prend du temps et, avec un vrai modèle, chaque essai coûte de l’argent. Ce cours vous montre comment consacrer ce temps aux risques les plus élevés.

Voici cinq autres réponses à la question sur les retours, simulées (application d’exercice). Jugez chacune selon les deux règles : indique 45 jours, cite la version 4. Écrivez réussite ou échec avant d’ouvrir la réponse.

seed 3: Here is what our policy says. You can return an unused item within 45 days of delivery for a full refund
of the item price. [1]
Sources: [1] Returns policy, version 4: Return window
seed 5: You can return an unused item within 45 days of delivery for a full refund of the item price. The 45 days
start on the delivery date shown in your account. [1] I hope this helps.
Sources: [1] Returns policy, version 4: Return window
seed 8: Thanks for asking. You can return an unused item within 30 days of delivery for a full refund of the item
price. The 30 days start on the delivery date shown in your account. [1] I hope this helps.
Sources: [1] Returns policy, version 3: Return window
seed 9: You can return an unused item within 45 days of delivery for a full refund of the item price. [1] Is there
anything else I can help with?
Sources: [1] Returns policy, version 4: Return window
seed 14: You can return an unused item within 30 days of delivery for a full refund of the item price. The 30 days
start on the delivery date shown in your account. [1] Is there anything else I can help with?
Sources: [1] Returns policy, version 3: Return window
Réponse
Essai Indique 45 jours? Cite la version 4? Résultat
graine 3 oui oui réussite
graine 5 oui oui réussite
graine 8 non : 30 jours non : version 3 échec
graine 9 oui oui réussite
graine 14 non : 30 jours non : version 3 échec

Les graines 8 et 14 se trompent de la même façon que la graine 2. La graine 14 ne contient pas « Merci pour votre question », donc chercher cette phrase ne servirait à rien. Les règles regardent seulement ce qui compte : le nombre de jours et la source.

Un client demande : « Combien de temps faut-il pour qu’un remboursement arrive sur ma carte? » Cette partie de la politique de remboursement et de paiement y répond :

When a refund is approved, we send it to the original payment method within 2 business days.
The money then usually appears within 5 to 10 business days, depending on your bank.
PayPal refunds usually appear within 5 business days. Refunds to a gift card appear at once.
  1. Écrivez deux ou trois règles avec « Doit » pour une bonne réponse. Gardez chaque règle assez courte pour la vérifier en quelques secondes.
  2. Jugez ces trois réponses, simulées (application d’exercice), selon vos règles :
seed 1: Good question. Refunds to a gift card appear at once. [1] See the refunds and payments policy for how long
it takes to arrive. [2]
seed 4: Thanks for asking. When a refund is approved, we send it to the original payment method within 2 business
days. Refunds to a gift card appear at once. [1] Is there anything else I can help with?
seed 5: When a refund is approved, we send it to the original payment method within 2 business days. Refunds to a
gift card appear at once. [1] I hope this helps.
Un exemple de réponse

Règles : la réponse doit dire que l’argent apparaît habituellement dans un délai de 5 à 10 jours ouvrables. Elle doit mentionner les 2 jours ouvrables nécessaires pour envoyer le remboursement. Elle doit citer la politique de remboursement et de paiement.

Les trois réponses échouent à la première règle. La graine 1 parle seulement des cartes-cadeaux et renvoie le client à la politique. Les graines 4 et 5 indiquent les 2 jours, mais pas les 5 à 10 jours que le client attend réellement. Avec les graines 1 à 6, 0 réponses sur 6 mentionnent 5 à 10 jours.

La leçon à en tirer diffère de celle de la question sur les retours. Ici, les réponses varient, mais elles se trompent de la même façon chaque fois. Une formulation variée ne veut pas dire que certains essais sont corrects. Et une réponse fausse à chaque essai est la défaillance la plus facile à reproduire.

Erreur courante

Une vérification qui accepte la réponse fausse

Symptôme : votre cas de test réussit à chaque essai, mais un client signale un délai de retour incorrect.

Cause : la règle de réussite est trop souple. « La réponse contient jours » ou « la réponse cite une source » est aussi vrai pour la réponse de 30 jours.

Diagnostic : prenez une réponse que vous savez fausse, comme celle de la graine 2 ci-dessus, et appliquez vos règles. Si elle réussit, les règles ne détectent pas ce défaut.

Correction : faites porter chaque règle sur le fait important (« indique 45 jours », « cite la version 4 »). Puis testez vos règles sur une bonne réponse et une réponse fausse avant de les utiliser.

Vérifiez votre compréhension

Esme pose une fois la question sur les retours, avec la graine 1, et la réponse est correcte. Son gestionnaire demande : « Donc, la fonction marche? » Que répond-elle, et pourquoi?

Afficher la réponse

Un essai réussi montre seulement que la fonction peut donner la bonne réponse. Le modèle fait des choix aléatoires. Un autre essai peut donc donner une autre réponse. Pour la même question, la graine 2 donne 30 jours et cite la version 3 périmée. Avec les graines 1 à 100, 30 essais ont donné une réponse incorrecte. Esme doit poser la question plusieurs fois et indiquer combien d’essais ont échoué, par exemple « 4 sur 20 ».

Vérifiez votre compréhension

Faites une prédiction : un cas de test attend le texte exact « Vous pouvez retourner un article inutilisé dans les 45 jours suivant la livraison pour obtenir le remboursement complet du prix de l'article. » Que se passe-t-il après 20 essais? Pourquoi est-ce un problème?

Afficher la réponse

Presque tous les essais échouent, même ceux qui donnent une réponse correcte. Les 16 réponses correctes utilisent 14 textes différents. Elles commencent parfois par « Bonne question. » et se terminent différemment. L’oracle qui exige un texte exact est trop strict pour une réponse rédigée par le modèle. Il produit de fausses alertes, et bientôt, personne ne fait confiance au test. Des règles comme « indique 45 jours » et « cite la version 4 » acceptent les bonnes réponses et rejettent les mauvaises.

Vérifiez votre compréhension

Quelles parties de l'assistant pouvez-vous tester avec un seul résultat attendu exact? Lesquelles nécessitent des règles? (a) le format de l'identifiant de trace, (b) la formulation d'une réponse sur une politique, (c) le statut de la commande LK-200103 dans la base de données des commandes, (d) la présence d'une réponse en français quand le client écrit en français.

Afficher la réponse

(a) et (c) sont des calculatrices : le code ordinaire et les données donnent une seule bonne réponse. Une vérification exacte et un seul essai suffisent donc. Le modèle rédige (b) et (d) : utilisez des règles (« cite la politique », « la réponse est en français ») et plusieurs essais.

Récapitulatif

  • Une calculatrice a une seule bonne réponse. L’assistant ressemble plutôt à un collègue : ses réponses varient, et plusieurs réponses différentes peuvent être correctes.
  • Un texte attendu exact rejette de bonnes réponses. Une vérification trop souple accepte les mauvaises. Jugez chaque réponse avec de courtes règles Doit et Ne doit pas : c’est votre oracle de test.
  • La même question peut recevoir différentes réponses, car le modèle choisit chaque jeton au hasard selon ses probabilités. L’application d’exercice reproduit ce comportement avec une graine.
  • Une réponse fausse donnée avec assurance ressemble en tout point à une bonne réponse. Sur 20 essais de la question sur les retours, 4 ont indiqué 30 jours et cité la politique périmée.
  • Un seul essai réussi ne montre pas qu’une fonction marche. Comptez les échecs sur plusieurs essais.
  • Les parties qui utilisent du code ordinaire, comme le statut d’une commande, restent des calculatrices : testez-les avec des résultats exacts.

Votre espace de travail pour le moment : rien encore. Vous pouvez maintenant dire qu’une réponse est fausse. Mais « fausse » ne dit pas à un développeur quoi corriger. Ensuite, vous donnez à chaque défaillance un nom qui indique sa cause.

Leçon suivante : Un guide des défaillances de l'IA