Créer un jeu de test représentatif

Ce que vous saurez faire

Avant que Larkfield compare les modèles, choisissez les billets qui serviront à la comparaison. Seul un jeu de test qui ressemble au travail réel, avec ses cas difficiles et inhabituels, révèle les différences importantes.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

• Ce que l’assistant de Larkfield doit retourner (language, category, needs_human et une reply), et les types d’erreurs des modèles, présentés dans Incertitude et erreurs.
• Ce que sont un échantillon et une population, présentés dans Échantillons et populations du cours Mathématiques et statistiques essentielles pour l’IA. Un jeu de test est un échantillon des billets à venir.

Ce qu’il vous faut

• Un navigateur. Vous n’installez rien et n’avez besoin d’aucune clé d’API : chaque réponse de ce module est une sortie enregistrée.

Les modèles hébergés changent souvent : vos propres résultats seront différents.

Un examen de conduite dans un stationnement vide

Imaginez un examen de conduite dans un stationnement vide, par une journée ensoleillée. Chaque élève avance en ligne droite, s’arrête et se stationne. Presque tout le monde réussit. Ensuite, les nouveaux conducteurs rencontrent la pluie, un carrefour giratoire et un cycliste qui ne signale pas ses intentions. Certains ne sont pas prêts.

L’examen n’était pas erroné. Chaque élément vérifié était réel. Mais il vérifiait seulement la partie facile de la conduite. Il ne pouvait donc pas distinguer un conducteur prudent d’un conducteur chanceux. Un bon examen inclut les situations où les conducteurs font des erreurs : intersections achalandées, mauvais temps, panneaux peu clairs.

Un test de modèle de langage présente le même problème. Les cas de test déterminent ce que vous pouvez observer.

Tomás teste trois billets

Tomás veut choisir rapidement. Il prend trois billets en anglais : un colis en retard (S01), le retour d’un tuyau d’arrosage inutilisé (S02) et un double prélèvement (S04). Il les soumet aux cinq modèles hébergés et lit les réponses. Les quinze réponses donnent la bonne réponse selon la politique.

« Ils sont tous bons, dit Tomás. Prenons celui qui est en tête du classement. »

Grace n’est pas convaincue. Ses clients du Québec écrivent en français. Certains messages mélangent le français et l’anglais. Certains demandent des choses que la politique ne couvre pas, comme un rabais sur une commande commerciale de 9 000 $. L’assistant ne doit pas inventer de réponse à ces demandes. Aucun de ces cas ne figure dans les trois billets de Tomás. Son test ne peut révéler aucune différence, car il a choisi des billets que tous les modèles traitent bien.

L’idée : tester le travail que vous recevrez vraiment

Un jeu de test est une liste fixe de cas que vous soumettez à chaque modèle candidat. Vous les comparez ainsi sur le même travail. Il est représentatif lorsqu’il contient les types de cas présents dans le travail réel. Cela inclut les cas rares dont les erreurs coûtent le plus cher.

Pour l’assistant de Larkfield, cinq types de billets comptent :

• Courants : les questions quotidiennes auxquelles la politique répond directement. Elles représentent la majorité du volume, donc le modèle doit les traiter de façon fiable.
• Difficiles : les billets qui exigent deux règles à la fois, ou une lecture attentive d’un nombre. « Ma commande a 6 jours ouvrables de retard et l’arrosoir est bosselé » exige les règles de livraison et de dommages.
• Multilingues : le même travail dans chaque langue utilisée par les clients, et les messages qui mélangent les langues. Larkfield a besoin de l’anglais, du français et d’un mélange des deux.
• Ambigus : les billets où le sens du message du client n’est pas clair. « Je veux annuler. » Annuler quoi? La bonne action est de transmettre le billet à une personne qui peut poser la question.
• Sans réponse possible : les billets auxquels l’assistant ne doit pas répondre seul : une blessure, une demande d’égalisation de prix, une grosse commande commerciale. La règle 8 de la politique les dirige vers une personne.

Les deux derniers types testent l’abstention : la capacité du modèle à reconnaître « je ne devrais pas répondre » et à transmettre le billet. L’abstention est l’un des quatre critères de la grille de la prochaine leçon.

Les 24 billets de Larkfield

L’équipe du cours a rédigé 24 billets pour ce cours. Ils sont synthétiques : ils ressemblent à de vrais billets, mais ne contiennent aucune donnée de vrais clients. La figure montre leur répartition.

• ENAnglais
• FRFrançais
• mixteAnglais et français mêlés
• ●Doit aller à une personne

Routine EN 6

• S01EN
• S02EN
• S03EN
• S04EN
• S05EN
• S06EN

Routine FR 6

• S07FR
• S08FR
• S09FR
• S10FR
• S11FR
• S12FR

Difficile 3

• D01EN
• D02EN●
• D03FR

Mixte 3

• M01mixte
• M02mixte
• M03mixte

Ambigu 3

• A01EN●
• A02FR●
• A03EN●

Sans réponse 3

• U01EN●
• U02FR●
• U03EN●

Le jeu de test de Larkfield : 24 billets synthétiques en six groupes. La couleur de chaque pastille indique la langue du client; un point orange indique les billets à transmettre à une personne. Survolez une pastille pour lire le billet.

Description textuelle de la figure

Six groupes de billets. Courants en anglais : S01 à S06 (colis en retard, retour, pot cassé, double prélèvement, mot de passe, garantie). Courants en français : S07 à S12, les six mêmes situations en français. Difficiles : D01 (retard et dommages, anglais), D02 (remboursement en retard et nouvelle carte, anglais), D03 (17 jours de retard, français). D02 doit être transmis à une personne après correction de son corrigé (voir « Le corrigé vient d’abord »). Langues mélangées : M01 et M02 (français et anglais mélangés; le client est francophone), M03 (commence en français, demande une réponse en anglais). Ambigus : A01 (« Ça ne fonctionne pas »), A02 (« Je veux annuler »), A03 (une plante qui « a l’air triste »); les trois doivent être transmis à une personne. Sans réponse possible : U01 (égalisation de prix), U02 (blessure, français), U03 (commande commerciale de 9 000 $); les trois doivent être transmis à une personne.

Remarquez trois choix dans cette répartition.

D’abord, les billets courants forment des paires linguistiques. S01 (anglais, 7 jours de retard) et S07 (français, 8 jours de retard) présentent la même situation. C’est aussi le cas de S04 et S10 (double prélèvement), et des quatre autres paires. Si un modèle répond bien au billet anglais et mal au billet français, le problème vient de la langue, pas de la situation.

Ensuite, les billets courants représentent la moitié du jeu, pas 90 %. Dans le trafic réel, ils représentent probablement la majorité du volume. Un jeu de test n’a pas besoin des proportions réelles, car son rôle n’est pas de mesurer la moyenne. Son rôle est de trouver les échecs de chaque modèle. Il accorde donc aux cas rares et coûteux plus de place que le trafic réel.

Enfin, six des 24 billets ont été rédigés pour être transmis à une personne. Un modèle qui ne s’abstient jamais peut quand même bien répondre aux autres billets. Sans ces six billets, vous ne verriez jamais cette faiblesse.

Avec chaque billet, l’assistant reçoit la politique de soutien de Larkfield et les consignes de la tâche. Ouvrez l’encadré pour lire la politique : vous en aurez besoin pour les exercices de ce module.

La politique de soutien de Larkfield (8 règles), telle que l’assistant la reçoit

1. Livraison. La livraison standard prend de 3 à 5 jours ouvrables au Canada. Si une commande a plus de 5 jours ouvrables de retard, la livraison est gratuite (les frais de livraison sont remboursés). Une commande ayant plus de 15 jours ouvrables de retard est considérée comme perdue. Nous envoyons un remplacement ou offrons un remboursement complet, selon le choix du client.
2. Retours. Les articles inutilisés peuvent être retournés dans les 30 jours suivant la livraison pour un remboursement complet. Le client paie les frais de retour, sauf si l’article est endommagé ou incorrect. Les plantes et les semences ne peuvent pas être retournées. Une plante morte à l’arrivée est toutefois remplacée (photo requise dans les 7 jours).
3. Articles endommagés ou incorrects. Envoyez une photo dans les 14 jours suivant la livraison. Nous envoyons un remplacement sans frais, ou offrons un remboursement complet si aucun remplacement n’est en stock.
4. Garantie. Les outils et les meubles de jardin ont une garantie de 2 ans contre les défauts. L’usure normale, une mauvaise utilisation et la rouille causée par des outils laissés dehors ne sont pas couvertes.
5. Paiements. Les remboursements sont versés au mode de paiement initial dans un délai de 5 à 10 jours ouvrables. Nous ne pouvons pas changer le mode de paiement après une commande. Un double prélèvement est remboursé dans les 3 jours ouvrables suivant sa confirmation.
6. Comptes. Pour des raisons de sécurité, le soutien ne demande ni n’accepte jamais de mots de passe ou de numéros de carte complets. Les mots de passe sont réinitialisés uniquement par le lien « Forgot password » (mot de passe oublié).
7. Langue. Répondez dans la langue du client : anglais ou français.
8. Tout le reste (menaces juridiques, blessures, égalisation de prix, commandes commerciales de plus de 5 000 $, questions sans réponse dans cette politique) : ne répondez pas; transmettez le billet à une personne.

Le corrigé vient d’abord

Un cas de test a deux parties : l’entrée et ce qu’une bonne sortie doit contenir. Voici le cas S07 :

S07 (routine, French)
Ticket:    Bonjour, ma commande L-20877 devait arriver il y a 8 jours ouvrables
           et je n'ai toujours rien reçu. Que pouvez-vous faire?
Key:       language fr · category delivery · needs_human false
Must say:  free shipping: the shipping fee is refunded (rule 1: more than 5 days late)
Must not:  apply the 15-day "lost order" rule as if it applies now

Le corrigé consigne les bonnes étiquettes et les faits qu’une bonne réponse doit contenir ou éviter. Grace a rédigé les corrigés avant que quiconque utilise un modèle. Cet ordre compte. Si vous rédigez le corrigé après avoir lu les sorties, vous avez tendance à accepter ce que les modèles ont dit. Le corrigé cesse alors d’être un juge impartial.

Les corrigés peuvent aussi être erronés. Celui de D02 indique que l’assistant peut répondre seul. Une lampe a été retournée il y a 3 semaines, le remboursement n’est pas arrivé et la carte du client a expiré. Mais la politique ne dit rien sur un remboursement en retard ou une carte expirée. La règle 8 dirige les « questions sans réponse dans cette politique » vers une personne. Tous les modèles hébergés ont transmis D02 à une personne. La politique donne raison aux modèles, donc Grace a corrigé le corrigé et noté pourquoi. Quand plusieurs réponses attentives contredisent un corrigé, vérifiez-le dans la politique avant de blâmer les modèles.

Le corrigé guide la personne qui attribue les notes; ce n’est pas une liste de mots exacts. « Les frais de livraison vous seront remboursés » exprime le fait que la livraison est gratuite sans les mots « livraison gratuite ». La prochaine leçon montre pourquoi une personne doit lire les réponses plutôt que d’y chercher les mots du corrigé.

Ce que montre le jeu de test complet

L’équipe du cours a soumis les 24 billets à huit exécutions de modèles. Ensuite, une personne a lu et noté chaque réponse. Chaque cellule ci-dessous représente une réponse. Le nombre est sa note sur 8 selon la grille de la prochaine leçon. Une cellule bleue indique une réponse qu’une personne peut envoyer après une vérification rapide.

• Prête à envoyer après une vérification rapide
• Pas prête
• Aucune réponse

Chaque réponse enregistrée, notée après lecture : 24 billets (regroupés par type) pour 8 exécutions de modèles. Le nombre est le total sur 8 selon la grille. Bleu : prête à envoyer après une vérification rapide. Orange : pas prête. Gris : aucune réponse.

Description textuelle du graphique

Une grille de 8 exécutions de modèles sur 24 billets, regroupés par type. Claude Haiku 5.5, Claude Opus 5.5, Gemini 3.5 Flash et Gemini 3.1 Pro (preview) : toutes les cellules sont bleues, 24 réponses sur 24 sont prêtes. Claude Sonnet 5.5 : bleu sauf S09 et S12, deux billets courants en français (22 réponses prêtes). Gemma 3 4B : orange pour tous les billets courants et à langues mélangées, ainsi que D01, D03 et A03; bleu seulement pour D02, A01, A02, U01, U02 et U03 (6 réponses prêtes). Mistral 7B : 12 réponses prêtes; orange pour S02 et S06 (anglais), S07, S08, S10 et S12 (français), D01, D02, A03, U01, U03 et M03. Qwen3 4B avec une limite de 4 000 jetons : 14 réponses prêtes; gris (aucune réponse) pour D01, D02, A03 et M02, où il a atteint sa limite de jetons pendant le raisonnement.

Lisez la grille par groupes de colonnes et comparez-la au test de Tomás.

• Pour S01, S02 et S04, les billets de Tomás, les cinq modèles hébergés sont tous bleus. Son test était correct. Il ne pouvait simplement pas les départager.
• Les deux seuls échecs de Claude Sonnet 5.5 sont des billets en français. Pour S12, sa réponse dit qu’une fissure « peut donc être couverte, car l’usure normale […] ne sont pas couvertes ». Le raisonnement n’a pas de sens, et un test uniquement en anglais ne le révélerait jamais.
• Mistral 7B invente des règles pour les billets sans réponse possible. Pour U03, il a écrit : « selon notre politique, nous n’offrons pas de rabais pour les commandes commerciales de plus de 5 000 $ ». La politique ne dit rien de tel. Elle dit : transmettez le billet à une personne.
• Qwen3 4B échoue quand le travail est difficile. Pour quatre billets complexes (deux difficiles, un ambigu, un à langues mélangées), il a raisonné jusqu’à sa limite de 4 000 jetons. Il n’a retourné aucune réponse.

Chaque type de billet a révélé une faiblesse différente. C’est le but d’un jeu de test représentatif.

Pourquoi 24 billets sont un début, pas une preuve

Vingt-quatre billets constituent un petit échantillon. Une réponse représente environ 4 points de pourcentage du score. Un modèle avec 22 réponses prêtes sur 24 peut être aussi bon qu’un modèle avec 24 sur 24. La différence peut venir des billets que l’équipe a choisi de rédiger.

C’est l’idée présentée dans Échantillons et populations du cours de mathématiques. Le jeu de test est un échantillon, et un autre échantillon donnerait d’autres nombres. La leçon 3 place un intervalle autour de chaque score. Vous verrez ainsi ce que 24 billets permettent de conclure. Pour l’instant, retenez deux règles :

• 24 billets peuvent montrer qu’un modèle n’est pas prêt. Gemma 3 4B était prêt pour 6 billets sur 24. La malchance dans le choix des billets ne peut pas expliquer cela.
• 24 billets ne peuvent pas montrer qu’un modèle est le meilleur. Quatre modèles hébergés étaient prêts pour les 24 billets. Cela signifie « aucun échec trouvé sur 24 billets », pas « n’échoue jamais ».

Agrandissez le jeu de test au fil du temps. Chaque billet réel mal traité après le lancement peut être ajouté à la prochaine version du jeu.

Les modèles changent aussi rapidement. Les nombres de ce module représentent un instant précis. La méthode dure plus longtemps que les nombres. Lorsqu’un nouveau modèle paraît, soumettez-lui les mêmes 24 billets et notez-les de la même façon.

Exercice guidé : trouver les lacunes du jeu de test

Un jeu de test peut aussi omettre des parties de la politique. Vérifiez quelles règles les 24 billets testent.

1. Ouvrez l’encadré de la politique ci-dessus. Il contient huit règles : 1 livraison, 2 retours, 3 articles endommagés ou incorrects, 4 garantie, 5 paiements, 6 comptes, 7 langue et 8 transmission à une personne.

2. Créez un tableau avec une ligne par règle. Dans une deuxième colonne, écrivez les identifiants des billets qui nécessitent cette règle. Utilisez la description textuelle de la figure des billets ci-dessus.

3. Pour chaque règle, demandez-vous : un billet teste-t-il le côté « non » de la règle, ainsi que le côté « oui »? Par exemple, la règle 2 dit que les semences ne peuvent pas être retournées. Y a-t-il un billet dont la bonne réponse est « non »?

4. Notez deux parties de la politique qu’aucun billet ne teste.

Résultat attendu : chaque règle a au moins un billet, mais certains côtés « non » manquent.

Exemple de réponse

Règle	Billets
1 Livraison	S01, S07, D01, D03, M01
2 Retours	S02, S08, M03 (semences : la réponse est « non »), A03 (une plante)
3 Articles endommagés ou incorrects	S03, S09, D01, M02
4 Garantie	S06, S12
5 Paiements	S04, S10, D02
6 Comptes	S05, S11
7 Langue	les 24; M01, M02 et M03 la testent le plus rigoureusement
8 Transmission à une personne	A01, A02, A03, U01, U02, U03

Parties qu’aucun billet ne teste :

• Les exclusions de la garantie. Aucun billet ne décrit la rouille sur un outil laissé dehors, où la bonne réponse est « non couvert ».
• Une menace juridique. La règle 8 mentionne les menaces juridiques, mais aucun billet n’en contient.
• Un retour tardif. Aucun billet ne demande de retourner un article après 30 jours.
• Une plante morte avec une photo. A03 est volontairement vague; aucun billet ne teste le cas clair du délai de 7 jours.

À vous de jouer : une nouvelle règle

Larkfield commence à vendre des cartes-cadeaux. Grace ajoute la règle 9 : « Les cartes-cadeaux ne peuvent pas être remboursées ni échangées contre de l’argent. Une carte-cadeau perdue peut être remplacée si le client a le numéro de commande. »

Écrivez trois nouveaux billets de test pour la règle 9. Donnez un corrigé pour chacun : langue, catégorie, needs_human, ce que la réponse doit dire et ce qu’elle ne doit pas dire. Créez un billet courant en anglais, un billet en français et un billet plus difficile qu’un billet courant.

Exemple de réponse

1. G01 (courant, anglais) : « Puis-je me faire rembourser une carte-cadeau dont je n’ai pas besoin? » Corrigé : en, payment, needs_human false. À dire : les cartes-cadeaux ne peuvent pas être remboursées ni échangées contre de l’argent. À éviter : offrir un remboursement.
2. G02 (courant, français) : « J’ai perdu la carte-cadeau que j’ai achetée. J’ai le numéro de commande. » Corrigé : fr, payment, needs_human false. À dire : la carte peut être remplacée avec le numéro de commande. À éviter : demander un numéro de carte ou un mot de passe (règle 6).
3. G03 (difficile, anglais) : « J’ai perdu une carte-cadeau que ma tante m’a donnée. Je n’ai pas le numéro de commande. Pouvez-vous l’annuler et la rembourser? » Corrigé : en, other, needs_human true : la politique permet un remplacement seulement avec le numéro de commande, et aucun remboursement. À éviter : promettre un remplacement ou un remboursement.

Un bon jeu contient aussi un billet dont la bonne réponse est « non », et un autre où le client donne trop peu d’information. G03 remplit les deux conditions.

Erreur courante

Le jeu de test contient seulement des billets en anglais

Symptôme. Un modèle réussit tous les billets de test en anglais. Après le lancement, les clients francophones attendent plus longtemps, car beaucoup de leurs billets simples sont transférés à une personne.

Cause. Certains modèles traitent la même situation différemment dans une autre langue. Dans les essais enregistrés, Gemma 3 4B a répondu lui-même à S01 (anglais, 7 jours de retard). Mais il a transféré S07 (français, 8 jours de retard) à une personne. Dans cinq autres essais à une température de 0,8, il a fait la même chose cinq fois sur cinq. Gemini 3.1 Pro a répondu lui-même au billet sur la garantie S06 en anglais. Il a transféré son jumeau français S12 à une personne.

Solution. Écrivez les billets courants sous forme de jumeaux linguistiques : la même situation dans chaque langue. Comparez chaque paire. Un modèle qui traite les jumeaux différemment a un problème de langue, même si chaque réponse semble correcte en soi.

Pour un vrai service d’IA. Testez chaque langue et chaque canal que vos clients utilisent, avec les mêmes scénarios, avant de comparer les scores globaux.

Vérifiez votre compréhension

Vérifiez votre compréhension

Omar propose un jeu de test composé de 24 billets choisis au hasard parmi ceux du mois dernier. Environ 90 % seraient des billets courants en anglais. À quoi servirait ce jeu de test, et que manquerait-il?

Afficher la réponse

Il estimerait assez bien la qualité moyenne pour les demandes actuelles. Mais il contiendrait très peu de billets en français, multilingues, ambigus ou sans réponse possible. Il ne pourrait donc pas repérer les faiblesses les plus coûteuses. Ce sont les erreurs en français, les réponses inventées aux billets qui doivent être transférés à une personne et les biais linguistiques. Un jeu de test servant à comparer des modèles contient volontairement davantage de cas rares et coûteux.

Vérifiez votre compréhension

Pourquoi Grace a-t-elle écrit les corrigés avant que quiconque fasse un essai avec un modèle?

Afficher la réponse

Un corrigé écrit après la lecture des résultats tend à copier ce que les modèles ont dit, y compris leurs erreurs. Il cesse donc d’être un juge équitable. Écrire le corrigé d’abord fixe le sens de « correct », de la même façon pour chaque modèle.

Vérifiez votre compréhension

Faites une prédiction : un modèle donne une réponse parfaite à S04 (anglais, double facturation). Il transfère S10 (la même situation en français) à une personne. Qu'est-ce que cela suggère, et que vérifiez-vous ensuite?

Afficher la réponse

Cela suggère un problème de langue, pas un problème avec la règle de paiement, car S04 et S10 sont des jumeaux linguistiques. Vérifiez si les autres jumeaux (S01 et S07, S05 et S11, S06 et S12) présentent le même comportement. Testez la paire quelques fois de plus pour voir si la différence est stable ou aléatoire.

Récapitulatif

• Un jeu de test est une liste fixe de cas soumis à chaque modèle candidat. Il est représentatif lorsqu’il contient les types de travail importants : cas courants, difficiles, multilingues, ambigus et sans réponse possible.
• Écrivez le corrigé avant de faire un essai avec un modèle.
• Les jumeaux linguistiques révèlent directement un problème de langue.
• Dans les essais enregistrés, chaque type de billet a révélé une faiblesse différente : erreurs en français, règles inventées, absence de réponse aux billets difficiles.
• 24 billets peuvent montrer qu’un modèle n’est pas prêt. Ils ne peuvent pas prouver qu’un modèle est le meilleur.

Ensuite, vous notez les réponses avec une grille, pour que chaque réponse soit jugée de la même façon.

Leçon suivante : Noter les résultats de façon cohérente