Mesurer la performance en pratique

Ce que vous saurez faire

Découvrez ce que chaque modèle coûte à Larkfield en temps et en argent, en plus de sa qualité. Voyez aussi quelle certitude une comparaison sur 24 billets de soutien peut offrir. La qualité seule ne suffit pas pour choisir un modèle. Une réponse correcte qui prend 20 secondes, ou coûte 50 fois plus cher, peut être le mauvais choix.

Carnet JupyterFacultatif : créer le tableau dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter est facultatif : vous pouvez suivre cette leçon dans le navigateur avec une calculatrice. Il charge les exécutions enregistrées et les notes de la grille pour les 192 réponses. Il utilise pandas pour créer le tableau qualité–latence–coût, le coût par billet et les intervalles de cette page. Il ne nécessite aucune clé d’API.

Ouvrir dans ColabOuvrir dans KaggleVoir sur GitHub

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes

Ce que vous devez savoir

• La grille et la règle « prêt à envoyer », dans Noter les résultats de façon cohérente.
• Les jetons, et pourquoi un même texte compte un nombre différent de jetons selon le modèle, dans Du texte aux jetons.
• Les jetons de raisonnement cachés, dans Raisonnement et multimodalité, et la latence, dans Les compromis sur les ressources.
• La médiane et les centiles, dans Décrire un jeu de données : centiles du cours Mathématiques et statistiques essentielles pour l’IA. Un intervalle de confiance à 95 %, dans Estimer l’incertitude du même cours.

Ce qu’il vous faut

• Un navigateur et une calculatrice. Celle d’un téléphone suffit. Le carnet est facultatif.

Les appels aux modèles hébergés provenaient de Toronto; les modèles locaux fonctionnaient sur un Mac mini M4 de 16 Go. Les modèles hébergés et les prix changent souvent : vos propres résultats seront différents.

Prix par litre, coût par trajet

Deux voitures se trouvent chez un concessionnaire. Le carburant de la première coûte moins cher par litre. Cela ne vous dit pas quelle voiture coûte moins cher à conduire. La première peut consommer deux fois plus de carburant par kilomètre. Ce que vous payez dépend du prix et de la quantité consommée à chaque trajet.

Les fournisseurs fixent les prix des modèles de langage de la même façon : un prix par million de jetons. Et, comme les voitures, les modèles consomment des quantités différentes pour un même trajet.

Le problème : trois nombres qui ne se comparent pas

Omar pose une question simple : « Quel modèle coûte le moins cher pour un billet? » Amira ouvre les pages de tarifs. Claude Sonnet 5.5 coûte 2 $ US par million de jetons d’entrée et 10 $ US par million de jetons de sortie. Gemini 3.5 Flash coûte 1,50 $ US et 9 $ US. Flash semble moins cher dans les deux cas.

Elle regarde ensuite le billet S01 dans les exécutions enregistrées :

                    input tokens   visible output tokens   hidden reasoning tokens   seconds
Claude Sonnet 5.5        795              141                     (inside output)        1.9
Gemini 3.5 Flash         566               99                          933               3.9

La même requête compte 795 jetons pour Claude et 566 pour Gemini, car leurs outils de segmentation découpent le texte différemment. Les deux réponses comptent de 60 à 70 mots. Mais Gemini 3.5 Flash a aussi produit 933 jetons de raisonnement : du texte que le modèle écrit pour lui-même avant la réponse. La réponse ne les montre pas, mais le fournisseur les facture comme sortie. Claude réfléchit aussi avant de répondre; il compte sa réflexion dans ses jetons de sortie. Les 141 jetons représentent donc toute la facture.

Un prix par jeton ne peut donc pas répondre à Omar. Il lui faut le coût par billet.

Coût par billet

L’idée : multiplier chaque type de jeton par son prix, puis additionner.

cost per ticket = input tokens × input price + (output tokens + reasoning tokens) × output price

Les prix sont par million de jetons, donc divisez par 1 000 000. Pour S01 :

Claude Sonnet 5.5:  795 × $2 ÷ 1,000,000  +  141 × $10 ÷ 1,000,000
                  = $0.00159              +  $0.00141                  = $0.0030

Gemini 3.5 Flash:   566 × $1.50 ÷ 1,000,000  +  (99 + 933) × $9 ÷ 1,000,000
                  = $0.00085                 +  $0.00929                   = $0.0101

Le modèle aux tarifs les plus bas coûte plus de trois fois plus cher pour ce billet. La cause : les jetons de raisonnement que personne ne voit. Vous ne pouvez le découvrir qu’en mesurant les jetons pour votre propre tâche.

Pour 1 000 billets, multipliez par 1 000 : environ 3 $ US pour Sonnet et 10 $ US pour Flash, pour des billets comme S01. Le tableau plus bas utilise la moyenne sur les 24 billets.

Les modèles locaux n’ont pas de prix par jeton. Gemma 3 4B et Mistral 7B fonctionnaient sur un Mac mini que Larkfield posséderait. Leur coût comprend l’ordinateur, l’électricité et les personnes qui assurent son fonctionnement. La leçon Modèle hébergé ou autohébergé a comparé ces coûts. Ce module n’a pas mesuré l’électricité. Le tableau indique donc « aucun prix par jeton », et non « gratuit ».

Latence de bout en bout : la médiane et les délais les plus longs

La latence est le temps que prend une requête. Ici, elle est mesurée de bout en bout. Elle va de l’envoi du billet par le programme à la réception de toute la réponse, réseau compris. C’est le temps qu’un agent de soutien attend pour obtenir un brouillon.

Un seul nombre ne suffit pas, car les durées varient d’un billet à l’autre. Chaque point ci-dessous représente un billet.

• API hébergée
• Local (Mac mini M4)

Secondes de bout en bout pour chacun des 24 billets (un point par billet), avec la médiane. Bleu : API hébergées, appelées depuis Toronto. Orange : modèles locaux sur un Mac mini M4. Qwen3 4B n'apparaît pas : sa médiane de 64 s dépasse cette échelle.

Description textuelle du graphique

Sept rangées de 24 points, de 0 à 25 secondes. Claude Haiku 5.5 : tous les billets entre environ 1,5 et 3,5 s, médiane de 2,2 s. Claude Sonnet 5.5 : environ 1 à 4,5 s, médiane de 1,8 s. Claude Opus 5.5 : environ 2,5 à 8 s, médiane de 3,9 s. Gemini 3.5 Flash : environ 3 à 9 s, médiane de 4,4 s. Gemini 3.1 Pro : répartition d’environ 5 à 24,5 s, médiane de 9,8 s; ses trois billets les plus lents sont S06, S12 et D02. Gemma 3 4B : la plupart des billets près de 4 à 6 s, médiane de 4,8 s. Un billet prend 15,7 s : le premier, qui inclut le chargement du modèle. Mistral 7B : médiane de 4,2 s, avec le premier billet à 16,7 s pour la même raison.

La médiane (p50) est l’attente typique : la moitié des billets sont plus rapides. Le 95e centile (p95) est la durée sous laquelle restent 95 % des billets : il décrit les délais les plus longs. Les agents de Grace ressentent ces longs délais. Un brouillon qui prend habituellement 10 secondes, et parfois 24 secondes, perturbe davantage leur rythme qu’un délai constant de 4 secondes.

Relevez deux éléments dans le graphique.

• Gemini 3.1 Pro est lent et irrégulier. Médiane de 9.8 s, p95 de 21.5 s. Ses billets les plus lents demandent du jugement. Pour S06 (une question de garantie), il a produit 2 447 jetons de raisonnement et pris 22,3 s.
• Le premier billet local est lent. Gemma 3 4B a pris 15,7 s pour S01 et environ 5 s ensuite. La première requête charge le modèle en mémoire. D’autres tâches utilisaient le Mac mini pendant cette exécution, ce qui a ralenti le chargement. Sur un ordinateur peu occupé, le module 3 a mesuré environ 6,5 s pour le chargement. Un billet prenait ensuite environ 4,0 s. Un vrai service charge le modèle une seule fois, au démarrage.

Avec 24 billets, le p95 est presque le billet le plus lent : seuls un ou deux billets le dépassent. Voyez-le comme une indication approximative des longs délais, pas comme une promesse. Une véritable cible de latence nécessite des centaines de requêtes, sous une charge réelle.

Le tableau qualité–latence–coût

Placez maintenant les trois mesures côte à côte, pour les huit exécutions. La qualité est le nombre de réponses prêtes sur 24, selon la grille de la leçon 2. La section suivante explique l’intervalle à 95 % qui l’accompagne.

Modèle	Qualitéréponses prêtes sur 24 (intervalle à 95 %)	Latencesecondes par billet : médiane · p95	Coût$ US par 1 000 billets
Claude Haiku 5.5API hébergée	2486–100 %	2,2p95 3,2	0,27 $796 en entrée · 400 en sortie
Claude Sonnet 5.5API hébergée	2274–98 %	1,8p95 3,8	3,65 $796 en entrée · 146 en sortie
Claude Opus 5.5API hébergée	2486–100 %	3,9p95 5,7	9,35 $796 en entrée · 294 en sortie
Gemini 3.5 FlashAPI hébergée	2486–100 %	4,4p95 5,9	10,90 $560 en entrée · 1 054 en sortie (974 de raisonnement)
Gemini 3.1 Pro (preview)API hébergée	2486–100 %	9,8p95 21,5	14,83 $560 en entrée · 1 052 en sortie (950 de raisonnement)
Gemma 3 4Blocal, Mac mini M4	612–45 %	4,8p95 5,8	pas de prix par jeton (votre matériel et votre électricité)
Mistral 7Blocal, Mac mini M4	1231–69 %	4,2p95 8	pas de prix par jeton (votre matériel et votre électricité)
Qwen3 4B (4,000-token limit)local, Mac mini M4	1439–76 %	64,3p95 140,3›	pas de prix par jeton (votre matériel et votre électricité)

Qualité (réponses prêtes sur 24, avec un intervalle à 95 %), latence (médiane et p95 en secondes par billet) et coût (dollars US par 1 000 billets, selon la moyenne des jetons par billet et les tarifs standards). Les barres partagent une échelle par colonne. Les appels aux modèles hébergés provenaient de Toronto; les modèles locaux fonctionnaient sur un Mac mini M4 (16 Go).

Description textuelle du tableau

Huit rangées. Claude Haiku 5.5 : 24 réponses prêtes (intervalle de 86 à 100 %); médiane de 2,2 s, p95 de 3,2 s; 0,27 $ US par 1 000 billets. Claude Sonnet 5.5 : 22 réponses prêtes (74 à 98 %); 1,8 s, p95 de 3,8 s; 3,65 $ US. Claude Opus 5.5 : 24 réponses prêtes (86 à 100 %); 3,9 s, p95 de 5,7 s; 9,35 $ US. Gemini 3.5 Flash : 24 réponses prêtes (86 à 100 %); 4,4 s, p95 de 5,9 s; 10,90 $ US, avec une médiane de 974 jetons de raisonnement cachés par billet. Gemini 3.1 Pro (version préliminaire) : 24 réponses prêtes (86 à 100 %); 9,8 s, p95 de 21,5 s; 14,83 $ US, avec 950 jetons de raisonnement. Gemma 3 4B (local) : 6 réponses prêtes (12 à 45 %); 4,8 s, p95 de 5,8 s; aucun prix par jeton. Mistral 7B (local) : 12 réponses prêtes (31 à 69 %); 4,2 s, p95 de 8,0 s; aucun prix par jeton. Qwen3 4B avec une limite de 4 000 jetons (local) : 14 réponses prêtes (39 à 76 %); 64,3 s, p95 de 140,3 s; aucun prix par jeton.

Ce que cela nous apprend.

• La qualité distingue deux groupes, pas huit modèles. Les cinq modèles hébergés produisent des réponses prêtes pour 22 à 24 billets. Les trois modèles locaux en produisent pour 6 à 14 billets. La section suivante montre que 24 billets ne permettent pas de classer les modèles dans chaque groupe.
• Le coût varie d’un facteur de 55 dans le meilleur groupe. Claude Haiku 5.5 coûte 0,27 $ US par 1 000 billets; Gemini 3.1 Pro coûte 14,83 $ US. Les deux modèles Gemini coûtent le plus cher, surtout à cause des jetons de raisonnement cachés. Ils en ont utilisé une médiane de 974 (Flash) et 950 (Pro) par billet. La réponse comptait environ 80 à 90 jetons.
• Plus gros ou plus récent ne veut pas dire plus rapide ou meilleur ici. Claude Sonnet 5.5 avait la durée médiane la plus courte et environ la même qualité que Claude Opus 5.5. Gemini 3.5 Flash égalait Gemini 3.1 Pro en deux fois moins de temps.
• Les modèles locaux économisent des jetons, pas de la qualité. Les modèles locaux n’ont utilisé aucun jeton payant. Mais sur cet ordinateur, ils produisaient des réponses prêtes pour au plus 14 des 24 billets. Qwen3 avait besoin d’environ une minute par billet pour réfléchir.

Omar fait le calcul pour Larkfield, avec environ 45 billets par jour (1 350 par mois). Claude Haiku 5.5 coûte environ 0,36 $ US par mois, et Gemini 3.1 Pro environ 20 $ US. Ces deux montants sont faibles par rapport à une heure de travail d’un agent. À ce volume, la qualité et l’attente décident, et le prix sert seulement à départager les modèles à égalité. À un million de billets par mois, le même tableau mènerait à une autre conclusion. Le volume est une hypothèse, alors notez-le.

Quelle certitude peut-on avoir avec 24 billets?

Tomás lit le tableau et dit : « Opus et Haiku ont 24 sur 24, Sonnet seulement 22. Sonnet est moins bon. » Vraiment?

Imaginez deux élèves qui répondent chacun à 24 questions d’un questionnaire. L’un obtient 24 bonnes réponses, l’autre 22. Vous ne diriez pas que le premier connaît mieux le sujet. Avec un autre ensemble de 24 questions, le résultat pourrait facilement s’inverser. C’est l’incertitude de sélection. Quand vous choisissez un modèle à partir d’un petit test, une partie de l’écart observé vient du hasard du choix des billets.

Le cours de mathématiques mesure cela avec un intervalle de confiance à 95 %. C’est une plage autour du résultat que les données appuient. Pour une proportion, sa formule est la proportion ± 1,96 erreur-type. Pour Claude Sonnet 5.5, avec 22 sur 24 :

share = 22 ÷ 24 = 0.917
SE    = √(0.917 × 0.083 ÷ 24) = 0.056
range = 0.917 ± 1.96 × 0.056 = 0.807 to 1.027        → 80.7% to 102.7%

Le haut de la plage dépasse 100 %, ce qui est impossible. Pour 24 sur 24, la formule donne une erreur-type de 0 et une plage de « 100 % à 100 % ». C’est comme si 24 billets pouvaient prouver qu’un modèle n’échoue jamais. La formule nécessite des échantillons plus grands. Pour les petits échantillons, les statisticiens utilisent l’intervalle de Wilson. Cette version corrigée reste toujours entre 0 % et 100 %. Pour 22 sur 24, il donne 74 % à 98 %. Pour 24 sur 24, il donne 86 % à 100 %.

En haut : la proportion de réponses prêtes pour chaque exécution de modèle, avec son intervalle de Wilson à 95 %, sur 24 billets. En bas : la différence entre deux modèles sur les mêmes 24 billets, avec l'intervalle apparié à 95 % de la leçon Comparer des options du cours de mathématiques. Un intervalle qui traverse zéro signifie que le test ne peut pas distinguer les deux modèles.

Description textuelle du graphique

Panneau du haut : huit rangées. Les cinq modèles hébergés ont des points à 92 % (Claude Sonnet 5.5, intervalle de 74 à 98 %) ou à 100 % (Claude Haiku 5.5, Claude Opus 5.5, Gemini 3.5 Flash et Gemini 3.1 Pro, intervalles de 86 à 100 %). Leurs intervalles se chevauchent presque complètement. Les modèles locaux : Gemma 3 4B 25 % (12 à 45 %), Mistral 7B 50 % (31 à 69 %), Qwen3 4B 58 % (39 à 76 %). Les intervalles des modèles locaux se chevauchent entre eux, mais pas avec ceux des modèles hébergés. Panneau du bas : Sonnet 5.5 − Opus 5.5 : −8,3 points (−19,4 à +2,7), traverse zéro. Mistral 7B − Gemma 3 4B : +25,0 points (−1,5 à +51,5), traverse zéro de justesse. Sonnet 5.5 − Gemma 3 4B : +66,7 points (+47,8 à +85,5), loin de zéro.

Le panneau du bas compare deux modèles sur les mêmes billets, comme dans Comparer des options du cours de mathématiques. Seuls les billets où les deux modèles ont des résultats différents comptent. Sonnet et Opus diffèrent sur 2 billets, et Opus gagne les deux. L’écart est de −8,3 points, mais son intervalle va de −19,4 à +2,7. Il traverse zéro, donc le test ne peut pas les distinguer.

Même un grand écart peut être incertain. Mistral 7B avait des réponses prêtes pour 12 billets et Gemma 3 4B pour 6, soit un écart de 25 points. Ils diffèrent sur 12 billets, 9 contre 3 en faveur de Mistral. L’intervalle, de −1,5 à +51,5, touche encore zéro. Seul l’écart entre les modèles hébergés et locaux, comme Sonnet contre Gemma (16 contre 0), est clair.

Les affirmations honnêtes sont donc :

• « Sur ces 24 billets, le 8 octobre 2026, les modèles hébergés avaient de 22 à 24 réponses prêtes. Nous ne pouvons pas les classer selon la qualité. »
• « Les modèles locaux que nous avons essayés étaient clairement moins bons pour cette tâche. »
• Pas : « Claude Opus 5.5 est le meilleur modèle. »

Pour départager les modèles hébergés, Larkfield aurait besoin de beaucoup plus de billets. Surtout ceux où ils ont perdu des points : les cas en français qui demandent du jugement. Comme dans le cours de mathématiques, quatre fois plus de billets donnent un intervalle deux fois moins large.

Exercice guidé : coût par billet pour Claude Haiku 5.5

1. Utilisez les nombres enregistrés pour le billet S01 avec Claude Haiku 5.5 : 795 jetons d’entrée, 277 jetons de sortie (réflexion comprise), aucun jeton de raisonnement séparé.

2. Utilisez ces tarifs : 0,10 $ US par million de jetons d’entrée et 0,50 $ US par million de jetons de sortie (requêtes jusqu’à 100 000 jetons).

3. Calculez le coût d’entrée : jetons d’entrée × prix d’entrée ÷ 1 000 000.

4. Calculez le coût de sortie de la même façon.

5. Additionnez les deux, puis multipliez par 1 000 pour le coût de 1 000 billets comme celui-ci.

Résultat attendu : environ 0,00022 $ US par billet, environ 0,22 $ US par 1 000 billets.

Exemple de réponse

input:   795 × $0.10 ÷ 1,000,000 = $0.0000795
output:  277 × $0.50 ÷ 1,000,000 = $0.0001385
total:                             $0.000218 per ticket
× 1,000:                           $0.22 per 1,000 tickets

Le tableau indique 0,27 $ US par 1 000 billets, car il utilise la moyenne sur les 24 billets. Claude Haiku 5.5 a utilisé plus de jetons de sortie pour d’autres billets (la médiane est de 400). Ses jetons de sortie incluent sa réflexion. C’est pourquoi il en a utilisé plus que Sonnet (médiane de 146) pour des réponses de même longueur.

À vous de jouer : quand le volume change

Larkfield signe un contrat pour assurer le soutien d’une grande chaîne de centres de jardinage. Le volume passe à 2 millions de billets par mois. Utilisez le coût par 1 000 billets du tableau. Combien coûte maintenant chaque modèle hébergé par mois? Le coût sert-il encore seulement à départager les modèles à égalité?

Exemple de réponse

2 millions de billets = 2 000 × le coût par 1 000 billets. Par mois : Claude Haiku 5.5 environ 540 $ US, Sonnet environ 7 300 $ US, Opus environ 18 700 $ US. Gemini 3.5 Flash environ 21 800 $ US, Gemini 3.1 Pro environ 29 700 $ US. L’écart entre le moins cher et le plus cher est maintenant d’environ 29 000 $ US par mois. Le coût devient un véritable critère. Un test plus grand vaut maintenant son prix. Il vérifie si le modèle bon marché est vraiment aussi bon pour les billets difficiles. Le classement selon la qualité n’a pas changé; l’hypothèse de volume, oui.

Erreur courante

La limite de sortie est inférieure au raisonnement caché

Symptôme. Un modèle renvoie des réponses vides ou coupées, mais la facture indique beaucoup de jetons de sortie. Lors d’une première exécution, Gemini 3.5 Flash avait une limite de sortie de 600 jetons. Il renvoyait environ 21 jetons visibles par billet, et aucun billet n’avait de réponse complète.

Cause. Les jetons de raisonnement cachés comptent dans la limite de sortie. Gemini 3.5 Flash utilisait une médiane de 974 jetons de raisonnement par billet. Une limite de 600 était donc épuisée avant le début de la réponse. Qwen3 4B faisait la même chose avec son raisonnement visible. À 600 jetons, il ne répondait jamais; à 4 000 jetons, il épuisait encore la limite pour 4 des 24 billets.

Correction. Regardez la raison d’arrêt et les jetons de raisonnement de chaque réponse, pas seulement le texte. Fixez la limite de sortie bien au-dessus du raisonnement mesuré; les exécutions hébergées ici utilisaient 8 000 jetons. Comptez les jetons de raisonnement dans le coût.

Pour un vrai service d’IA. Consignez les jetons d’entrée, de sortie et de raisonnement, ainsi que la raison d’arrêt de chaque requête. Un changement de modèle ou de réglage du raisonnement peut modifier le coût et le taux de réponses coupées. Cela peut arriver sans aucun changement dans votre code.

Les appels en direct sont facultatifs. Les nombres de ce module proviennent d’exécutions enregistrées, donc vous n’avez besoin d’aucune clé d’API. Si vous en avez une, mesurez vos propres appels avec la même méthode. Enregistrez les secondes, les jetons d’entrée, de sortie et de raisonnement, ainsi que la raison d’arrêt de chaque appel. Regardez la médiane de plusieurs appels, jamais un seul appel. Attendez-vous à des nombres différents de ceux enregistrés. Le réseau, la charge du fournisseur et le caractère aléatoire du modèle les font varier.

Exercice du module : classez avant de regarder

Grace vous demande de faire comme l’équipe, avec deux nouveaux billets de soutien. Vous classez et notez les réponses à l’aveugle, puis comparez vos résultats aux notes de référence.

1. Choisissez le billet D01 dans l’explorateur. Lisez les quatre réponses.

2. Avant de déplacer quoi que ce soit, écrivez une ligne par réponse : ce qui est juste et ce qui est faux.

3. Classez les réponses, de la meilleure à la moins bonne.

4. Notez chaque réponse selon les quatre critères de la grille (0 à 2). Décidez ensuite : prête ou non?

5. Cliquez sur Reveal models and scores (afficher les modèles et les notes). Comparez votre classement et vos notes à la référence. Pour chaque différence, trouvez le repère qui l’explique.

6. Faites de même pour le billet M02. Ce billet mélange le français et l’anglais. Vérifiez donc la langue de chaque réponse.

Explorer

Exercice du module : classez et notez avant de voir les modèles

D01 · anglais Two problems: my order is 6 business days late, AND when it finally came the watering can was dented. Delivered today. What now?

Votre ordre, du meilleur au pire : A, B, C, D. Déplacez les réponses, puis révélez les modèles et les scores.

1. 1Réponse A

   I'm so sorry your order is late and the watering can arrived damaged. According to our policy, orders over 15 business days late are treated as lost, and we will arrange for a replacement or full refund. Please send us a photo of the dented watering can within 14 days of delivery, and we will proceed with either a replacement or a refund as you prefer.

   needs_human: oui · category: delivery
2. 2Réponse B

   I apologize for the delay and the damaged watering can. Since your order was more than 5 business days late, we will refund your shipping fee. For the dented watering can, please send us a photo within 14 days of delivery. Once we receive the photo, we will send a replacement at no cost, or a full refund if a replacement is not in stock.

   needs_human: non · category: damaged
3. 3Réponse C

   {"language": "en", "category": "delivery", "returns", "needs_human": true, "reply": "Dear customer, we apologize for the delay and the damage to your watering can. As per our policy, your order is more than 5 business days late, so you will receive a refund for the shipping fee. For the damaged item, please send a photo within 14 days of delivery. We will then send a replacement at no cost, or a full refund if no replacement is in stock. Thank you for your patience."}

   needs_human: aucune · category: invalid JSON (raw output shown)
4. 4Réponse D

   Your order arrived 6 business days late, so you are entitled to free shipping and the shipping fee on your order will be refunded. For the dented watering can, please send us a photo of the damage within 14 days of delivery. Once we have it, we will send a replacement at no cost, or a full refund if no replacement is in stock.

   needs_human: non · category: delivery

De vraies réponses à deux nouveaux billets, sans les noms des modèles. Classez-les, notez-les sur papier avec la grille, puis affichez les noms et les notes.

Description textuelle de l’explorateur

D01 (anglais; 6 jours ouvrables de retard et un arrosoir bosselé, livré aujourd’hui). A, Gemma 3 4B : cite la règle des commandes perdues après 15 jours pour un retard de 6 jours. Oublie la livraison gratuite; demande une photo (justesse 0, exhaustivité 1, format 1, abstention 1; total 3; non prête). B, Gemini 3.1 Pro : frais de livraison remboursés, photo dans les 14 jours, remplacement ou remboursement (8; prête). C, Mistral 7B : bon texte, mais la sortie brute contient du JSON invalide ("category": "delivery", "returns"). L’application ne reçoit donc rien (2, 2, 0, 1; total 5; non prête). D, Claude Haiku 5.5 : livraison gratuite, photo dans les 14 jours, remplacement ou remboursement (8; prête).

M02 (mélange de français et d’anglais; une pelle est arrivée brisée, reçue hier). A, Mistral 7B : demande une photo, ne promet aucun remplacement, transfère le cas à une personne (2, 1, 2, 1; total 6; prête selon la règle, mais faible). B, Claude Sonnet 5.5 : photo de la pelle et de la boîte mouillée dans les 14 jours, remplacement ou remboursement, en français (8; prête). C, Gemma 3 4B : donne la consigne principale en anglais. Propose « un remplacement ou un remboursement complet, selon votre préférence », alors que la politique prévoit un remboursement seulement sans remplacement en stock (1, 2, 1, 1; total 5; non prête). D, Gemini 3.5 Flash : photo dans les 14 jours, remplacement ou remboursement, en français (8; prête).

Résultat attendu : dans les deux billets, deux réponses obtiennent 8 et sont difficiles à départager. Votre classement des deux autres dépend de l’erreur que vous jugez la plus grave.

Corrigé et leçons à en tirer

D01. B et D arrivent à égalité en tête (8 chacune). Puis C (5) : le texte est juste, mais la conformité du format vaut 0, car l’application ne peut pas analyser le JSON. Le client ne verrait jamais cette réponse. Enfin, A (3) : elle applique la mauvaise règle et oublie la livraison gratuite. Beaucoup de gens classent C en dernier parce qu’elle semble invalide. La grille classe A en dernier. Une mauvaise règle qui parvient au client est plus grave qu’une erreur qui bloque la réponse avant son envoi. Les deux réponses ne sont pas prêtes.

M02. B et D arrivent à égalité en tête (8). Puis A (6) et C (5). C présente les problèmes les plus graves : une consigne en anglais pour un client francophone et un choix inventé (« selon votre préférence »). A est faible, mais juste, et la règle de Grace permet à une personne de la corriger.

Leçons à tirer. Si vous avez utilisé les repères, vos notes correspondent aux notes de référence pour la plupart des critères. Les différences viennent généralement d’un jugement abordé dans la leçon 2. Quelle est la gravité d’une erreur de langue? Un transfert prudent à une personne est-il une erreur? Notez votre raison, comme l’équipe l’a fait. Dans le travail final, la grille et ses justifications font partie de vos preuves.

Vérification du module

Vérifiez votre compréhension

Rappel : nommez les quatre critères de la grille de Larkfield et la règle de Grace pour qu'une réponse soit prête. Dites ensuite ce que décrivent la médiane et le p95 du nombre de secondes par billet.

Afficher la réponse

Justesse, exhaustivité, conformité du format et abstention appropriée, chacun de 0 à 2. Une réponse est prête à envoyer après une vérification rapide si la justesse vaut 2 et qu’aucun critère ne vaut 0. La médiane est le temps typique : la moitié des billets prennent moins de temps. Le p95 est le temps sous lequel restent 95 % des billets. Il décrit donc les délais les plus longs que subissent les agents.

Vérifiez votre compréhension

Prédiction : Grace agrandit le jeu de test de 24 à 96 billets, en gardant les mêmes proportions de types. Claude Sonnet 5.5 produit encore des réponses prêtes pour 92 % des billets. Que devient son intervalle à 95 %? Le test pourrait-il maintenant le distinguer d'un modèle dont 100 % des réponses sont prêtes?

Afficher la réponse

L’intervalle devient environ deux fois moins large, car le jeu de test est quatre fois plus grand. Comme dans le cours de mathématiques, il passe d’environ 74 % à 98 % à environ 85 % à 96 %. Un modèle avec 96 sur 96 aurait un intervalle d’environ 96 % à 100 %. Les deux intervalles cesseraient tout juste de se chevaucher. Une différence d’environ 8 points commence donc à devenir visible. Une différence de 1 ou 2 points demanderait encore beaucoup plus de billets.

Vérifiez votre compréhension

Vérification finale : Tomás écrit « Claude Opus 5.5 est le meilleur modèle pour Larkfield : il a obtenu 24 sur 24. » Expliquez l'incertitude de sélection et pourquoi 24 billets ne prouvent pas qu'un modèle est généralement meilleur que les autres.

Afficher la réponse

L’incertitude de sélection est la part d’une différence entre modèles qui vient des billets précis du test, plutôt que des modèles. Un autre groupe de 24 billets donnerait d’autres chiffres. Quatre modèles hébergés ont obtenu 24 sur 24 et un autre a obtenu 22. Les intervalles à 95 % se chevauchent presque entièrement. La différence appariée entre Sonnet et Opus (−8,3 points, intervalle de −19,4 à +2,7) comprend zéro. Le test ne peut donc pas les classer. Il ne couvre aussi que 24 billets synthétiques, une requête (prompt), une date et une grille. Il ne dit rien sur d’autres tâches, d’autres langues ou des versions ultérieures des modèles. Voici une formulation honnête : « Sur ces 24 billets, le 8 octobre 2026, les modèles hébergés ont produit de 22 à 24 réponses prêtes. Nous n’avons pas pu les départager selon la qualité. Claude Haiku 5.5 était le moins cher et parmi les plus rapides. »

De bout en boutChoisir un modèle pour des réponses gouvernementales bilinguesÉtude de cas

L’étude de cas crée un jeu de test à partir de vraies questions en anglais et en français. Elle note les réponses avec cette grille.

Récapitulatif

Dans ce module, vous avez appris à évaluer des modèles pour votre propre tâche.

• Leçon 1 : un jeu de test représentatif comprend des cas courants, difficiles, multilingues, ambigus et sans réponse possible. Le corrigé est rédigé en premier. Les paires linguistiques révèlent les problèmes de langue.
• Leçon 2 : une grille avec des repères (justesse, exhaustivité, conformité du format, abstention appropriée) rend les notes reproductibles. Notez à l’aveugle, vérifiez l’accord entre deux lecteurs et renotez tout lorsqu’un repère change.
• Leçon 3 : mesurez la latence de bout en bout (médiane et p95), les jetons (tokens), y compris les jetons de raisonnement cachés, et le coût par billet, plutôt que le prix par jeton. Réunissez la qualité, la latence et le coût dans un tableau. Avec 24 billets, une différence d’un ou deux billets relève du bruit : montrez l’intervalle.

Vous avez maintenant les preuves de Larkfield : les notes de 192 réponses, les temps et les coûts. Vous allez ensuite transformer ces preuves en décision avec des exigences obligatoires et des poids.

Réinitialisation : rien à réinitialiser. Les explorateurs recommencent lorsque vous rechargez la page, et les réponses enregistrées ne changent jamais.

Leçon suivante : La sélection pondérée