La sélection pondérée

Ce que vous saurez faire

Transformez les besoins d’affaires de Larkfield en une décision que vous pouvez vérifier. D’abord, quelques exigences essentielles éliminent les options qui ne peuvent pas convenir. Ensuite, les poids indiquent l’importance de chaque qualité restante. Vous classez les options selon les résultats que vous avez mesurés.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

• Les 24 billets de soutien de test et leurs cinq catégories, présentés dans Créer un jeu de test représentatif. Ces billets ont été écrits pour ce cours; ce ne sont pas de vrais billets de clients.
• Comment les réponses ont été notées, dans Noter les résultats de façon cohérente.
• Le tableau qualité–latence–coût, et pourquoi un écart d’un ou deux billets relève du bruit, dans Mesurer la performance en pratique.
• Les modèles hébergés et locaux, et les conditions d’utilisation des données, dans Modèle hébergé ou autohébergé et Licences et conditions d’utilisation des données.
• La moyenne et l’intervalle autour d’un score de test, dans Décrire un jeu de données et Estimer l’incertitude : les barres d’erreur dans un classement, du cours Mathématiques et statistiques essentielles pour l’IA.

Ce qu’il vous faut

• Un navigateur. Cette leçon ne contient pas de code.

Les modèles hébergés changent souvent : vos propres résultats seront différents.

Choisir un appartement à louer

Pensez à la façon dont vous choisissez un appartement à louer. Certaines conditions ne sont pas négociables. Vous avez un chien, donc l’appartement doit accepter les animaux. Le loyer doit respecter votre budget. Vous éliminez un appartement qui ne respecte pas une de ces conditions, même s’il a un beau balcon. Vous ne compensez pas « chiens interdits » par « beaucoup de lumière ».

Parmi les appartements restants, vous avez des préférences : la lumière, un trajet court vers le travail, une rue calme. Elles n’ont pas toutes la même importance. Le trajet compte chaque jour, le balcon seulement en été. Sans le dire, vous donnez donc un poids à chaque préférence. Un appartement un peu plus sombre, mais situé 20 minutes plus près, peut gagner.

Choisir un modèle de langage pour Larkfield fonctionne de la même façon, en deux étapes, dans cet ordre. Éliminez d’abord ce qui ne peut pas convenir, puis pondérez les options restantes. Cette leçon rend les deux étapes explicites. Grace, Omar et les autres peuvent alors voir comment le choix a été fait.

Deux façons de mal choisir

Le raccourci de Tomás : le classement public

Tomás a une réponse avant le début de la réunion. « Prenons le modèle en tête du classement. Des millions de personnes ont voté. Pourquoi le tester nous-mêmes? »

Un classement public classe les modèles selon un seul score issu d’un test général. Dans le classement Text Arena, les gens comparaient les réponses à leurs propres requêtes et votaient pour la meilleure. Claude Opus 5.5 (avec un effort élevé) était 2e sur 414 modèles, Gemini 3.1 Pro (preview) 17e, Gemini 3.5 Flash 28e et Claude Sonnet 5.5 32e. Claude Haiku 5.5 ne figurait pas dans la liste.

Placez maintenant les résultats de Larkfield à côté. La qualité correspond au score de la grille du module 4 sur les 24 billets, mesuré le même jour :

Modèle	Rang au classement	Score de la grille (sur 10)	Réponses prêtes (sur 24)	Secondes médianes par billet	$ US par 1 000 billets
Claude Opus 5.5	2	10.00	24	3.9	9.35
Gemini 3.1 Pro (preview)	17	9.90	24	9.8	14.83
Gemini 3.5 Flash	28	9.95	24	4.4	10.90
Claude Sonnet 5.5	32	9.90	22	1.8	3.65
Claude Haiku 5.5	absent	9.84	24	2.2	0.27

Sur la qualité, le choix de Tomás réussit bien : Opus 5.5 a obtenu 10,00. Mais presque tous les modèles hébergés ont fait aussi bien. Dans Mesurer la performance en pratique, les 24 billets ne permettaient pas de les départager. Les différences nettes se trouvent dans les colonnes que le classement ne montre pas. Opus coûte 35 fois plus par billet que Haiku. Gemini Pro prend plus de deux fois plus de temps que Gemini Flash. Et Gemini Pro est un modèle en version préliminaire, que le fournisseur peut retirer à court préavis.

Le classement n’est pas faux. Il répond à une autre question : « Quel modèle les gens préfèrent-ils pour leurs propres requêtes? » La question de Larkfield est plus précise. Quel modèle suit cette politique, en anglais et en français, renvoie du JSON valide, transfère les bons billets à une personne et respecte ce budget? Aucun classement public ne mesure cela. Même son classement en français est incertain. Opus 5.5 y était 11e, avec seulement 201 votes. La page indique que son rang possible se situe entre la 1re et la 110e place.

Utilisez un classement pour choisir les modèles à tester. Ne l’utilisez pas pour choisir le modèle à utiliser.

Le raccourci d’Omar : tout additionner

Omar aime les chiffres. « Alors, donnons à chaque modèle un score pour la qualité, le coût, la latence et la confidentialité. Prenons la moyenne et choisissons le plus élevé. »

Amira essaie avec des poids égaux. Le gagnant est Mistral 7B, un modèle local. Il ne coûte rien par billet et garde les données dans le bâtiment. Il obtient donc 10 pour le coût et la confidentialité. Mais lors de l’essai enregistré, il a renvoyé du JSON invalide pour 1 des 24 billets. Le service de soutien lit le JSON pour remplir le brouillon. Un billet sur 24 sans brouillon représente environ 55 billets par mois. Un score élevé pour le coût ne peut pas réparer un format invalide. La moyenne a caché un échec qui rend l’option inutilisable.

Les deux raccourcis échouent pour la même raison : un seul nombre remplace les questions que l’entreprise pose réellement.

L’idée : les exigences essentielles d’abord, puis les poids

La méthode comporte deux étapes, comme pour l’appartement.

1. Une exigence essentielle est une règle avec deux résultats possibles : réussite ou échec. Si une option échoue, vous l’éliminez, quels que soient ses autres scores. Formulez chaque exigence pour que les résultats permettent de répondre oui ou non : « JSON valide pour les 24 billets », pas « bon format ».
2. Une préférence pondérée est une qualité que vous souhaitez améliorer, mais pour laquelle vous acceptez un compromis. Chacune reçoit un score de 0 à 10 et un poids : son importance. Le total pondéré d’une option est la somme de chaque score multiplié par sa part du poids.

Ces poids ne sont pas les poids du modèle vus au module 1, les nombres appris pendant l’entraînement. Ici, un poids indique seulement l’importance d’une préférence.

Un tableau qui contient les options, leurs scores, les poids et les totaux est un tableau de décision pondérée. On l’appelle aussi une matrice de décision.

L’ordre compte. Les exigences essentielles viennent d’abord, pour qu’aucun poids ne puisse compenser un échec. Ensuite, les poids classent seulement les options qui peuvent réellement convenir.

Un petit exemple détaillé

Prenez trois options et deux préférences : la qualité, avec un poids de 70, et le coût, avec un poids de 30. Les poids totalisent 100, donc leurs parts sont de 70 % et de 30 %. L’exigence essentielle est « JSON valide pour les 24 billets ».

Option	JSON valide	Score de qualité	Score de coût	Total pondéré
Sonnet 5.5	24 sur 24	9,90	8,77	0,7 × 9,90 + 0,3 × 8,77 = 9,56
Haiku 5.5	24 sur 24	9,84	9,91	0,7 × 9,84 + 0,3 × 9,91 = 9,86
Mistral 7B	23 sur 24 : éliminé	7,45	10,00	non calculé

Mistral est éliminé avant toute multiplication. Entre les deux options restantes, Haiku gagne avec ces poids. Changez les poids pour 100 et 0, afin que seule la qualité compte : Sonnet obtient 9,90 et Haiku 9,84. Les poids sont une décision, et le résultat en dépend. C’est pourquoi vous les notez.

D’où viennent les scores

Un score de 0 à 10 n’est pas une mesure. Vous le créez à partir d’une mesure, selon une règle. La règle doit tenir en une phrase pour que quelqu’un d’autre puisse la vérifier. Voici les règles de cette leçon :

Critère	Ce qu’on mesure	La règle du score
Qualité	Grille du module 4 : 4 critères, de 0 à 2 points chacun, pour chacun des 24 billets	moyenne des points par réponse ÷ 8 × 10
Coût	Coût mensuel pour 1 350 billets	10 × (1 − coût mensuel ÷ budget de 40 $ US)
Latence	Secondes médianes par billet	10 à 1 seconde, 0 à 21 secondes, une ligne droite entre les deux
Confidentialité	Où va le texte du billet	10 sur l’ordinateur de Larkfield, 5 pour un modèle hébergé aux conditions vérifiées

Par exemple, Sonnet 5.5 coûte 0,00365 $ US par billet, donc 4,92 $ US par mois pour 1 350 billets. Son score de coût est 10 × (1 − 4,92 ÷ 40) = 8,77. Le volume et le budget sont des chiffres fictifs de Larkfield. Larkfield reçoit environ 45 billets par jour, donc environ 1 350 par mois. Le budget d’Omar, 40 $ US par mois, représente environ une heure de travail d’un agent de soutien. Les prix sont réels et proviennent des pages des fournisseurs.

Les exigences essentielles de Larkfield

Grace, Omar et Camille s’entendent sur quatre exigences essentielles. Chacune vient d’une personne et d’une raison.

• JSON valide pour les 24 billets (Grace). Le service de soutien lit le JSON. Une réponse sous une autre forme donne un billet sans brouillon.
• La bonne langue pour chaque billet en français ou bilingue (Camille). Douze des 24 billets sont en français ou mélangent le français et l’anglais. Une réponse dans la mauvaise langue donne au client une mauvaise expérience, peu importe le contenu.
• Des conditions d’utilisation des données et un modèle stable (Grace, d’après Licences et conditions d’utilisation des données). Un service payant qui n’utilise pas les billets de Larkfield pour l’entraînement, et un modèle avec une politique de retrait publiée. Un modèle en version préliminaire peut être retiré à court préavis : Google a retiré Gemini 3 Pro preview 16 semaines après sa sortie.
• Moins de 40 $ US par mois pour 1 350 billets (Omar).

Les exigences essentielles éliminent quatre des huit options évaluées avant toute pondération. Le nombre après chaque nom est son résultat à cette vérification.

Description textuelle du diagramme

Huit options évaluées sur les 24 billets entrent à gauche. La première vérification demande « JSON valide pour les 24 billets? » : Mistral 7B (23 sur 24) et Qwen3 4B (0 sur 24; il écrit son raisonnement avant le JSON) sont éliminés. La deuxième demande « bonne langue pour les 12 billets en français ou bilingues? » : Gemma 3 4B (11 sur 12) est éliminé. La troisième demande « conditions d’utilisation des données et modèle stable? » : Gemini 3.1 Pro est éliminé, car il s’agit d’un modèle en version préliminaire. La quatrième demande « moins de 40 $ US par mois? » : les quatre options restantes réussissent. Claude Haiku 5.5, Claude Sonnet 5.5, Claude Opus 5.5 et Gemini 3.5 Flash passent à la pondération et au classement.

Tous les modèles locaux sont éliminés. Ce n’est pas une règle contre les modèles locaux. Chacun a échoué, lors de ce test, à une vérification nécessaire pour l’entreprise. L’étude de cas Choisir un modèle qui fonctionne sur votre propre matériel part d’une exigence de confidentialité que seuls les modèles locaux peuvent respecter.

Les poids de Larkfield

Grace fixe les poids avant de regarder les totaux : qualité 60, coût 15, latence 15, confidentialité 10. Ses raisons, en une phrase chacune :

• Qualité 60. Une personne vérifie chaque brouillon, mais un brouillon incorrect lui coûte du temps et peut parvenir à un client.
• Coût 15. Les quatre options respectent le budget, donc le coût doit seulement départager les options proches.
• Latence 15. Un agent ouvre un billet et attend le brouillon. Quelques secondes comptent; une fraction de seconde ne compte pas.
• Confidentialité 10. Toutes les options hébergées respectent l’exigence sur les conditions d’utilisation des données. Le poids récompense quand même une option qui garde le texte dans le bâtiment.

Utilisez maintenant l’outil d’exploration. Faites d’abord votre prédiction.

Explorer

Les exigences essentielles d'abord, puis les poids

Première place

Haiku 5.5 (9,30)

Avance sur la deuxième

0,10 devant Sonnet 5.5

Options dans le classement

4 sur 8

Poids : qualité 60 %, coût 15 %, latence 15 %, confidentialité 10 %. Haiku 5.5 arrive en tête avec 9,30 sur 10. Sonnet 5.5 arrive deuxième, 0,10 derrière. Leurs scores de qualité (9,84 et 9,90) sont trop proches pour être départagés sur 24 billets, donc l’avance vient des autres critères. 4 options sont exclues avant l’application des poids : Mistral 7B, Gemini Pro, Gemma 3 4B, Qwen3 4B.

• Qualité
• Coût
• Latence
• Confidentialité
• Exclue : échoue à une exigence obligatoire

Scores de 0 à 10, total pondéré et exigences obligatoires

Rang	Option	Qualité × 60 %	Coût × 15 %	Latence × 15 %	Confidentialité × 10 %	Total	Exigences obligatoires
1	Haiku 5.5	9,84	9,9	9,4	5	9,30	respecte les quatre
2	Sonnet 5.5	9,90	8,8	9,6	5	9,20	respecte les quatre
3	Opus 5.5	10,00	6,8	8,6	5	8,81	respecte les quatre
4	Gemini Flash	9,95	6,3	8,3	5	8,67	respecte les quatre
exclue	Mistral 7B	7,45	10	8,4	10	–	JSON valide sur les 24 billets : 23 of 24
exclue	Gemini Pro	9,90	5	5,6	5	–	Conditions sur les données et modèle stable : preview model: can be shut down at short notice
exclue	Gemma 3 4B	5,78	10	8,1	10	–	Bonne langue sur chaque billet en français ou mixte : 11 of 12
exclue	Qwen3 4B	6,51	10	0	10	–	JSON valide sur les 24 billets : 0 of 24

Les huit options évaluées sur les 24 billets de Larkfield, classées selon leur total pondéré. Les barres montrent la contribution de chaque critère à chaque total. Les options qui échouent à une exigence essentielle sont éliminées (en pointillé), sauf si vous désactivez les exigences essentielles.

Description textuelle de l’explorateur

L’outil d’exploration contient quatre curseurs, un poids pour la qualité, le coût, la latence et la confidentialité, de 0 à 100. La part de chaque poids dans le total apparaît à côté. Une case à cocher applique les exigences essentielles; elle est cochée au départ. L’affichage indique l’option en première place, son avance sur la deuxième et le nombre d’options dans le classement. En dessous figurent des barres empilées, une par option, et un tableau avec chaque score, le total pondéré et les exigences essentielles.

Les scores de 0 à 10 pour la qualité, le coût, la latence et la confidentialité sont : Haiku 5.5 : 9,84, 9,9, 9,4, 5. Sonnet 5.5 : 9,90, 8,8, 9,6, 5. Opus 5.5 : 10,00, 6,8, 8,6, 5. Gemini 3.5 Flash : 9,95, 6,3, 8,3, 5. Gemini 3.1 Pro (preview) : 9,90, 5,0, 5,6, 5. Gemma 3 4B : 5,78, 10, 8,1, 10. Mistral 7B : 7,45, 10, 8,4, 10. Qwen3 4B : 6,51, 10, 0, 10.

Avec les poids de Grace (60, 15, 15, 10) et les exigences essentielles activées, Haiku 5.5 arrive premier avec 9,30. Sonnet 5.5 est deuxième avec 9,20, puis viennent Opus 5.5 avec 8,81 et Gemini 3.5 Flash avec 8,67. Gemini 3.1 Pro, Gemma 3 4B, Mistral 7B et Qwen3 4B sont éliminés. Avec des poids égaux, Haiku 5.5 arrive premier avec 8,54 et Sonnet 5.5 est deuxième avec 8,32. Avec des poids égaux et les exigences essentielles désactivées, Mistral 7B arrive premier avec 8,96. Haiku 5.5 est deuxième avec 8,54 et Gemma 3 4B troisième avec 8,46. Pourtant, Mistral échoue à la vérification du JSON et Gemma à celle de la langue.

Avec des poids égaux, Haiku 5.5 gagne encore, avec 8,54 : c’est l’option la moins chère qui respecte les exigences. Désactivez les exigences essentielles, et Mistral 7B prend la première place avec 8,96 : l’échec que la moyenne d’Omar cachait. Réactivez les exigences essentielles, et aucun poids ne peut ramener Mistral. C’est le but de la première étape.

Lire le résultat : d’où vient l’avance?

Avec les poids de Grace, Haiku 5.5 obtient 9,30 et Sonnet 5.5 obtient 9,20. Haiku mène de 0,10. Est-ce une vraie avance ou du bruit? Décomposez chaque total :

Option	Part de qualité	Part de coût	Part de latence	Part de confidentialité	Total
Haiku 5.5	0,60 × 9,84 = 5,90	0,15 × 9,91 = 1,49	0,15 × 9,39 = 1,41	0,50	9,30
Sonnet 5.5	0,60 × 9,90 = 5,94	0,15 × 8,77 = 1,32	0,15 × 9,61 = 1,44	0,50	9,20
Différence	−0,04	+0,17	−0,03	0	+0,10

La part de qualité favorise Sonnet de 0,04. C’est un point de la grille sur un des 24 billets. Dans Mesurer la performance en pratique, vous avez vu que 24 billets ne permettent pas de départager les modèles hébergés. En points de score, l’intervalle apparié à 95 % pour Haiku − Sonnet va de −0,23 à +0,13 : il inclut zéro. Voici une règle utile : sur 24 billets, deux scores de grille séparés par moins d’environ 0,2 sont à égalité. Les quatre options hébergées retenues, de 9,84 à 10,00, se trouvent dans cet intervalle.

La part de coût est différente. Haiku coûte 0,00027 $ US par billet et Sonnet 0,00365 $ US, soit 13 fois plus. Cela vient du nombre de jetons (tokens) et des prix. Un autre essai sur les 24 billets ne changerait pas beaucoup ce résultat. L’interprétation honnête est donc : sur la qualité, les options sont à égalité; Haiku 5.5 mène parce qu’il est beaucoup moins cher et presque aussi rapide. L’outil d’exploration dit la même chose dans sa ligne d’état.

Une égalité sur la qualité est utile. Elle indique que le choix dépend du coût et de facteurs absents du tableau. Les résultats de la grille du module 4 en montrent trois :

• Transferts à une personne. Haiku a transféré 2 billets de garantie à une personne, S06 et S12, même si la politique y répond. C’est prudent, pas nuisible, mais chacun demande du travail à un agent. Sonnet n’en a transféré aucun.
• Réponses en français. Sonnet avait 2 réponses en français qui n’étaient pas prêtes : S09 remercie le client pour une photo jamais envoyée, et S12 se contredit. Toutes les réponses en français de Haiku étaient prêtes.
• Les montants sont faibles. Pour 1 350 billets par mois, Haiku coûte environ 0,36 $ US et Sonnet environ 4,92 $ US. Même Opus 5.5, avec la note maximale sur les 24 billets, ne coûte qu’environ 12,63 $ US.

Grace recommande Haiku 5.5. Le test ne permet pas de départager les options sur la qualité. Haiku est le moins cher et parmi les plus rapides. Elle nomme aussi Opus 5.5 comme prochain choix si les agents trouvent que les brouillons de Haiku demandent trop de corrections. Elle note l’égalité et ses raisons dans la note de recommandation. Vous rédigez cette note dans Communiquer la recommandation.

Quelle est la sensibilité du choix?

Une décision qui bascule avec un petit changement de poids est fragile. Trouvez donc le point où elle bascule. Gardez la qualité à 60, la latence à 15 et la confidentialité à 10, puis changez le poids du coût :

Poids du coût	Premier	Deuxième	Écart
0	Sonnet 5.5	Haiku 5.5	0,08
5	Sonnet 5.5	Haiku 5.5	0,01
10	Haiku 5.5	Sonnet 5.5	0,05
15 (Grace)	Haiku 5.5	Sonnet 5.5	0,10
30	Haiku 5.5	Sonnet 5.5	0,24

Sous un poids du coût d’environ 6, Sonnet arrive premier. Mais son avance vient alors seulement de la qualité, qui est à égalité, et d’une médiane inférieure de 0,4 seconde. Le tableau ne permet donc jamais de choisir Sonnet avec confiance. La note doit dire : « Si le coût ne compte pas, Sonnet 5.5 et Haiku 5.5 sont à égalité. Si le coût compte, même un peu, Haiku 5.5 arrive premier. » Une personne qui conteste un poids peut voir quelle option son propre poids ferait gagner.

Quand l’utiliser et ce qu’elle coûte

Utilisez un tableau de décision pondérée quand plusieurs personnes participent au choix, ou quand vous devrez l’expliquer plus tard. Il rend chaque jugement visible : qui a fixé chaque exigence incontournable, chaque poids et chaque règle de notation.

Voici les règles pour garder la démarche honnête :

• Fixez les poids avant de voir les totaux. Sinon, vous les ajusterez jusqu’à ce que votre favori gagne (voir l’erreur courante ci-dessous).
• Gardez peu d’exigences incontournables, et assurez-vous qu’elles le sont vraiment. Si vous abandonneriez une exigence incontournable pour un bon prix, c’est une préférence. Donnez-lui plutôt un poids.
• Utilisez peu de critères. Chaque nouveau critère réduit le poids des autres. Quatre suffisent ici.
• Repérez les critères qui ne peuvent pas changer le classement. Si toutes les options restantes obtiennent la même note pour un critère, son poids ne change rien. Ici, la confidentialité vaut 5 pour chaque option hébergée qui a réussi. Elle compte de nouveau quand les options changent.
• Le tableau classe les preuves. Il ne les crée pas. Avec 24 billets de soutien, des notes de qualité séparées par moins d’environ 0,2 sont à égalité, peu importe le poids de la qualité.

Le coût, c’est du temps : une heure pour s’entendre sur les exigences incontournables et les poids, puis la discipline de les consigner. C’est bien moins que le coût d’un choix que personne ne peut expliquer quand un modèle est retiré. La prochaine leçon le montre.

Exercice guidé : poids égaux et exigences incontournables

Utilisez l’explorateur ci-dessus.

1. Cliquez sur I have made my prediction (j’ai fait ma prédiction). Réglez les quatre poids à 25.
2. Notez l’option en première place et son total.
3. Décochez Apply the must-haves first (appliquer d’abord les exigences incontournables). Notez la nouvelle première place et l’exigence incontournable qu’elle ne respecte pas. La dernière colonne du tableau montre l’échec.
4. Cochez de nouveau la case. Cliquez sur Reset to Grace’s weights (rétablir les poids de Grace).
5. Écrivez une phrase qui explique pourquoi les deux classements diffèrent.

Résultats attendus

Étape 2 : Haiku 5.5, 8,54. Étape 3 : Mistral 7B, 8,96. Il échoue à l’exigence « JSON valide pour les 24 billets : 23 sur 24 ». Haiku 5.5 est deuxième avec 8,54, et Gemma 3 4B est troisième avec 8,46. Gemma échoue à la vérification de la langue. Étape 5, par exemple : « Sans les exigences incontournables, les modèles locaux gagnent sur le coût et la confidentialité. Les poids ne détectent pas que l’un d’eux ne respecte pas le format du service de soutien. »

À vous de jouer : la confidentialité devient incontournable

Changez une condition. L’avocat de Larkfield dit que le texte des billets ne doit pas quitter les ordinateurs de Larkfield. La confidentialité devient une exigence incontournable, et non un poids.

Quelles options respectent les cinq exigences incontournables? Que recommandez-vous à Grace?

Exemple de réponse

Aucune option ne réussit. La nouvelle exigence incontournable élimine toutes les options hébergées : les trois modèles Claude et les deux modèles Gemini. Les trois modèles locaux avaient déjà échoué. Mistral 7B et Qwen3 4B avaient échoué à produire du JSON valide. Gemma 3 4B avait échoué sur la langue d’un billet bilingue.

La bonne recommandation est « aucune de ces options, pour l’instant ». N’assouplissez pas discrètement une exigence incontournable pour obtenir un gagnant. Dites à Grace ce qui devrait changer. Une solution consiste à tester de plus grands modèles locaux. Une autre consiste à changer la façon dont l’application appelle un modèle local. Par exemple, elle pourrait vérifier le JSON et répéter la demande quand il est invalide. Ensuite, refaites les mesures sur les 24 billets. L’étude de cas Choisir un modèle qui fonctionne sur votre propre matériel fait ce travail.

Erreur courante

Les poids ont été choisis après les résultats

Symptôme : le modèle préféré de l’équipe arrive toujours premier, et les poids ont des valeurs étranges, comme « qualité 47, latence 23 ». Personne ne peut expliquer pourquoi la latence compte pour 23.

Cause : quelqu’un a regardé les totaux et ajusté les poids jusqu’à ce que le favori gagne. Le tableau consigne maintenant une préférence, pas une raison.

Solution : écrivez les exigences incontournables, les poids et les règles de notation avant de calculer un total. Ajoutez qui a fixé chaque poids, la raison et la date. Si vous changez un poids plus tard, gardez l’ancien et expliquez pourquoi, puis montrez les deux classements. On compare un vrai service d’IA à plusieurs reprises : quand un modèle est retiré, qu’un prix change ou que de nouveaux types de billets apparaissent. Des poids accompagnés d’une justification écrite rendent chaque nouvelle comparaison rapide et équitable.

Vérification des connaissances

Vérifiez votre compréhension

Tomás dit que le modèle en tête du classement public sera le meilleur pour Larkfield. Donnez deux raisons tirées de cette leçon qui montrent que cette conclusion ne tient pas.

Afficher la réponse

Le classement public mesure une autre tâche : les préférences des gens pour leurs propres requêtes (prompts). Il ne teste pas la politique de Larkfield, les réponses en français, le format JSON ou les transferts à un agent. Il ignore aussi les contraintes de Larkfield : coût, latence et conditions d’utilisation des données. Sur les 24 billets, la qualité ne permettait pas de départager les modèles hébergés (de 9,84 à 10,00 sur 10). Mais Opus 5.5 (2e) coûtait 35 fois plus par billet que Haiku 5.5 (absent du classement). Gemini 3.1 Pro (17e) était un modèle en préversion. Il prenait aussi plus de deux fois autant de temps que Gemini 3.5 Flash (28e). Un classement public fournit une bonne liste de modèles à tester, pas un choix.

Vérifiez votre compréhension

Pourquoi faut-il appliquer les exigences incontournables avant les poids, plutôt que d'en faire un autre critère pondéré?

Afficher la réponse

Un poids permet à une qualité de compenser une autre. Une exigence incontournable est quelque chose que rien ne peut compenser. Une option qui produit du JSON invalide empêche le service de soutien de fonctionner, peu importe son coût. Comme critère pondéré, une note élevée en coût et en confidentialité pourrait compenser cet échec. C’est ce qui s’est produit avec des poids égaux et sans exigences incontournables. Mistral 7B arrivait premier, même s’il échouait à la vérification du JSON.

Vérifiez votre compréhension

Avec les poids de Grace, Haiku 5.5 obtient 9,30 et Sonnet 5.5 obtient 9,20. Omar dit : Haiku est le meilleur modèle. Que répondez-vous?

Afficher la réponse

Pas meilleur : moins cher. Décomposez l’écart de 0,10. La part liée à la qualité favorise Sonnet de 0,04, soit un point de la grille. Sur 24 billets, les notes de qualité sont à égalité. Elles diffèrent de moins de 0,2, et l’intervalle apparié comprend zéro. L’avance vient du coût : Haiku coûte 13 fois moins par billet, et une autre exécution ne changerait pas cela. La note de recommandation doit dire trois choses. Les options sont à égalité sur la qualité. Haiku gagne sur le coût. Avec un poids du coût inférieur à environ 6, Sonnet arrive premier, avec une avance inférieure au bruit.

Récapitulatif

• Un classement public répond à une question générale. Utilisez-le pour choisir les modèles à tester, pas le modèle à utiliser.
• D’abord, les exigences incontournables : des règles de réussite ou d’échec qui éliminent les options qui ne peuvent pas fonctionner. Ensuite, les poids : l’importance de chaque préférence parmi les options restantes.
• Une note de 0 à 10 vient d’une mesure et d’une règle en une phrase. Consignez cette règle.
• Sur les 24 billets de Larkfield, quatre des huit options respectent les exigences incontournables. Elles sont à égalité sur la qualité. Avec les poids de Grace, Haiku 5.5 arrive premier parce qu’il coûte beaucoup moins cher, et la raison est consignée.
• Décomposez une avance et trouvez le poids auquel le modèle en tête change. Indiquez les deux dans la note de recommandation.

Leçon suivante : Prévoir une solution de rechange et les changements