Noter les résultats de façon cohérente

Ce que vous saurez faire

Transformez « cette réponse semble bonne » en une note qu’une autre personne donnerait aussi. Une grille aux niveaux clairs permet à Larkfield de comparer équitablement 192 réponses provenant de huit exécutions de modèles. Elle montre aussi exactement où chaque modèle perd des points.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes

Ce que vous devez savoir

• Les 24 billets de soutien de test de Larkfield, leurs corrigés et la politique, dans Créer un jeu de test représentatif.
• Les hallucinations (des faits inventés) et les réponses incohérentes, dans Incertitude et erreurs.

Ce qu’il vous faut

• Un navigateur. L’explorateur et l’exercice utilisent des réponses enregistrées.

Les modèles hébergés changent souvent : vos propres résultats seront différents.

Deux enseignants, une rédaction

Donnez la même rédaction à deux enseignants et demandez une note sur 10. L’un donne 6, l’autre 8. Aucun ne manque de soin. L’un accorde plus d’importance à l’orthographe, l’autre aux idées. Ils n’ont pas la même conception d’un « 6 ».

Les écoles règlent ce problème avec un barème de correction. Il énumère les éléments à vérifier : idées, structure, langue. Il décrit aussi chaque note avec un exemple : « 2 points : l’argument présente une raison claire et un exemple ». Les enseignants qui utilisent le même barème donnent des notes beaucoup plus proches. Dans plusieurs examens, on cache aussi le nom de l’élève. Ainsi, la personne qui corrige ne peut pas favoriser un élève qu’elle connaît.

Larkfield a besoin des deux idées : un barème qui définit une bonne réponse, et une notation sans noms.

Le problème : « celle-ci semble meilleure »

Tomás lit deux réponses au billet S12, une demande en français sur la garantie. Il préfère la plus longue, de Claude Sonnet 5.5, parce qu’elle « explique davantage ». Camille, l’agente bilingue à Montréal, préfère la plus courte, de Claude Opus 5.5. La plus longue n’a pas de sens en français. Les deux lisent attentivement. Ils mesurent des choses différentes.

Amira propose un raccourci : un programme chercherait dans chaque réponse les mots du corrigé, comme « 30 days » (30 jours) pour le billet sur les retours. C’est rapide et le programme ne se fatigue jamais. La figure montre trois vraies réponses soumises aux deux vérifications.

S02 Return an unused garden hose bought 10 days ago.

Gemini 3.1 Pro (preview)

Hello! You can return your unopened garden hose for a full refund since it is within our 30-day return window for unused items. Please note that you will be responsible for the return shipping costs. Let us know if you would like to proceed and we will help you with the next steps.

Recherche des mots du corrigé

✗ échoué Le corrigé attend « 30 days » (30 jours); la réponse dit « 30-day » (de 30 jours).

Une personne la lit

✓ réussi Correcte et complète : 30 jours, remboursement complet, frais de retour à la charge du client.

M03 Bonjour! Quick question in English please: can I return seeds I don’t need?

Gemini 3.1 Pro (preview)

Hello! Unfortunately, we cannot accept returns for seeds. Our policy states that plants and seeds are non-returnable. Please let us know if you have any other questions.

Recherche des mots du corrigé

✗ échoué Le corrigé attend « cannot be returned » (ne peuvent pas être retournés); la réponse dit « non-returnable » (non retournables).

Une personne la lit

✓ réussi Correcte, en anglais comme le client l'a demandé.

U03 A landscaping company wants 60 benches, about 9,000 dollars, with a discount.

Mistral 7B

Thank you for your inquiry. We would be happy to help with your order. However, as per our policy, we do not offer discounts for business orders over 5,000 dollars. A member of our team will contact you shortly to discuss your order.

Recherche des mots du corrigé

✓ réussi Les étiquettes correspondent au corrigé (other, needs_human true); le corrigé n'exige aucun mot.

Une personne la lit

✗ échoué Elle invente une règle. La politique ne prévoit aucune règle sur les rabais; elle dit de transmettre le billet à une personne.

Trois réponses enregistrées, chacune vérifiée de deux façons : un programme cherche les mots du corrigé, et une personne lit la réponse avec la politique. La recherche de mots rejette deux réponses correctes et accepte une règle inventée.

Description textuelle de la figure

Carte 1, billet S02, Gemini 3.1 Pro : la réponse dit que le tuyau peut être retourné « dans notre délai de retour de 30 jours ». Elle précise que le remboursement est complet et que le client paie les frais de retour. La recherche de mots la rejette, parce que le corrigé attend « 30 days », mais la réponse utilise « 30-day ». Une personne l’accepte. Carte 2, billet M03, Gemini 3.1 Pro : « nous ne pouvons pas accepter les retours de semences… les plantes et les semences ne sont pas retournables ». La recherche de mots la rejette (« cannot be returned » est absent); une personne l’accepte. Carte 3, billet U03, Mistral 7B : « selon notre politique, nous n’offrons pas de rabais sur les commandes commerciales de plus de 5 000 $ ». La recherche de mots l’accepte, parce que les étiquettes sont correctes et que le corrigé n’exige aucun mot. Une personne la rejette : la règle est inventée.

Ce que cela nous apprend. Une recherche de mots se trompe dans les deux sens. Elle rejette des réponses correctes qui utilisent d’autres mots. Elle accepte aussi des réponses contenant une règle inventée, car elle ne sait pas ce qui est interdit. Sur les 24 billets, la recherche de mots a signalé un fait manquant dans 6 réponses de Gemini 3.1 Pro. Une personne a constaté que les 6 étaient correctes. La recherche de mots interdits fait pire. Le corrigé de S11 interdit « envoyer votre mot de passe ». Cinq modèles ont écrit « nous ne pouvons pas vous envoyer votre mot de passe ». C’est le bon refus, et la recherche de mots a rejeté les cinq réponses. Un programme trouve des mots; une personne comprend le sens. La vérification automatique sert de premier filtre, mais une personne doit lire les réponses.

L’idée : une grille avec des repères

Une grille est un guide de notation : une courte liste de critères (les éléments à vérifier). Pour chaque critère, elle décrit chaque niveau de note. Chaque description est un repère : elle associe une note à un type de réponse clair et reconnaissable, avec un exemple. Les repères permettent à deux lecteurs de donner la même note. « Exactitude : 1 » ne veut rien dire en soi. « Exactitude 1 : une petite erreur qui ne change pas ce que le client obtient, par exemple un délai inventé de “24 heures” » permet à deux personnes de s’entendre.

Une grille est le barème de correction des deux enseignants. Elle transforme une impression en une raison qu’une autre personne peut vérifier.

Les quatre critères de Larkfield

Grace et Camille ont choisi quatre critères. Chacun reçoit une note de 0, 1 ou 2. Une réponse obtient donc de 0 à 8 points.

Exactitude : tout ce qu’elle dit est-il vrai? Les faits, les promesses et les étiquettes doivent respecter la politique et le billet. Les pires erreurs changent ce que le client obtient. Gemma 3 4B a parlé au client de S01 de la règle des commandes perdues après 15 jours. Son colis avait 7 jours de retard. Le modèle n’a jamais mentionné la livraison gratuite à laquelle le client avait droit. Cela vaut 0.

Exhaustivité : donne-t-elle tout ce dont le client a besoin? Une réponse peut être vraie sans répondre à la question du client. Mistral 7B a répondu à S07 (8 jours de retard, en français) seulement : « nous allons vérifier et vous contacter ». Rien n’est faux, mais le client n’apprend pas qu’il a droit à la livraison gratuite. Cela vaut 0 pour l’exhaustivité et 2 pour l’exactitude : les critères mesurent des choses différentes.

Respect du format : l’application peut-elle l’utiliser telle quelle? L’assistant doit renvoyer un seul objet JSON valide avec les quatre champs. La réponse doit être dans la langue du client, en 2 à 5 phrases. Pour D01, Mistral 7B a rédigé une bonne réponse dans un JSON invalide ("category": "delivery", "returns"). L’application n’a donc rien reçu. Cela vaut 0. Une réponse en français qui se termine par « Thank you for your patience. » (merci de votre patience) vaut 1.

Abstention appropriée : transmet-elle les bons billets à une personne? L’abstention signifie que le modèle transmet le billet à une personne : needs_human: true (intervention humaine requise). La réponse précise aussi qu’une personne contactera le client. C’est approprié pour les 6 billets visés par la règle 8 et pour les lacunes de la politique. Répondre seul à l’un de ces billets est l’erreur dangereuse; cela vaut donc 0. Transmettre un billet courant à une personne prend du temps au personnel, mais ne nuit à aucun client. Cela vaut donc 1.

Les repères dans un seul tableau :

Note	Exactitude	Exhaustivité	Respect du format	Abstention appropriée
2	Tout est vrai	Tous les points nécessaires pour ce billet	JSON valide, langue du client, 2 à 5 phrases, aucune erreur de langue visible	S’abstient exactement quand la politique le demande
1	Une petite erreur qui ne change pas le résultat (un délai inventé de « 24 heures », une mauvaise étiquette d’acheminement)	Un point nécessaire manque	Utilisable après une petite correction (une phrase en anglais ou une erreur de grammaire dans une réponse en français, 6 phrases ou plus, du texte autour du JSON)	Trop prudent : transmet à une personne un billet auquel il peut répondre
0	Une règle fausse ou inventée qui change ce que le client obtient	La réponse principale manque	L’application ne peut pas l’utiliser (JSON invalide, mauvaise langue)	Répond seul à un billet qui doit aller à une personne, ou ne donne aucune réponse

Grace ajoute une règle de décision. Une réponse est prête à envoyer après une vérification rapide si l’exactitude vaut 2 et qu’aucun critère ne vaut 0. Une personne peut corriger une petite erreur en quelques secondes. Mais personne ne peut se fier à une réponse contenant une règle fausse.

Exemple détaillé : Camille note S12

Le billet, en français : « Mon banc de jardin en bois a une fissure après un an. Je l’utilise normalement. Est-ce couvert? » La règle 4 prévoit une garantie de 2 ans contre les défauts pour les meubles de jardin. Elle exclut l’usure normale. Le corrigé : fr, warranty, needs_human false; la réponse doit mentionner la garantie de 2 ans.

Claude Sonnet 5.5 a répondu :

Bonjour, les meubles de jardin comme votre banc sont couverts par une garantie de 2 ans
contre les défauts. Comme votre banc a un an et que vous l'utilisez normalement, une
fissure peut donc être couverte, car l'usure normale, une mauvaise utilisation et la
rouille due à des outils laissés dehors ne sont pas couvertes. Nous n'avons toutefois pas
de procédure détaillée pour la suite dans notre politique, mais n'hésitez pas à répondre
à ce message si vous avez d'autres questions.

Camille note un critère à la fois et écrit une raison pour chacun.

Critère	Note	Raison
Exactitude	1	La deuxième phrase dit que la fissure « peut être couverte, parce que l’usure normale n’est pas couverte ». La logique ne fonctionne pas, et la rouille sur les outils ne concerne pas un banc. La réponse dit aussi au client que la politique ne prévoit aucune prochaine étape. Aucun fait ne change ce que le client obtient : donc 1, et non 0.
Exhaustivité	2	Elle donne la garantie de 2 ans contre les défauts et les exclusions.
Format	2	JSON valide, français, 3 phrases.
Abstention	2	La politique répond à la question; la réponse ne transmet pas le billet à une personne.

Total : 7 sur 8. Pas prête, parce que l’exactitude est inférieure à 2. Le « elle explique davantage » de Tomás était le problème : la phrase ajoutée est celle qui manque de logique. Une personne qui lit mal le français ne le verrait pas. C’est pourquoi Camille note les réponses en français.

Noter à l’aveugle

Tomás s’attend à ce que le modèle le plus cher gagne. S’il sait quel modèle a rédigé une réponse, cette croyance peut influencer sa note sans qu’il le remarque. L’équipe note donc à l’aveugle : les réponses portent les lettres A à D. Les noms des modèles apparaissent seulement après les notes.

Essayez. Chaque billet comporte quatre vraies réponses de modèles différents. Classez-les, de la meilleure à la moins bonne. Révélez ensuite les modèles et les notes de la grille.

Explorer

Classez quatre réponses avant de voir les modèles

S07 · français Bonjour, ma commande L-20877 devait arriver il y a 8 jours ouvrables et je n'ai toujours rien reçu. Que pouvez-vous faire?

Votre ordre, du meilleur au pire : A, B, C, D. Déplacez les réponses, puis révélez les modèles et les scores.

1. 1Réponse A

   Bonjour, nous sommes désolés que votre commande L-20877 n'ait pas encore été livrée après 8 jours ouvrables. Nous allons vérifier l'état de votre commande et vous contacter pour vous informer de nos prochaines étapes.

   needs_human: oui · category: delivery
2. 2Réponse B

   Bonjour, nous sommes désolés du retard de votre commande L-20877. Comme elle a plus de 5 jours ouvrables de retard, la livraison vous est offerte : les frais de livraison vous seront remboursés sur votre moyen de paiement d'origine, dans un délai de 5 à 10 jours ouvrables. Si la commande dépasse 15 jours ouvrables de retard, elle sera considérée comme perdue et nous vous enverrons, à votre choix, un remplacement ou un remboursement complet.

   needs_human: non · category: delivery
3. 3Réponse C

   Bonjour, je suis désolé que votre commande soit en retard. Selon notre politique, si une commande est retardée de plus de 15 jours ouvrables, nous vous enverrons un remplacement ou un remboursement complet, selon votre préférence. Je vais transmettre votre dossier à un agent qui pourra vous aider plus rapidement. Veuillez patienter, un membre de notre équipe vous contactera dans les plus brefs délais.

   needs_human: oui · category: delivery
4. 4Réponse D

   Je suis désolé d'apprendre que votre commande L-20877 est en retard. Comme votre livraison a plus de 5 jours ouvrables de retard, nous allons vous rembourser vos frais de port. Si le retard dépasse 15 jours ouvrables, nous considérerons le colis comme perdu et nous vous proposerons un remplacement ou un remboursement complet selon votre choix.

   needs_human: non · category: delivery

De vraies réponses à trois billets, dans un ordre fixe, avec les noms des modèles cachés. Déplacez chaque réponse vers le haut ou le bas, de la meilleure à la moins bonne. Révélez ensuite les modèles et les notes de la grille. La ligne d'état compte les paires que vous avez classées dans le même ordre que la grille.

Description textuelle de l’explorateur

Trois billets, quatre réponses chacun. Les lettres sont fixes; les modèles sont révélés seulement après le classement.

S07 (français, commande en retard de 8 jours ouvrables). A, Mistral 7B : seulement « nous allons vérifier votre commande et vous contacter » (exactitude 2, exhaustivité 0, format 2, abstention 1; total 5; pas prête). B, Claude Opus 5.5 : livraison gratuite, frais de livraison remboursés au mode de paiement initial en 5 à 10 jours, puis règle des 15 jours comme prochaine étape (8; prête). C, Gemma 3 4B : applique la règle des commandes perdues après 15 jours à un retard de 8 jours. Omet la livraison gratuite et transmet le billet à une personne (0, 0, 1, 1; total 2; pas prête). D, Gemini 3.5 Flash : rembourse les frais de livraison (« frais de port ») et donne la règle des 15 jours comme prochaine étape (8; prête).

S12 (français, fissure dans un banc de jardin). A, Claude Sonnet 5.5 : logique confuse et « notre politique ne prévoit aucune prochaine étape » (1, 2, 2, 2; total 7; pas prête). B, Mistral 7B : demande une photo que la politique n’exige pas, sans dire si le banc est couvert (1, 1, 2, 1; total 5; pas prête). C, Claude Opus 5.5 : garantie de 2 ans, couvert s’il s’agit d’un défaut, usure normale exclue (8; prête). D, Gemini 3.1 Pro : faits corrects, mais transmet le billet à une personne pour qu’elle tranche (2, 2, 2, 1; total 7; prête).

U03 (demande de rabais pour une commande commerciale de 9 000 $). A, Gemini 3.5 Flash : transmet le billet à une personne en citant la règle des 5 000 $ (8; prête). B, Mistral 7B : invente « nous n’offrons pas de rabais sur les commandes commerciales de plus de 5 000 $ » (0, 2, 2, 2; total 6; pas prête). C, Claude Haiku 5.5 : transmet le billet à une personne, sans promettre de rabais (8; prête). D, Gemma 3 4B : transmet le billet à une personne; le JSON est dans un bloc de code délimité (2, 2, 1, 2; total 7; prête).

Avez-vous placé la réponse de Gemma à S07 (C) au milieu? Elle est polie, en français, et mentionne un remboursement. Elle reçoit la note la plus faible, parce que la règle de remboursement citée ne s’applique pas encore. Dans U03, la réponse de Mistral (B) semble utile et porte les bonnes étiquettes. Mais sa seule phrase inventée en fait la seule réponse qui n’est pas prête.

Les 192 réponses, une seule grille

L’équipe du cours a noté chaque réponse des huit exécutions de modèles avec cette grille : 24 billets × 8 exécutions = 192 réponses. Les notes et une justification d’une ligne pour chacune se trouvent dans reference/c07/scores/scores.csv. La leçon 1 les présentait dans un tableau. Où les modèles ont-ils perdu des points?

Exécution du modèle	Prêtes sur 24	Note (0–10)	Exactitude 0	Exhaustivité 0	Format 0	Abstention 0
Claude Haiku 5.5	24	9,84	0	0	0	0
Claude Sonnet 5.5	22	9,90	0	0	0	0
Claude Opus 5.5	24	10,00	0	0	0	0
Gemini 3.5 Flash	24	9,95	0	0	0	0
Gemini 3.1 Pro (préversion)	24	9,90	0	0	0	0
Gemma 3 4B (local)	6	5,78	6	6	2	0
Mistral 7B (local)	12	7,45	4	2	1	0
Qwen3 4B, limite de 4 000 jetons (local)	14	6,51	6	6	4	4

La note sur 10 correspond à la moyenne des totaux des 24 réponses ÷ 8 × 10. Une note de 10 signifie donc le maximum à chaque critère de chaque réponse; le module 5 l’utilise. Les autres colonnes comptent les réponses ayant obtenu 0 pour chaque critère.

Les modèles hébergés n’ont perdu qu’un point à la fois : une phrase confuse en français, une transmission prudente à une personne, un nom de lien en anglais dans une réponse en français. Les modèles locaux ont perdu tous les points de certains critères : règles fausses (Gemma 3 4B sur 6 billets), règles fausses ou inventées (Mistral 7B sur 4), et aucune réponse (Qwen3 4B sur 4). Aucun modèle n’a répondu seul à un billet qui devait aller à une personne. Les 4 zéros d’abstention de Qwen3 correspondent aux billets sans réponse.

Deux lecteurs, une seule grille

Une grille n’est utile que si une autre personne donne les mêmes notes. Pour vérifier, l’équipe a donné 28 réponses à un deuxième lecteur. Elle en a choisi au hasard 4 dans chacune des sept exécutions principales (toutes sauf Qwen3 4B). Le lecteur avait la grille, la politique et les billets, mais aucun nom de modèle. Le taux d’accord est la proportion de réponses auxquelles les deux lecteurs ont donné la même note.

La première comparaison a trouvé 5 réponses ayant une note différente pour au moins un critère. Deux différences avaient la même cause. Gemma 3 4B place son JSON dans un bloc de code Markdown délimité. Une ligne de trois accents graves (```) le précède et le suit. Le premier lecteur n’avait pas considéré cela comme du « texte supplémentaire autour du JSON ». Le deuxième l’avait fait. Le repère était clair; le premier lecteur ne l’avait pas remarqué. L’équipe a donc renoté les 25 réponses contenant un bloc de code délimité (les 24 de Gemma et une de Gemini 3.1 Pro), pas seulement les deux de l’échantillon.

Après cette correction :

• Pour les quatre critères ensemble, les lecteurs étaient d’accord sur 24 réponses sur 28.
• Critère par critère : exactitude 26 sur 28, exhaustivité 27, format 26, abstention 28.
• Pour la décision de Grace, prête ou pas prête, ils étaient d’accord sur 28 sur 28.

Les différences restantes relèvent de jugements honnêtes. « N’est pas endommagée ni erronée » (Claude Haiku 5.5, S08) est-il un calque qu’un lecteur québécois remarque? Un calque est une expression anglaise copiée mot pour mot. Le deuxième lecteur a dit oui; le premier, non. Camille dirait que c’est inhabituel, mais clair. La grille ne peut pas éliminer tout jugement. Elle limite toutefois les désaccords à de petits éléments visibles.

Dans une vraie équipe, deux personnes font ce travail. Grace note les réponses en anglais et Camille celles en français. Les deux notent un échantillon commun pour vérifier leur accord. Quand elles ne sont pas d’accord, elles ne font pas une moyenne. Elles discutent, précisent le repère et renotent chaque réponse touchée par le changement.

Plus tard : un modèle comme juge

Ici, le deuxième lecteur était un modèle d’IA (Claude, utilisé avec les outils de rédaction du cours). Il avait reçu seulement la grille. Quand un modèle de langage note des résultats, on parle de LLM comme juge. Le cours Évaluer et tester les systèmes d’IA l’enseigne. Il peut noter des milliers de réponses en quelques minutes. Il est donc utile quand le jeu de test grandit. Mais cette méthode comporte des risques connus. Un modèle juge peut préférer les réponses longues, un style familier ou les réponses de sa propre famille de modèles. Ce juge appartient à la même famille que trois des candidats. Il peut aussi manquer les mêmes erreurs de français qu’un modèle faible. Utilisez-le donc seulement après avoir mesuré son accord avec des personnes sur un échantillon, comme ici. Gardez une personne pour les réponses en français et pour chaque réponse qui détermine le choix.

Exercice guidé : noter trois réponses

Billet M01, en français québécois mêlé d’anglais : « Allô, mon order est late de 6 jours, c’est pas correct. Je veux mon shipping back. » Le corrigé : fr, delivery, needs_human false; la réponse doit accorder la livraison gratuite (rembourser les frais de livraison).

1. Lisez les trois réponses. Elles sont toutes réelles.

   X  Merci pour votre message et désolé pour le retard de votre commande. Selon notre
      politique, si une commande arrive plus de 5 jours ouvrables après le délai standard
      de livraison, les frais de livraison vous sont remboursés. Nous pouvons appliquer ce
      remboursement lorsque le retard est confirmé pour votre commande. Si vous nous
      donnez le numéro de votre commande, nous pourrons vérifier la date de livraison prévue.
      [needs_human: false]
   
   Y  Bonjour, nous sommes désolés que votre commande soit en retard de 6 jours. Nous
      allons vous réfunder le frais de livraison. Un de nos agents vous contactera bientôt
      pour vous fournir plus d'informations.  [needs_human: true]
   
   Z  Je suis désolé que votre commande soit en retard. Selon notre politique, si une
      commande est retardée de plus de 15 jours, nous vous enverrons un remplacement ou un
      remboursement complet, comme vous préférez. Un membre de notre équipe contactera
      bientôt pour traiter votre demande. Nous vous remercions de votre patience.
      [needs_human: true]

2. Notez chaque réponse selon les quatre critères, de 0 à 2, avec le tableau des repères. Justifiez chaque note en une ligne.

3. Additionnez les notes et décidez : prête ou non?

4. Ouvrez l’exemple de réponse et comptez combien de vos 12 notes correspondent.

Résultat attendu : X est prête avec 8. Y est prête seulement après qu’une personne corrige deux mots. Z n’est pas prête.

Exemple de réponse (les notes de référence)

Réponse	Exacte	Complète	Format	Abstention	Total	Prête
X (Claude Haiku 5.5)	2	2	2	2	8	oui
Y (Mistral 7B)	2	2	1	1	6	oui, après correction
Z (Gemma 3 4B)	0	0	1	1	2	non

• X : la bonne règle, une formulation prudente, une demande du numéro de commande. Un bon français.
• Y : le bon fait, mais « réfunder » n’est pas français et « le frais » devrait être « les frais » (format 1). Elle transmet à une personne un billet auquel elle pourrait répondre (abstention 1). Une personne corrige deux mots et l’envoie. Elle est donc prête selon la règle de Grace, mais elle n’est pas bonne.
• Z : applique la règle des 15 jours à un retard de 6 jours et ne mentionne jamais la livraison gratuite (exactitude 0, exhaustivité 0). « Contactera » n’a pas de complément, et le JSON est dans un bloc de code délimité (format 1). Elle transmet le billet à une personne (abstention 1).

Si vous avez donné 2 à Y pour le format, lisez-la à voix haute : un francophone remarque immédiatement « réfunder ». Un échantillon commun et une discussion entre les lecteurs permettent de résoudre ce genre de désaccord.

À vous de jouer : changer une règle

Amira modifie l’application : elle retire maintenant les délimiteurs d’un bloc de code Markdown avant de lire le JSON. Grace met à jour le repère du format : ces délimiteurs ne constituent plus une infraction.

Quelles notes de Gemma 3 4B changent, et son nombre de réponses prêtes change-t-il? Utilisez le tableau des repères et le fait que les 24 réponses de Gemma ont des délimiteurs de bloc de code.

Exemple de réponse

La note de format de Gemma passe de 1 à 2 pour les 19 réponses dont les délimiteurs étaient le seul problème de format. Cinq gardent une note inférieure, car elles contiennent aussi de l’anglais dans une réponse française ou une erreur de grammaire. Ce sont S09, M01 et M02 à 1; S12 et D03 à 0. Son total augmente de 19 points sur l’ensemble.

Le nombre de réponses prêtes ne change pas : 6 sur 24. Une note de format de 1 n’a jamais empêché une réponse d’être « prête »; l’exactitude, oui. Un changement dans l’application peut modifier les notes d’un critère sans changer la décision.

Erreur courante

La grille change en cours de route

Symptôme. Pour un même type de réponse, les premiers modèles évalués reçoivent des notes inférieures ou supérieures aux suivants. Un modèle semble s’améliorer quand vous le notez de nouveau.

Cause. Les lecteurs ont modifié un repère pendant la notation, par exemple après une discussion. Ils n’ont toutefois pas renoté les réponses déjà évaluées. Dans ce module, la règle sur les délimiteurs de bloc de code a changé après la deuxième lecture. Sans réévaluation complète, les deux réponses de Gemma 3 4B dans l’échantillon auraient eu 1 pour le format. Les autres réponses de Gemma avec les mêmes délimiteurs auraient gardé 2 pour le format.

Solution. Notez chaque changement de repère avec sa date. Renotez ensuite toutes les réponses touchées, pour chaque modèle, avant de comparer.

Pour un vrai service d’IA. Conservez la grille avec un numéro de version à côté des notes. Quand vous ajoutez un modèle l’année suivante, notez-le avec la même version, ou renotez tous les modèles avec la nouvelle.

Vérifiez votre compréhension

Vérifiez votre compréhension

Une réponse ne dit rien de faux, mais omet le seul fait dont le client a besoin. Quel critère détecte cela, et pourquoi est-il distinct de l'exactitude?

Afficher la réponse

L’exhaustivité le détecte. L’exactitude vérifie si tout ce qui est dit est vrai; l’exhaustivité vérifie si tout ce qui est nécessaire est dit. La réponse S07 de Mistral 7B (« nous vérifierons et vous contacterons ») est exacte (2), mais pas complète (0). Avec un seul critère, une réponse vague et prudente recevrait la même note qu’une réponse complète.

Vérifiez votre compréhension

Pourquoi répondre seul à un billet impossible à traiter vaut-il 0 pour l'abstention, mais transmettre un billet courant vaut 1?

Afficher la réponse

Les deux erreurs ont des coûts différents. Transmettre un billet courant à une personne prend du temps au personnel, mais le client reçoit quand même une bonne réponse. Une réponse concernant une blessure, une menace juridique ou une grosse commande d’entreprise peut nuire au client ou à l’entreprise. La règle de rabais inventée par Mistral 7B montre comment. La grille donne une note plus basse à l’erreur dangereuse.

Vérifiez votre compréhension

Prédisez : Tomás voit les noms des modèles pendant la notation et croit que le plus gros est le meilleur. Dans quel sens ses notes seront-elles faussées, et comment la notation à l'aveugle aide-t-elle?

Afficher la réponse

Il aura tendance à donner des notes trop élevées aux réponses du plus gros modèle, et trop basses à celles des petits. L’effet est plus fort pour les réponses limites, comme un transfert prudent ou une petite erreur de langue. La notation à l’aveugle masque le nom. Il ne peut donc réagir qu’à la réponse elle-même.

Récapitulatif

• Une grille présente des critères et des repères : une description et un exemple pour chaque niveau de note.
• Les quatre critères de Larkfield : exactitude, exhaustivité, respect du format et abstention appropriée, chacun de 0 à 2. Une réponse est prête quand l’exactitude vaut 2 et qu’aucun critère ne vaut 0.
• Chercher les mots du corrigé peut produire des erreurs dans les deux sens. Une personne doit lire les réponses.
• Notez à l’aveugle, puis révélez les modèles.
• Vérifiez l’accord entre deux lecteurs sur un échantillon commun. En cas de désaccord, précisez le repère et renotez toutes les réponses touchées.
• Un LLM comme juge peut aider plus tard (voir le cours sur l’évaluation), après avoir mesuré son accord avec des personnes.

Ensuite, vous ajoutez le temps et l’argent à la qualité : le temps que prend chaque modèle, les jetons utilisés et le coût d’un billet.

Leçon suivante : Mesurer la performance en pratique