Jugements d'un modèle de langage
- Leçon 7
- 35 min
- Module 2 : Mesurer la pertinence avant de changer quoi que ce soit
Où nous en sommes
Nos jugements viennent de personnes, dont le travail prend du temps et coûte cher. Un modèle de langage peut aussi produire des étiquettes. Dans cette leçon, nous comparons ses étiquettes enregistrées à celles des gens et décidons où le modèle suffit.
Leçon 7 sur 30 · Recherche et classement : trouver la meilleure correspondanceJugements d'un modèle de langage
1. Le problème de la recherche
2. Mesurer la pertinence avant de changer quoi que ce soit
3. La recherche lexicale : la référence de base à battre
4. Comprendre la requête
5. La recherche dense et la recherche hybride
6. Reclasser les premiers résultats
7. Les parties de la recherche que les gens voient
8. Exploiter la recherche en production
Ce que vous saurez faire
Décidez où les étiquettes d’un modèle de langage peuvent remplacer ou compléter celles des gens. Vous comparez les étiquettes enregistrées du modèle à celles des juges WANDS pour trouver les points d’accord. Ensuite, vous utilisez ses étiquettes pour combler les lacunes du jeu de test, et vous le signalez.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter lit les étiquettes enregistrées du modèle et construit le tableau de comparaison avec les juges WANDS. Vous calculez à quelle fréquence chacune de ses notes est correcte, puis complétez les résultats non jugés d’une recherche. Aucune clé de modèle n’est nécessaire : les réponses sont enregistrées. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les jugements, les consignes et le kappa de Cohen, vus dans Jugements de pertinence.
- Le NDCG@10 et la règle « un produit non jugé compte comme non pertinent », vus dans Mesures de classement.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé)
- Le projet
larkfield-searchavec les fichiers de ce module, provenant de l’exercice guidé de Jugements de pertinence. Aucune clé de modèle : les réponses du modèle sont enregistrées dans les fichiers d’exercice.
Une nouvelle assistante en magasin
Section intitulée « Une nouvelle assistante en magasin »Un magasin de meubles embauche une nouvelle assistante. Elle travaille vite, coûte peu et ne se fatigue jamais. Le premier jour, le gestionnaire ne la laisse pas servir les clients seule. Il lui donne 450 demandes de clients auxquelles le personnel expérimenté a déjà répondu, puis compare ses réponses aux leurs.
Là où elle est d’accord avec le personnel expérimenté, il la laisse travailler seule. Là où elle est souvent en désaccord, quelqu’un vérifie son travail. Le gestionnaire ne demande pas « Est-elle bonne? » Il demande « Est-elle assez bonne pour ce travail? »
Un modèle de langage qui produit des jugements de pertinence joue le rôle de cette nouvelle assistante. Cette leçon vérifie son travail.
Les lacunes dans les jugements
Section intitulée « Les lacunes dans les jugements »Dans Mesures de classement, vous avez vu la règle : un produit non jugé compte comme non pertinent. Les juges WANDS ont noté les produits qu’une ancienne recherche leur présentait. Une nouvelle recherche trouve d’autres produits, dont beaucoup n’ont jamais été notés.
Cela compte surtout pour les recherches que le cours construit plus tard. Recherche par le sens trouve des produits qui ne partagent aucun mot avec la requête. Beaucoup n’ont aucun jugement. Pour les requêtes de test anglaises et françaises de Larkfield :
| Recherche | Jugés parmi les 10 premiers |
|---|---|
| BM25 avec nettoyage du texte, correction orthographique et synonymes (Synonymes et réécriture de requête) | 71 % |
| Recherche par le sens (Recherche par le sens) | 63 % |
| Combinaison hybride des deux (Recherche hybride) | 72 % |
Un tiers des résultats de la recherche par le sens n’ont pas de note. Chacun compte pour 0. Si certains sont de bons produits, la recherche paraît moins bonne qu’elle ne l’est. Tomás dit : « Nous pénalisons la nouvelle recherche parce qu’elle trouve des produits que personne n’a regardés. »
Vous pourriez demander à des personnes de juger les produits manquants. C’est la méthode la plus fiable. Mais chaque jugement demande à une personne de lire la requête, le titre, la description et les attributs. À chaque nouvelle recherche et chaque nouvelle requête de test, les lacunes reviennent.
Un modèle comme juge
Section intitulée « Un modèle comme juge »L’idée : confier à un modèle de langage le même travail qu’à une personne. Un modèle de langage lit et écrit du texte. Vous lui donnez la requête, le titre, la classe et la description du produit, ainsi que les consignes de jugement. Vous demandez une seule note : 2, 1 ou 0. Un modèle utilisé ainsi est souvent appelé juge LLM (« LLM » signifie grand modèle de langage).
Pour ce cours, l’équipe a demandé 750 étiquettes à chat-small, un petit modèle conversationnel peu coûteux sur Azure. Les réponses ont été enregistrées une seule fois. Le projet et le carnet les relisent, donc aucune clé n’est nécessaire et chaque exécution donne les mêmes réponses. Les 750 étiquettes ont coûté environ 0,028 $ US au total, soit environ 4 cents par 1 000 étiquettes.
Les étiquettes forment deux groupes :
- 450 paires déjà notées par les juges WANDS : 150 exactes, 150 partielles et 150 non pertinentes. Elles servent à tester le modèle.
- 300 paires non jugées, parmi les 10 premiers résultats des recherches par le sens et hybride, pour les requêtes de test anglaises et françaises. Elles comblent les lacunes.
N’utilisez jamais le deuxième groupe avant d’avoir vérifié le modèle sur le premier.
Description textuelle du diagramme
Une rangée de cases. « Prenez des paires déjà jugées par des personnes, 150 par note » mène à « Le modèle note les mêmes paires (réponses enregistrées) », puis à « Comparez avec les gens : tableau, accord, kappa », puis à une décision : « Assez bon pour ce travail? ». La flèche « oui » mène à une case au contour épais : « Étiquetez les résultats non jugés; présentez la mesure à côté de celle fondée uniquement sur les gens ». La flèche « non » mène à une case au contour rouge : « Consultez des personnes, ou corrigez les consignes et refaites le test ».
Comparez le modèle aux gens
Section intitulée « Comparez le modèle aux gens »Voici les notes du modèle pour les 450 paires, comparées aux notes WANDS. Chaque ligne correspond à une note WANDS. Chaque colonne correspond à une note du modèle.
| Juges WANDS ↓ / modèle → | Exact | Partiel | Non pertinent | Paires |
|---|---|---|---|---|
| Exact | 95 | 50 | 5 | 150 |
| Partiel | 7 | 85 | 58 | 150 |
| Non pertinent | 0 | 21 | 129 | 150 |
| Total du modèle | 102 | 156 | 192 | 450 |
La diagonale (95, 85, 129) montre les accords : 309 paires sur 450, soit un accord de 68,7 %.
Passons au kappa, comme dans Jugements de pertinence. Chaque note WANDS représente un tiers des paires. Deux juges aléatoires ayant ces proportions seraient donc d’accord sur un tiers des paires, quelles que soient les proportions du modèle. L’accord dû au hasard est de 0,333.
kappa = (0,687 − 0,333) ÷ (1 − 0,333) = 0,354 ÷ 0,667 = 0,53
C’est un accord modéré. Dans la première leçon du module, une personne attentive et les juges WANDS avaient environ le même accord (kappa de 0,55 sur 17 paires). Le kappa pondéré, qui compte un désaccord d’un niveau pour moitié, est de 0,63.
Un juge strict
Section intitulée « Un juge strict »Regardez où se trouvent les désaccords. Sous la diagonale (à sa gauche), le modèle donne une note plus élevée que les gens : 7 + 0 + 21 = 28 paires. Au-dessus de la diagonale (à sa droite), il donne une note plus basse : 50 + 5 + 58 = 113 paires. Ce modèle est un juge strict. Quand il est en désaccord, il dit généralement « moins bon que ce que les gens ont dit ».
Les paires où le désaccord est le plus fort montrent pourquoi. Voici les cinq paires que WANDS a jugées exactes et le modèle, non pertinentes :
| Requête | Produit | WANDS | Modèle |
|---|---|---|---|
| leather chairs | aoting 26.5’’ wide polyester wingback chair | exact | non pertinent |
| leather chairs | murrieta upholstered dining chair | exact | non pertinent |
| papasan chair frame only | kylah 26’’ wide papasan chair | exact | non pertinent |
| marble | wiley frame 2 nesting tables | exact | non pertinent |
| benjiamino faux leather power lift chair | hortencia genuine leather conference chair | exact | non pertinent |
Le modèle lit chaque mot de la requête au sens littéral. Un fauteuil en polyester n’est pas en cuir. Un fauteuil papasan complet n’est pas « le cadre seulement ». Certaines de ces notes WANDS semblent trop élevées, et le modèle a peut-être raison. Mais les consignes disent qu’un détail manquant rend un produit partiel, pas non pertinent. Pour ces paires, les deux juges enfreignent les consignes dans des directions opposées.
À quelles notes pouvez-vous vous fier?
Section intitulée « À quelles notes pouvez-vous vous fier? »L’accord est un seul nombre pour tout le tableau. Pour décider, posez une question plus précise : quand le modèle donne une note, à quelle fréquence les gens sont-ils d’accord?
Description textuelle du graphique
Un graphique à trois colonnes. Quand le modèle dit exact, les juges WANDS sont d’accord sur 93 % des paires (95 sur 102). Quand il dit partiel : 54 % (85 sur 156). Quand il dit non pertinent : 67 % (129 sur 192).
La note « exact » du modèle est fiable : 95 sur 102. Ses notes « partiel » et « non pertinent » ne le sont pas : leur frontière concentre le plus de désaccords avec les gens. C’est la même frontière où la personne attentive de la première leçon était en désaccord avec WANDS.
Une mise en garde sur ces proportions. Les paires de test ont été choisies à raison de 150 par note. Les vrais résultats de recherche sont surtout partiels : 62 % de tous les jugements WANDS. Avec un mélange naturel, ces proportions changeraient.
Comblez les lacunes et signalez-le
Section intitulée « Comblez les lacunes et signalez-le »Utilisez maintenant les 300 paires non jugées. Le modèle en a jugé 22 exactes, 75 partielles et 203 non pertinentes. Ajoutez ces étiquettes aux jugements, puis mesurez les trois recherches sur les mêmes 180 requêtes de test anglaises et françaises.
Description textuelle du graphique
Six rangées de points. BM25 avec nettoyage du texte, correction orthographique et synonymes : 0,57 avec les jugements des gens seulement, 0,573 avec les étiquettes du modèle ajoutées. Recherche par le sens : 0,494, puis 0,514. Hybride : 0,585, puis 0,602.
La méthode de chaque recherche n’a pas changé. Seuls les jugements ont changé. La recherche ayant le plus de lacunes, celle par le sens, gagne le plus (+0,020). La recherche lexicale, qui a peu de lacunes, bouge à peine (+0,003). Le modèle a surtout jugé les produits manquants non pertinents, donc le changement est petit. C’est aussi un résultat utile : les lacunes ne cachaient pas beaucoup de bons produits.
Présentez les deux nombres et précisez les jugements utilisés pour chacun. Par exemple : « hybride 0,585 avec les jugements des gens, 0,602 avec les étiquettes du modèle pour les résultats non jugés ».
Où le modèle suffit, et où il ne suffit pas
Section intitulée « Où le modèle suffit, et où il ne suffit pas »Le modèle suffit pour certains travaux, mais pas pour d’autres.
Il suffit pour :
- Combler les lacunes, avec une mesure présentée à côté de celle fondée uniquement sur les gens. Ses étiquettes changent légèrement une mesure et montrent si les lacunes cachent de bons produits.
- Son étiquette « exact ». Quand il dit exact, les gens sont d’accord dans 93 % des cas. Une liste de produits jugés exacts par le modèle est une bonne première version.
- Le tri préliminaire. Il peut noter des milliers de nouvelles paires à faible coût. Les gens vérifient ensuite un échantillon, en commençant par les paires à la frontière entre partiel et non pertinent.
Il ne suffit pas pour :
- Remplacer les gens pour le jeu de test final. Un kappa de 0,53 indique un accord modéré, pas important. Le changement obtenu en comblant les lacunes (+0,017 pour la recherche hybride) égale certaines différences comparées dans ce cours. Un simple changement de juge pourrait créer un « gagnant ».
- La frontière entre partiel et non pertinent. Sa note partielle est correcte dans seulement 54 % des cas.
- Le français. Les 450 paires vérifiées portent toutes sur des requêtes anglaises. Parmi les 200 paires françaises non jugées, le modèle en a jugé 162 non pertinentes. Personne n’a comparé ces étiquettes à celles des gens, donc nous ne savons pas si elles sont correctes.
- Les résultats écrits par un modèle semblable. Dans Synonymes et réécriture de requête, un modèle de langage réécrit les requêtes. Un juge de la même famille peut préférer son propre style. Nous ne l’avons pas mesuré, donc traitez cela comme un risque.
Le cours sur l’évaluation approfondit les juges modèles : comment écrire les instructions et comparer un juge aux gens avant de lui faire confiance. Consultez Le jugement par modèle et Calibrer un juge modèle par rapport à des notes humaines dans Évaluer et tester les systèmes d’IA.
Exercice guidé : vérifier le juge modèle
Section intitulée « Exercice guidé : vérifier le juge modèle »-
Dans
larkfield-search, avec l’environnement virtuel actif, comparez les étiquettes enregistrées du modèle à celles des juges WANDS :Fenêtre de terminal search judge llmRecorded model labels and the WANDS judges on 450 results (A = WANDS, B = model): agreement 69%, Cohen's kappa 0.53, weighted kappa 0.63judge B exact partial irrelevantjudge Aexact 95 50 5partial 7 85 58irrelevant 0 21 129 -
Trouvez les cellules sous la diagonale (le modèle donne une note plus élevée) et au-dessus (une note plus basse). Additionnez chaque groupe. Vous obtenez 28 et 113.
-
Comparez cette ligne à votre propre ligne
search judge agreede Jugements de pertinence. Qui est le plus d’accord avec WANDS : vous ou le modèle?
Le tableau est identique à celui ci-dessus. L’accord s’affiche arrondi, à 69 %. La commande lit les étiquettes dans les fichiers d’exercice (recorded/llm_judgments.jsonl), donc aucune clé ni connexion réseau n’est nécessaire.
À vous de jouer : lisez les plus grands désaccords
Section intitulée « À vous de jouer : lisez les plus grands désaccords »Changez une chose : regardez les paires, pas les totaux. Prédisez : quand WANDS dit exact et le modèle dit non pertinent, qui a raison le plus souvent? Démarrez Python dans larkfield-search avec python, puis tapez :
import pandas as pdfrom larkfield_search import pathsd = paths.data_dir()j = pd.read_json(d / "recorded" / "llm_judgments.jsonl", lines=True)c = pd.read_csv(d / "catalogue.csv.gz", usecols=["product_id", "title"])far = j[(j.human_grade == 2) & (j.llm_grade == 0)].merge(c, on="product_id")print(far[["query", "title"]].to_string(index=False))Tapez exit() pour quitter Python. Ensuite, changez le filtre pour (j.human_grade == 1) & (j.llm_grade == 0) et lisez les 58 paires partielles jugées non pertinentes par le modèle.
La sortie et ce qu’il faut chercher
query title leather chairs aoting 26.5 '' wide polyester wingback chair leather chairs murrieta upholstered dining chair papasan chair frame only kylah 26 '' wide papasan chair marble wiley frame 2 nesting tablesbenjiamino faux leather power lift chair hortencia genuine leather conference chairCe sont les cinq paires du tableau ci-dessus. Selon les consignes de Larkfield, la plupart sont partielles : le bon type de produit, mais avec un détail incorrect. Aucun des deux juges n’a suivi la règle 2. Dans les 58 paires partielles, cherchez le même cas : un détail manquant que le modèle traite comme un « mauvais produit ». La première chose à tester est une phrase dans les instructions du modèle qui répète la règle 2.
Erreur courante
Une meilleure mesure avec un autre juge
Symptôme : Tomás annonce : « La recherche par le sens est passée de 0,494 à 0,514 cette semaine. » Omar est content. Amira demande ce qui a changé dans la recherche. Rien n’a changé.
Cause : Tomás a ajouté les étiquettes du modèle aux produits non jugés. Les jugements ont changé, pas la recherche. Les deux nombres ne sont pas comparables.
Solution : gardez les jugements fixes lorsque vous comparez deux recherches, et nommez-les dans chaque résultat : « gens seulement » ou « gens + étiquettes du modèle ». Quand vous changez les jugements, mesurez à nouveau chaque recherche avec les nouveaux jugements et présentez l’ancienne et la nouvelle mesure côte à côte.
Conséquence pour le travail de recherche : un jeu de test est un instrument de mesure. Si vous changez l’instrument et ce que vous mesurez en même temps, vous ne pouvez pas savoir lequel a changé la mesure.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Le modèle est d'accord avec les juges de WANDS sur 68,7 % des 450 paires, avec un kappa de 0,53. Omar demande : « Peut-on arrêter de payer des gens pour juger? » Que répondez-vous?
Afficher la réponse
Pas pour le jeu de test final. Un kappa de 0,53 indique un accord modéré. Le modèle est aussi strict. En cas de désaccord, il donne une note plus basse sur 113 paires et plus élevée sur seulement 28. Son étiquette « exact » est fiable : les gens sont d’accord dans 93 % des cas. Ses étiquettes « partiel » et « non pertinent » ne le sont pas. Personne ne l’a vérifié sur des requêtes en français. Utilisez-le pour combler les lacunes et faire un premier tri des nouvelles paires. Gardez les gens pour le jeu de test et pour vérifier un échantillon des étiquettes du modèle.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Quand les produits non jugés comptent comme non pertinents, la recherche par le sens obtient 0,494. Avec les étiquettes du modèle, elle obtient 0,514. BM25 avec nettoyage du texte passe seulement de 0,570 à 0,573. Pourquoi l'un change-t-il plus que l'autre?
Afficher la réponse
La recherche par le sens compte plus de produits non jugés parmi ses 10 premiers résultats. Seulement 63 % sont jugés, contre 71 % pour la recherche lexicale. Elle trouve des produits qui ne partagent aucun mot avec la requête. Les juges de WANDS n’ont jamais vu beaucoup de ces produits. Plus de lacunes signifie plus de produits dont les étiquettes du modèle peuvent faire passer le gain de zéro à une valeur positive.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Un juge modèle attribue « exact » à 102 paires, et les gens sont d'accord sur 95 d'entre elles. Il attribue « partiel » à 156 paires, et les gens sont d'accord sur 85. Calculez les deux proportions. À quelle étiquette feriez-vous confiance sans vérification?
Afficher la réponse
Exact : 95 ÷ 102 = 0,93. Partiel : 85 ÷ 156 = 0,54. Vous pouvez faire beaucoup plus confiance à son étiquette « exact » qu’à son étiquette « partiel ». Vérifiez quand même un échantillon : ces paires ont été choisies à raison de 150 par note. Sur des résultats réels, les proportions changeraient.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- De nouvelles recherches trouvent des produits que personne n’a jugés. Parmi les 10 premiers résultats de la recherche par le sens, seulement 63 % ont un jugement.
- Un juge LLM note les paires requête–produit à partir des consignes. Les 750 étiquettes du cours produites par chat-small sont enregistrées et coûtent environ 0,028 $ US.
- Vérifiez-le sur des paires jugées par des gens : accord de 68,7 %, kappa de 0,53, kappa pondéré de 0,63 sur 450 paires. Il est strict : sa note est plus basse que celle des gens sur 113 paires, plus élevée sur 28.
- Son étiquette « exact » est correcte dans 93 % des cas. Ses étiquettes « partiel » (54 %) et « non pertinent » (67 %) sont moins fiables. Il n’a pas été vérifié en français.
- Combler les lacunes fait passer la recherche hybride de 0,585 à 0,602 et la recherche par le sens de 0,494 à 0,514. Présentez les deux valeurs. Ne comparez jamais des valeurs calculées avec des jugements différents.
Vous avez maintenant des jugements, des mesures, un jeu de test que vous comprenez et une façon de combler ses lacunes. Dans le prochain module, vous commencez à modifier la recherche de Larkfield. Vous commencez par ce qui permet de trouver les mots rapidement : l’index inversé.
Leçon suivante : L'index inversé