Créer un jeu de test qui représente vos utilisateurs
- Leçon 6
- 40 min
- Module 2 : Mesurer la pertinence avant de changer quoi que ce soit
Où nous en sommes
Nous pouvons maintenant évaluer une liste classée. Un score est utile seulement si les requêtes ressemblent à celles que les gens saisissent vraiment. Dans cette leçon, nous créons un jeu de test avec des requêtes de tête, du milieu et de la traîne. Nous mesurons aussi le degré de certitude de chaque résultat.
Leçon 6 sur 30 · Recherche et classement : trouver la meilleure correspondanceCréer un jeu de test qui représente vos utilisateurs
1. Le problème de la recherche
2. Mesurer la pertinence avant de changer quoi que ce soit
3. La recherche lexicale : la référence de base à battre
4. Comprendre la requête
5. La recherche dense et la recherche hybride
6. Reclasser les premiers résultats
7. Les parties de la recherche que les gens voient
8. Exploiter la recherche en production
Ce que vous saurez faire
Faites ressembler les requêtes de test aux recherches réelles des gens, et indiquez le degré de certitude de chaque résultat. Vous comparez le jeu de test de Larkfield à son journal des requêtes et calculez un intervalle de confiance. Vous apprenez ensuite combien de requêtes il faut pour voir une différence réelle.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter compare les groupes du journal et du jeu de test, puis calcule un intervalle par bootstrap à la main. Il compare ensuite deux recherches enregistrées sur les mêmes requêtes et vous demande de trouver combien de requêtes il faut. Ses cellules de préparation téléchargent les données d’exercice, donc aucune configuration locale n’est nécessaire. Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le NDCG@10, le MRR et le rappel à 100 (recall@100), présentés dans Mesures de classement.
- Les requêtes de tête, du milieu et de la traîne dans le journal, présentées dans Une boutique où la recherche échoue.
- Les données d’entraînement, de validation et de test sont utiles, mais pas obligatoires. Le cours d’apprentissage automatique les explique dans Données d’entraînement, de validation et de test.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé)
- Le projet
larkfield-searchavec les fichiers de ce module, provenant de l’exercice guidé de Jugements de pertinence.
Une critique qui goûte seulement les desserts
Section intitulée « Une critique qui goûte seulement les desserts »Une critique gastronomique visite un restaurant. Elle goûte les trois desserts les plus populaires, et ils sont excellents. Elle écrit : « Un excellent restaurant. » Mais la plupart des clients viennent pour les plats principaux. Beaucoup commandent des plats qu’elle n’a jamais goûtés. Son évaluation est honnête, mais elle reste fausse pour la plupart des clients.
Un jeu de test est l’assiette de la critique. Si ses requêtes ne ressemblent pas à celles que les gens tapent, le score décrit une autre boutique. Un score tiré d’une petite assiette pose un deuxième problème : goûter un plat de plus pourrait changer l’évaluation.
Cette leçon aborde les deux problèmes. D’abord, ce qu’on met dans l’assiette. Ensuite, le degré de certitude du score.
Le jeu de test et le journal
Section intitulée « Le jeu de test et le journal »La partition de test de Larkfield contient 243 requêtes. Son journal des requêtes contient 20 000 recherches. Rappelez-vous que le journal est synthétique : notre code l’a créé à partir des requêtes WANDS avec un modèle de clics. Il permet quand même de comparer le jeu de test au trafic.
Rappelez-vous les groupes du journal. La tête contient les 40 textes les plus recherchés. Le milieu contient les 120 suivants. La traîne contient tous les autres textes : 1 743 textes différents, dont beaucoup recherchés une seule fois. Comparez la part de chaque groupe dans les recherches du journal et dans les requêtes de test.
Description textuelle du graphique
Trois panneaux, un par groupe, avec deux lignes chacun. Tête : 37 % des recherches du journal, 7 % des requêtes de test (17 requêtes). Milieu : 23 % des recherches, 17 % des requêtes de test (42). Traîne : 40 % des recherches, 76 % des requêtes de test (184).
Le jeu de test n’est pas mauvais, mais il répond à une question précise. Une moyenne sur les requêtes de test donne le même poids à chaque requête. Elle mesure donc « la qualité de la recherche pour une requête distincte typique ». La plupart des requêtes distinctes sont dans la traîne. Elle ne mesure pas « la qualité de la recherche pour une recherche typique ». Une requête de tête comme « bee » est recherchée des centaines de fois, mais occupe une seule ligne du jeu de test.
Vous pouvez aussi répondre à la deuxième question. Pondérez le score de chaque groupe par sa part des recherches. Pour BM25 : 0,371 × 0,638 + 0,227 × 0,623 + 0,402 × 0,368 = 0,526. La moyenne simple des requêtes de test est 0,429. Les deux nombres sont justes. Ils répondent à des questions différentes, alors précisez lequel vous présentez.
Ce que contient le jeu de test de Larkfield
Section intitulée « Ce que contient le jeu de test de Larkfield »Un bon jeu de test se construit de façon délibérée. Il part de requêtes réelles et ajoute celles qui comptent, même quand elles sont rares. Les 243 requêtes de test de Larkfield proviennent de cinq sources :
| Source | Requêtes de test | Pourquoi l’inclure |
|---|---|---|
| Requêtes WANDS en anglais | 120 | Requêtes réelles de clients avec des jugements réels : la base |
| Versions françaises (traduction automatique) | 60 | 12 % des recherches du journal sont en français, et 94 % ne donnent aucun résultat aujourd’hui |
| Fautes d’orthographe (insérées) | 40 | Les gens font des fautes de frappe. « ligth bulb » est la deuxième recherche sans résultat la plus fréquente du journal |
| Codes de produit (insérés) | 20 | Certaines personnes collent un code de produit; chacun correspond à un seul produit exact |
| Requêtes larges (insérées) | 3 | « sofa », « couch » et « canapé », évaluées par une règle sur la classe de produit |
Les fautes d’orthographe, les codes et les requêtes larges sont des problèmes d’exercice que nous avons créés délibérément. Un modèle de langage a rédigé les requêtes françaises à partir des requêtes anglaises. Nous avons ajouté chaque type parce que le journal montre qu’il échoue aujourd’hui : 30,9 % des recherches ne donnent aucun résultat. Un jeu de test composé seulement de requêtes populaires ne verrait pas ces échecs.
Gardez certaines requêtes à l’écart de votre travail
Section intitulée « Gardez certaines requêtes à l’écart de votre travail »Les requêtes publiques de Larkfield sont réparties en trois partitions : entraînement (260), validation (121) et test (243). Vous utilisez les requêtes d’entraînement pour apprendre, celles de validation pour choisir les réglages, et celles de test pour présenter le résultat. Le cours d’apprentissage automatique explique pourquoi dans Données d’entraînement, de validation et de test.
Il existe un autre jeu. Le cours garde 80 requêtes réservées (60 requêtes WANDS en anglais et 20 versions françaises), absentes des fichiers d’exercice. Chaque fois que vous regardez le score de test et changez quelque chose, le jeu de test influence un peu vos décisions. Après beaucoup de changements, un bon score de test peut venir en partie du hasard. Les requêtes réservées servent une seule fois, à la fin, pour vérifier que le résultat est réel.
Quel est le degré de certitude d’un nombre?
Section intitulée « Quel est le degré de certitude d’un nombre? »Le NDCG@10 de BM25 sur les requêtes de test est de 0,429. Choisissez d’autres requêtes de test, et le nombre serait un peu différent. Différent à quel point? Un intervalle de confiance répond à cette question. C’est un intervalle qui contient probablement le score obtenu sur beaucoup plus de requêtes du même type. Le cours utilise un intervalle à 95 %.
Le cours le calcule avec le bootstrap. L’idée : vous ne pouvez pas obtenir de nouvelles requêtes. Vous créez donc beaucoup de nouveaux jeux de test à partir des requêtes disponibles.
Un petit exemple : cinq requêtes
Section intitulée « Un petit exemple : cinq requêtes »Voici cinq requêtes de test et le NDCG@10 de BM25 pour chacune :
| Requête | NDCG@10 |
|---|---|
| A : « dinosaur » | 1,000 |
| B : « home sweet home sign » | 0,913 |
| C : « large spoon and fork wall decor » | 0,905 |
| D : « beds that have leds » | 0,110 |
| E : « blk 18x18 seat cushions » | 0,485 |
Leur moyenne est (1,000 + 0,913 + 0,905 + 0,110 + 0,485) ÷ 5 = 0,683.
Tirez maintenant cinq requêtes au hasard, avec remise. « Avec remise » signifie que vous remettez chaque requête après l’avoir tirée. La même requête peut donc apparaître deux fois. Trois exemples de tirages :
| Tirage | Requêtes tirées | Moyenne |
|---|---|---|
| 1 | A, A, C, D, E | (1,000 + 1,000 + 0,905 + 0,110 + 0,485) ÷ 5 = 0,700 |
| 2 | B, D, D, E, C | (0,913 + 0,110 + 0,110 + 0,485 + 0,905) ÷ 5 = 0,505 |
| 3 | A, B, C, B, A | (1,000 + 0,913 + 0,905 + 0,913 + 1,000) ÷ 5 = 0,946 |
Les moyennes passent de 0,505 à 0,946. Avec cinq requêtes, une mauvaise requête comme D change tout. Répétez le tirage 2 000 fois et triez les 2 000 moyennes. Retirez les 2,5 % les plus basses et les 2,5 % les plus hautes. Les 95 % du milieu forment l’intervalle.
Description textuelle du diagramme
Une rangée de boîtes. « 243 requêtes de test, un NDCG@10 chacune » mène à « Tirez 243 requêtes au hasard, avec remise », puis à « Moyenne de ce tirage ». Une flèche nommée « répéter 2 000 fois » retourne à la boîte du tirage. Une flèche part de la boîte de la moyenne vers « 2 000 moyennes : triez-les ». Elle mène ensuite à une boîte au contour épais : « 95 % au centre = l’intervalle. BM25 : de 0,381 à 0,476 ».
Sur toutes les requêtes de test (241 des 243 ont un NDCG), l’intervalle de BM25 va de 0,381 à 0,476. Il est beaucoup plus étroit que dans l’exemple à cinq requêtes, car une requête pèse moins parmi 243.
Les petites tranches ont des intervalles larges
Section intitulée « Les petites tranches ont des intervalles larges »L’intervalle dépend du nombre de requêtes. Regardez le score de BM25 dans chaque groupe :
Description textuelle du graphique
Quatre lignes, chacune avec un point et une barre d’intervalle. Tête (17 requêtes) : 0,638 (de 0,45 à 0,816). Milieu (42) : 0,623 (de 0,525 à 0,715). Traîne (184) : 0,368 (de 0,315 à 0,42). Toutes les requêtes de test : 0,429 (de 0,381 à 0,476).
L’intervalle de la tête va de 0,450 à 0,816. Avec 17 requêtes, vous savez peu de choses sur la tête. Avant qu’Omar décide quoi que ce soit sur les recherches les plus populaires, Priya ajouterait des requêtes de tête au jeu de test.
Une requête parmi beaucoup d’autres
Section intitulée « Une requête parmi beaucoup d’autres »L’explorateur de la dernière leçon montre maintenant aussi comment une seule requête fait varier une moyenne. La requête sur l’ensemble de tapis est l’une des 121 requêtes de validation.
Explorer
Une requête dans une moyenne de 121
Prédisez d’abord : Remettez l'ensemble de tapis de bain non pertinent au rang 1. Le score de cette requête baisse de plus de 0,1. De combien baisse la moyenne des 121 requêtes?
Faites glisser une ligne, ou utilisez ses flèches.
- DCG@10
- 9,963
- DCG idéal@10
- 13,631
- NDCG@10
- 0,731
Le NDCG@10 vaut 0,731 : la liste obtient 9,963 des 13,631 points du top 10 idéal (DCG@10 ÷ DCG@10 idéal). Précision@10 : 6 résultats exacts sur 10. Effet sur la moyenne de 121 requêtes : 0,000.
| Rang | Produit | Note | Gain | Atténuation | Part du DCG |
|---|---|---|---|---|---|
| 1 | ellington circle 3 piece area rug setArea Rugs | 2 exact | 3 | 1,000 | 3,000 |
| 2 | cedric oriental ebony area rug setArea Rugs | 1 partiel | 1 | 1,585 | 0,631 |
| 3 | mokvist 3 piece floral border red area rug setArea Rugs | 2 exact | 3 | 2,000 | 1,500 |
| 4 | wilkesboro 3 piece floral border blue area rug setArea Rugs | 2 exact | 3 | 2,322 | 1,292 |
| 5 | braylei simple elegance 3 piece solid bath setBath Rugs & Mats | 0 non pertinent | 0 | 2,585 | 0,000 |
| 6 | fontenay 3 piece braided brown rug setArea Rugs | 2 exact | 3 | 2,807 | 1,069 |
| 7 | kamberk floral teal area rugArea Rugs | 1 partiel | 1 | 3,000 | 0,333 |
| 8 | rhodes stripped checker 3 piece hand-knotted beige area rug setArea Rugs | 2 exact | 3 | 3,170 | 0,946 |
| 9 | audrey 3 piece geometric brown/moss area rug setArea Rugs | 2 exact | 3 | 3,322 | 0,903 |
| 10 | shawnna 3 piece bath rug setBath Rugs & Mats | 1 partiel | 1 | 3,459 | 0,289 |
Description textuelle de l’explorateur
La même liste des dix résultats de BM25 pour « 3 piece rug set with runners », avec les notes, les gains, les atténuations et les parts du DCG. La ligne d’état montre aussi la variation de la moyenne des 121 requêtes. Déplacer l’ensemble de tapis de bain du rang 5 au rang 1 fait passer le NDCG@10 de 0,731 à 0,615. C’est une variation de −0,116. La moyenne des 121 requêtes varie d’environ −0,001.
Ce qui se passe
Le score de la requête baisse de 0,116. La moyenne des 121 requêtes baisse de 0,116 ÷ 121, soit environ 0,001. Un grand changement sur une requête est presque invisible dans la moyenne. Un changement qui aide beaucoup quelques requêtes, ou un peu beaucoup de requêtes, exige donc beaucoup de requêtes de test pour apparaître clairement.
B est-il vraiment meilleur? Comparez sur les mêmes requêtes
Section intitulée « B est-il vraiment meilleur? Comparez sur les mêmes requêtes »Comparez maintenant deux recherches. Vous pourriez calculer les deux intervalles et vérifier s’ils se chevauchent. Il existe une meilleure méthode. Les deux recherches utilisent les mêmes requêtes, alors comparez-les requête par requête. Pour chaque requête, calculez le score de B moins celui de A. Calculez ensuite la moyenne de ces différences et son intervalle par bootstrap. C’est une comparaison appariée.
L’appariement élimine la différence entre les requêtes faciles et difficiles, car chaque requête est comparée à elle-même. Si l’intervalle de la différence ne contient pas 0, le jeu de test montre une différence claire. La commande search compare du projet fait ce calcul.
Combien de requêtes vous faut-il?
Section intitulée « Combien de requêtes vous faut-il? »Priya pose une question de planification : « Si un changement aide vraiment, combien de requêtes de test me faut-il pour le voir? » Elle l’a vérifié sur des changements réels des modules suivants. Elle a tiré au hasard de plus petits jeux de test, 200 fois pour chaque taille. Elle a compté la fréquence à laquelle l’intervalle apparié montrait une différence claire.
- Un changement de +0,077
- Un changement de +0,037
Description textuelle du graphique
Un graphique linéaire avec le nombre de requêtes de test (25, 50, 100, 200) sur l’axe horizontal. L’axe vertical montre la part des tirages où le changement est clair. Un changement de +0,077 : 25 requêtes : 63 %, 50 requêtes : 88 %, 100 requêtes : 100 %, 200 requêtes : 100 %. Un changement de +0,037 : 25 requêtes : 26 %, 50 requêtes : 47 %, 100 requêtes : 76 %, 200 requêtes : 100 %.
Le plus grand changement, +0,077, vient de Normaliser le texte. Il est clair dans 63 % des tirages de 25 requêtes et dans tous les tirages de 100. Le plus petit changement, +0,037, vient de la correction orthographique et des synonymes. Il est clair dans seulement 26 % des tirages de 25 requêtes. Avec 25 requêtes, vous manqueriez cette amélioration réelle trois fois sur quatre. Il faut environ 200 requêtes pour la voir chaque fois.
Choisissez donc la taille du jeu de test selon le plus petit changement qui compte pour vous. Les petits changements exigent beaucoup de requêtes. Le cours d’évaluation aborde les intervalles et les tranches pour d’autres systèmes d’IA dans Incertitude et sous-groupes.
Exercice guidé : groupes, intervalles et comparaison appariée
Section intitulée « Exercice guidé : groupes, intervalles et comparaison appariée »-
Mesurez BM25 par groupe :
Fenêtre de terminal search eval --run bm25 --by bandAprès les deux premières lignes (comme dans la dernière leçon) :
band queries ndcg@10 low high zero-result ratehead 17 0.638 0.450 0.816 0.176tail 184 0.368 0.315 0.420 0.141torso 42 0.623 0.525 0.715 0.048low(borne inférieure) ethigh(borne supérieure) délimitent l’intervalle à 95 % de chaque groupe. -
Comparez la recherche actuelle et BM25 sur les mêmes requêtes, par groupe :
Fenêtre de terminal search compare current bm25 --by bandbm25 minus current on 241 test queries: ndcg@10 +0.234 (95% interval +0.197 to +0.270); better on 138, worse on 9, the same on 94band queries current bm25 difference low high worsehead 16 0.652 0.638 -0.015 -0.036 0.000 2tail 184 0.103 0.368 0.265 0.220 0.312 4torso 41 0.433 0.623 0.190 0.100 0.289 3
Lisez la première ligne de l’étape 2. BM25 moins la recherche actuelle donne +0,234. L’intervalle (de +0,197 à +0,270) est loin de 0 : une différence claire. Le décompte ajoute des détails : BM25 est meilleur sur 138 requêtes, moins bon sur 9 et identique sur 94. La comparaison utilise 241 requêtes, car les deux requêtes sans bon produit n’ont pas de NDCG.
Lisez ensuite les groupes. Sur la traîne, la différence est grande et claire. Sur la tête, BM25 est un peu moins bon (−0,015), et l’intervalle se termine à 0,000. La comparaison contient seulement 16 requêtes de tête. Le jeu de test ne peut pas dire si cette petite baisse est réelle. Notez que la tête contient ici 16 requêtes, contre 17 à l’étape 1 : « printers » est une requête de tête sans NDCG.
À vous de jouer : comparer par source
Section intitulée « À vous de jouer : comparer par source »Changez une chose : la tranche. Prédisez quelle source gagne le plus avec BM25, et laquelle ne gagne rien. Exécutez ensuite :
search compare current bm25 --by sourceLa sortie et ce qu’elle montre
source queries current bm25 difference low high worse code 20 0.000 0.000 0.000 0.000 0.000 0 planted 3 0.451 0.451 0.000 0.000 0.000 0translated 59 0.012 0.177 0.165 0.103 0.236 0 typo 40 0.000 0.357 0.357 0.267 0.448 0 wands 119 0.378 0.650 0.272 0.215 0.334 9Les fautes d’orthographe gagnent le plus (+0,357) : la recherche actuelle exige chaque mot, donc un mot incorrect vide la page. Les codes de produit ne gagnent rien : les deux recherches obtiennent 0. BM25 ne sait pas qu’un code est particulier. Les 9 requêtes où BM25 est moins bon sont toutes des requêtes WANDS en anglais. Les trois requêtes larges insérées ne changent pas; avec seulement 3 requêtes, cette tranche ne dit presque rien.
Erreur courante
Un gagnant qui n'était que du bruit
Symptôme : Priya essaie 96 réglages de pondération des champs sur les 121 requêtes de validation et garde le meilleur. Son avance est de seulement 0,006. Sur les requêtes de test, il perd contre les pondérations qu’elle a choisies à la main. Vous retrouverez ce cas, avec tous ses nombres, dans BM25.
Cause : une différence de 0,006 sur 121 requêtes est beaucoup plus petite que le bruit. Parmi 96 réglages, l’un a toujours une petite avance par hasard. Choisir le meilleur de nombreux réglages sur les mêmes requêtes retient ce hasard.
Solution : comparez les meilleurs réglages avec un intervalle apparié avant de faire confiance à un gagnant. Traitez une différence à l’intérieur du bruit comme une égalité, et préférez le réglage le plus simple. Vérifiez le choix final une seule fois sur des requêtes qui n’ont pas servi à le choisir.
Conséquence pour le travail en recherche : chaque équipe de recherche essaie beaucoup de changements. Sans intervalles, elle livrera des changements qui semblaient seulement bons. Si elle vérifie sans cesse le même jeu de test, elle ajustera aussi peu à peu la recherche à ce jeu. Les requêtes réservées protègent contre ce problème.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Les requêtes de tête de Larkfield représentent 37,1 % des recherches, mais seulement 7 % des requêtes de test. Que mesure la moyenne simple des requêtes de test? Comment obtenir un nombre pour une recherche typique?
Afficher la réponse
La moyenne simple donne le même poids à chaque requête de test. Elle mesure donc la recherche pour une requête distincte typique. La plupart de ces requêtes appartiennent à la traîne. Pour une recherche typique, pondérez le score de chaque groupe par sa part des recherches. Pour BM25 : 0,371 × 0,638 + 0,227 × 0,623 + 0,402 × 0,368 = 0,526, contre une moyenne simple de 0,429. Précisez le nombre que vous présentez.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Trois requêtes ont un NDCG@10 de 0,9, 0,3 et 0,6. Un tirage bootstrap sélectionne la première, encore la première, puis la troisième. Quelle est la moyenne de ce tirage? Pourquoi une requête peut-elle apparaître deux fois?
Afficher la réponse
(0,9 + 0,9 + 0,6) ÷ 3 = 0,8. Le bootstrap effectue des tirages avec remise : après chaque sélection, on remet la requête dans l’ensemble. On peut donc la sélectionner de nouveau. Chaque tirage crée ainsi un nouveau jeu de test de même taille à partir des mêmes requêtes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Un changement obtient +0,02 au NDCG@10 sur 30 requêtes de test, avec un intervalle apparié à 95 % de −0,03 à +0,07. Omar demande : « Est-ce mieux? » Que répondez-vous? Que feriez-vous ensuite?
Afficher la réponse
Le jeu de test ne permet pas de le dire. L’intervalle contient 0. Le changement pourrait donc améliorer les résultats, ne rien changer ou les dégrader un peu. Avec 30 requêtes, même un petit changement réel est souvent difficile à distinguer. Dans les données de Larkfield, un changement de +0,037 était clair dans seulement un quart environ des tirages de 25 requêtes. Ensuite : testez-le sur davantage de requêtes de test, environ 200 pour un changement aussi petit. Examinez aussi les tranches importantes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Comparez le jeu de test au journal des requêtes. Les requêtes de tête de Larkfield représentent 37,1 % des recherches, mais 7 % des requêtes de test. Une moyenne simple représente surtout la traîne. BM25 : 0,429 avec la moyenne simple, 0,526 avec la pondération par les recherches.
- Ajoutez les requêtes qui échouent aujourd’hui, même si elles sont rares : français, fautes d’orthographe, codes de produit. Gardez les requêtes réservées à l’écart de votre travail et utilisez-les une seule fois.
- Un intervalle de confiance indique le degré de certitude d’un nombre. Le bootstrap tire de nouveau les requêtes avec remise 2 000 fois et garde les 95 % centraux des moyennes.
- Comparez deux recherches de façon appariée, requête par requête. BM25 moins la recherche actuelle : +0,234 (+0,197 à +0,270) sur les requêtes de test de Larkfield.
- Les petits changements exigent beaucoup de requêtes. Un changement de +0,037 était clair dans 26 % des tirages de 25 requêtes et dans tous les tirages de 200.
Le jeu de test a un autre point faible : les produits que personne n’a jugés. Ensuite, vous demandez à un modèle de langage de produire les étiquettes manquantes. Vous comparez ses jugements à ceux de personnes.
Leçon suivante : Jugements d'un modèle de langage