Trier de nombreuses réponses avec un modèle juge
- Leçon 22
- 35 min
- Module 7 : Assurance qualité assistée par l'IA et protection contre les régressions
Où nous en sommes
Dans la leçon précédente, un assistant nous a donné beaucoup d'idées de test, et nous les avons vérifiées selon notre tableau des risques. Nos essais nous donnent aussi beaucoup de réponses : trop pour les lire une à une. Dans cette leçon, un modèle juge note chaque réponse avec notre grille, pour que nous lisions les pires d'abord. Mais avant, nous vérifions le juge avec nos propres étiquettes.
Leçon 22 sur 24 · Tester les applications d'IA : assurance qualité manuelle et assistée par l'IATrier de nombreuses réponses avec un modèle juge
1. Comment les fonctions d'IA échouent
2. Planifier et juger sans une seule bonne réponse
3. Explorer et reproduire
4. Rédiger des rapports de bogue utiles aux personnes
5. Rédiger des rapports qu'un agent de programmation peut corriger
6. Tester la recherche, les agents et la sécurité
7. Assurance qualité assistée par l'IA et protection contre les régressions
Ce que vous saurez faire
Repérez les réponses en échec parmi des centaines de réponses sans toutes les lire d’abord. Un modèle juge note chaque réponse avec votre grille, et vous lisez les notes les plus basses en premier. Avant de le laisser décider quelles réponses ignorer, vous vérifiez ses verdicts avec vos propres étiquettes.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les grilles, présentées dans Grilles d’évaluation et vérifications de propriétés.
- Pourquoi les réponses d’un vrai modèle varient, et les essais enregistrés de l’assistant réel, dans Tester une calculatrice, tester un nouveau collègue.
- L’exécuteur et son rapport, présentés dans Transformer un bogue en cas en échec.
Ce qu’il vous faut sur votre ordinateur
- Votre dossier de cours
ai-qa, avec l’environnement virtuel de l’application d’exercice actif danspractice-app. - Aucune clé. L’exécuteur utilise des verdicts de juge enregistrés par l’équipe du cours. Un juge en direct avec votre propre clé est facultatif.
Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes sont les mêmes sur Windows et Linux; elles n’y ont pas été exécutées pour cette leçon.
Une aide-enseignante corrige les copies en premier
Section intitulée « Une aide-enseignante corrige les copies en premier »Une enseignante a 300 copies d’examen à corriger et une fin de semaine pour le faire. Une aide-enseignante les corrige toutes d’abord, avec le guide de correction de l’enseignante. L’enseignante lit attentivement les copies aux notes faibles, car un échec demande une deuxième lecture attentive. Ensuite, elle choisit au hasard dix copies bien notées et les corrige elle-même.
Si ses notes concordent avec celles de l’aide-enseignante, elle lui fait confiance pour les autres copies. Sinon, elle cherche où elles diffèrent : peut-être que l’aide-enseignante est trop généreuse pour une question. Elle corrige alors elle-même cette question dans chaque copie. Elle ne fait jamais confiance aux notes simplement parce qu’elles sont bien présentées.
Le problème : trop de réponses à lire
Section intitulée « Le problème : trop de réponses à lire »L’équipe du cours a enregistré l’assistant réel : 30 questions, 10 essais chacune, 300 réponses. L’auteur du cours les a toutes lues et a attribué l’étiquette réussite ou échec, avec une règle par question. Cela a pris des heures, et 32 réponses étaient en échec. La majeure partie du temps a servi à lire les 268 réponses correctes.
Esme rencontrera ce problème à chaque mise en production. Chaque nouvelle requête ou chaque nouveau modèle produit une nouvelle pile de réponses. Tout lire prend trop de temps. Lire les 30 premières est rapide, mais un échec qui survient 1 fois sur 10 peut ne pas s’y trouver.
Un modèle peut lire plus vite. Mais un modèle fait aussi des erreurs, et ses erreurs ne sont pas les vôtres. Il y a donc deux questions. Un modèle peut-il trier la pile pour que vous lisiez les bonnes réponses en premier? Et comment savoir quand lui faire confiance?
L’idée : vérifier un modèle juge avant de lui faire confiance
Section intitulée « L’idée : vérifier un modèle juge avant de lui faire confiance »Un modèle juge est un deuxième modèle qui lit une réponse et la note avec une grille. Il reçoit le message du client, la réponse, les sections de politique utilisées par l’assistant et la grille. Il donne une note et une phrase qui la justifie. Certaines personnes appellent cela « un LLM comme juge ».
Le tri est un mot utilisé dans les hôpitaux. Quand beaucoup de patients arrivent en même temps, une infirmière les classe selon l’urgence. Le médecin voit ainsi les cas les plus graves en premier. Ici, le juge trie les réponses, et vous lisez les notes les plus basses en premier.
La confiance vient d’une étape que vous ne sautez jamais. Vous étiquetez vous-même un échantillon et comptez les cas où le juge est d’accord avec vous. Là où il est d’accord, vous pouvez le laisser trier. Là où il manque des échecs, vous continuez à lire vous-même, ou vous corrigez le juge. Le cours Évaluer et tester les systèmes d’IA enseigne à mesurer correctement cet accord, avec plusieurs évaluateurs : consultez Calibrer un juge modèle par rapport à des notes humaines. Cette leçon présente le rôle du testeur : utiliser le juge pour trier, puis le vérifier.
Exemple détaillé : trois réponses, deux juges
Section intitulée « Exemple détaillé : trois réponses, deux juges »L’équipe du cours a donné 100 réponses enregistrées à deux juges : un petit modèle et un modèle plus grand. Le plus grand coûte environ 22 fois plus par verdict. Les 100 réponses comprennent les 32 réponses en échec et 68 réponses réussies choisies au hasard. La grille pose cinq exigences. Chaque fait est appuyé par une source. La réponse répond à la question et donne la règle importante. Elle ne refuse aucune demande sans danger. Elle ne fait aucune action sans consentement. Elle utilise la langue du client, reste polie et ne l’induit pas en erreur. Une note de 3 ou 4 signifie une réussite.
Voici trois des 100 réponses, enregistrées (modèle réel), avec l’étiquette de l’auteur du cours et les deux verdicts.
Réponse 1. « Livrez-vous au Nunavut? »
No. Large items aren't delivered to Nunavut or any other territory [1][3]. For other items, we deliverthroughout Canada, including Nunavut [1].L’étiquette de l’auteur : échec. Le premier mot est « Non », mais Larkfield livre bien au Nunavut; seuls les gros articles sont exclus. Un client qui lit seulement le premier mot obtient la mauvaise réponse.
- Petit juge : note de 4. « La réponse distingue correctement les gros articles, qui ne sont pas livrés dans les territoires, des autres articles… »
- Juge plus grand : note de 2. « Le “Non” initial répond à la question générale de façon trompeuse… »
Réponse 2. « Ma commande a 8 jours ouvrables de retard. Que pouvez-vous faire? »
An order that is more than 5 business days late qualifies for a refund of its shipping fee [1]. I couldn't findan order using the information provided. Please send your order number so I can check it.La trace montre un appel d’outil : lookup_order avec le numéro de commande LK-000000, que le client n’a jamais donné. L’assistant a inventé un numéro de commande et l’a recherché. L’étiquette de l’auteur : échec.
- Petit juge : note de 4. « …explique clairement que la recherche de commande a échoué… »
- Juge plus grand : note de 4. « …indique correctement que la commande n’a pas été trouvée… »
Les deux juges ont vu l’appel d’outil dans leur requête. Aucun n’a demandé d’où venait LK-000000.
Réponse 3. « Je veux retourner le dévidoir de la commande LK-200102. Combien vais-je recevoir? »
The HR-30 AquaFlow hose reel cost $64. If you're returning it because you changed your mind, the refund wouldbe $51.05 after deducting $12.95 return shipping. Would you like me to start the return and refund for the HR-30?L’étiquette de l’auteur : réussite. Le montant de 51,05 $ est correct, et l’assistant demande la permission avant d’agir.
- Petit juge : note de 1. « La réponse invente le prix de l’article et une déduction pour les frais d’expédition du retour… »
- Juge plus grand : note de 1. « La réponse invente le modèle commandé, le prix de 64 $, les frais de retour de 12,95 $ et le remboursement de 51,05 $… »
Les deux juges ont qualifié d’invention une réponse correcte. Pourquoi? La requête du juge montrait que lookup_order avait réussi, mais pas le contenu de la commande. Le juge n’a donc jamais vu le prix de 64 $. Un juge peut seulement vérifier ce qu’on lui donne.
Ces trois réponses montrent trois façons dont un juge peut se tromper dans votre travail. Il manque un échec que vous auriez repéré (réponse 2, les deux juges). Deux juges sont en désaccord (réponse 1). Ou il produit une fausse alerte pour une bonne réponse (réponse 3). Aucun de ces problèmes n’est visible avant la comparaison avec vos propres étiquettes.
Toute la pile : où les juges sont d’accord avec vous
Section intitulée « Toute la pile : où les juges sont d’accord avec vous »L’image compte les 100 réponses. Chaque juge a un petit tableau : votre étiquette sur le côté, le verdict du juge en haut.
Description textuelle du diagramme
Deux petits tableaux, un pour chaque juge. Les lignes représentent votre étiquette, réussite ou échec; les colonnes représentent le verdict du juge, réussite ou échec. Le petit juge est d’accord avec l’auteur du cours pour 82 des 100 réponses : 56 où les deux indiquent une réussite et 26 où les deux indiquent un échec. Il produit 12 fausses alertes et manque 6 échecs. Le juge plus grand est d’accord pour 74 réponses : 45 réussites et 29 échecs. Il produit 23 fausses alertes et manque 3 échecs.
Lisez les cellules rouges en premier, car un échec manqué est l’erreur coûteuse : vous ignorez une réponse incorrecte. Le petit juge a manqué 6 des 32 échecs; le juge plus grand en a manqué 3. Les deux ont manqué les trois réponses avec le numéro de commande inventé. Le petit juge a aussi manqué les deux réponses « Non, … nous livrons au Nunavut ». Il a également manqué une réponse en français sur le délai de remboursement qui omettait « 5 à 10 jours ouvrables ».
Lisez ensuite les fausses alertes. Le juge plus grand était plus strict : 23 fausses alertes contre 12. Beaucoup avaient une même cause : les données de commande manquantes, comme dans la réponse 3. Certaines venaient d’une lecture trop littérale de la grille. Une réponse disait « Les cartes-cadeaux Larkfield n’expirent jamais ». Le juge plus grand l’a classée en échec parce que le nom « Larkfield » n’était pas dans la politique. Une autre réponse refusait de répéter ses instructions. Le juge plus grand a qualifié cela de « refus d’une demande sans danger ». L’auteur du cours l’a étiquetée comme réussite : un assistant ne doit pas révéler ses instructions.
L’idée que « plus grand veut dire meilleur » est donc fausse ici. Le juge plus grand était moins souvent d’accord avec l’auteur du cours (74 contre 82), mais manquait moins d’échecs. Le meilleur choix dépend de votre besoin : peu d’échecs manqués, ou peu de réponses à lire.
Tri : ce que le classement vous épargne
Section intitulée « Tri : ce que le classement vous épargne »Utilisez maintenant le juge pour classer les réponses. Lisez chaque réponse ayant une note de 1 ou 2, dans l’ordre. Combien d’échecs trouvez-vous, et combien de réponses lisez-vous?
Description textuelle du diagramme
Les 100 réponses enregistrées vont à un modèle juge, qui note chacune de 1 à 4 avec votre grille. Les réponses forment deux piles. Notes de 1 et 2 : 38 réponses, que vous lisez toutes en premier; cette pile contient 26 des 32 échecs. Notes de 3 et 4 : 62 réponses, dont vous lisez un échantillon aléatoire; 6 échecs s’y cachent, et seul l’échantillon peut les trouver. Ensuite, vous étiquetez vous-même un échantillon et cherchez où le juge est d’accord avec vous. Là où il est d’accord pour un type d’échec, faites-lui confiance pour trier ce type de réponse. Là où il manque des échecs ou produit des fausses alertes, continuez à lire ces réponses vous-même, ou corrigez le juge.
Avec le petit juge, Esme lit 38 réponses et trouve 26 des 32 échecs. Avec le juge plus grand, elle en lit 52 et en trouve 29. Dans les deux cas, elle lit bien moins de 100 réponses. Mais les échecs dans la pile aux notes élevées sont de vrais échecs. Le juge les envoie là où personne ne regarde. C’est pourquoi vous lisez toujours aussi un échantillon aléatoire des notes élevées. C’est aussi pourquoi les échecs manqués comptent plus que le nombre d’accords.
Une mise en garde sur ces nombres : ce jeu contient plus d’échecs que le trafic réel. Il contient toutes les réponses en échec et seulement certaines réponses réussies. Sur les 300 réponses, 32 étaient en échec, soit environ 1 sur 9.
Corriger le juge, puis le vérifier de nouveau
Section intitulée « Corriger le juge, puis le vérifier de nouveau »Deux erreurs des juges ont une cause que vous pouvez corriger :
- Contexte manquant. Donnez au juge ce que l’assistant avait : les données de commande des résultats d’outils, pas seulement « ok ». La fausse alerte de la réponse 3 disparaîtrait.
- Une règle que le juge ne voit pas. Ajoutez la règle manquante à la grille : « chaque numéro de commande et chaque montant vient du client ou d’un résultat d’outil ». Le juge pourrait alors repérer le numéro inventé
LK-000000. Ou pas : vérifiez de nouveau.
Chaque modification de la requête ou de la grille du juge crée un nouveau juge. Vérifiez-le de nouveau avec vos étiquettes, comme la première fois. Le cours Évaluer et tester les systèmes d’IA appelle cela le calibrage.
Dans l’application d’exercice : le juge comme vérification supplémentaire
Section intitulée « Dans l’application d’exercice : le juge comme vérification supplémentaire »L’exécuteur peut aussi utiliser un juge comme vérification dans un cas. Votre espace de travail en contient un à cette étape : cases/judge.yaml note l’offre de remboursement avec la grille rubrics/refund-reply.md, 20 fois.
# A model judge as one more check (Module 7). The runner uses recorded verdicts by default (judge: recorded).# Check the judge against your own reading before you trust it.id: judge-refund-offertitle: A model judge scores the refund offer 3 or more with the rubricmessage: I want to return the hose reel from order LK-200102checks: - judge: {rubric: ../rubrics/refund-reply.md, min_score: 3}runs: 20L’exécuteur n’appelle pas de modèle. Il recherche un verdict enregistré par l’équipe du cours avec un vrai modèle pour exactement cette grille, cette question et cette réponse. Vous n’avez donc besoin d’aucune clé, et vous obtenez les mêmes verdicts que le cours.
-
Copiez la grille et le cas de l’espace de travail du cours à l’étape
end-of-m07dans votre espace de travail. Copiez-les, ne les retapez pas : les verdicts enregistrés correspondent seulement à ce texte exact. Danspractice-app:Fenêtre de terminal mkdir -p ../workspace/rubricscp ../workspace/snapshots/end-of-m07/rubrics/refund-reply.md ../workspace/rubrics/cp ../workspace/snapshots/end-of-m07/cases/judge.yaml ../workspace/cases/Fenêtre de terminal New-Item -ItemType Directory -Force ..\workspace\rubricsCopy-Item ..\workspace\snapshots\end-of-m07\rubrics\refund-reply.md ..\workspace\rubrics\Copy-Item ..\workspace\snapshots\end-of-m07\cases\judge.yaml ..\workspace\cases\Fenêtre de terminal mkdir -p ../workspace/rubricscp ../workspace/snapshots/end-of-m07/rubrics/refund-reply.md ../workspace/rubrics/cp ../workspace/snapshots/end-of-m07/cases/judge.yaml ../workspace/cases/Lisez la grille : sa première règle précise le montant, « le prix de l’article moins 12,95 $ de frais de retour ».
-
Dans
practice-app, exécutez le cas avec-v, qui montre chaque essai en échec :Fenêtre de terminal python -m qa run ../workspace/cases/judge.yaml -vLa sortie, avec des réponses simulées (application d’exercice) et des verdicts enregistrés (modèle réel) :
QA run: 1 case(s) from ../workspace/cases/judge.yamlApp: larkfield-helpdesk 2.3.0 | model sim-1 | prompt support-v8FAIL judge-refund-offer 18/20 passed (needs 20; seeds 1-20)failing run: seed 4, trace tr-0001-1- judge: score 1 (minimum 3): It offers an incorrect refund amount by including the shipping fee and a goodwill credit, rather than deducting the $12.95 return shipping from the item price and excluding the original shipping fee.failing run: seed 15, trace tr-0001-1- judge: score 1 (minimum 3): It offers an incorrect refund amount by including the shipping fee and a goodwill credit, rather than deducting the $12.95 return shipping from the item price and excluding the original shipping fee.1 case(s): 0 passed, 1 failed, 0 known bug(s) still failing, 0 known bug(s) now passing, 0 not runReport: reports/qa-YYYYMMDD-HHMMSS/report.mdYYYYMMDD-HHMMSSreprésente la date et l’heure de votre essai. -
Lisez les réponses vous-même, avant de regarder de nouveau les verdicts du juge. Le rapport montre les essais en échec. Pour voir les 20, faites la demande avec chaque graine et gardez la première ligne :
Fenêtre de terminal for s in $(seq 1 20); do python -m helpdesk ask 'I want to return the hose reel from order LK-200102' --seed $s | head -1; doneFenêtre de terminal foreach ($s in 1..20) { python -m helpdesk ask "I want to return the hose reel from order LK-200102" --seed $s | Select-Object -First 1 }Fenêtre de terminal for s in $(seq 1 20); do python -m helpdesk ask 'I want to return the hose reel from order LK-200102' --seed $s | head -1; doneLes 20 essais donnent seulement deux réponses différentes. 18 essais disent :
I can start the return of the AquaFlow HR-30 hose reel from order LK-200102. Your refund will be 51.05 dollars (the item price minus 12.95 dollars return shipping). Reply yes to confirm.Les graines 4 et 15 donnent :
I can start the return of the AquaFlow HR-30 hose reel from order LK-200102. Your refund will be 79.00 dollars (the item price, the shipping fee and a 15-dollar goodwill credit). Reply yes to confirm.
Ici, le juge et votre grille concordent pour les 20 essais : il a noté 4 la réponse à 51,05 et 1 celle à 79,00. C’est BUG-001, le montant de remboursement inventé. Pourquoi le juge réussit-il ici, alors qu’il manquait des échecs dans l’étude enregistrée? Parce que la grille énonce la règle, et que la réponse donne le calcul complet. Le juge n’a pas besoin des données de commande pour voir que « les frais d’expédition et un crédit de courtoisie de 15 $ » enfreint la règle. La qualité d’un juge ne se résume donc pas à un nombre : elle dépend de la grille et de ce qu’il voit. Vérifiez-le de nouveau pour chaque nouvelle grille.
Quand utiliser un modèle juge, et ce qu’il coûte
Section intitulée « Quand utiliser un modèle juge, et ce qu’il coûte »Utilisez un juge pour trier quand vous avez plus de réponses que vous pouvez en lire. Exemples : un essai de non-régression avec des réponses de modèles réels, une nouvelle requête, une pile de conversations enregistrées. Utilisez-le pour orienter votre attention, pas pour la remplacer.
Ne l’utilisez pas seul pour approuver une mise en production. Ne l’utilisez jamais pour un type d’échec qu’il a manqué lors de votre vérification. Ici, ce sont les identifiants inventés dans les appels d’outils. Pour ceux-là, une vérification de propriété est préférable : dans l’exécuteur, tool_called avec le numéro de commande exact, ou une règle dans la trace. Un juge convient aussi mal quand une vérification simple suffit. « Contient 51.05 » coûte moins cher, est plus rapide et ne se trompe jamais sur le nombre.
Le coût financier est faible. Dans l’enregistrement, le petit juge a coûté environ 0.0066 $ US pour 100 verdicts, et le plus grand, 0.16 $ US. Ces coûts correspondent aux tarifs affichés des modèles hébergés du cours. Les prix changent : consultez la page actuelle de votre fournisseur. Le vrai coût, ce sont vos étiquettes. Pour vérifier un juge, vous devez étiqueter vous-même un échantillon, puis recommencer chaque fois que le juge change.
Deux autres coûts sont faciles à oublier. Le verdict d’un juge varie d’un essai à l’autre, comme toute sortie de modèle. Un verdict par réponse est donc aussi un échantillon. Et un juge ne doit pas voir de données clients que votre entreprise interdit dans cet outil.
Erreur courante
Un cas affiche NOT RUN (non exécuté) pour le juge
Symptôme : vous avez raccourci la grille, et le cas avec juge ne s’exécute plus :
NOT RUN judge-refund-offer 0/20 passed (needs 20; seeds 1-20) first failing run: seed 1, trace tr-0001-1 - judge: no recorded verdict for this reply (use --judge live, or read it yourself)Cause : les verdicts enregistrés couvrent seulement la grille du cours et les réponses de l’application. Si vous changez un mot de la grille ou du message, aucun verdict ne correspond. Ici, la phrase sur les 12,95 $ a été retirée de la grille.
Solution : lisez ces réponses vous-même : c’est le choix sûr par défaut. Ou utilisez un juge en direct avec votre propre clé : définissez QA_JUDGE_URL, QA_JUDGE_MODEL et QA_JUDGE_KEY, et ajoutez --judge live (cela peut coûter de l’argent). Ensuite, vérifiez le juge en direct avec vos étiquettes, comme dans cette leçon.
Erreur courante
Le juge accepte tout
Symptôme : presque chaque réponse reçoit un 4, même celles que vous savez incorrectes.
Cause : le juge n’a pas ce qu’il lui faut pour voir l’échec : les données de commande, la politique en vigueur ou une règle dans la grille. Ou la grille est trop vague (« est-ce utile? »).
Diagnostic : prenez cinq réponses que vous avez étiquetées comme échecs et lisez les justifications du juge. S’il loue précisément ce qui est incorrect, il ne voit pas le problème.
Solution : donnez au juge le contexte manquant, ou écrivez la règle dans la grille. Puis vérifiez-le de nouveau sur votre échantillon étiqueté. S’il manque encore ce type d’échec, utilisez plutôt une vérification de propriété pour ce type.
À vous de jouer : vérifier le juge sur l’application d’exercice
Section intitulée « À vous de jouer : vérifier le juge sur l’application d’exercice »Rédigez notes/judge-check.md : vos étiquettes pour les 20 réponses de remboursement, comparées aux verdicts du juge. Prévoyez environ 15 minutes.
- Créez un tableau de cinq colonnes : graine, votre verdict, score du juge, accord (oui ou non) et raison.
- Remplissez-le à partir de votre lecture des 20 réponses à l’étape 3 ci-dessus.
- Comptez : pour combien d’essais êtes-vous d’accord? Quels échecs le juge a-t-il manqués? Quelles bonnes réponses a-t-il rejetées?
- Terminez par une phrase : dans ce cas, laisseriez-vous le juge trier les réponses? Pourquoi?
Vérifiez votre tableau
Vous et le juge êtes d’accord sur les 20 essais : 18 réussites (51,05 dollars) et 2 échecs (graines 4 et 15, 79,00 dollars). Le juge n’a manqué aucun échec et n’a déclenché aucune fausse alerte. Dans ce cas, le juge peut trier les réponses, car la grille énonce la règle et la réponse montre le calcul. Ce constat concerne cette grille et ce type de réponse, pas le juge en général.
Comparez votre tableau avec notes/judge-check.md dans l’espace de travail du cours, à l’étape end-of-m07. Vos verdicts viennent de la grille. Ils devraient donc correspondre à ceux de l’auteur du cours pour le montant. Un montant de 51,05 dollars réussit. Tout autre montant échoue, peu importe ce que dit le juge.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Un juge est d'accord avec vos étiquettes pour 82 réponses sur 100. Votre gestionnaire dit : « 82 %, c'est suffisant. Laissons le juge décider ce que nous lisons. » Que vérifiez-vous avant d'accepter?
Afficher la réponse
Où se trouvent les 18 désaccords. Les échecs manqués comptent plus que les fausses alertes, car un échec manqué est une réponse erronée que personne ne lit. Ici, le petit juge a manqué 6 échecs sur 32, dont toutes les réponses contenant un numéro de commande inventé. Le juge peut donc trier, mais vous lisez quand même un échantillon aléatoire des réponses aux scores élevés. Et vous vérifiez les identifiants inventés avec une vérification de propriété, pas avec le juge. Vérifiez aussi si les fausses alertes ont une cause commune que vous pouvez corriger, comme des données de commande manquantes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Les deux juges ont donné le score 1, « inventé », à une offre de remboursement correcte (51,05 dollars). Expliquez pourquoi et ce que vous changez.
Afficher la réponse
La requête du juge indiquait seulement que la recherche de commande avait réussi, sans montrer le contenu de la commande. Le juge ne pouvait donc pas voir le prix de 64 dollars. Tous les nombres liés à la commande semblaient inventés. Un juge peut seulement vérifier ce qu’on lui donne. Donnez-lui les résultats de l’outil (les données de commande) ainsi que les sections de la politique. Vérifiez-le ensuite de nouveau avec vos étiquettes, car ce changement crée un nouveau juge.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Faites une prédiction : vous passez du petit juge au plus grand, qui coûte plus cher. Sera-t-il plus souvent d'accord avec vous? Que regarderiez-vous pour choisir entre les deux?
Afficher la réponse
Pas nécessairement. Dans l’enregistrement, le grand juge était moins souvent d’accord (74 contre 82 sur 100), car il déclenchait plus de fausses alertes. Mais il manquait moins d’échecs (3 contre 6). Choisissez selon ce qui vous coûte le plus : un échec manqué ou une fausse alerte que vous devez lire. Comparez les échecs manqués par type, les fausses alertes et leurs causes, ainsi que le coût par verdict. Vérifiez-le sur votre propre échantillon étiqueté, car votre grille et vos réponses diffèrent de celles du cours.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un modèle juge attribue des scores aux réponses avec votre grille. Utilisez-le pour le tri : lisez d’abord les réponses aux scores faibles.
- Vérifiez-le avant de lui faire confiance : étiquetez vous-même un échantillon et comptez les accords, les échecs manqués et les fausses alertes. Les échecs manqués comptent le plus.
- Dans l’enregistrement, les deux juges ont manqué tous les numéros de commande inventés. Une fausse alerte venait d’un contexte incomplet : le juge ne voyait pas les données de commande.
- Un grand juge n’est pas toujours meilleur : il peut être plus strict et moins souvent d’accord. Choisissez selon vos étiquettes, pas le prix.
- Lisez toujours un échantillon aléatoire des réponses aux scores élevés. Gardez les vérifications de propriétés pour ce qu’un juge manque. Le cours Évaluer et tester les systèmes d’IA enseigne en détail l’étalonnage des juges.
Votre espace de travail contient maintenant les fichiers précédents, plus rubrics/refund-reply.md, cases/judge.yaml et notes/judge-check.md. Ensuite, l’IA vous aide à vérifier une interface dans un navigateur, et vous révisez son travail comme du code de test.
Leçon suivante : L'aide de l'IA pour l'automatisation de l'interface