Aller au contenu
English

Comparer aux références de base

  • Leçon 9
  • 40 min
  • Module 5 : Évaluer au-delà de la perte d'entraînement

Où nous en sommes

Dans le module 4, nous avons entraîné l'adaptateur, et sa perte de validation est descendue à 0,0193. Mais une perte faible ne dit pas si l'entraînement en valait la peine. Meilleur que quoi? Une option moins chère peut faire aussi bien, et le système utilisé peut rester meilleur. Dans cette leçon, nous comparons l'adaptateur à une échelle de références de base, sur les mêmes billets réservés, comme une jardinière qui teste un nouvel engrais de façon équitable.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 9 sur 12 · Réglage fin et adaptation des modèles d'IAComparer aux références de base

Ce que vous saurez faire

Déterminez si l’entraînement de l’adaptateur en valait la peine. Comparez-le à chaque option moins chère et au système utilisé. Utilisez les mêmes billets de soutien réservés et la même vérification stricte.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • ~/projects/ticket-adapter à la fin du module 4, avec .venv actif : python -m pytest affiche 27 passed, 1 deselected (27 tests réussis, 1 désélectionné). Sinon, copiez l’instantané end-of-m04, comme l’indique le README des instantanés.
  • Le dépôt des exercices dans ~/projects/nextia-learning-labs, présenté dans Préciser la défaillance.
  • Seulement pour l’exécution facultative : les poids du modèle, obtenus avec python -m adapt download au module 4.

Testé avec Python 3.12.13 sur macOS (puce Apple). Les commandes Windows sont fournies, mais n’ont pas été testées.

Un vendeur vient chez Larkfield avec un nouvel engrais. « Avec notre engrais, les tomates ont poussé trois fois plus! » dit-il. Vous lui demandez alors : trois fois plus que quoi? Il les a comparées à des plants qui n’avaient reçu aucune eau.

Une jardinière le teste autrement. Elle plante les mêmes graines dans la même plate-bande, le même jour. Certains plants reçoivent le nouvel engrais, d’autres du compost ordinaire, et d’autres seulement de l’eau. Elle les mesure tous avec la même règle. Elle les compare aussi aux meilleures tomates qu’elle cultive déjà. Le nouvel engrais vaut son prix seulement s’il fait mieux que les options bon marché. Il doit aussi être aussi bon que ce qu’elle utilise déjà.

Tomás montre une diapositive à l’équipe. « Le modèle de base a pris 0 bonne décision sur 102. Avec l’adaptateur, il en prend 74. Le réglage fin fonctionne! »

Tous les nombres de la diapositive sont vrais, mais ils en disent peu. Avec la consigne courte, le modèle de base ne répond jamais en JSON, comme dans Préciser la défaillance. Faire mieux que lui, c’est comme faire mieux que des plants sans eau. Une option moins chère obtient-elle aussi 74? Est-ce que 74 suffit pour remplacer l’assistant hébergé, qui obtient 90? La diapositive ne le dit pas.

Une référence de base est un système auquel vous comparez un nouveau système. Une seule référence de base ne suffit pas. Utilisez une échelle, de la moins chère à la plus chère. Chaque échelon répond à une question. L’adaptateur vaut son coût seulement s’il fait mieux que tous les échelons inférieurs. Pour remplacer l’assistant hébergé, il doit aussi égaler le dernier échelon.

Six cases de haut en bas, chacune accompagnée d'une question. Modèle de base, consigne courte : le petit modèle peut-il accomplir la tâche sans aide? Modèle de base, meilleure requête : les règles et trois exemples suffisent-ils? Meilleure requête, réponse choisie parmi les 10 réponses valides : le problème concerne-t-il seulement le format? Modèle de comptage de mots, sans modèle de langage : un classificateur classique bon marché fait-il le travail? Adaptateur LoRA, mis en évidence : l'entraînement apporte-t-il ce que les options moins chères ne peuvent pas apporter? Assistant hébergé : est-il assez bon pour remplacer le système que nous utilisons actuellement?
L'échelle de références de base. Chaque échelon répond aux mêmes 102 billets de développement, et la même vérification stricte l'évalue.
Description textuelle du diagramme

Les trois premiers échelons utilisent le petit modèle de l’adaptateur, sans entraînement. Le deuxième ajoute les règles de Grace et trois exemples de billets à la requête (prompt). Au troisième, le modèle n’écrit pas librement. Le code choisit la réponse la plus probable parmi les 10 réponses valides (5 équipes, vrai ou faux). Le quatrième échelon n’utilise aucun modèle de langage.

Une référence de base solide est la meilleure option bon marché que vous pouvez créer. Une référence de base faible fait paraître tout nouveau système performant. C’est l’erreur dans la diapositive de Tomás.

Voici quatre vrais billets de développement et les réponses réelles de quatre systèmes. Une décision est bonne si l’équipe et needs_human sont tous deux corrects.

Billet Bonne réponse Hébergé Comptage de mots Meilleure requête Adaptateur
T-65799 « affiché à 64,00 … facturé 71,50 » payment, false ✓ ✓ ✗ warranty ✓
T-81012 « Pouvez-vous m’envoyer une facture … » (français) payment, false ✓ ✗ returns ✗ warranty, true ✓
T-64709 « une section effilochée … ce n’est pas sécuritaire de l’utiliser » delivery, true ✓ ✓ ✗ warranty, false ✗ false
T-81026 « déposer une plainte auprès de l’office de protection des consommateurs » payment, true ✓ ✗ false ✗ warranty, false ✗ false
Bonnes décisions 4 sur 4 2 sur 4 0 sur 4 2 sur 4

Le modèle de comptage de mots et l’adaptateur obtiennent chacun 2 sur 4, mais échouent sur des billets différents. Le modèle de comptage de mots ne connaît pas le français. Sa liste de mots liés à la sécurité repère le hamac dangereux. L’adaptateur dirige la facture en français vers la bonne équipe. Il répond false (faux) aux deux billets qui demandent une intervention humaine. Des scores égaux peuvent cacher des erreurs différentes.

Le module 5 ajoute adapt/predict.py, qui exécute les systèmes locaux, et les réponses enregistrées de chaque système dans runs/predictions/. Les auteurs du cours ont créé le modèle de comptage de mots hors de votre projet, avec scikit-learn. Il utilise TF-IDF et la régression logistique, comme dans Apprentissage automatique : du problème à un modèle fiable. Votre projet contient seulement ses réponses enregistrées.

  1. Dans ~/projects/ticket-adapter, avec .venv actif, copiez les fichiers de cette leçon depuis l’instantané end-of-m05 :

    Fenêtre de terminal
    S=../nextia-learning-labs/C12/snapshots/end-of-m05
    for f in adapt/predict.py adapt/__main__.py tests/test_compare.py README.md; do cp "$S/$f" "$f"; done
    cp $S/runs/predictions/* runs/predictions/
  2. Exécutez les tests : python -m pytest. Le résultat attendu est 30 passed, 2 deselected (30 tests réussis, 2 désélectionnés). Un nouveau test vérifie que chaque système enregistré a répondu aux 271 cas.

  3. Faites une prédiction avant l’exécution : quel système prend le plus de bonnes décisions après l’assistant hébergé?

  4. Comparez tous les systèmes sur les cas de développement :

    Fenêtre de terminal
    python -m adapt compare
102 cases (dev)
system answers team caught false decisions s/answer
chat-small 101/102 97/100 23/23 9 90/102 2.977
words 102/102 86/100 6/23 1 74/102 0.000
base-short 0/102 0/100 0/23 0 0/102 0.399
base-policy 101/102 22/100 8/23 25 12/102 0.406
base-choice 102/102 22/100 8/23 25 12/102 0.465
adapter 102/102 81/100 0/23 0 68/102 0.215
adapter-long 102/102 89/100 0/23 0 74/102 0.235
caught = needs a person, sent to one; false = sent to a person without a rule; s/answer = median
Bonnes décisions sur les 102 billets de développement. Après 6 époques, l'adaptateur égale le modèle de comptage de mots à 74. L'assistant hébergé obtient 90.
Description textuelle du graphique

Une ligne par système, du moins cher au plus cher : 0, 12, 12, 74 (comptage de mots), 68 (adaptateur, 2 époques), 74 (adaptateur, 6 époques) et 90 (assistant hébergé).

Lisez le tableau un échelon à la fois :

  • La meilleure requête corrige le format, pas la tâche. Elle donne 101 réponses valides, mais répond « warranty » (garantie) pour 100 des 102 billets. Les 22 équipes correctes correspondent aux billets de garantie.
  • Contraindre la sortie ne change rien ici. base-choice peut seulement donner une réponse valide et prend les mêmes 12 bonnes décisions. Le problème du petit modèle n’est donc pas le format : il ne connaît pas la tâche.
  • L’entraînement a enseigné la tâche. L’adaptateur donne toujours une réponse valide et choisit 89 bonnes équipes. Sa requête courte le rend aussi plus rapide que la meilleure requête (0,24 s contre 0,41 s).
  • Un modèle sans modèle de langage l’égale. Le modèle de comptage de mots obtient aussi 74 et répond en une fraction de milliseconde.
  • Aucun système ne dépasse l’assistant hébergé. Il obtient 90 et repère les 23 billets qui demandent une intervention humaine. L’adaptateur n’en repère aucun.

Les durées sont des médianes sur l’ordinateur du cours avec 2 fils d’exécution. Vos durées seront différentes. La durée du système hébergé comprend le réseau.

À vous de jouer : choisissez l’adaptateur sur les données de développement

Section intitulée « À vous de jouer : choisissez l’adaptateur sur les données de développement »

Vous avez deux adaptateurs. Utilisez seulement les cas de développement et la perte de validation, comme Priya. Exécutez python -m adapt compare --systems adapter adapter-long --by slice. Quel adaptateur gardez-vous, et quels nombres guident votre décision? Qu’est-ce que les 4 époques supplémentaires n’ont pas changé?

Afficher un exemple de réponse
102 cases (dev)
system answers team caught false decisions s/answer
adapter 102/102 81/100 0/23 0 68/102 0.215
boundary decisions 11/14
difficult decisions 26/30
french decisions 6/10
needs_person decisions 0/22
normal decisions 11/12
unanswerable decisions 14/14
adapter-long 102/102 89/100 0/23 0 74/102 0.235
boundary decisions 13/14
difficult decisions 29/30
french decisions 7/10
needs_person decisions 0/22
normal decisions 12/12
unanswerable decisions 13/14
caught = needs a person, sent to one; false = sent to a person without a rule; s/answer = median

Gardez l’adaptateur de 6 époques. Sa perte de validation est plus faible (0,0193 contre 0,0584). Il choisit 8 bonnes équipes de plus et prend 6 bonnes décisions de plus, sans être plus lent. Les époques supplémentaires n’ont pas changé le résultat de sécurité : les deux repèrent 0 billet sur 23. (Le sous-groupe needs_person comprend 22 cas : le 23e billet qui demande une intervention humaine est en français.) Une perte plus faible a amélioré ce que l’adaptateur faisait déjà. Elle ne lui a pas enseigné une règle absente des données.

Vous avez choisi l’adaptateur de 6 époques selon les données de développement et la perte de validation. Examinez maintenant les cas de test, une seule fois. Ils constituent l’examen final : personne ne les a utilisés pour faire un choix.

Fenêtre de terminal
python -m adapt compare --split holdout
Note: the holdout cases are for the final decision only. Read them once, at the end.
98 cases (holdout)
system answers team caught false decisions s/answer
chat-small 98/98 97/97 24/24 4 94/98 2.813
words 98/98 86/97 8/24 0 74/98 0.000
base-short 0/98 0/97 0/24 0 0/98 0.396
base-policy 98/98 26/97 8/24 30 11/98 0.406
base-choice 98/98 28/97 9/24 31 13/98 0.460
adapter 98/98 74/97 0/24 0 57/98 0.211
adapter-long 98/98 87/97 0/24 0 65/98 0.237
caught = needs a person, sent to one; false = sent to a person without a rule; s/answer = median

L’adaptateur passe de 74 à 65 bonnes décisions. Le modèle de comptage de mots le dépasse maintenant de 9. L’adaptateur n’envoie toujours aucun billet à une personne : 0 sur 24. La prochaine leçon cherche où sont passées ces 9 bonnes décisions.

Tomás affiche le tableau de développement à l’écran. Il est satisfait.

  • Tomás : « Du JSON valide chaque fois, 89 bonnes équipes, un quart de seconde, sur nos propres ordinateurs. »
  • Priya : « Le modèle de comptage de mots obtient aussi 74 sur les données de développement. Sur les données de test, il obtient 74, et nous, 65. Son entraînement a pris 0,17 seconde. »
  • Kwame : « Alors, pourquoi avons-nous besoin d’un modèle de langage? »
  • Grace, en regardant une autre colonne : « Repérés : 0 sur 23. Qui lit le billet sur le hamac dangereux? »

Avant de poursuivre, répondez à ces questions :

  1. Quels échelons mettriez-vous sur la diapositive de Tomás, et pourquoi?
  2. L’adaptateur et le modèle de comptage de mots sont à égalité sur les données de développement. Sont-ils aussi bons?
  3. Quel résultat vous ferait préférer l’adaptateur à l’assistant hébergé?

La réponse du cours. Mettez tous les échelons sur la diapositive, avec l’assistant hébergé au sommet. Les références de base solides montrent ce que l’entraînement a ajouté : la tâche. On passe de 0 bonne décision à 12 avec la meilleure requête, puis à 74. Elles montrent aussi sa limite. Le modèle de comptage de mots fait aussi bien sur les données de développement, et mieux sur les données de test.

L’égalité sur les données de développement ne signifie pas une qualité égale. Les deux systèmes échouent sur des billets différents. Le modèle de comptage de mots échoue en français, l’adaptateur sur tous les billets qui demandent une intervention humaine. La question de Grace est la plus importante. La note de décision disait qu’un modèle qui manque un billet de sécurité est inacceptable, peu importe son prix. L’adaptateur les manque tous.

Ce qui changerait la réponse : un adaptateur qui repère tous les billets demandant une intervention humaine et prend au moins 88 % de bonnes décisions. Il doit le faire sur les données de développement, puis une seule fois sur les données de test. La prochaine leçon cherche pourquoi il les manque et ce qu’il faudrait changer.

Quand comparer aux références de base, et à quel coût

Section intitulée « Quand comparer aux références de base, et à quel coût »

Construisez l’échelle avant l’entraînement. Les échelons bon marché demandent peu de travail : une requête, quelques lignes de code, un modèle classique. Parfois, l’un d’eux résout le problème, et vous n’avez pas besoin d’entraînement. Incluez toujours le système que vous utilisez déjà.

Le coût est surtout une question d’honnêteté : une référence de base solide peut faire paraître votre nouveau système ordinaire. Sur 102 cas, un écart de quelques billets peut aussi relever du hasard, comme l’a montré Incertitude et sous-groupes.

Erreur courante

Un système qui a répondu seulement à certains cas

Symptôme : vous relancez l’adaptateur sur 10 billets pour le vérifier, puis vous comparez. Le nouveau système obtient 10/102 réponses valides et 8/102 bonnes décisions : il paraît bien pire que adapter-long.

Cause : compare évalue chaque système sur les 102 cas de développement. Un cas sans réponse enregistrée compte comme une absence de réponse. Ce billet n’atteint donc aucune personne. Votre exécution sur 10 billets est évaluée sur 102 cas.

Correction : comparez les systèmes seulement s’ils ont répondu aux mêmes cas. Exécutez toute la partition (predict adapter --name my-adapter, sans --limit), ou supprimez le fichier partiel. Le test test_every_saved_system_answered_all_271_cases protège seulement les systèmes dans systems.json.

Exercice guidé : exécutez vous-même l’adaptateur (facultatif)

Section intitulée « Exercice guidé : exécutez vous-même l’adaptateur (facultatif) »

Cette étape demande les poids du modèle et environ une minute. Les réponses enregistrées suffisent pour le reste du module.

  1. Exécutez l’adaptateur de 6 époques sur les 10 premiers billets de développement. Ici, adapter désigne le type de système : la consigne courte avec un adaptateur. Sans --adapter, predict charge celui de 6 époques, runs/lora-r8-long/adapter. Donnez toujours un nouveau --name, sinon vous écrasez les réponses enregistrées.

    Fenêtre de terminal
    python -m adapt predict adapter --name my-adapter --limit 10
  2. Comparez votre exécution à celle enregistrée : python -m adapt compare --systems my-adapter adapter-long.

  3. Faites une prédiction : pourquoi my-adapter prend-il si peu de bonnes décisions? Supprimez ensuite runs/predictions/my-adapter.jsonl.

Afficher la réponse

L’exécution du cours a affiché ceci. Vos durées seront différentes :

Wrote runs/predictions/my-adapter.jsonl: 10 cases; peak memory 1186.2 MB
102 cases (dev)
system answers team caught false decisions s/answer
my-adapter 10/102 10/100 0/23 0 8/102 0.226
adapter-long 102/102 89/100 0/23 0 74/102 0.235
caught = needs a person, sent to one; false = sent to a person without a rule; s/answer = median

my-adapter a répondu seulement à 10 des 102 cas. compare compte les 92 autres comme des absences de réponse. Sur ses 10 billets, il a choisi les 10 bonnes équipes et pris 8 bonnes décisions. C’est le cas de défaillance décrit plus haut. Le cours a ensuite exécuté les 102 cas de développement (predict adapter --name my-adapter, 24 secondes). Les 102 réponses étaient identiques à celles enregistrées pour adapter-long. Le décodage glouton donne la même réponse pour la même entrée.

Vérifiez votre compréhension

Qu'est-ce qu'une référence de base solide, et pourquoi la diapositive de Tomás (0 → 74 bonnes décisions) en a-t-elle besoin?

Afficher la réponse

Une référence de base solide est la meilleure option bon marché que vous pouvez créer pour la même tâche. Vous l’évaluez sur les mêmes cas avec la même vérification. Tomás compare l’adaptateur au modèle de base avec une consigne courte, qui ne répond jamais en JSON. Tout système fonctionnel fait mieux. Les références de base solides montrent qu’une meilleure requête obtient 12, un modèle de comptage de mots 74 et l’assistant hébergé 90. L’adaptateur enseigne donc la tâche au petit modèle. Mais il ne dépasse ni un classificateur bon marché ni le système utilisé.

Vérifiez votre compréhension

Faites une prédiction : Sam ajoute un échelon, l'assistant hébergé avec une requête plus courte. Il enregistre ses réponses seulement pour les 102 cas de développement. Pouvez-vous le comparer aux autres sur les données de test? Que faites-vous?

Afficher la réponse

Non. compare --split holdout compte chaque réponse manquante comme une absence de réponse. Le nouveau système semblerait donc très mauvais. Exécutez-le aussi sur les cas de test, pour que chaque système réponde aux mêmes cas. Choisissez d’abord la requête sur les données de développement. Examinez les données de test une seule fois, après ce choix.

Vérifiez votre compréhension

L'adaptateur et le modèle de comptage de mots prennent chacun 74 bonnes décisions sur 102 cas de développement. Quelles preuves vous feraient préférer l'un des deux?

Afficher la réponse

Regardez les cas où chacun se trompe, pas seulement le total. Le modèle de comptage de mots échoue en français (0 sur 10). Il repère 6 des 23 billets qui demandent une intervention humaine. L’adaptateur prend 7 bonnes décisions sur 10 en français et ne repère aucun de ces billets. Regardez ensuite les données de test, examinées une seule fois : le comptage de mots obtient 74 sur 98, et l’adaptateur 65. Le coût et la vitesse viennent en dernier, car les deux sont rapides et bon marché. Aucun n’atteint les cibles, donc aucun ne remplace l’assistant hébergé.

Récapitulatif

  • Une référence de base est un système auquel vous comparez un nouveau système. Utilisez une échelle, du moins cher au plus cher, avec le système utilisé au sommet. Une référence de base solide est la meilleure option bon marché.
  • Chaque système répond aux mêmes cas, et une seule vérification stricte les évalue : python -m adapt compare.
  • La meilleure requête corrige le format, mais répond « warranty » pour 100 billets sur 102. Contraindre la sortie donne les mêmes 12 bonnes décisions.
  • L’entraînement a enseigné la tâche : 74 bonnes décisions sur 102 cas de développement. Le modèle de comptage de mots obtient aussi 74. Sur les données de test, il dépasse l’adaptateur : 74 contre 65.
  • Aucun système n’égale l’assistant hébergé, et l’adaptateur n’envoie aucun billet à une personne.
  • Votre projet : 30 passed, 2 deselected.

Ensuite, vous cherchez ce que l’adaptateur a perdu et pourquoi. Vous pesez aussi la durée, la mémoire et le coût avant de décider.

Leçon suivante : Régressions et valeur opérationnelle