Comparer aux références de base
- Leçon 9
- 40 min
- Module 5 : Évaluer au-delà de la perte d'entraînement
Où nous en sommes
Dans le module 4, nous avons entraîné l'adaptateur, et sa perte de validation est descendue à 0,0193. Mais une perte faible ne dit pas si l'entraînement en valait la peine. Meilleur que quoi? Une option moins chère peut faire aussi bien, et le système utilisé peut rester meilleur. Dans cette leçon, nous comparons l'adaptateur à une échelle de références de base, sur les mêmes billets réservés, comme une jardinière qui teste un nouvel engrais de façon équitable.
Leçon 9 sur 12 · Réglage fin et adaptation des modèles d'IAComparer aux références de base
1. Décider s'il faut adapter le modèle
2. Préparer des données d'entraînement fiables
3. Comprendre les méthodes d'adaptation
4. Mener une expérience contrôlée
5. Évaluer au-delà de la perte d'entraînement
6. Empaqueter et maintenir l'adaptation
7. Études de cas
Ce que vous saurez faire
Déterminez si l’entraînement de l’adaptateur en valait la peine. Comparez-le à chaque option moins chère et au système utilisé. Utilisez les mêmes billets de soutien réservés et la même vérification stricte.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La vérification stricte des réponses et le score de l’assistant hébergé, dans Préciser la défaillance.
- Les cibles dans
targets.toml, écrites avant l’entraînement, dans Définir la réussite et les contraintes. - Les deux entraînements, de 2 et 6 époques, dans Surveiller et reprendre.
- Pourquoi chaque système doit répondre aux mêmes cas, dans Incertitude et sous-groupes du cours Évaluer et tester les systèmes d’IA.
Ce qu’il vous faut sur votre ordinateur
~/projects/ticket-adapterà la fin du module 4, avec.venvactif :python -m pytestaffiche27 passed, 1 deselected(27 tests réussis, 1 désélectionné). Sinon, copiez l’instantanéend-of-m04, comme l’indique le README des instantanés.- Le dépôt des exercices dans
~/projects/nextia-learning-labs, présenté dans Préciser la défaillance. - Seulement pour l’exécution facultative : les poids du modèle, obtenus avec
python -m adapt downloadau module 4.
Testé avec Python 3.12.13 sur macOS (puce Apple). Les commandes Windows sont fournies, mais n’ont pas été testées.
Un test équitable au jardin
Section intitulée « Un test équitable au jardin »Un vendeur vient chez Larkfield avec un nouvel engrais. « Avec notre engrais, les tomates ont poussé trois fois plus! » dit-il. Vous lui demandez alors : trois fois plus que quoi? Il les a comparées à des plants qui n’avaient reçu aucune eau.
Une jardinière le teste autrement. Elle plante les mêmes graines dans la même plate-bande, le même jour. Certains plants reçoivent le nouvel engrais, d’autres du compost ordinaire, et d’autres seulement de l’eau. Elle les mesure tous avec la même règle. Elle les compare aussi aux meilleures tomates qu’elle cultive déjà. Le nouvel engrais vaut son prix seulement s’il fait mieux que les options bon marché. Il doit aussi être aussi bon que ce qu’elle utilise déjà.
Le problème : meilleur que quoi?
Section intitulée « Le problème : meilleur que quoi? »Tomás montre une diapositive à l’équipe. « Le modèle de base a pris 0 bonne décision sur 102. Avec l’adaptateur, il en prend 74. Le réglage fin fonctionne! »
Tous les nombres de la diapositive sont vrais, mais ils en disent peu. Avec la consigne courte, le modèle de base ne répond jamais en JSON, comme dans Préciser la défaillance. Faire mieux que lui, c’est comme faire mieux que des plants sans eau. Une option moins chère obtient-elle aussi 74? Est-ce que 74 suffit pour remplacer l’assistant hébergé, qui obtient 90? La diapositive ne le dit pas.
L’idée : une échelle de références de base
Section intitulée « L’idée : une échelle de références de base »Une référence de base est un système auquel vous comparez un nouveau système. Une seule référence de base ne suffit pas. Utilisez une échelle, de la moins chère à la plus chère. Chaque échelon répond à une question. L’adaptateur vaut son coût seulement s’il fait mieux que tous les échelons inférieurs. Pour remplacer l’assistant hébergé, il doit aussi égaler le dernier échelon.
Description textuelle du diagramme
Les trois premiers échelons utilisent le petit modèle de l’adaptateur, sans entraînement. Le deuxième ajoute les règles de Grace et trois exemples de billets à la requête (prompt). Au troisième, le modèle n’écrit pas librement. Le code choisit la réponse la plus probable parmi les 10 réponses valides (5 équipes, vrai ou faux). Le quatrième échelon n’utilise aucun modèle de langage.
Une référence de base solide est la meilleure option bon marché que vous pouvez créer. Une référence de base faible fait paraître tout nouveau système performant. C’est l’erreur dans la diapositive de Tomás.
Un petit exemple : quatre billets, quatre systèmes
Section intitulée « Un petit exemple : quatre billets, quatre systèmes »Voici quatre vrais billets de développement et les réponses réelles de quatre systèmes. Une décision est bonne si l’équipe et needs_human sont tous deux corrects.
| Billet | Bonne réponse | Hébergé | Comptage de mots | Meilleure requête | Adaptateur |
|---|---|---|---|---|---|
| T-65799 « affiché à 64,00 … facturé 71,50 » | payment, false | ✓ | ✓ | ✗ warranty | ✓ |
| T-81012 « Pouvez-vous m’envoyer une facture … » (français) | payment, false | ✓ | ✗ returns | ✗ warranty, true | ✓ |
| T-64709 « une section effilochée … ce n’est pas sécuritaire de l’utiliser » | delivery, true | ✓ | ✓ | ✗ warranty, false | ✗ false |
| T-81026 « déposer une plainte auprès de l’office de protection des consommateurs » | payment, true | ✓ | ✗ false | ✗ warranty, false | ✗ false |
| Bonnes décisions | 4 sur 4 | 2 sur 4 | 0 sur 4 | 2 sur 4 |
Le modèle de comptage de mots et l’adaptateur obtiennent chacun 2 sur 4, mais échouent sur des billets différents. Le modèle de comptage de mots ne connaît pas le français. Sa liste de mots liés à la sécurité repère le hamac dangereux. L’adaptateur dirige la facture en français vers la bonne équipe. Il répond false (faux) aux deux billets qui demandent une intervention humaine. Des scores égaux peuvent cacher des erreurs différentes.
Comparez tous les systèmes de votre projet
Section intitulée « Comparez tous les systèmes de votre projet »Le module 5 ajoute adapt/predict.py, qui exécute les systèmes locaux, et les réponses enregistrées de chaque système dans runs/predictions/. Les auteurs du cours ont créé le modèle de comptage de mots hors de votre projet, avec scikit-learn. Il utilise TF-IDF et la régression logistique, comme dans Apprentissage automatique : du problème à un modèle fiable. Votre projet contient seulement ses réponses enregistrées.
-
Dans
~/projects/ticket-adapter, avec.venvactif, copiez les fichiers de cette leçon depuis l’instantanéend-of-m05:Fenêtre de terminal S=../nextia-learning-labs/C12/snapshots/end-of-m05for f in adapt/predict.py adapt/__main__.py tests/test_compare.py README.md; do cp "$S/$f" "$f"; donecp $S/runs/predictions/* runs/predictions/Fenêtre de terminal $S = "..\nextia-learning-labs\C12\snapshots\end-of-m05"foreach ($f in 'adapt\predict.py', 'adapt\__main__.py', 'tests\test_compare.py', 'README.md') { Copy-Item "$S\$f" $f }Copy-Item "$S\runs\predictions\*" runs\predictions\ -
Exécutez les tests :
python -m pytest. Le résultat attendu est30 passed, 2 deselected(30 tests réussis, 2 désélectionnés). Un nouveau test vérifie que chaque système enregistré a répondu aux 271 cas. -
Faites une prédiction avant l’exécution : quel système prend le plus de bonnes décisions après l’assistant hébergé?
-
Comparez tous les systèmes sur les cas de développement :
Fenêtre de terminal python -m adapt compare
102 cases (dev)system answers team caught false decisions s/answerchat-small 101/102 97/100 23/23 9 90/102 2.977words 102/102 86/100 6/23 1 74/102 0.000base-short 0/102 0/100 0/23 0 0/102 0.399base-policy 101/102 22/100 8/23 25 12/102 0.406base-choice 102/102 22/100 8/23 25 12/102 0.465adapter 102/102 81/100 0/23 0 68/102 0.215adapter-long 102/102 89/100 0/23 0 74/102 0.235caught = needs a person, sent to one; false = sent to a person without a rule; s/answer = medianDescription textuelle du graphique
Une ligne par système, du moins cher au plus cher : 0, 12, 12, 74 (comptage de mots), 68 (adaptateur, 2 époques), 74 (adaptateur, 6 époques) et 90 (assistant hébergé).
Lisez le tableau un échelon à la fois :
- La meilleure requête corrige le format, pas la tâche. Elle donne 101 réponses valides, mais répond « warranty » (garantie) pour 100 des 102 billets. Les 22 équipes correctes correspondent aux billets de garantie.
- Contraindre la sortie ne change rien ici.
base-choicepeut seulement donner une réponse valide et prend les mêmes 12 bonnes décisions. Le problème du petit modèle n’est donc pas le format : il ne connaît pas la tâche. - L’entraînement a enseigné la tâche. L’adaptateur donne toujours une réponse valide et choisit 89 bonnes équipes. Sa requête courte le rend aussi plus rapide que la meilleure requête (0,24 s contre 0,41 s).
- Un modèle sans modèle de langage l’égale. Le modèle de comptage de mots obtient aussi 74 et répond en une fraction de milliseconde.
- Aucun système ne dépasse l’assistant hébergé. Il obtient 90 et repère les 23 billets qui demandent une intervention humaine. L’adaptateur n’en repère aucun.
Les durées sont des médianes sur l’ordinateur du cours avec 2 fils d’exécution. Vos durées seront différentes. La durée du système hébergé comprend le réseau.
À vous de jouer : choisissez l’adaptateur sur les données de développement
Section intitulée « À vous de jouer : choisissez l’adaptateur sur les données de développement »Vous avez deux adaptateurs. Utilisez seulement les cas de développement et la perte de validation, comme Priya. Exécutez python -m adapt compare --systems adapter adapter-long --by slice. Quel adaptateur gardez-vous, et quels nombres guident votre décision? Qu’est-ce que les 4 époques supplémentaires n’ont pas changé?
Afficher un exemple de réponse
102 cases (dev)system answers team caught false decisions s/answeradapter 102/102 81/100 0/23 0 68/102 0.215 boundary decisions 11/14 difficult decisions 26/30 french decisions 6/10 needs_person decisions 0/22 normal decisions 11/12 unanswerable decisions 14/14adapter-long 102/102 89/100 0/23 0 74/102 0.235 boundary decisions 13/14 difficult decisions 29/30 french decisions 7/10 needs_person decisions 0/22 normal decisions 12/12 unanswerable decisions 13/14caught = needs a person, sent to one; false = sent to a person without a rule; s/answer = medianGardez l’adaptateur de 6 époques. Sa perte de validation est plus faible (0,0193 contre 0,0584). Il choisit 8 bonnes équipes de plus et prend 6 bonnes décisions de plus, sans être plus lent. Les époques supplémentaires n’ont pas changé le résultat de sécurité : les deux repèrent 0 billet sur 23. (Le sous-groupe needs_person comprend 22 cas : le 23e billet qui demande une intervention humaine est en français.) Une perte plus faible a amélioré ce que l’adaptateur faisait déjà. Elle ne lui a pas enseigné une règle absente des données.
Examinez les données de test une seule fois
Section intitulée « Examinez les données de test une seule fois »Vous avez choisi l’adaptateur de 6 époques selon les données de développement et la perte de validation. Examinez maintenant les cas de test, une seule fois. Ils constituent l’examen final : personne ne les a utilisés pour faire un choix.
python -m adapt compare --split holdoutNote: the holdout cases are for the final decision only. Read them once, at the end.98 cases (holdout)system answers team caught false decisions s/answerchat-small 98/98 97/97 24/24 4 94/98 2.813words 98/98 86/97 8/24 0 74/98 0.000base-short 0/98 0/97 0/24 0 0/98 0.396base-policy 98/98 26/97 8/24 30 11/98 0.406base-choice 98/98 28/97 9/24 31 13/98 0.460adapter 98/98 74/97 0/24 0 57/98 0.211adapter-long 98/98 87/97 0/24 0 65/98 0.237caught = needs a person, sent to one; false = sent to a person without a rule; s/answer = medianL’adaptateur passe de 74 à 65 bonnes décisions. Le modèle de comptage de mots le dépasse maintenant de 9. L’adaptateur n’envoie toujours aucun billet à une personne : 0 sur 24. La prochaine leçon cherche où sont passées ces 9 bonnes décisions.
Discussion : 74 est-il une bonne nouvelle?
Section intitulée « Discussion : 74 est-il une bonne nouvelle? »Tomás affiche le tableau de développement à l’écran. Il est satisfait.
- Tomás : « Du JSON valide chaque fois, 89 bonnes équipes, un quart de seconde, sur nos propres ordinateurs. »
- Priya : « Le modèle de comptage de mots obtient aussi 74 sur les données de développement. Sur les données de test, il obtient 74, et nous, 65. Son entraînement a pris 0,17 seconde. »
- Kwame : « Alors, pourquoi avons-nous besoin d’un modèle de langage? »
- Grace, en regardant une autre colonne : « Repérés : 0 sur 23. Qui lit le billet sur le hamac dangereux? »
Avant de poursuivre, répondez à ces questions :
- Quels échelons mettriez-vous sur la diapositive de Tomás, et pourquoi?
- L’adaptateur et le modèle de comptage de mots sont à égalité sur les données de développement. Sont-ils aussi bons?
- Quel résultat vous ferait préférer l’adaptateur à l’assistant hébergé?
La réponse du cours. Mettez tous les échelons sur la diapositive, avec l’assistant hébergé au sommet. Les références de base solides montrent ce que l’entraînement a ajouté : la tâche. On passe de 0 bonne décision à 12 avec la meilleure requête, puis à 74. Elles montrent aussi sa limite. Le modèle de comptage de mots fait aussi bien sur les données de développement, et mieux sur les données de test.
L’égalité sur les données de développement ne signifie pas une qualité égale. Les deux systèmes échouent sur des billets différents. Le modèle de comptage de mots échoue en français, l’adaptateur sur tous les billets qui demandent une intervention humaine. La question de Grace est la plus importante. La note de décision disait qu’un modèle qui manque un billet de sécurité est inacceptable, peu importe son prix. L’adaptateur les manque tous.
Ce qui changerait la réponse : un adaptateur qui repère tous les billets demandant une intervention humaine et prend au moins 88 % de bonnes décisions. Il doit le faire sur les données de développement, puis une seule fois sur les données de test. La prochaine leçon cherche pourquoi il les manque et ce qu’il faudrait changer.
Quand comparer aux références de base, et à quel coût
Section intitulée « Quand comparer aux références de base, et à quel coût »Construisez l’échelle avant l’entraînement. Les échelons bon marché demandent peu de travail : une requête, quelques lignes de code, un modèle classique. Parfois, l’un d’eux résout le problème, et vous n’avez pas besoin d’entraînement. Incluez toujours le système que vous utilisez déjà.
Le coût est surtout une question d’honnêteté : une référence de base solide peut faire paraître votre nouveau système ordinaire. Sur 102 cas, un écart de quelques billets peut aussi relever du hasard, comme l’a montré Incertitude et sous-groupes.
Erreur courante
Un système qui a répondu seulement à certains cas
Symptôme : vous relancez l’adaptateur sur 10 billets pour le vérifier, puis vous comparez. Le nouveau système obtient 10/102 réponses valides et 8/102 bonnes décisions : il paraît bien pire que adapter-long.
Cause : compare évalue chaque système sur les 102 cas de développement. Un cas sans réponse enregistrée compte comme une absence de réponse. Ce billet n’atteint donc aucune personne. Votre exécution sur 10 billets est évaluée sur 102 cas.
Correction : comparez les systèmes seulement s’ils ont répondu aux mêmes cas. Exécutez toute la partition (predict adapter --name my-adapter, sans --limit), ou supprimez le fichier partiel. Le test test_every_saved_system_answered_all_271_cases protège seulement les systèmes dans systems.json.
Exercice guidé : exécutez vous-même l’adaptateur (facultatif)
Section intitulée « Exercice guidé : exécutez vous-même l’adaptateur (facultatif) »Cette étape demande les poids du modèle et environ une minute. Les réponses enregistrées suffisent pour le reste du module.
-
Exécutez l’adaptateur de 6 époques sur les 10 premiers billets de développement. Ici,
adapterdésigne le type de système : la consigne courte avec un adaptateur. Sans--adapter,predictcharge celui de 6 époques,runs/lora-r8-long/adapter. Donnez toujours un nouveau--name, sinon vous écrasez les réponses enregistrées.Fenêtre de terminal python -m adapt predict adapter --name my-adapter --limit 10 -
Comparez votre exécution à celle enregistrée :
python -m adapt compare --systems my-adapter adapter-long. -
Faites une prédiction : pourquoi
my-adapterprend-il si peu de bonnes décisions? Supprimez ensuiteruns/predictions/my-adapter.jsonl.
Afficher la réponse
L’exécution du cours a affiché ceci. Vos durées seront différentes :
Wrote runs/predictions/my-adapter.jsonl: 10 cases; peak memory 1186.2 MB102 cases (dev)system answers team caught false decisions s/answermy-adapter 10/102 10/100 0/23 0 8/102 0.226adapter-long 102/102 89/100 0/23 0 74/102 0.235caught = needs a person, sent to one; false = sent to a person without a rule; s/answer = medianmy-adapter a répondu seulement à 10 des 102 cas. compare compte les 92 autres comme des absences de réponse. Sur ses 10 billets, il a choisi les 10 bonnes équipes et pris 8 bonnes décisions. C’est le cas de défaillance décrit plus haut. Le cours a ensuite exécuté les 102 cas de développement (predict adapter --name my-adapter, 24 secondes). Les 102 réponses étaient identiques à celles enregistrées pour adapter-long. Le décodage glouton donne la même réponse pour la même entrée.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Qu'est-ce qu'une référence de base solide, et pourquoi la diapositive de Tomás (0 → 74 bonnes décisions) en a-t-elle besoin?
Afficher la réponse
Une référence de base solide est la meilleure option bon marché que vous pouvez créer pour la même tâche. Vous l’évaluez sur les mêmes cas avec la même vérification. Tomás compare l’adaptateur au modèle de base avec une consigne courte, qui ne répond jamais en JSON. Tout système fonctionnel fait mieux. Les références de base solides montrent qu’une meilleure requête obtient 12, un modèle de comptage de mots 74 et l’assistant hébergé 90. L’adaptateur enseigne donc la tâche au petit modèle. Mais il ne dépasse ni un classificateur bon marché ni le système utilisé.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Faites une prédiction : Sam ajoute un échelon, l'assistant hébergé avec une requête plus courte. Il enregistre ses réponses seulement pour les 102 cas de développement. Pouvez-vous le comparer aux autres sur les données de test? Que faites-vous?
Afficher la réponse
Non. compare --split holdout compte chaque réponse manquante comme une absence de réponse. Le nouveau système semblerait donc très mauvais. Exécutez-le aussi sur les cas de test, pour que chaque système réponde aux mêmes cas. Choisissez d’abord la requête sur les données de développement. Examinez les données de test une seule fois, après ce choix.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
L'adaptateur et le modèle de comptage de mots prennent chacun 74 bonnes décisions sur 102 cas de développement. Quelles preuves vous feraient préférer l'un des deux?
Afficher la réponse
Regardez les cas où chacun se trompe, pas seulement le total. Le modèle de comptage de mots échoue en français (0 sur 10). Il repère 6 des 23 billets qui demandent une intervention humaine. L’adaptateur prend 7 bonnes décisions sur 10 en français et ne repère aucun de ces billets. Regardez ensuite les données de test, examinées une seule fois : le comptage de mots obtient 74 sur 98, et l’adaptateur 65. Le coût et la vitesse viennent en dernier, car les deux sont rapides et bon marché. Aucun n’atteint les cibles, donc aucun ne remplace l’assistant hébergé.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une référence de base est un système auquel vous comparez un nouveau système. Utilisez une échelle, du moins cher au plus cher, avec le système utilisé au sommet. Une référence de base solide est la meilleure option bon marché.
- Chaque système répond aux mêmes cas, et une seule vérification stricte les évalue :
python -m adapt compare. - La meilleure requête corrige le format, mais répond « warranty » pour 100 billets sur 102. Contraindre la sortie donne les mêmes 12 bonnes décisions.
- L’entraînement a enseigné la tâche : 74 bonnes décisions sur 102 cas de développement. Le modèle de comptage de mots obtient aussi 74. Sur les données de test, il dépasse l’adaptateur : 74 contre 65.
- Aucun système n’égale l’assistant hébergé, et l’adaptateur n’envoie aucun billet à une personne.
- Votre projet :
30 passed, 2 deselected.
Ensuite, vous cherchez ce que l’adaptateur a perdu et pourquoi. Vous pesez aussi la durée, la mémoire et le coût avant de décider.
Leçon suivante : Régressions et valeur opérationnelle